CN109190469B - 一种检测方法及装置、一种计算设备及存储介质 - Google Patents

一种检测方法及装置、一种计算设备及存储介质 Download PDF

Info

Publication number
CN109190469B
CN109190469B CN201810840451.4A CN201810840451A CN109190469B CN 109190469 B CN109190469 B CN 109190469B CN 201810840451 A CN201810840451 A CN 201810840451A CN 109190469 B CN109190469 B CN 109190469B
Authority
CN
China
Prior art keywords
picture
shooting
terminal
recognized
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810840451.4A
Other languages
English (en)
Other versions
CN109190469A (zh
Inventor
杨文学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810840451.4A priority Critical patent/CN109190469B/zh
Priority to CN202010423706.4A priority patent/CN111666832B/zh
Publication of CN109190469A publication Critical patent/CN109190469A/zh
Priority to TW108117455A priority patent/TWI694400B/zh
Priority to PCT/CN2019/094866 priority patent/WO2020019966A1/zh
Application granted granted Critical
Publication of CN109190469B publication Critical patent/CN109190469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本申请提供的一种检测方法及装置、一种计算设备及存储介质，其中所述方法包括获取拍摄终端经一次拍摄得到的同一待识别物体的第一图片和第二图片，确定所述第一图片和所述第二图片中所述待识别物体的属性信息，若所述第一图片和所述第二图片中所述待识别物体的属性信息不满足预设条件，则获取所述第一图片的第一位置参数和所述第二图片的第二位置参数，根据预先训练的融合模型获取所述第一图片、所述第一位置参数、所述第二图片和所述第二位置参数对应的调整参数，基于所述调整参数指导所述拍摄终端移动并控制所述拍摄终端继续拍摄。

Description

一种检测方法及装置、一种计算设备及存储介质
技术领域
本申请涉及计算机技术领域，特别涉及一种检测方法及装置、一种计算设备及存储介质。
背景技术
在车险行业，车主发生车辆事故提出理赔申请时，保险公司需要对车辆的 损伤程度进行评估，以确定需要修复的项目清单以及赔付金额。目前的车险定 损过程中最核心的依据材料是由定损员拍摄的车辆受损图，因此车辆受损图的 拍摄质量将直接影响最终的定损结果。
而目前总会因为车辆受损图拍摄角度不当，导致车辆损伤难以辨认或无法 准确判定车辆损伤的程度，并且还会由于拍摄终端与车辆的损伤部位的拍摄距 离不当，过近或过远，导致无法准确判定车辆损伤程度或无法辨认损伤部位。
发明内容
有鉴于此，本申请实施例提供了一种检测方法及装置、一种计算设备及存 储介质，以解决现有技术中存在的技术缺陷。
本申请实施例公开了一种检测方法，包括：
a：获取拍摄终端经一次拍摄得到的同一待识别物体的第一图片和第二图片， 其中，所述第一图片和所述第二图片的成像方式不同；
b：确定所述第一图片和所述第二图片中所述待识别物体的属性信息，其中， 所述属性信息包括所述待识别物体在所述第一图片中的大小和位置信息以及所 述待识别物体在所述第二图片中的大小和位置信息；
c：若所述第一图片和所述第二图片中所述待识别物体的属性信息不满足预 设条件，则获取所述第一图片的第一位置参数和所述第二图片的第二位置参数， 其中，所述第一位置参数包括基于所述第一图片获取的所述待识别物体与所述 拍摄终端之间的拍摄距离和拍摄角度，所述第二位置参数包括基于所述第二图 片获取的所述待识别物体与所述拍摄终端之间的拍摄距离和拍摄角度；
d：根据预先训练的融合模型获取所述第一图片、所述第一位置参数、所述 第二图片和所述第二位置参数对应的调整参数；
e：基于所述调整参数指导所述拍摄终端移动并控制所述拍摄终端继续拍摄， 并跳转至步骤a。
另一方面，本申请还提供了一种检测装置，包括：
图片获取模块，被配置为获取拍摄终端经一次拍摄得到的同一待识别物体 的第一图片和第二图片，其中，所述第一图片和所述第二图片的成像方式不同；
确定模块，被配置为确定所述第一图片和所述第二图片中所述待识别物体 的属性信息，其中，所述属性信息包括所述待识别物体在所述第一图片中的大 小和位置信息以及所述待识别物体在所述第二图片中的大小和位置信息；
判断模块，被配置为若所述第一图片和所述第二图片中所述待识别物体的 属性信息不满足预设条件，则获取所述第一图片的第一位置参数和所述第二图 片的第二位置参数，其中，所述第一位置参数包括基于所述第一图片获取的所 述待识别物体与所述拍摄终端之间的拍摄距离和拍摄角度，所述第二位置参数 包括基于所述第二图片获取的所述待识别物体与所述拍摄终端之间的拍摄距离 和拍摄角度；
调整参数获取模块，被配置为根据预先训练的融合模型获取所述第一图片、 所述第一位置参数、所述第二图片和所述第二位置参数对应的调整参数；
指导模块，被配置为基于所述调整参数指导所述拍摄终端移动并控制所述 拍摄终端继续拍摄，并跳转执行图片获取模块。
另一方面，本申请还提供了一种计算设备，包括存储器、处理器及存储在 存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现 所述检测方法的步骤。
另一方面，本申请还提供了一种计算机可读存储介质，其存储有计算机指 令，该程序被处理器执行时实现所述检测方法的步骤。
本申请提供的一种检测方法及装置、一种计算设备及存储介质，其中所述 方法包括获取拍摄终端经一次拍摄得到的同一待识别物体的第一图片和第二图 片，确定所述第一图片和所述第二图片中所述待识别物体的属性信息，若所述 第一图片和所述第二图片中所述待识别物体的属性信息不满足预设条件，则获 取所述第一图片的第一位置参数和所述第二图片的第二位置参数，根据预先训 练的融合模型获取所述第一图片、所述第一位置参数、所述第二图片和所述第 二位置参数对应的调整参数，基于所述调整参数指导所述拍摄终端移动并控制 所述拍摄终端继续拍摄。
附图说明
图1为本说明书一实施例提供的一种检测方法所应用的系统架构的示意图；
图2为本说明书一实施例提供的距离检测模型的生成方法流程图；
图3为本说明书一实施例提供的融合模型的生成方法流程图；
图4为本说明书一实施例提供的深度相机的光脉冲工作原始示意图；
图5为本说明书一实施例提供的深度可分离的卷积神经网络模型的结构示 意图；
图6为本说明书一实施例提供的一种检测方法流程图；
图7为本说明书一实施例提供的一种检测方法流程图；
图8为本说明书一实施例提供的一种检测方法流程图；
图9为本说明书一实施例提供的一种检测装置的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请 能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背 本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的 目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施 例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多 数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个 实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或 所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二、 第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同 一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的 情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语 境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响 应于确定”。
首先对本说明书一个或多个实施例中使用到的技术术语进行解释。
汽车保险定损：通过科学、系统的专业化检查、测试与勘测手段，对汽车 碰撞与事故现场进行综合分析，运用车辆估损资料与维修数据，对车辆碰撞修 复进行科学系统的估损定价。
深度相机：深度相机是指可以直接获取某场景中物体距离摄像头物理距离 的相机。根据原理不同，深度相机主要有结构光、激光、飞行时间(TOF)扫描 几种方式。目前使用较多的是TOF相机。
TOF相机：(Time of flight)翻译为“飞行时间”。其测距原理是通过给目标 连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行 (往返)时间得到目标物距离。TOF相机可以同时得到整幅图像的深度(距离) 信息。
参见图1，本说明书一个或多个实施例提供了一种实现检测的系统架构图， 包括网络104、训练样本集102、拍摄终端106和计算设备108。
所述计算设备108包括但不限于存储器110、处理器112、通信接口114以 及总线116。
所述训练样本集102与所述网络104连接，所述网络104与所述拍摄终端 106分别与所述通信接口114完成相互的通信。
所述处理器112、所述通信接口114和存储器110通过总线116完成相互间 的通信。
所述训练样本集102，被配置为存储训练距离检测模型和融合模型的训练样 本；
所述网络104，被配置为接收训练样本集102的训练样本训练距离检测模型 和融合模型，并将训练好的距离检测模型和融合模型通过所述通信接口114存 储至存储器110内等待调用；
所述拍摄终端106，被配置为拍摄图片，然后将拍摄的图片通过所述通信接 口114存储至存储器110内等待调用；
所述通信接口114，被配置为接收所述网络104训练好的距离检测模型、融 合模型和所述拍摄终端106拍摄的图片，然后通过总线116发送至存储器110 进行存储；。
通信接口114使得计算设备108能够经由一个或多个网络通信。这些网络 的示例包括局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的 通信网络的组合。网络接口可以包括有线或无线的任何类型的网络接口(例如， 网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN) 无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB) 接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
存储器110，被配置为存储通信接口114通过总线116发送所述网络104训 练好的距离检测模型、融合模型和所述拍摄终端106拍摄的图片以及存储在存 储器110上并可在处理器112上运行的计算机指令。
处理器112，被配置为获取存储在存储器110的距离检测模型、融合模型和 图片后，执行存储在存储器110上的计算机指令，实现检测方法的相关步骤。
计算设备108可以是任何类型的静止或移动计算设备，包括移动计算机或 移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计 算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如， 智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的 静止计算设备。
下面对于本说明书一个或多个实施例中涉及的距离检测模型的生成方法进 行详细的说明。
参见图2，本说明书一个实施例公开了一种生成距离检测模型的方法，包括 步骤202至步骤204。
步骤202：获取训练样本集，其中，所述训练样本集包含多组图片样本，每 组所述图片样本包括目标物体的属性信息以及所述目标物体与拍摄终端之间的 拍摄距离，所述属性信息包括所述目标物体在第一图片中的大小。
本说明书一个或多个实施例中，所述第一图片可以包括但不限于由深度相 机拍摄的RGB彩色图片，所述第一图片中包含所述目标物体，所述目标物体的 属性信息即所述目标物体占所述第一图片的大小或者位置信息等，实际应用中 所述目标物体的属性信息还可以包括所述目标物体的形状和名称等。
对于所述第一图片中所述目标物体的识别可以通过现有的图像识别算法进 行识别，也可以通过预先训练的部件检测模型识别。
其中，对于所述部件检测模型的训练包括以下步骤：
第一、获取训练样本集，其中，所述训练样本集包含多组图片样本，每组 所述图片样本包括第一图片以及所述第一图片中目标物体的属性信息，所述属 性信息包括所述目标物体在第一图片中的大小；
第二、通过所述训练样本集对部件检测模型进行训练，得到所述部件检测 模型，所述部件检测模型使得所述第一图片与所述目标物体的属性信息相关联。
步骤204：通过所述训练样本集对距离检测模型进行训练，得到所述距离检 测模型，所述距离检测模型使得所述属性信息与所述拍摄距离相关联。
在一个具体的应用场景中，以所述目标物体包括汽车车门划痕为例，若所 述第一图片为含有划痕的彩色图片，则可以通过所述部件检测模型得出划痕在 彩色图片中的大小、位置信息、形状和/或名称，然后根据划痕在彩色图片中的 大小通过所述距离检测模型可以得出划痕与拍摄终端的拍摄距离或者是根据划 痕与拍摄终端的拍摄距离得出划痕在彩色图片中的大小。
本说明书一个或多个实施例中，通过本说明书实施例的生成距离检测模型 的方法，可以生成距离检测模型，并存储于服务器侧。
当然，距离检测模型可以根据具体的使用进行不断地更新，例如可以人为 地获取前两年或前三年的图片样本，根据所述图片样本训练距离检测模型，并 将训练后的距离检测模型更新存储；所述距离检测模型可以快速准确的识别出 所述目标物体与拍摄终端的拍摄距离。
参见图3，本说明书一个实施例公开了一种生成融合模型的方法，包括步骤 302至步骤304。
步骤302：获取训练样本集，其中，所述训练样本集包括多组历史位置参数 样本，每组所述位置参数样本包括第一图片样本、所述第一图片样本对应的第 一位置参数样本、所述第二图片样本和所述第二图片样本对应的第二位置参数 样本以及调整参数样本。
本说明书一个或多个实施例中，所述第一图片样本和所述第二图片样本可 以通过深度相机经一次拍摄得到，所述第一图片样本对应的第一位置参数样本 可以通过预先训练的位置参数检测模型得到，所述第二图片样本对应的所述第 二位置参数样本可以通过深度相机得到，所述深度相机可以包括但不限于TOF 相机，TOF相机采用主动光探测，通常包括以下几个部分：照射单元、光学透 镜、成像传感器、控制单元和计算单元等。
其中，所述照射单元需要对光源进行脉冲调制之后再进行发射，调制的光 脉冲频率可以高达100MHz。因此，在图像拍摄过程中，光源会打开和关闭几千 次，各个光脉冲只有几纳秒的时长。实际使用中，要实现精确测量，必须精确 地控制光脉冲，使其具有完全相同的持续时间、上升时间和下降时间。一纳秒 的偏差即可产生15cm的距离测量误差。照射光源都是采用人眼不可见的红外光 源；
所述光学透镜用于汇聚反射光线，在光学传感器上成像。不过与普通光学 镜头不同的是这里需要加一个带通滤光片来保证只有与照明光源波长相同的光 才能进入。这样做的目的是抑制非相干光源减少噪声，同时防止感光传感器因 外部光线干扰而过度曝光；
所述成像传感器是TOF相机的核心。该传感器结构比普通图像传感器更复 杂，包含2个或者更多快门，用来在不同时间采样反射光线。因此，TOF芯片 像素比一般图像传感器像素尺寸要大得多；
所述控制单元实现相机的电子控制单元触发的光脉冲序列与芯片电子快门 的开/闭精确同步。它对传感器电荷执行读出和转换，并将它们引导至分析单元 和数据接口；
所述计算单元可以记录精确的深度图。深度图通常是灰度图，其中的每个 值代表光反射表面和相机之间的距离。为了得到更好的效果，通常会进行数据 校准。
而TOF相机的测距原理包括：照射光源一般采用方波脉冲调制，这是因为 它用数字电路来实现相对容易。深度相机的每个像素都是由一个感光单元(如 光电二极管)组成，它可以将入射光转换为电流，感光单元连接着多个高频转 换开关(参见图4的G1，G2)可以把电流导入不同的可以储存电荷(参见图4 的S1，S2)的电容里。
TOF相机上的控制单元打开光源然后再关闭，发出一个光脉冲。在同一时 刻，控制单元打开和关闭芯片上的电子快门。由光脉冲以这种方式产生的电荷 S0存储在感光单元上。然后，控制单元第二次打开并关闭光源，这次快门打开 时间较晚，即在光源被关闭的时间点打开，现在生成的电荷S1也被存储在感光 单元上。因为单个光脉冲的持续时间非常短，此过程会重复几千次，直到达到 曝光时间。然后成像传感器中的值会被读出，实际距离可以根据这些值来计算。
例如记光的速度为c，tp为光脉冲的持续时间，S0表示较早的快门收集的 电荷，S1表示延迟的快门收集的电荷，那么距离d可以由如下公式计算：
Figure RE-GDA0001887939480000101
最小的可测量距离为：在较早的快门期间S0中收集了所有的电荷，而在延 迟的快门期间S1没有收集到电荷，即S1＝0。代入公式会得出最小可测量距离 d＝0。
最大的可测量的距离为：在S1中收集了所有电荷，而在S0中根本没有收集 到电荷。然后，该公式得出d＝0.5 x c×tp。因此最大可测量距离是通过光脉冲宽 度来确定的。例如，tp＝50ns，代入上式，得到最大测量距离d＝7.5m。
TOF相机内部每个像素经过上述过程都可以得到一个对应的距离，所有的 像素点测量的距离就构成了一幅深度图。
所述深度图其实是一张灰度图，它是一张三维的图，水平垂直坐标对应像 素位置，该位置的灰度值对应的是该像素距离摄像头的距离。所以深度图中的 每个像素可以表示空间中一个点的三维坐标，所以深度图中的每个像素也称为 体像素(voxel)。
步骤304：通过所述训练样本集对融合模型进行训练，得到所述融合模型， 所述融合模型使得第一图片样本、所述第一图片样本对应的第一位置参数样本、 所述第二图片样本、所述第二图片样本对应的第二位置参数样本与所述调整参 数样本相关联。
本说明书一个或多个实施例中，所述第一位置参数样本和所述第二位置参 数样本均包括目标物体与拍摄终端之间的距离和角度。
在一个具体的应用场景中，以目标物体为汽车划痕，拍摄终端为深度相机 为例，所述第一位置参数样本包括通过预先训练的位置参数检测模型获得的汽 车划痕与拍摄终端之间的距离和角度，所述第二位置参数样本包括通过深度相 机获得的汽车划痕与拍摄终端之间的距离和角度，将所述第一图片样本、所述 第一位置参数样本、所述第二图片样本和所述第二位置参数样本输入所述融合 模型中，得出所述调整参数样本，可以实时指导拍摄终端与汽车划痕之间的距 离和角度。
本说明书一个或多个实施例中，通过本说明书实施例的生成融合模型的方 法，可以生成融合模型，并存储于服务器侧。
参见图5，本发明一个或多个实施例中，融合模型可以为基于深度可分离的 卷积构建的轻量级深层神经网络。
其中，将深度图片、彩色图片作为图像输入所述轻量级深层神经网络，所 述深度图片的位置参数以及所述彩色图片的位置参数以参数形式输入所述轻量 级深层神经网络。首先对所述深度图片和所述彩色图片进行下采样等综合处理 后，得到图像输入层A，将所述图像输入层A输入所述轻量级深层神经网络中， 所述轻量级深层神经网络有3个卷积层，分别为B、C、D层，卷积层用来进行 特征提取，其中，B的卷积核为5*5*64、C的卷积核为2*2*64、D的卷积核为5*5*64，3个卷积层之后连接着池化层E，所述池化层E采用2*2的filter，池化 操作一般有两种，一种是Avy Pooling,一种是max Pooling，所述池化层对输入的 特征图进行压缩，一方面使特征图变小，简化网络计算复杂度；一方面进行特 征压缩，提取主要特征；所述池化层E顺次连接了两个全连接层，分别为F层 和G层，全连接层中的每个神经元与其前一层的所有神经元进行全连接，全连 接层F层可以整合池化层E中具有类别区分性的局部信息，全连接层G层可以 看成全连接层F层的每一个结点乘以一个权重系数，最后加上一个偏置值得到， 所述全连接层G层的输出值被传递给最后一层softmax输出层H，所述输出层H 输出最终的计算结果。
实际应用中，所述深度图片的位置参数包括基于所述深度图片获取的目标 物体与拍摄终端之间的拍摄距离和拍摄角度，所述彩色图片的位置参数包括基 于所述彩色图片获取的目标物体与拍摄终端之间的拍摄距离和拍摄角度；所述 输出层H输出的计算结果包括指导拍摄终端拍摄的调整参数。
所述融合模型包括但不限于MobileNets。MobileNets是基于一个流线型的 架构，使用深度可分离的卷积来构建轻量级的深层神经网络。通过引入的全局 超参数，在延迟度和准确度之间有效地进行平衡。超参数允许模型构建者根据 问题的约束条件，为其应用选择合适大小的模型。与ImageNet分类上的其他流 行的网络模型相比，MobileNets表现出很强的性能。MobileNets在广泛的应用 场景中的验证了有效性，包括物体检测，细粒度分类，人脸属性和大规模地理 定位。
本说明书一个或多个实施例中，所述融合模型采用了移动端的深度学习模 型，在确保准确率的情况下保证了模型计算的效率，在移动端的低端机型中也 能做到实时计算反馈，可提供较好的用户体验。
参见图6，本说明书一个实施例公开了一种检测方法，包括步骤602至步骤 610。
步骤602：获取拍摄终端经一次拍摄得到的同一待识别物体的第一图片和第 二图片，其中，所述第一图片和所述第二图片的成像方式不同。
本说明书一个或多个实施例中，所述拍摄终端包括至少两种成像方式，可 以一次拍摄得到两种形式的图片，所述拍摄终端包括深度相机，所述深度相机 包括但不限于TOF深度相机或双目深度相机，所述深度相机一次拍摄可以同时 得到一张深度图片和一张彩色图片。
本说明书一个或多个实施例中，所述第一图片包括彩色图片，所述第二图 片包括深度图片。所述第一图片包括奖所述深度相机拍摄的待识别部位的视频 按照预设频率进行截帧后得到的图片。
所述待识别物体包括但不限于车辆受损部位，例如汽车车门划痕、破裂的 车灯、被撞凹陷的车身和有裂痕的车玻璃等。
获取拍摄终端同一位置拍摄的含有同一待识别物体的第一图片和第二图片， 即获取深度相机在同一位置经一次拍摄的含有车辆受损部位的彩色图片和深度 图片。
步骤604：确定所述第一图片和所述第二图片中所述待识别物体的属性信息， 其中，所述属性信息包括所述待识别物体在所述第一图片中的大小和位置信息 以及所述待识别物体在所述第二图片中的大小和位置信息。
本说明书一个或多个实施例中，可以通过现有技术中的图像识别算法识别 所述第一图片和所述第二图片中所述待识别物体的属性信息，也可以通过上述 预先训练的部件检测模型得出所述第一图片和所述第二图片中所述待识别物体 的属性信息，其中所述属性信息包括但不限于所述待识别物体在所述第一图片 中的大小和位置信息以及所述待识别物体在所述第二图片中的大小和位置信息， 所述位置信息包括但不限于位置坐标。
此外，获取拍摄终端同一位置拍摄的含有同一待识别物体的第一图片和第 二图片之后，还包括：
通过图像识别方法识别所述第一图片和所述第二图片中待识别物体的名称； 或者
通过预先训练的部件检测模型得出所述第一图片和所述第二图片中待识别 物体的名称。
本说明书一个或多个实施例中，以所述待识别物体为车辆的受损车灯为例 进行说明，首先通过现有技术的图像识别算法或预先训练的部件检测模型识别 出所述待识别物体的名称为车灯；然后确定所述第一图片和所述第二图片中所 述待识别物体的属性信息，即通过现有技术的图像识别算法识别车辆的受损车 灯在彩色图片中的大小和位置信息以及车辆的受损车灯在深度图片中的大小和 位置信息。
步骤606：若所述第一图片和所述第二图片中所述待识别物体的属性信息不 满足预设条件，则获取所述第一图片的第一位置参数和所述第二图片的第二位 置参数，其中，所述第一位置参数包括基于所述第一图片获取的所述待识别物 体与所述拍摄终端之间的拍摄距离和拍摄角度，所述第二位置参数包括基于所 述第二图片获取的所述待识别物体与所述拍摄终端之间的拍摄距离和拍摄角度。
本说明书一个或多个实施例中，所述第一图片和所述第二图片中所述待识 别物体的属性信息不满足预设条件包括：
所述待识别物体在所述第一图片中的大小和位置信息与预设的待识别物体 在所述第一图片中的大小和位置信息的匹配度不满足第一阈值，或者所述待识 别物体在所述第二图片中的大小和位置信息与预设的待识别物体在所述第二图 片中的大小和位置信息的匹配度不满足第二阈值。
以所述待识别物体为车辆受损的车灯、第一阈值为80％、第二阈值为75％ 为例进行说明，若车辆受损的车灯在所述第一图片中的大小为8cm2，预设的车 辆受损的车灯在所述第一图片中的大小为6cm2，位置信息一致，计算出的所述 车辆受损的车灯在所述第一图片中的大小和位置信息与预设的车辆受损的车灯 在所述第一图片中的大小和位置信息的匹配度为75％，并且车辆受损的车灯在 所述第二图片中的大小为7.9cm2，预设的车辆受损的车灯在所述第二图片中的 大小为5.7cm2，位置信息一致，计算出的所述车辆受损的车灯在所述第二图片 中的大小和位置信息与预设的车辆受损的车灯在所述第二图片中的大小和位置 信息的匹配度为72.15％，则所述车辆受损的车灯在所述第一图片中的大小和位置信息与预设的车辆受损的车灯在所述第一图片中的大小和位置信息的匹配度 75％不满足第一阈值80％，并且所述车辆受损的车灯在所述第二图片中的大小和 位置信息与预设的车辆受损的车灯在所述第二图片中的大小和位置信息的匹配 度72.15％不满足第二阈值75％。
本说明书一个或多个实施例中，获取所述第一图片的第一位置参数和所述 第二图片的第二位置参数包括：
根据预先训练的位置参数检测模型获取第一图片的第一位置参数，并且通 过所述拍摄终端获取所述第二图片的第二位置参数。
本说明书一个或多个实施例中，所述位置参数检测模型被配置为检测待识 别物体与所述拍摄终端之间的拍摄距离和拍摄角度，所述位置参数检测模型包 括检测待识别物体与所述拍摄终端之间的拍摄距离的距离检测模型和检测待识 别物体与所述拍摄终端之间的拍摄角度的角度检测模型。
其中，所述距离检测模型的生成方法参见上述实施例，本申请对此不作赘 述。
所述角度检测模型的生成方法包括：
获取训练样本集，其中，所述训练样本集包含多组角度样本，每组所述角 度样本包括目标物体的属性信息、所述目标物体与拍摄终端之间的拍摄距离以 及所述目标物体与拍摄终端之间的拍摄角度，所述属性信息包括所述目标物体 在第一图片中的大小；
通过所述训练样本集对角度检测模型进行训练，得到所述角度检测模型， 所述角度检测模型使得所述属性信息、所述拍摄距离与所述拍摄角度相关联。
步骤608：根据预先训练的融合模型获取所述第一图片、所述第一位置参数、 所述第二图片和所述第二位置参数对应的调整参数。
本说明书一个或多个实施例中，对于所述融合模型的详细介绍参见上述实 施例，本实施例对此不作赘述，所述融合模型可以通过线性回归算法生成。
步骤610：基于所述调整参数指导所述拍摄终端移动并控制所述拍摄终端继 续拍摄，并跳转至步骤602。
本说明书一个或多个实施例中，所述调整参数用于指导所述拍摄终端向待 识别物体向前、向后、向左或向右移动的角度和距离，所述拍摄终端移动并控 制所述拍摄终端继续拍摄，获取拍摄终端同一位置拍摄的含有同一待识别物体 的第一图片和第二图片，确定所述第一图片和所述第二图片中所述待识别物体 的属性信息满足预设条件后结束拍摄。
本说明书一个或多个实施例中，基于所述调整参数指导所述拍摄终端移动 并控制所述拍摄终端继续拍摄包括：
基于所述调整参数发出语音提示，所述拍摄终端根据所述语音提示移动； 或者
基于所述调整参数形成指导箭头，所述拍摄终端根据所述指导箭头移动。
本说明书一个或多个实施例中，可以应用增强现实技术，使得所述拍摄终 端发出语音提示或者在其显示界面显示虚拟的箭头指导所述拍摄终端移动，从 而达到直观的效果。
本说明书一个或多个实施例提供的检测方法，通过深度相机及图像识别技 术对待识别物体的拍摄情况进行实时判断、计算，并反馈计算结果到训练好的 融合模型，指导拍摄终端调整拍摄方式，提高拍摄终端的拍摄质量，从而产生 更准确的拍摄结果，本方法通过深度学习模型、图像处理技术，基于部件位置 检测、距离检测、决策计算等方式，提供拍摄终端信息(距离、角度)实时反 馈，用于纠正拍摄方式导致的图片问题，最终改善拍摄图片的拍摄质量，实际 使用中，语音提示和箭头指示是实时得出的，可以使得拍摄终端的拍摄更加精 准，响应速度更快，用户体验好。
参见图7，本说明书一个实施例公开了一种检测方法，包括步骤702至步骤 706。
步骤702：获取拍摄终端经一次拍摄得到的同一待识别物体的第一图片和第 二图片，其中，所述第一图片和所述第二图片的成像方式不同。
步骤704：确定所述第一图片和所述第二图片中所述待识别物体的属性信息， 其中，所述属性信息包括所述待识别物体在所述第一图片中的大小和位置信息 以及所述待识别物体在所述第二图片中的大小和位置信息。
步骤706：若所述第一图片中所述待识别物体的属性信息与预设的待识别物 体的属性信息的匹配度满足第一阈值，并且所述第二图片中所述待识别物体的 属性信息与预设的待识别物体的属性信息匹配度满足第二阈值，则结束拍摄。
本说明书一个或多个实施例中，仍以所述待识别物体为车辆受损的车灯、 第一阈值为80％、第二阈值为75％为例进行说明，若车辆受损的车灯在所述第 一图片中的大小为8cm2，预设的车辆受损的车灯在所述第一图片中的大小为 9cm2，位置信息一致，计算出的所述车辆受损的车灯在所述第一图片中的大小 和位置信息与预设的车辆受损的车灯在所述第一图片中的大小和位置信息的匹 配度为88％，并且车辆受损的车灯在所述第二图片中的大小为8cm2，预设的车 辆受损的车灯在所述第二图片中的大小为8.5cm2，位置信息一致，计算出的所 述车辆受损的车灯在所述第二图片中的大小和位置信息与预设的车辆受损的车 灯在所述第二图片中的大小和位置信息的匹配度为94.1％，则所述车辆受损的车 灯在所述第一图片中的大小和位置信息与预设的车辆受损的车灯在所述第一图 片中的大小和位置信息的匹配度88％满足第一阈值80％，并且所述车辆受损的 车灯在所述第二图片中的大小和位置信息与预设的车辆受损的车灯在所述第二 图片中的大小和位置信息的匹配度94.1％满足第二阈值75％。
此时结束拍摄，所述拍摄终端拍摄的图片满足预设的拍摄质量，实际应用 中可以使用该拍摄图片用于对车辆受损车灯的定损。
本说明书一个或多个实施例提供的检测方法，通过深度相机对待识别物体 的拍摄情况进行判断，并实时反馈判断结果，确定后续流程，避免造成资源浪 费，提高用户体验。
参见图8，以拍摄终端为深度相机为例，将上述检测方法应用在对车辆的定 损中，包括步骤802至步骤830。
步骤802：用户打开智能手机上安装的车辆定损APP。
步骤804：车辆定损App开启拍摄指引组件，所述拍摄指引组件预先给出 拍摄指引。
本说明书一个或多个实施例中，所述拍摄指引组件为车辆定损App内的拍 照模块。
所述拍摄指引包括车辆定损APP开启后给出的初始的拍摄指导参数，指导 用户拍照。
步骤806：基于所述拍摄指引开启具有深度相机功能的手机摄像头。
步骤808：所述深度相机对车辆受损部位进行光脉冲发射。
步骤810：所述深度相机对车辆受损部位进行视频拍摄。
本说明书一个或多个实施例中，步骤808和步骤810可以同步进行，不区 分先后顺序。
步骤812：对拍摄的车辆受损部位的视频进行截帧，获得按帧形成的图片。 本说明书一个或多个实施例中，可以采用1秒2次的频率对拍摄的车辆受损部 位的视频进行截帧，对于每一帧图片进行后续处理。
步骤814：获取截帧后的含有车辆受损部位的彩色图片。
步骤816：基于发射的光脉冲得到含有车辆受损部位的深度图片，并获取所 述深度图片中车辆受损部位的大小和位置信息。
步骤818：识别所述彩色图片中的车辆受损部位的大小和位置信息。
本说明书一个或多个实施例中，步骤816和步骤818可以同步进行。
步骤820：判断所述车辆受损部位在彩色图片中的大小和位置信息与预设的 车辆受损部位在彩色图片中的大小和位置信息的匹配度是否满足第一阈值，并 且所述车辆受损部位在深度图片中的大小和位置信息与预设的车辆受损部位在 深度图片中的大小和位置信息的匹配度是否满足第二阈值，若是，则执行步骤 822，若否，则执行步骤824至步骤832。
步骤822：结束拍摄。
步骤824：采用上述的距离检测模型识别获取所述彩色图片的所述车辆受损 部位与深度相机之间的的第一拍摄距离，然后根据所述第一拍摄距离以及上述 的角度检测模型获得所述受损部位与深度相机之间的的第一拍摄角度。
步骤826：基于深度相机获取所述深度图片的所述车辆受损部位与深度相机 之间的第二拍摄距离和第二拍摄角度。
步骤828：根据上述预先训练的融合模型获取所述彩色图片、所述第一拍摄 距离、第一拍摄角度、所述深度图片、所述第二拍摄距离和所述第二拍摄角度 对应的调整参数。
步骤830：结果反馈。
本说明书一个或多个实施例中，将所述调整参数反馈给深度相机，通过所 述深度相机发出语音提示或箭头指示，指导所述用户持所述手机前后左右移动 并继续拍摄，直至满足预设条件结束。
该使用场景中可以应用增强现实技术，将虚拟的箭头提示信息和实际的场 景预览信息叠加显示于手机显示屏中，从而达到直观的效果。
本说明书一个或多个实施例中，步骤808至步骤814与步骤816至步骤818 采用并行链路分别执行。
本说明书一个或多个实施例中，定损APP的拍摄指引中结合激光测距及图 形识别AI模型计算能力，首先计算拍摄距离、然后基于大数据模型算法将两种 数据基于卷积神经网络或者其他算法做拟合并相互验证，做出更加精确的拍摄 距离和角度，并指导用户调整拍摄方式，产出更优质的车辆损伤部位的定损图 片。
参见图9，本说明书一个或多个实施例中提供了一种检测装置，包括：
图片获取模块902，被配置为获取拍摄终端经一次拍摄得到的同一待识别物 体的第一图片和第二图片，其中，所述第一图片和所述第二图片的成像方式不 同；
确定模块904，被配置为确定所述第一图片和所述第二图片中所述待识别物 体的属性信息，其中，所述属性信息包括所述待识别物体在所述第一图片中的 大小和位置信息以及所述待识别物体在所述第二图片中的大小和位置信息；
判断模块906，被配置为若所述第一图片和所述第二图片中所述待识别物体 的属性信息不满足预设条件，则获取所述第一图片的第一位置参数和所述第二 图片的第二位置参数，其中，所述第一位置参数包括基于所述第一图片获取的 所述待识别物体与所述拍摄终端之间的拍摄距离和拍摄角度，所述第二位置参 数包括基于所述第二图片获取的所述待识别物体与所述拍摄终端之间的拍摄距 离和拍摄角度；
调整参数获取模块908，被配置为根据预先训练的融合模型获取所述第一 图片、所述第一位置参数、所述第二图片和所述第二位置参数对应的调整参数；
指导模块910，被配置为基于所述调整参数指导所述拍摄终端移动并控制所 述拍摄终端继续拍摄，并跳转执行图片获取模块902。
可选地，所述判断模块906被配置为：
若所述待识别物体在所述第一图片中的大小和位置信息与预设的待识别物 体在所述第一图片中的大小和位置信息的匹配度不满足第一阈值，或者所述待 识别物体在所述第二图片中的大小和位置信息与预设的待识别物体在所述第二 图片中的大小和位置信息的匹配度不满足第二阈值，则根据预先训练的位置参 数检测模型获取第一图片的第一位置参数，并且通过所述拍摄终端获取所述第 二图片的第二位置参数。
可选地，所述位置参数检测模型被配置为检测待识别物体与所述拍摄终端 之间的拍摄距离和拍摄角度。
可选地，所述位置参数检测模型包括检测待识别物体与所述拍摄终端之间 的拍摄距离的距离检测模型和检测待识别物体与所述拍摄终端之间的拍摄角度 的角度检测模型。
可选地，所述距离检测模型的生成装置包括：
第二获取子模块，被配置为获取训练样本集，其中，所述训练样本集包含 多组图片样本，每组所述图片样本包括目标物体的属性信息以及所述目标物体 与拍摄终端之间的拍摄距离，所述属性信息包括所述目标物体在第一图片中的 大小；
第一训练子模块，被配置为通过所述训练样本集对距离检测模型进行训练， 得到所述距离检测模型，所述距离检测模型使得所述属性信息与所述拍摄距离 相关联。
可选地，所述角度检测模型的生成装置包括：
第三获取子模块，被配置为获取训练样本集，其中，所述训练样本集包含 多组角度样本，每组所述角度样本包括目标物体的属性信息、所述目标物体与 拍摄终端之间的拍摄距离以及所述目标物体与拍摄终端之间的拍摄角度，所述 属性信息包括所述目标物体在第一图片中的大小；
第二训练子模块，被配置为通过所述训练样本集对角度检测模型进行训练， 得到所述角度检测模型，所述角度检测模型使得所述属性信息、所述拍摄距离 与所述拍摄角度相关联。
可选地，所述融合模型的生成装置包括：
第四获取子模块，被配置为获取训练样本集，其中，所述训练样本集包括 多组历史位置参数样本，每组所述位置参数样本包括第一图片样本、所述第一 图片样本对应的第一位置参数样本、所述第二图片样本和所述第二图片样本对 应的第二位置参数样本以及调整参数样本；
第三训练子模块，被配置为通过所述训练样本集对融合模型进行训练，得 到所述融合模型，所述融合模型使得第一图片样本、所述第一图片样本对应的 第一位置参数样本、所述第二图片样本、所述第二图片样本对应的第二位置参 数样本与所述调整参数样本相关联。
可选地，所述装置还包括：
结束模块，被配置为若所述第一图片中所述待识别物体的属性信息与预设 的待识别物体的属性信息的匹配度满足第一阈值，并且所述第二图片中所述待 识别物体的属性信息与预设的待识别物体的属性信息匹配度满足第二阈值，则 结束拍摄。
可选地，所述指导模块910还被配置为：
基于所述调整参数发出语音提示，所述拍摄终端根据所述语音提示移动； 或者
基于所述调整参数使得所述拍摄终端显示指导箭头，所述拍摄终端根据所 述指导箭头移动。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相 似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。 尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较 简单，相关之处参见方法实施例的部分说明即可。
本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令， 该指令被处理器执行时实现所述检测方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是， 该存储介质的技术方案与上述的检测方法的技术方案属于同一构思，存储介质 的技术方案未详细描述的细节内容，均可以参见上述检测方法的技术方案的描 述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的 范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实 施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过 程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施 方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本申请实施例中所述支付涉及的技术载体，例如可以包括近场通信(Near FieldCommunication，NFC)、WIFI、3G/4G/5G、POS机刷卡技术、二维码扫码 技术、条形码扫码技术、蓝牙、红外、短消息(Short Message Service，SMS)、 多媒体消息(Multimedia MessageService，MMS)等。
所述计算机指令包括计算机指令代码，所述计算机指令代码可以为源代码 形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可 以包括：能够携带所述计算机指令代码的任何实体或装置、记录介质、U盘、 移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、 随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及 软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司 法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区， 根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述 为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的 动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。 其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施 例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详 述的部分，可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没 有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根 据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实 施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术 人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效 物的限制。

Claims (24)

1.一种检测方法，其特征在于，包括：
a：获取拍摄终端经一次拍摄得到的同一待识别物体的第一图片和第二图片，其中，所述第一图片和所述第二图片的成像方式不同；
b：确定所述第一图片和所述第二图片中所述待识别物体的属性信息，其中，所述属性信息包括所述待识别物体在所述第一图片中的大小和位置信息以及所述待识别物体在所述第二图片中的大小和位置信息；
c：若所述待识别物体在所述第一图片中的大小和位置信息与预设的待识别物体在所述第一图片中的大小和位置信息的匹配度不满足第一阈值，或者所述待识别物体在所述第二图片中的大小和位置信息与预设的待识别物体在所述第二图片中的大小和位置信息的匹配度不满足第二阈值，则根据预先训练的位置参数检测模型获取所述第一图片的第一位置参数，并且通过所述拍摄终端获取所述第二图片的第二位置参数，
其中，所述第一位置参数包括基于所述第一图片获取的所述待识别物体与所述拍摄终端之间的拍摄距离和拍摄角度，所述第二位置参数包括基于所述第二图片获取的所述待识别物体与所述拍摄终端之间的拍摄距离和拍摄角度；
d：根据预先训练的融合模型获取所述第一图片、所述第一位置参数、所述第二图片和所述第二位置参数对应的调整参数；
e：基于所述调整参数指导所述拍摄终端移动并控制所述拍摄终端继续拍摄，并跳转至步骤a。
2.根据权利要求1所述的方法，其特征在于，所述位置参数检测模型被配置为检测待识别物体与所述拍摄终端之间的拍摄距离和拍摄角度。
3.根据权利要求2所述的方法，其特征在于，所述位置参数检测模型包括检测待识别物体与所述拍摄终端之间的拍摄距离的距离检测模型和检测待识别物体与所述拍摄终端之间的拍摄角度的角度检测模型。
4.根据权利要求3所述的方法，其特征在于，所述距离检测模型的生成方法包括：
获取训练样本集，其中，所述训练样本集包含多组图片样本，每组所述图片样本包括目标物体的属性信息以及所述目标物体与拍摄终端之间的拍摄距离，所述属性信息包括所述目标物体在第一图片中的大小；
通过所述训练样本集对距离检测模型进行训练，得到所述距离检测模型，所述距离检测模型使得所述属性信息与所述拍摄距离相关联。
5.根据权利要求3所述的方法，其特征在于，所述角度检测模型的生成方法包括：
获取训练样本集，其中，所述训练样本集包含多组角度样本，每组所述角度样本包括目标物体的属性信息、所述目标物体与拍摄终端之间的拍摄距离以及所述目标物体与拍摄终端之间的拍摄角度，所述属性信息包括所述目标物体在第一图片中的大小；
通过所述训练样本集对角度检测模型进行训练，得到所述角度检测模型，所述角度检测模型使得所述属性信息、所述拍摄距离与所述拍摄角度相关联。
6.根据权利要求1所述的方法，其特征在于，所述融合模型的生成方法包括：
获取训练样本集，其中，所述训练样本集包括多组历史位置参数样本，每组所述位置参数样本包括第一图片样本、所述第一图片样本对应的第一位置参数样本、所述第二图片样本和所述第二图片样本对应的第二位置参数样本以及调整参数样本；
通过所述训练样本集对融合模型进行训练，得到所述融合模型，所述融合模型使得第一图片样本、所述第一图片样本对应的第一位置参数样本、所述第二图片样本、所述第二图片样本对应的第二位置参数样本与所述调整参数样本相关联。
7.根据权利要求1所述的方法，其特征在于，还包括：
若所述第一图片中所述待识别物体的属性信息与预设的待识别物体的属性信息的匹配度满足第一阈值，并且所述第二图片中所述待识别物体的属性信息与预设的待识别物体的属性信息匹配度满足第二阈值，则结束拍摄。
8.根据权利要求1所述的方法，其特征在于，获取拍摄终端经一次拍摄得到的同一待识别物体的第一图片和第二图片之后，还包括：
通过图像识别方法识别所述第一图片和所述第二图片中待识别物体的名称；或者
通过预先训练的部件检测模型获得所述第一图片和所述第二图片中待识别物体的名称。
9.根据权利要求1所述的方法，其特征在于，基于所述调整参数指导所述拍摄终端移动包括：
基于所述调整参数发出语音提示，所述拍摄终端根据所述语音提示移动；或者
基于所述调整参数形成指导箭头，所述拍摄终端根据所述指导箭头移动。
10.根据权利要求1所述的方法，其特征在于，所述融合模型包括深度可分离的卷积神经网络模型。
11.根据权利要求1所述的方法，其特征在于，所述拍摄终端包括至少两种成像方式。
12.根据权利要求11所述的方法，其特征在于，所述拍摄终端包括深度相机，其中所述深度相机包括TOF深度相机或双目深度相机。
13.根据权利要求11所述的方法，其特征在于，所述第一图片包括彩色图片，所述第二图片包括深度图片。
14.根据权利要求1所述的方法，其特征在于，所述待识别物体包括车辆受损部位。
15.一种检测装置，其特征在于，包括
图片获取模块，被配置为获取拍摄终端经一次拍摄得到的同一待识别物体的第一图片和第二图片，其中，所述第一图片和所述第二图片的成像方式不同；
确定模块，被配置为确定所述第一图片和所述第二图片中所述待识别物体的属性信息，其中，所述属性信息包括所述待识别物体在所述第一图片中的大小和位置信息以及所述待识别物体在所述第二图片中的大小和位置信息；
判断模块，被配置为若所述待识别物体在所述第一图片中的大小和位置信息与预设的待识别物体在所述第一图片中的大小和位置信息的匹配度不满足第一阈值，或者所述待识别物体在所述第二图片中的大小和位置信息与预设的待识别物体在所述第二图片中的大小和位置信息的匹配度不满足第二阈值，则根据预先训练的位置参数检测模型获取第一图片的第一位置参数，并且通过所述拍摄终端获取所述第二图片的第二位置参数，
其中，所述第一位置参数包括基于所述第一图片获取的所述待识别物体与所述拍摄终端之间的拍摄距离和拍摄角度，所述第二位置参数包括基于所述第二图片获取的所述待识别物体与所述拍摄终端之间的拍摄距离和拍摄角度；
调整参数获取模块，被配置为根据预先训练的融合模型获取所述第一图片、所述第一位置参数、所述第二图片和所述第二位置参数对应的调整参数；
指导模块，被配置为基于所述调整参数指导所述拍摄终端移动并控制所述拍摄终端继续拍摄，并跳转执行图片获取模块。
16.根据权利要求15所述的装置，其特征在于，所述位置参数检测模型被配置为检测待识别物体与所述拍摄终端之间的拍摄距离和拍摄角度。
17.根据权利要求16所述的装置，其特征在于，所述位置参数检测模型包括检测待识别物体与所述拍摄终端之间的拍摄距离的距离检测模型和检测待识别物体与所述拍摄终端之间的拍摄角度的角度检测模型。
18.根据权利要求17所述的装置，其特征在于，所述距离检测模型的生成装置包括：
第二获取子模块，被配置为获取训练样本集，其中，所述训练样本集包含多组图片样本，每组所述图片样本包括目标物体的属性信息以及所述目标物体与拍摄终端之间的拍摄距离，所述属性信息包括所述目标物体在第一图片中的大小；
第一训练子模块，被配置为通过所述训练样本集对距离检测模型进行训练，得到所述距离检测模型，所述距离检测模型使得所述属性信息与所述拍摄距离相关联。
19.根据权利要求17所述的装置，其特征在于，所述角度检测模型的生成装置包括：
第三获取子模块，被配置为获取训练样本集，其中，所述训练样本集包含多组角度样本，每组所述角度样本包括目标物体的属性信息、所述目标物体与拍摄终端之间的拍摄距离以及所述目标物体与拍摄终端之间的拍摄角度，所述属性信息包括所述目标物体在第一图片中的大小；
第二训练子模块，被配置为通过所述训练样本集对角度检测模型进行训练，得到所述角度检测模型，所述角度检测模型使得所述属性信息、所述拍摄距离与所述拍摄角度相关联。
20.根据权利要求15所述的装置，其特征在于，所述融合模型的生成装置包括：
第四获取子模块，被配置为获取训练样本集，其中，所述训练样本集包括多组历史位置参数样本，每组所述位置参数样本包括第一图片样本、所述第一图片样本对应的第一位置参数样本、所述第二图片样本和所述第二图片样本对应的第二位置参数样本以及调整参数样本；
第三训练子模块，被配置为通过所述训练样本集对融合模型进行训练，得到所述融合模型，所述融合模型使得第一图片样本、所述第一图片样本对应的第一位置参数样本、所述第二图片样本、所述第二图片样本对应的第二位置参数样本与所述调整参数样本相关联。
21.根据权利要求15所述的装置，其特征在于，还包括：
结束模块，被配置为若所述第一图片中所述待识别物体的属性信息与预设的待识别物体的属性信息的匹配度满足第一阈值，并且所述第二图片中所述待识别物体的属性信息与预设的待识别物体的属性信息匹配度满足第二阈值，则结束拍摄。
22.根据权利要求15所述的装置，其特征在于，所述指导模块还被配置为：
基于所述调整参数发出语音提示，所述拍摄终端根据所述语音提示移动；或者
基于所述调整参数形成指导箭头，所述拍摄终端根据所述指导箭头移动。
23.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时实现权利要求1-14任意一项所述方法的步骤。
24.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-14任意一项所述方法的步骤。
CN201810840451.4A 2018-07-27 2018-07-27 一种检测方法及装置、一种计算设备及存储介质 Active CN109190469B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810840451.4A CN109190469B (zh) 2018-07-27 2018-07-27 一种检测方法及装置、一种计算设备及存储介质
CN202010423706.4A CN111666832B (zh) 2018-07-27 2018-07-27 一种检测方法及装置、一种计算设备及存储介质
TW108117455A TWI694400B (zh) 2018-07-27 2019-05-21 檢測方法及裝置、電腦設備及儲存媒體
PCT/CN2019/094866 WO2020019966A1 (zh) 2018-07-27 2019-07-05 一种检测方法及装置、一种计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810840451.4A CN109190469B (zh) 2018-07-27 2018-07-27 一种检测方法及装置、一种计算设备及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010423706.4A Division CN111666832B (zh) 2018-07-27 2018-07-27 一种检测方法及装置、一种计算设备及存储介质

Publications (2)

Publication Number Publication Date
CN109190469A CN109190469A (zh) 2019-01-11
CN109190469B true CN109190469B (zh) 2020-06-23

Family

ID=64937249

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010423706.4A Active CN111666832B (zh) 2018-07-27 2018-07-27 一种检测方法及装置、一种计算设备及存储介质
CN201810840451.4A Active CN109190469B (zh) 2018-07-27 2018-07-27 一种检测方法及装置、一种计算设备及存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010423706.4A Active CN111666832B (zh) 2018-07-27 2018-07-27 一种检测方法及装置、一种计算设备及存储介质

Country Status (3)

Country Link
CN (2) CN111666832B (zh)
TW (1) TWI694400B (zh)
WO (1) WO2020019966A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666832B (zh) * 2018-07-27 2023-10-31 创新先进技术有限公司 一种检测方法及装置、一种计算设备及存储介质
CN109871811A (zh) * 2019-02-22 2019-06-11 中控智慧科技股份有限公司 一种基于图像的活体目标检测方法、装置及系统
CN110263615A (zh) * 2019-04-29 2019-09-20 阿里巴巴集团控股有限公司 车辆拍摄中的交互处理方法、装置、设备及客户端
CN110221273B (zh) * 2019-05-09 2021-07-06 奥比中光科技集团股份有限公司 时间飞行深度相机及单频调制解调的距离测量方法
CN110221274B (zh) * 2019-05-09 2021-04-30 奥比中光科技集团股份有限公司 时间飞行深度相机及多频调制解调的距离测量方法
CN110146865B (zh) * 2019-05-31 2023-07-14 创新先进技术有限公司 用于雷达图像的目标识别方法及装置
CN110634136B (zh) * 2019-09-17 2022-09-13 北京华捷艾米科技有限公司 一种管道壁破损检测方法、装置及系统
CN110910628B (zh) * 2019-12-02 2021-02-12 支付宝(杭州)信息技术有限公司 车损图像拍摄的交互处理方法、装置、电子设备
TWI720891B (zh) * 2020-05-18 2021-03-01 聯詠科技股份有限公司 晶片封裝的檢測系統以及晶片封裝的檢測方法
CN113705285A (zh) * 2020-05-22 2021-11-26 珠海金山办公软件有限公司 主体识别方法、装置、及计算机可读存储介质
CN111666920B (zh) * 2020-06-24 2023-09-01 浙江大华技术股份有限公司 目标物品佩戴检测方法、装置、存储介质及电子装置
CN111918049B (zh) * 2020-08-14 2022-09-06 广东申义实业投资有限公司 三维成像的方法、装置、电子设备及存储介质
CN113159277B (zh) * 2021-03-09 2022-12-23 北京大学 目标检测方法、装置及设备
CN113191286B (zh) * 2021-05-08 2023-04-25 重庆紫光华山智安科技有限公司 图像数据质量检测调优方法、系统、设备及介质
CN113810605A (zh) * 2021-08-17 2021-12-17 阿里巴巴达摩院(杭州)科技有限公司 目标对象处理方法及装置
CN114025073B (zh) * 2021-11-18 2023-09-29 支付宝(杭州)信息技术有限公司 提取摄像头的硬件指纹的方法及装置
CN114098632B (zh) * 2022-01-27 2022-11-29 北京鹰瞳科技发展股份有限公司 用于对眼底相机中的马达进行控制的方法及其相关产品
CN116597182B (zh) * 2023-05-11 2024-04-19 中航信移动科技有限公司 一种传输物体信息的系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107222737A (zh) * 2017-07-26 2017-09-29 维沃移动通信有限公司 一种深度图像数据的处理方法及移动终端
CN108200337A (zh) * 2017-12-29 2018-06-22 广东欧珀移动通信有限公司 拍照处理的方法、装置、终端及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090036734A (ko) * 2007-10-10 2009-04-15 삼성전자주식회사 화상 통신단말기 및 그 화상 통신단말기의 화상카메라트래킹 방법
JP6025365B2 (ja) * 2012-04-04 2016-11-16 京セラ株式会社 較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法
CN102905076B (zh) * 2012-11-12 2016-08-24 深圳市维尚境界显示技术有限公司 一种3d立体拍摄智能控制的装置、系统及其方法
CN104658031B (zh) * 2015-03-06 2017-05-10 新维畅想数字科技（北京）有限公司 一种直接利用深度数据渲染三维图像的装置及方法
CN105208271A (zh) * 2015-09-21 2015-12-30 努比亚技术有限公司 拍摄角度提示方法和装置
JP2017069776A (ja) * 2015-09-30 2017-04-06 カシオ計算機株式会社 撮像装置、判定方法及びプログラム
CN105357442A (zh) * 2015-11-27 2016-02-24 小米科技有限责任公司 摄像头拍摄角度调整方法及装置
CN106127248A (zh) * 2016-06-24 2016-11-16 平安科技（深圳）有限公司 基于深度学习的车牌分类方法及系统
CN107886032B (zh) * 2016-09-30 2021-12-14 阿里巴巴集团控股有限公司 终端设备、智能手机、基于脸部识别的认证方法和系统
CN106954019A (zh) * 2017-02-27 2017-07-14 捷开通讯(深圳)有限公司 智能调整拍摄位置的方法及智能拍摄设备
CN107103593A (zh) * 2017-04-26 2017-08-29 广东小天才科技有限公司 图片拍摄优化方法及装置
CN107194323B (zh) * 2017-04-28 2020-07-03 阿里巴巴集团控股有限公司 车辆定损图像获取方法、装置、服务器和终端设备
CN107995486A (zh) * 2017-12-11 2018-05-04 珠海格力电器股份有限公司 一种摄像头校正方法及装置
CN108289169A (zh) * 2018-01-09 2018-07-17 北京小米移动软件有限公司 拍摄方法、装置、电子设备及存储介质
CN108174108A (zh) * 2018-03-08 2018-06-15 广州三星通信技术研究有限公司 在移动终端中调整拍照效果的方法和设备以及移动终端
CN111666832B (zh) * 2018-07-27 2023-10-31 创新先进技术有限公司 一种检测方法及装置、一种计算设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107222737A (zh) * 2017-07-26 2017-09-29 维沃移动通信有限公司 一种深度图像数据的处理方法及移动终端
CN108200337A (zh) * 2017-12-29 2018-06-22 广东欧珀移动通信有限公司 拍照处理的方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN111666832B (zh) 2023-10-31
TWI694400B (zh) 2020-05-21
TW202008276A (zh) 2020-02-16
WO2020019966A1 (zh) 2020-01-30
CN109190469A (zh) 2019-01-11
CN111666832A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN109190469B (zh) 一种检测方法及装置、一种计算设备及存储介质
CN107204012B (zh) 降低飞行时间深度成像的功耗
CN110248096B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN109271921B (zh) 一种多光谱成像的智能识别方法及系统
CN109089047A (zh) 控制对焦的方法和装置、存储介质、电子设备
CN108810413B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN103516988B (zh) 利用透镜移动的增强图像处理
CN103609102B (zh) 高分辨率多光谱图像捕捉
CN103998177B (zh) 激光焊接的焊接位置检测装置和焊接位置检测方法
CN110149482A (zh) 对焦方法、装置、电子设备和计算机可读存储介质
US20170059305A1 (en) Active illumination for enhanced depth map generation
CN110248097B (zh) 追焦方法、装置、终端设备、计算机可读存储介质
CN108370438A (zh) 范围选通的深度相机组件
WO2020081470A1 (en) Deep learning inference systems and methods for imaging systems
CN109934108B (zh) 一种多目标多种类的车辆检测和测距系统及实现方法
CN104023177A (zh) 摄像机控制方法、装置及摄像机
CN107113415A (zh) 用于多技术深度图获取和融合的方法和设备
CN110910628B (zh) 车损图像拍摄的交互处理方法、装置、电子设备
CN107172352A (zh) 对焦控制方法、装置、计算机可存储介质和移动终端
CN111161160B (zh) 一种雾天障碍物检测方法、装置、电子设备和存储介质
CN111598065A (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
CN109559353A (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN114556445A (zh) 物体识别方法、装置、可移动平台以及存储介质
CN115604575A (zh) 图像采集设备及图像采集方法
JP2022522375A (ja) 画像収集制御方法、装置、電子デバイス、記憶媒体及びコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40002645

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200922

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200922

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Patentee before: Alibaba Group Holding Ltd.