一种检测方法及装置、一种计算设备及存储介质
技术领域
本申请涉及计算机技术领域,特别涉及一种检测方法及装置、一种计算设备及存储介质。
背景技术
在车险行业,车主发生车辆事故提出理赔申请时,保险公司需要对车辆的损伤程度进行评估,以确定需要修复的项目清单以及赔付金额。目前的车险定损过程中最核心的依据材料是由定损员拍摄的车辆受损图,因此车辆受损图的拍摄质量将直接影响最终的定损结果。
而目前总会因为车辆受损图拍摄角度不当,导致车辆损伤难以辨认或无法准确判定车辆损伤的程度,并且还会由于拍摄终端与车辆的损伤部位的拍摄距离不当,过近或过远,导致无法准确判定车辆损伤程度或无法辨认损伤部位。
发明内容
有鉴于此,本申请实施例提供了一种检测方法及装置、一种计算设备及存储介质,以解决现有技术中存在的技术缺陷。
本申请实施例公开了一种检测方法,包括:
a:获取拍摄终端经一次拍摄得到的同一待识别物体的第一图片和第二图片,其中,所述第一图片和所述第二图片的成像方式不同;
b:确定所述第一图片和所述第二图片中所述待识别物体的属性信息,其中,所述属性信息包括所述待识别物体在所述第一图片中的大小和位置信息以及所述待识别物体在所述第二图片中的大小和位置信息;
c:若所述第一图片和所述第二图片中所述待识别物体的属性信息不满足预设条件,则获取所述第一图片的第一位置参数和所述第二图片的第二位置参数,其中,所述第一位置参数包括基于所述第一图片获取的所述待识别物体与所述拍摄终端之间的拍摄距离和拍摄角度,所述第二位置参数包括基于所述第二图片获取的所述待识别物体与所述拍摄终端之间的拍摄距离和拍摄角度;
d:根据预先训练的融合模型获取所述第一图片、所述第一位置参数、所述第二图片和所述第二位置参数对应的调整参数;
e:基于所述调整参数指导所述拍摄终端移动并控制所述拍摄终端继续拍摄,并跳转至步骤a。
另一方面,本申请还提供了一种检测装置,包括:
图片获取模块,被配置为获取拍摄终端经一次拍摄得到的同一待识别物体的第一图片和第二图片,其中,所述第一图片和所述第二图片的成像方式不同;
确定模块,被配置为确定所述第一图片和所述第二图片中所述待识别物体的属性信息,其中,所述属性信息包括所述待识别物体在所述第一图片中的大小和位置信息以及所述待识别物体在所述第二图片中的大小和位置信息;
判断模块,被配置为若所述第一图片和所述第二图片中所述待识别物体的属性信息不满足预设条件,则获取所述第一图片的第一位置参数和所述第二图片的第二位置参数,其中,所述第一位置参数包括基于所述第一图片获取的所述待识别物体与所述拍摄终端之间的拍摄距离和拍摄角度,所述第二位置参数包括基于所述第二图片获取的所述待识别物体与所述拍摄终端之间的拍摄距离和拍摄角度;
调整参数获取模块,被配置为根据预先训练的融合模型获取所述第一图片、所述第一位置参数、所述第二图片和所述第二位置参数对应的调整参数;
指导模块,被配置为基于所述调整参数指导所述拍摄终端移动并控制所述拍摄终端继续拍摄,并跳转执行图片获取模块。
另一方面,本申请还提供了一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现所述检测方法的步骤。
另一方面,本申请还提供了一种计算机可读存储介质,其存储有计算机指令,该程序被处理器执行时实现所述检测方法的步骤。
本申请提供的一种检测方法及装置、一种计算设备及存储介质,其中所述方法包括获取拍摄终端经一次拍摄得到的同一待识别物体的第一图片和第二图片,确定所述第一图片和所述第二图片中所述待识别物体的属性信息,若所述第一图片和所述第二图片中所述待识别物体的属性信息不满足预设条件,则获取所述第一图片的第一位置参数和所述第二图片的第二位置参数,根据预先训练的融合模型获取所述第一图片、所述第一位置参数、所述第二图片和所述第二位置参数对应的调整参数,基于所述调整参数指导所述拍摄终端移动并控制所述拍摄终端继续拍摄。
附图说明
图1为本说明书一实施例提供的一种检测方法所应用的系统架构的示意图;
图2为本说明书一实施例提供的距离检测模型的生成方法流程图;
图3为本说明书一实施例提供的融合模型的生成方法流程图;
图4为本说明书一实施例提供的深度相机的光脉冲工作原始示意图;
图5为本说明书一实施例提供的深度可分离的卷积神经网络模型的结构示意图;
图6为本说明书一实施例提供的一种检测方法流程图;
图7为本说明书一实施例提供的一种检测方法流程图;
图8为本说明书一实施例提供的一种检测方法流程图;
图9为本说明书一实施例提供的一种检测装置的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先对本说明书一个或多个实施例中使用到的技术术语进行解释。
汽车保险定损:通过科学、系统的专业化检查、测试与勘测手段,对汽车碰撞与事故现场进行综合分析,运用车辆估损资料与维修数据,对车辆碰撞修复进行科学系统的估损定价。
深度相机:深度相机是指可以直接获取某场景中物体距离摄像头物理距离的相机。根据原理不同,深度相机主要有结构光、激光、飞行时间(TOF)扫描几种方式。目前使用较多的是TOF相机。
TOF相机:(Time of flight)翻译为“飞行时间”。其测距原理是通过给目标连续发送光脉冲,然后用传感器接收从物体返回的光,通过探测光脉冲的飞行(往返)时间得到目标物距离。TOF相机可以同时得到整幅图像的深度(距离)信息。
参见图1,本说明书一个或多个实施例提供了一种实现检测的系统架构图,包括网络104、训练样本集102、拍摄终端106和计算设备108。
所述计算设备108包括但不限于存储器110、处理器112、通信接口114以及总线116。
所述训练样本集102与所述网络104连接,所述网络104与所述拍摄终端106分别与所述通信接口114完成相互的通信。
所述处理器112、所述通信接口114和存储器110通过总线116完成相互间的通信。
所述训练样本集102,被配置为存储训练距离检测模型和融合模型的训练样本;
所述网络104,被配置为接收训练样本集102的训练样本训练距离检测模型和融合模型,并将训练好的距离检测模型和融合模型通过所述通信接口114存储至存储器110内等待调用;
所述拍摄终端106,被配置为拍摄图片,然后将拍摄的图片通过所述通信接口114存储至存储器110内等待调用;
所述通信接口114,被配置为接收所述网络104训练好的距离检测模型、融合模型和所述拍摄终端106拍摄的图片,然后通过总线116发送至存储器110进行存储;。
通信接口114使得计算设备108能够经由一个或多个网络通信。这些网络的示例包括局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。网络接口可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
存储器110,被配置为存储通信接口114通过总线116发送所述网络104训练好的距离检测模型、融合模型和所述拍摄终端106拍摄的图片以及存储在存储器110上并可在处理器112上运行的计算机指令。
处理器112,被配置为获取存储在存储器110的距离检测模型、融合模型和图片后,执行存储在存储器110上的计算机指令,实现检测方法的相关步骤。
计算设备108可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。
下面对于本说明书一个或多个实施例中涉及的距离检测模型的生成方法进行详细的说明。
参见图2,本说明书一个实施例公开了一种生成距离检测模型的方法,包括步骤202至步骤204。
步骤202:获取训练样本集,其中,所述训练样本集包含多组图片样本,每组所述图片样本包括目标物体的属性信息以及所述目标物体与拍摄终端之间的拍摄距离,所述属性信息包括所述目标物体在第一图片中的大小。
本说明书一个或多个实施例中,所述第一图片可以包括但不限于由深度相机拍摄的RGB彩色图片,所述第一图片中包含所述目标物体,所述目标物体的属性信息即所述目标物体占所述第一图片的大小或者位置信息等,实际应用中所述目标物体的属性信息还可以包括所述目标物体的形状和名称等。
对于所述第一图片中所述目标物体的识别可以通过现有的图像识别算法进行识别,也可以通过预先训练的部件检测模型识别。
其中,对于所述部件检测模型的训练包括以下步骤:
第一、获取训练样本集,其中,所述训练样本集包含多组图片样本,每组所述图片样本包括第一图片以及所述第一图片中目标物体的属性信息,所述属性信息包括所述目标物体在第一图片中的大小;
第二、通过所述训练样本集对部件检测模型进行训练,得到所述部件检测模型,所述部件检测模型使得所述第一图片与所述目标物体的属性信息相关联。
步骤204:通过所述训练样本集对距离检测模型进行训练,得到所述距离检测模型,所述距离检测模型使得所述属性信息与所述拍摄距离相关联。
在一个具体的应用场景中,以所述目标物体包括汽车车门划痕为例,若所述第一图片为含有划痕的彩色图片,则可以通过所述部件检测模型得出划痕在彩色图片中的大小、位置信息、形状和/或名称,然后根据划痕在彩色图片中的大小通过所述距离检测模型可以得出划痕与拍摄终端的拍摄距离或者是根据划痕与拍摄终端的拍摄距离得出划痕在彩色图片中的大小。
本说明书一个或多个实施例中,通过本说明书实施例的生成距离检测模型的方法,可以生成距离检测模型,并存储于服务器侧。
当然,距离检测模型可以根据具体的使用进行不断地更新,例如可以人为地获取前两年或前三年的图片样本,根据所述图片样本训练距离检测模型,并将训练后的距离检测模型更新存储;所述距离检测模型可以快速准确的识别出所述目标物体与拍摄终端的拍摄距离。
参见图3,本说明书一个实施例公开了一种生成融合模型的方法,包括步骤302至步骤304。
步骤302:获取训练样本集,其中,所述训练样本集包括多组历史位置参数样本,每组所述位置参数样本包括第一图片样本、所述第一图片样本对应的第一位置参数样本、所述第二图片样本和所述第二图片样本对应的第二位置参数样本以及调整参数样本。
本说明书一个或多个实施例中,所述第一图片样本和所述第二图片样本可以通过深度相机经一次拍摄得到,所述第一图片样本对应的第一位置参数样本可以通过预先训练的位置参数检测模型得到,所述第二图片样本对应的所述第二位置参数样本可以通过深度相机得到,所述深度相机可以包括但不限于TOF相机,TOF相机采用主动光探测,通常包括以下几个部分:照射单元、光学透镜、成像传感器、控制单元和计算单元等。
其中,所述照射单元需要对光源进行脉冲调制之后再进行发射,调制的光脉冲频率可以高达100MHz。因此,在图像拍摄过程中,光源会打开和关闭几千次,各个光脉冲只有几纳秒的时长。实际使用中,要实现精确测量,必须精确地控制光脉冲,使其具有完全相同的持续时间、上升时间和下降时间。一纳秒的偏差即可产生15cm的距离测量误差。照射光源都是采用人眼不可见的红外光源;
所述光学透镜用于汇聚反射光线,在光学传感器上成像。不过与普通光学镜头不同的是这里需要加一个带通滤光片来保证只有与照明光源波长相同的光才能进入。这样做的目的是抑制非相干光源减少噪声,同时防止感光传感器因外部光线干扰而过度曝光;
所述成像传感器是TOF相机的核心。该传感器结构比普通图像传感器更复杂,包含2个或者更多快门,用来在不同时间采样反射光线。因此,TOF芯片像素比一般图像传感器像素尺寸要大得多;
所述控制单元实现相机的电子控制单元触发的光脉冲序列与芯片电子快门的开/闭精确同步。它对传感器电荷执行读出和转换,并将它们引导至分析单元和数据接口;
所述计算单元可以记录精确的深度图。深度图通常是灰度图,其中的每个值代表光反射表面和相机之间的距离。为了得到更好的效果,通常会进行数据校准。
而TOF相机的测距原理包括:照射光源一般采用方波脉冲调制,这是因为它用数字电路来实现相对容易。深度相机的每个像素都是由一个感光单元(如光电二极管)组成,它可以将入射光转换为电流,感光单元连接着多个高频转换开关(参见图4的G1,G2)可以把电流导入不同的可以储存电荷(参见图4的S1,S2)的电容里。
TOF相机上的控制单元打开光源然后再关闭,发出一个光脉冲。在同一时刻,控制单元打开和关闭芯片上的电子快门。由光脉冲以这种方式产生的电荷S0存储在感光单元上。然后,控制单元第二次打开并关闭光源,这次快门打开时间较晚,即在光源被关闭的时间点打开,现在生成的电荷S1也被存储在感光单元上。因为单个光脉冲的持续时间非常短,此过程会重复几千次,直到达到曝光时间。然后成像传感器中的值会被读出,实际距离可以根据这些值来计算。
例如记光的速度为c,tp为光脉冲的持续时间,S0表示较早的快门收集的电荷,S1表示延迟的快门收集的电荷,那么距离d可以由如下公式计算:
最小的可测量距离为:在较早的快门期间S0中收集了所有的电荷,而在延迟的快门期间S1没有收集到电荷,即S1=0。代入公式会得出最小可测量距离d=0。
最大的可测量的距离为:在S1中收集了所有电荷,而在S0中根本没有收集到电荷。然后,该公式得出d=0.5x c×tp。因此最大可测量距离是通过光脉冲宽度来确定的。例如,tp=50ns,代入上式,得到最大测量距离d=7.5m。
TOF相机内部每个像素经过上述过程都可以得到一个对应的距离,所有的像素点测量的距离就构成了一幅深度图。
所述深度图其实是一张灰度图,它是一张三维的图,水平垂直坐标对应像素位置,该位置的灰度值对应的是该像素距离摄像头的距离。所以深度图中的每个像素可以表示空间中一个点的三维坐标,所以深度图中的每个像素也称为体像素(voxel)。
步骤304:通过所述训练样本集对融合模型进行训练,得到所述融合模型,所述融合模型使得第一图片样本、所述第一图片样本对应的第一位置参数样本、所述第二图片样本、所述第二图片样本对应的第二位置参数样本与所述调整参数样本相关联。
本说明书一个或多个实施例中,所述第一位置参数样本和所述第二位置参数样本均包括目标物体与拍摄终端之间的距离和角度。
在一个具体的应用场景中,以目标物体为汽车划痕,拍摄终端为深度相机为例,所述第一位置参数样本包括通过预先训练的位置参数检测模型获得的汽车划痕与拍摄终端之间的距离和角度,所述第二位置参数样本包括通过深度相机获得的汽车划痕与拍摄终端之间的距离和角度,将所述第一图片样本、所述第一位置参数样本、所述第二图片样本和所述第二位置参数样本输入所述融合模型中,得出所述调整参数样本,可以实时指导拍摄终端与汽车划痕之间的距离和角度。
本说明书一个或多个实施例中,通过本说明书实施例的生成融合模型的方法,可以生成融合模型,并存储于服务器侧。
参见图5,本发明一个或多个实施例中,融合模型可以为基于深度可分离的卷积构建的轻量级深层神经网络。
其中,将深度图片、彩色图片作为图像输入所述轻量级深层神经网络,所述深度图片的位置参数以及所述彩色图片的位置参数以参数形式输入所述轻量级深层神经网络。首先对所述深度图片和所述彩色图片进行下采样等综合处理后,得到图像输入层A,将所述图像输入层A输入所述轻量级深层神经网络中,所述轻量级深层神经网络有3个卷积层,分别为B、C、D层,卷积层用来进行特征提取,其中,B的卷积核为5*5*64、C的卷积核为2*2*64、D的卷积核为5*5*64,3个卷积层之后连接着池化层E,所述池化层E采用2*2的filter,池化操作一般有两种,一种是Avy Pooling,一种是max Pooling,所述池化层对输入的特征图进行压缩,一方面使特征图变小,简化网络计算复杂度;一方面进行特征压缩,提取主要特征;所述池化层E顺次连接了两个全连接层,分别为F层和G层,全连接层中的每个神经元与其前一层的所有神经元进行全连接,全连接层F层可以整合池化层E中具有类别区分性的局部信息,全连接层G层可以看成全连接层F层的每一个结点乘以一个权重系数,最后加上一个偏置值得到,所述全连接层G层的输出值被传递给最后一层softmax输出层H,所述输出层H输出最终的计算结果。
实际应用中,所述深度图片的位置参数包括基于所述深度图片获取的目标物体与拍摄终端之间的拍摄距离和拍摄角度,所述彩色图片的位置参数包括基于所述彩色图片获取的目标物体与拍摄终端之间的拍摄距离和拍摄角度;所述输出层H输出的计算结果包括指导拍摄终端拍摄的调整参数。
所述融合模型包括但不限于MobileNets。MobileNets是基于一个流线型的架构,使用深度可分离的卷积来构建轻量级的深层神经网络。通过引入的全局超参数,在延迟度和准确度之间有效地进行平衡。超参数允许模型构建者根据问题的约束条件,为其应用选择合适大小的模型。与ImageNet分类上的其他流行的网络模型相比,MobileNets表现出很强的性能。MobileNets在广泛的应用场景中的验证了有效性,包括物体检测,细粒度分类,人脸属性和大规模地理定位。
本说明书一个或多个实施例中,所述融合模型采用了移动端的深度学习模型,在确保准确率的情况下保证了模型计算的效率,在移动端的低端机型中也能做到实时计算反馈,可提供较好的用户体验。
参见图6,本说明书一个实施例公开了一种检测方法,包括步骤602至步骤610。
步骤602:获取拍摄终端经一次拍摄得到的同一待识别物体的第一图片和第二图片,其中,所述第一图片和所述第二图片的成像方式不同。
本说明书一个或多个实施例中,所述拍摄终端包括至少两种成像方式,可以一次拍摄得到两种形式的图片,所述拍摄终端包括深度相机,所述深度相机包括但不限于TOF深度相机或双目深度相机,所述深度相机一次拍摄可以同时得到一张深度图片和一张彩色图片。
本说明书一个或多个实施例中,所述第一图片包括彩色图片,所述第二图片包括深度图片。所述第一图片包括奖所述深度相机拍摄的待识别部位的视频按照预设频率进行截帧后得到的图片。
所述待识别物体包括但不限于车辆受损部位,例如汽车车门划痕、破裂的车灯、被撞凹陷的车身和有裂痕的车玻璃等。
获取拍摄终端同一位置拍摄的含有同一待识别物体的第一图片和第二图片,即获取深度相机在同一位置经一次拍摄的含有车辆受损部位的彩色图片和深度图片。
步骤604:确定所述第一图片和所述第二图片中所述待识别物体的属性信息,其中,所述属性信息包括所述待识别物体在所述第一图片中的大小和位置信息以及所述待识别物体在所述第二图片中的大小和位置信息。
本说明书一个或多个实施例中,可以通过现有技术中的图像识别算法识别所述第一图片和所述第二图片中所述待识别物体的属性信息,也可以通过上述预先训练的部件检测模型得出所述第一图片和所述第二图片中所述待识别物体的属性信息,其中所述属性信息包括但不限于所述待识别物体在所述第一图片中的大小和位置信息以及所述待识别物体在所述第二图片中的大小和位置信息,所述位置信息包括但不限于位置坐标。
此外,获取拍摄终端同一位置拍摄的含有同一待识别物体的第一图片和第二图片之后,还包括:
通过图像识别方法识别所述第一图片和所述第二图片中待识别物体的名称;或者
通过预先训练的部件检测模型得出所述第一图片和所述第二图片中待识别物体的名称。
本说明书一个或多个实施例中,以所述待识别物体为车辆的受损车灯为例进行说明,首先通过现有技术的图像识别算法或预先训练的部件检测模型识别出所述待识别物体的名称为车灯;然后确定所述第一图片和所述第二图片中所述待识别物体的属性信息,即通过现有技术的图像识别算法识别车辆的受损车灯在彩色图片中的大小和位置信息以及车辆的受损车灯在深度图片中的大小和位置信息。
步骤606:若所述第一图片和所述第二图片中所述待识别物体的属性信息不满足预设条件,则获取所述第一图片的第一位置参数和所述第二图片的第二位置参数,其中,所述第一位置参数包括基于所述第一图片获取的所述待识别物体与所述拍摄终端之间的拍摄距离和拍摄角度,所述第二位置参数包括基于所述第二图片获取的所述待识别物体与所述拍摄终端之间的拍摄距离和拍摄角度。
本说明书一个或多个实施例中,所述第一图片和所述第二图片中所述待识别物体的属性信息不满足预设条件包括:
所述待识别物体在所述第一图片中的大小和位置信息与预设的待识别物体在所述第一图片中的大小和位置信息的匹配度不满足第一阈值,或者所述待识别物体在所述第二图片中的大小和位置信息与预设的待识别物体在所述第二图片中的大小和位置信息的匹配度不满足第二阈值。
以所述待识别物体为车辆受损的车灯、第一阈值为80%、第二阈值为75%为例进行说明,若车辆受损的车灯在所述第一图片中的大小为8cm2,预设的车辆受损的车灯在所述第一图片中的大小为6cm2,位置信息一致,计算出的所述车辆受损的车灯在所述第一图片中的大小和位置信息与预设的车辆受损的车灯在所述第一图片中的大小和位置信息的匹配度为75%,并且车辆受损的车灯在所述第二图片中的大小为7.9cm2,预设的车辆受损的车灯在所述第二图片中的大小为5.7cm2,位置信息一致,计算出的所述车辆受损的车灯在所述第二图片中的大小和位置信息与预设的车辆受损的车灯在所述第二图片中的大小和位置信息的匹配度为72.15%,则所述车辆受损的车灯在所述第一图片中的大小和位置信息与预设的车辆受损的车灯在所述第一图片中的大小和位置信息的匹配度75%不满足第一阈值80%,并且所述车辆受损的车灯在所述第二图片中的大小和位置信息与预设的车辆受损的车灯在所述第二图片中的大小和位置信息的匹配度72.15%不满足第二阈值75%。
本说明书一个或多个实施例中,获取所述第一图片的第一位置参数和所述第二图片的第二位置参数包括:
根据预先训练的位置参数检测模型获取第一图片的第一位置参数,并且通过所述拍摄终端获取所述第二图片的第二位置参数。
本说明书一个或多个实施例中,所述位置参数检测模型被配置为检测待识别物体与所述拍摄终端之间的拍摄距离和拍摄角度,所述位置参数检测模型包括检测待识别物体与所述拍摄终端之间的拍摄距离的距离检测模型和检测待识别物体与所述拍摄终端之间的拍摄角度的角度检测模型。
其中,所述距离检测模型的生成方法参见上述实施例,本申请对此不作赘述。
所述角度检测模型的生成方法包括:
获取训练样本集,其中,所述训练样本集包含多组角度样本,每组所述角度样本包括目标物体的属性信息、所述目标物体与拍摄终端之间的拍摄距离以及所述目标物体与拍摄终端之间的拍摄角度,所述属性信息包括所述目标物体在第一图片中的大小;
通过所述训练样本集对角度检测模型进行训练,得到所述角度检测模型,所述角度检测模型使得所述属性信息、所述拍摄距离与所述拍摄角度相关联。
步骤608:根据预先训练的融合模型获取所述第一图片、所述第一位置参数、所述第二图片和所述第二位置参数对应的调整参数。
本说明书一个或多个实施例中,对于所述融合模型的详细介绍参见上述实施例,本实施例对此不作赘述,所述融合模型可以通过线性回归算法生成。
步骤610:基于所述调整参数指导所述拍摄终端移动并控制所述拍摄终端继续拍摄,并跳转至步骤602。
本说明书一个或多个实施例中,所述调整参数用于指导所述拍摄终端向待识别物体向前、向后、向左或向右移动的角度和距离,所述拍摄终端移动并控制所述拍摄终端继续拍摄,获取拍摄终端同一位置拍摄的含有同一待识别物体的第一图片和第二图片,确定所述第一图片和所述第二图片中所述待识别物体的属性信息满足预设条件后结束拍摄。
本说明书一个或多个实施例中,基于所述调整参数指导所述拍摄终端移动并控制所述拍摄终端继续拍摄包括:
基于所述调整参数发出语音提示,所述拍摄终端根据所述语音提示移动;或者
基于所述调整参数形成指导箭头,所述拍摄终端根据所述指导箭头移动。
本说明书一个或多个实施例中,可以应用增强现实技术,使得所述拍摄终端发出语音提示或者在其显示界面显示虚拟的箭头指导所述拍摄终端移动,从而达到直观的效果。
本说明书一个或多个实施例提供的检测方法,通过深度相机及图像识别技术对待识别物体的拍摄情况进行实时判断、计算,并反馈计算结果到训练好的融合模型,指导拍摄终端调整拍摄方式,提高拍摄终端的拍摄质量,从而产生更准确的拍摄结果,本方法通过深度学习模型、图像处理技术,基于部件位置检测、距离检测、决策计算等方式,提供拍摄终端信息(距离、角度)实时反馈,用于纠正拍摄方式导致的图片问题,最终改善拍摄图片的拍摄质量,实际使用中,语音提示和箭头指示是实时得出的,可以使得拍摄终端的拍摄更加精准,响应速度更快,用户体验好。
参见图7,本说明书一个实施例公开了一种检测方法,包括步骤702至步骤706。
步骤702:获取拍摄终端经一次拍摄得到的同一待识别物体的第一图片和第二图片,其中,所述第一图片和所述第二图片的成像方式不同。
步骤704:确定所述第一图片和所述第二图片中所述待识别物体的属性信息,其中,所述属性信息包括所述待识别物体在所述第一图片中的大小和位置信息以及所述待识别物体在所述第二图片中的大小和位置信息。
步骤706:若所述第一图片中所述待识别物体的属性信息与预设的待识别物体的属性信息的匹配度满足第一阈值,并且所述第二图片中所述待识别物体的属性信息与预设的待识别物体的属性信息匹配度满足第二阈值,则结束拍摄。
本说明书一个或多个实施例中,仍以所述待识别物体为车辆受损的车灯、第一阈值为80%、第二阈值为75%为例进行说明,若车辆受损的车灯在所述第一图片中的大小为8cm2,预设的车辆受损的车灯在所述第一图片中的大小为9cm2,位置信息一致,计算出的所述车辆受损的车灯在所述第一图片中的大小和位置信息与预设的车辆受损的车灯在所述第一图片中的大小和位置信息的匹配度为88%,并且车辆受损的车灯在所述第二图片中的大小为8cm2,预设的车辆受损的车灯在所述第二图片中的大小为8.5cm2,位置信息一致,计算出的所述车辆受损的车灯在所述第二图片中的大小和位置信息与预设的车辆受损的车灯在所述第二图片中的大小和位置信息的匹配度为94.1%,则所述车辆受损的车灯在所述第一图片中的大小和位置信息与预设的车辆受损的车灯在所述第一图片中的大小和位置信息的匹配度88%满足第一阈值80%,并且所述车辆受损的车灯在所述第二图片中的大小和位置信息与预设的车辆受损的车灯在所述第二图片中的大小和位置信息的匹配度94.1%满足第二阈值75%。
此时结束拍摄,所述拍摄终端拍摄的图片满足预设的拍摄质量,实际应用中可以使用该拍摄图片用于对车辆受损车灯的定损。
本说明书一个或多个实施例提供的检测方法,通过深度相机对待识别物体的拍摄情况进行判断,并实时反馈判断结果,确定后续流程,避免造成资源浪费,提高用户体验。
参见图8,以拍摄终端为深度相机为例,将上述检测方法应用在对车辆的定损中,包括步骤802至步骤830。
步骤802:用户打开智能手机上安装的车辆定损APP。
步骤804:车辆定损App开启拍摄指引组件,所述拍摄指引组件预先给出拍摄指引。
本说明书一个或多个实施例中,所述拍摄指引组件为车辆定损App内的拍照模块。
所述拍摄指引包括车辆定损APP开启后给出的初始的拍摄指导参数,指导用户拍照。
步骤806:基于所述拍摄指引开启具有深度相机功能的手机摄像头。
步骤808:所述深度相机对车辆受损部位进行光脉冲发射。
步骤810:所述深度相机对车辆受损部位进行视频拍摄。
本说明书一个或多个实施例中,步骤808和步骤810可以同步进行,不区分先后顺序。
步骤812:对拍摄的车辆受损部位的视频进行截帧,获得按帧形成的图片。本说明书一个或多个实施例中,可以采用1秒2次的频率对拍摄的车辆受损部位的视频进行截帧,对于每一帧图片进行后续处理。
步骤814:获取截帧后的含有车辆受损部位的彩色图片。
步骤816:基于发射的光脉冲得到含有车辆受损部位的深度图片,并获取所述深度图片中车辆受损部位的大小和位置信息。
步骤818:识别所述彩色图片中的车辆受损部位的大小和位置信息。
本说明书一个或多个实施例中,步骤816和步骤818可以同步进行。
步骤820:判断所述车辆受损部位在彩色图片中的大小和位置信息与预设的车辆受损部位在彩色图片中的大小和位置信息的匹配度是否满足第一阈值,并且所述车辆受损部位在深度图片中的大小和位置信息与预设的车辆受损部位在深度图片中的大小和位置信息的匹配度是否满足第二阈值,若是,则执行步骤822,若否,则执行步骤824至步骤832。
步骤822:结束拍摄。
步骤824:采用上述的距离检测模型识别获取所述彩色图片的所述车辆受损部位与深度相机之间的第一拍摄距离,然后根据所述第一拍摄距离以及上述的角度检测模型获得所述受损部位与深度相机之间的的第一拍摄角度。
步骤826:基于深度相机获取所述深度图片的所述车辆受损部位与深度相机之间的第二拍摄距离和第二拍摄角度。
步骤828:根据上述预先训练的融合模型获取所述彩色图片、所述第一拍摄距离、第一拍摄角度、所述深度图片、所述第二拍摄距离和所述第二拍摄角度对应的调整参数。
步骤830:结果反馈。
本说明书一个或多个实施例中,将所述调整参数反馈给深度相机,通过所述深度相机发出语音提示或箭头指示,指导所述用户持所述手机前后左右移动并继续拍摄,直至满足预设条件结束。
该使用场景中可以应用增强现实技术,将虚拟的箭头提示信息和实际的场景预览信息叠加显示于手机显示屏中,从而达到直观的效果。
本说明书一个或多个实施例中,步骤808至步骤814与步骤816至步骤818采用并行链路分别执行。
本说明书一个或多个实施例中,定损APP的拍摄指引中结合激光测距及图形识别AI模型计算能力,首先计算拍摄距离、然后基于大数据模型算法将两种数据基于卷积神经网络或者其他算法做拟合并相互验证,做出更加精确的拍摄距离和角度,并指导用户调整拍摄方式,产出更优质的车辆损伤部位的定损图片。
参见图9,本说明书一个或多个实施例中提供了一种检测装置,包括:
图片获取模块902,被配置为获取拍摄终端经一次拍摄得到的同一待识别物体的第一图片和第二图片,其中,所述第一图片和所述第二图片的成像方式不同;
确定模块904,被配置为确定所述第一图片和所述第二图片中所述待识别物体的属性信息,其中,所述属性信息包括所述待识别物体在所述第一图片中的大小和位置信息以及所述待识别物体在所述第二图片中的大小和位置信息;
判断模块906,被配置为若所述第一图片和所述第二图片中所述待识别物体的属性信息不满足预设条件,则获取所述第一图片的第一位置参数和所述第二图片的第二位置参数,其中,所述第一位置参数包括基于所述第一图片获取的所述待识别物体与所述拍摄终端之间的拍摄距离和拍摄角度,所述第二位置参数包括基于所述第二图片获取的所述待识别物体与所述拍摄终端之间的拍摄距离和拍摄角度;
调整参数获取模块908,被配置为根据预先训练的融合模型获取所述第一图片、所述第一位置参数、所述第二图片和所述第二位置参数对应的调整参数;
指导模块910,被配置为基于所述调整参数指导所述拍摄终端移动并控制所述拍摄终端继续拍摄,并跳转执行图片获取模块902。
可选地,所述判断模块906被配置为:
若所述待识别物体在所述第一图片中的大小和位置信息与预设的待识别物体在所述第一图片中的大小和位置信息的匹配度不满足第一阈值,或者所述待识别物体在所述第二图片中的大小和位置信息与预设的待识别物体在所述第二图片中的大小和位置信息的匹配度不满足第二阈值,则根据预先训练的位置参数检测模型获取第一图片的第一位置参数,并且通过所述拍摄终端获取所述第二图片的第二位置参数。
可选地,所述位置参数检测模型被配置为检测待识别物体与所述拍摄终端之间的拍摄距离和拍摄角度。
可选地,所述位置参数检测模型包括检测待识别物体与所述拍摄终端之间的拍摄距离的距离检测模型和检测待识别物体与所述拍摄终端之间的拍摄角度的角度检测模型。
可选地,所述距离检测模型的生成装置包括:
第二获取子模块,被配置为获取训练样本集,其中,所述训练样本集包含多组图片样本,每组所述图片样本包括目标物体的属性信息以及所述目标物体与拍摄终端之间的拍摄距离,所述属性信息包括所述目标物体在第一图片中的大小;
第一训练子模块,被配置为通过所述训练样本集对距离检测模型进行训练,得到所述距离检测模型,所述距离检测模型使得所述属性信息与所述拍摄距离相关联。
可选地,所述角度检测模型的生成装置包括:
第三获取子模块,被配置为获取训练样本集,其中,所述训练样本集包含多组角度样本,每组所述角度样本包括目标物体的属性信息、所述目标物体与拍摄终端之间的拍摄距离以及所述目标物体与拍摄终端之间的拍摄角度,所述属性信息包括所述目标物体在第一图片中的大小;
第二训练子模块,被配置为通过所述训练样本集对角度检测模型进行训练,得到所述角度检测模型,所述角度检测模型使得所述属性信息、所述拍摄距离与所述拍摄角度相关联。
可选地,所述融合模型的生成装置包括:
第四获取子模块,被配置为获取训练样本集,其中,所述训练样本集包括多组历史位置参数样本,每组所述位置参数样本包括第一图片样本、所述第一图片样本对应的第一位置参数样本、所述第二图片样本和所述第二图片样本对应的第二位置参数样本以及调整参数样本;
第三训练子模块,被配置为通过所述训练样本集对融合模型进行训练,得到所述融合模型,所述融合模型使得第一图片样本、所述第一图片样本对应的第一位置参数样本、所述第二图片样本、所述第二图片样本对应的第二位置参数样本与所述调整参数样本相关联。
可选地,所述装置还包括:
结束模块,被配置为若所述第一图片中所述待识别物体的属性信息与预设的待识别物体的属性信息的匹配度满足第一阈值,并且所述第二图片中所述待识别物体的属性信息与预设的待识别物体的属性信息匹配度满足第二阈值,则结束拍摄。
可选地,所述指导模块910还被配置为:
基于所述调整参数发出语音提示,所述拍摄终端根据所述语音提示移动;或者
基于所述调整参数使得所述拍摄终端显示指导箭头,所述拍摄终端根据所述指导箭头移动。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现所述检测方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的检测方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述检测方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本申请实施例中所述支付涉及的技术载体,例如可以包括近场通信(Near FieldCommunication,NFC)、WIFI、3G/4G/5G、POS机刷卡技术、二维码扫码技术、条形码扫码技术、蓝牙、红外、短消息(Short Message Service,SMS)、多媒体消息(Multimedia MessageService,MMS)等。
所述计算机指令包括计算机指令代码,所述计算机指令代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机指令代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本申请的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。