具体实施方式
下面结合附图,对本说明书提供的方案进行描述。
本说明书一个或多个实施例提供的用户拍摄意图的识别方法可以应用于如图1所示的车辆定损系统10中,图1中,车辆定损系统10可以包括:用户拍摄意图识别模块102和车辆损伤检测模块104。
用户拍摄意图识别模块102用于获取数据采集者(包括C端用户以及保险公司的定损人员等)通过拍摄设备所拍摄的一系列的车辆的拍摄图像。在本说明书中,上述一系列的拍摄图像也可以称为一组拍摄图像。该一组拍摄图像可以与一个案件相对应。需要说明的是,上述一组拍摄图像通常具有连续性,具有连续性的拍摄图像之间可以具有重合(overlap)区域。在获取到上述一组拍摄图像之后,可以确定拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息。对各幅拍摄图像中的车辆的部件进行检测,得到各幅拍摄图像的部件检测结果。最后,根据拍摄设备在拍摄各幅拍摄图像时的位置信息、姿态信息以及部件检测结果,识别各幅拍摄图像的拍摄意图。
车辆损伤检测模块104用于根据各幅拍摄图像以及各幅拍摄图像的拍摄意图,确定车辆的损伤检测结果。在一种实现方式中,可以将各幅拍摄图像的拍摄意图显示的作为权重,来调整基于各幅拍摄图像所确定的车辆的初始损伤检测结果。在另一种实现方式中,也可以将各幅拍摄图像以及各幅拍摄图像的拍摄意图输入损伤检测模型,以确定车辆的损伤检测结果。在再一种实现方式中,也可以基于各幅拍摄图像的拍摄意图等信息,筛选关键拍摄图像。之后基于关键拍摄图像,确定车辆的损伤检测结果。
本说明书提供的车辆损伤检测模块104基于拍摄图像的拍摄意图,来对车辆的损伤进行检测时,可以提高损伤检测结果的准确性。此外,车辆损伤检测模块104在基于关键拍摄图像,对车辆的损伤进行检测时,可以节省计算资源,提升车辆定损系统10的定损效率。
应理解,图1所示的车辆定损系统10只是示意性地,根据本说明书实施例的系统不限于图1所示的结构。例如,图1中还可以包括分流模块等,本说明书对此不作限定。
图2为本说明书一个实施例提供的用户拍摄意图的识别方法流程图。所述方法的执行主体可以为具有处理能力的设备:服务器或者系统或者模块,如,可以为图1中的用户拍摄意图识别模块102。如图2所示,所述方法具体可以包括:
步骤202,获取一组车辆的拍摄图像。
该一组拍摄图像可以是由数据采集者(包括C端用户以及保险公司的定损人员等)通过拍摄设备在拍摄车辆的损伤部位时所获得的。由于车辆的损伤部位可能有多处,因此数据采集者在拍摄过程中,可能会移动拍摄设备的位置或者改变拍摄设备的姿态,从而上述一组拍摄图像中的各幅拍摄图像具有连续性。需要说明的是,具有连续性的拍摄图像之间可以具有重合(overlap)区域。在本说明书中,一组拍摄图像可以包括至少两幅拍摄图像。
步骤204,确定拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息。
在本说明书中,拍摄设备的位置信息可以是指拍摄设备在三维空间的三维坐标,而拍摄设备的姿态信息可以是指拍摄设备的旋转角度等信息。
在一种实现方式中,可以按照两两组合的方式,确定上述位置信息和姿态信息。此处的一个组合的拍摄图像之间可以具有重合区域。在一个例子中,上述位置信息以及姿态信息的确定方法可以如图3所示。图3中,该确定方法可以包括如下步骤:
步骤302,从一组拍摄图像中选取两幅具有重合区域的拍摄图像。
此处的两幅拍摄图像可以构成上述一个组合。需要说明的是,该两幅拍摄图像可以相邻,如,第1幅图像和第2幅图像;也可以不相邻,如,第1幅图像和第3幅图像,只要该两幅拍摄图像之间具有重合区域即可。
步骤304,分别在该两幅拍摄图像上提取关键点。
此处的关键点在拍摄图像中可以具有对应的位置信息,如,二维坐标:(x,y)。此外,上述关键点可以与某个实物(如,车轮)相对应,从而其可以具有视觉特征信息,如,颜色、纹理以及角度等。
步骤306,将两幅拍摄图像上的关键点进行特征匹配,从而得到多组匹配成功的目标关键点。
上述特征匹配可以是指将分别位于两幅拍摄图像上的两个关键点的视觉特征信息进行比对。可以理解的是,匹配成功的一组目标关键点可以是指所对应的实物相同的两个关键点。
当有两两匹配成功的目标关键点为多组时,可以形成多组目标关键点。
步骤308,根据该多组目标关键点在两幅拍摄图像中的位置信息,确定两幅拍摄图像之间的变换关系。
此处的变换关系例如可以为:“从左向右移动”、“向左旋转××度”以及“向右旋转××度”等等。在一个例子中,可以通过将各个组中的两个目标关键点分别在两幅拍摄图像上的二维坐标进行比较,来确定所对应实物的位置变化情况。如果所对应实物从一幅图像的中间位置移动到另一幅图像的左边位置,则两幅拍摄图像之间的变换关系可以是:“从左向右移动”。
步骤310,根据位置信息以及变换关系,预估该多组目标关键点在三维空间中的位置信息。
此处,可以是结合双目定位算法或者三维重建算法,来预估该多组目标关键点在三维空间中的位置信息。需要说明的是,目标关键点在三维空间的位置信息即为其所对应实物的位置信息。由于一个组中的两个目标关键点所对应的实物相同,从而该两个目标关键点在三维空间中的位置信息相同。在一个例子中,一组目标关键点在三维空间中的位置信息可以表示为:三维坐标:(x,y,z)。
步骤312,对该多组目标关键点在每幅拍摄图像中的位置信息以及在三维空间中的位置信息进行重投影计算,以确定拍摄设备在拍摄该两幅拍摄图像时的位置信息以及姿态信息。
如,可以先对多组目标关键点在一幅拍摄图像中的位置信息以及在三维空间中的位置信息进行重投影计算,以确定拍摄设备在拍摄该一幅拍摄图像时的位置信息以及姿态信息;之后,再依据上述方法,确定拍摄设备在拍摄另一幅拍摄图像时的位置信息以及姿态信息。
重复执行上述步骤302-步骤312,直至确定拍摄设备在拍摄各幅拍摄图像时的位置信息以及姿态信息。
回到图2中,图2还可以包括如下步骤:
步骤206,对各幅拍摄图像中的车辆的部件进行检测,从而得到各幅拍摄图像的部件检测结果。
具体地,可以是根据目标检测算法,来对各幅拍摄图像中的车辆的部件进行检测。此处的目标检测算法可以包括但不限于快速的(Faster)-基于区域的卷积神经网络(Region-based Convolutional Neural Network,RCNN),基于区域的全卷积网络(Region-based Fully Convolutional Network,RFCN),单次多边界框检测器(Single ShotMultiBox Detector,SSD)以及YOLO等。
步骤208,将位置信息、姿态信息以及部件检测结果输入用户拍摄意图识别模型,以识别各幅拍摄图像的拍摄意图。
此处的用户拍摄意图识别模型可以是根据拍摄设备在拍摄多组拍摄图像时的运动轨迹以及多组拍摄图像的部件检测结果,对机器学习算法进行训练后得到的。其中,拍摄设备拍摄一组拍摄图像时的运动轨迹可以是指该拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息所组合成的一个序列。
需要说明的是,用户拍摄意图识别模型识别用户拍摄意图的原理可以解释如下:首先基于拍摄设备的运动轨迹,可以确定拍摄设备的运动情况,如,向后移动1米等。之后,结合拍摄图像中的部件检测结果,就可以得到如下的拍摄意图:“靠近车门”、“远离右后轮胎”以及“在车头保持稳定”等等。
当然,在实际应用中,在识别到用户的拍摄意图之后,还可以进一步结合拍摄设备的运动轨迹,对其进行扩展。如,扩展后的用户的拍摄意图可以为:“先拍摄整车图,再拍摄部件图,最后拍摄损伤细节图”等。可以理解的是,扩展后的用户的拍摄意图通常是相对于多幅拍摄图像而言的。
综上,本说明书上述实施例通过预先构建的用户拍摄意图识别模型,可以快速而准确地对用户的拍摄意图进行识别。
需要说明的是,在识别到各幅拍摄图像的拍摄意图之后,可以基于上述拍摄意图,对车辆的损伤进行检测,从而可以提高损伤检测结果的准确性。
图4为本说明书提供的一种车辆的损伤检测方法流程图。如图4所示,该方法可以包括如下步骤:
步骤402至步骤408与步骤202-步骤208相同。
步骤410,根据各幅拍摄图像以及各幅拍摄图像的拍摄意图,确定车辆的损伤检测结果。
在一种实现方式中,车辆的损伤检测结果的确定过程可以为:将各幅拍摄图像输入损伤检测模型,以获取与各幅拍摄图像所对应的初始损伤检测结果。根据各幅拍摄图像的拍摄意图,确定对应的初始损伤检测结果的权重。根据初始损伤检测结果以及对应的权重,确定车辆的损伤检测结果。
举例来说,当识别到用户的拍摄意图为:针对某一特定部件反复从不同位置和角度近距离拍摄时,该部件上具有损伤的概率往往较大,因此可以对该部件上的损伤检测结果赋予较大的权重。反之,当识别到用户的拍摄意图为:从某一位置移动到相对较远的另一位置,然后停留下来进行细节图像拍摄时,通常是在拍摄一处新的损伤,也可以对此时得到的损伤检测结果赋予较大权重。而在运动过程中拍摄的图像则可能不包含损伤,如果从这些拍摄图像上检测到了损伤,很有可能属于误检,可以降低对应的权重。
总之,通过结合上述权重,可以得到更精确的损伤检测结果。
在另一种实现方式中,车辆的损伤检测结果的确定过程可以为:将各幅拍摄图像以及各幅拍摄图像的拍摄意图输入损伤检测模型,以确定车辆的损伤检测结果。需要说明的是,此处的拍摄图像以及拍摄意图是作为特征输入到损伤检测模型的。
需要说明的是,本说明书中的损伤检测模型可基于输入的拍摄图像,输出对应的车辆的损伤检测结果。其可通过使用大量经标定的包括损伤的拍摄图像训练获得。此外,本说明书确定的损伤检测结果可以包括以下至少一项信息:损伤部件、损伤位置、损伤类型、以及损伤程度等。
本说明书上述实施例通过将用户的拍摄意图显示的作为权重或者作为特征输入到损伤检测模型的方式,可以提高损伤检测结果的准确性。
图5为本说明书提供的另一种车辆的损伤检测方法流程图。如图5所示,该方法可以包括如下步骤:
步骤502至步骤508与步骤202-步骤208相同。
步骤510,根据预定义的筛选规则以及各幅拍摄图像的拍摄意图,对各幅拍摄图像进行筛选,从而得到关键拍摄图像。
此处,预定义的筛选规则可以为:“反复从多个不同距离和角度拍摄同一部件的图像”或者“经过一段移动后,稳定相机拍摄细节的图像”等。具体地,可以判断各幅拍摄图像的拍摄意图是否满足上述规则,若满足,则可以筛选为关键拍摄图像;若不满足,则可以忽略该拍摄图像。如,可以筛选被判别为“拍摄者正在拍摄损伤”的概率较大的拍摄图像为关键拍摄图像,而忽略被判别为“拍摄者正在拍摄损伤”的概率较小的拍摄图像。
可以理解的是,通常满足上述规则的拍摄图像有很大可能是数据采集者在拍摄车辆的损伤。
在其它实施方式,也可以将各幅拍摄图像和/或各幅拍摄图像的拍摄意图和/或视觉特征和/或部件检测结果输入机器学习模型,以筛选关键拍摄图像。
步骤512,将关键拍摄图像输入损伤检测模型,以确定车辆的损伤检测结果。
本说明书上述实施例通过筛选关键拍摄图像,并将关键拍摄图像输入损伤识别模型的方式,可以避免处理大量无效数据,从而可以节省计算资源,还可以提升车辆的损伤检测效率。
与上述用户拍摄意图的识别方法对应地,本说明书一个实施例还提供的一种用户拍摄意图的识别装置,如图6所示,该装置可以包括:
获取单元602,用于获取一组车辆的拍摄图像。该一组拍摄图像中包括至少两幅拍摄图像。
确定单元604,用于确定拍摄设备在拍摄获取单元602获取的一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息。
检测单元606,用于对获取单元602获取的各幅拍摄图像中的车辆的部件进行检测,从而得到各幅拍摄图像的部件检测结果。
识别单元608,用于将确定单元604确定的位置信息、姿态信息以及检测单元606检测到的部件检测结果输入用户拍摄意图识别模型,以识别各幅拍摄图像的拍摄意图。
上述用户拍摄意图识别模型是根据拍摄设备在拍摄多组拍摄图像时的运动轨迹以及多组拍摄图像的部件检测结果,对机器学习算法进行训练后得到的。其中,拍摄设备拍摄一组拍摄图像时的运动轨迹是根据该拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息确定的。
确定单元604具体可以用于:
从一组拍摄图像中选取两幅具有重合区域的拍摄图像。
分别在该两幅拍摄图像上提取关键点。
将两幅拍摄图像上的关键点进行特征匹配,从而得到多组匹配成功的目标关键点。
根据该多组目标关键点在两幅拍摄图像中的位置信息,确定拍摄设备在拍摄两幅拍摄图像时的位置信息以及姿态信息。
重复执行上述各步骤,直至确定拍摄设备在拍摄各幅拍摄图像时的位置信息以及姿态信息。
确定单元604还具体可以用于:
根据该多组目标关键点在两幅拍摄图像中的位置信息,确定两幅拍摄图像之间的变换关系。
根据位置信息以及变换关系,预估该多组目标关键点在三维空间中的位置信息。
对该多组目标关键点在每幅拍摄图像中的位置信息以及在三维空间中的位置信息进行重投影计算,以确定拍摄设备在拍摄两幅拍摄图像时的位置信息以及姿态信息。
可选地,确定单元604,还用于根据各幅拍摄图像以及各幅拍摄图像的拍摄意图,确定车辆的损伤检测结果。
确定单元604具体可以用于:
将各幅拍摄图像输入损伤检测模型,以获取与各幅拍摄图像所对应的初始损伤检测结果。
根据各幅拍摄图像的拍摄意图,确定对应的初始损伤检测结果的权重。
根据初始损伤检测结果以及对应的权重,确定车辆的损伤检测结果。
可选地,确定单元604还具体可以用于:
将各幅拍摄图像以及各幅拍摄图像的拍摄意图输入损伤检测模型,以确定车辆的损伤检测结果。
可选地,该装置还可以包括:
第一筛选单元610,用于根据预定义的筛选规则以及各幅拍摄图像的拍摄意图,对各幅拍摄图像进行筛选,从而得到关键拍摄图像。
确定单元604,还用于将第一筛选单元610筛选的关键拍摄图像输入损伤检测模型,以确定车辆的损伤检测结果。
可选地,该装置还可以包括:
第二筛选单元612,用于将各幅拍摄图像和/或各幅拍摄图像的拍摄意图和/或视觉特征和/或部件检测结果输入机器学习模型,以筛选关键拍摄图像。
确定单元604,还用于将第二筛选单元612筛选的关键拍摄图像输入损伤检测模型,以确定车辆的损伤检测结果。
本说明书上述实施例装置的各功能模块的功能,可以通过上述方法实施例的各步骤来实现,因此,本说明书一个实施例提供的装置的具体工作过程,在此不复赘述。
本说明书一个实施例提供的用户拍摄意图的识别装置,获取单元602获取一组车辆的拍摄图像。确定单元604确定拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息。检测单元606对各幅拍摄图像中的车辆的部件进行检测,从而得到各幅拍摄图像的部件检测结果。识别单元608将位置信息、姿态信息以及部件检测结果输入用户拍摄意图识别模型,以识别各幅拍摄图像的拍摄意图。由此,可以实现对用户拍摄意图的识别。
本说明书一个实施例提供的用户拍摄意图的识别装置可以为图1中用户拍摄意图识别模块102的一个子模块或者子单元。
与上述用户拍摄意图的识别方法对应地,本说明书一个实施例还提供的一种用户拍摄意图的识别设备,如图7所示,该设备可以包括:存储器702、一个或多个处理器704以及一个或多个程序。其中,该一个或多个程序存储在存储器702中,并且被配置成由一个或多个处理器704执行,该程序被处理器704执行时实现以下步骤:
获取一组车辆的拍摄图像。该一组拍摄图像中包括至少两幅拍摄图像。
确定拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息。
对各幅拍摄图像中的车辆的部件进行检测,从而得到各幅拍摄图像的部件检测结果。
将位置信息、姿态信息以及部件检测结果输入用户拍摄意图识别模型,以识别各幅拍摄图像的拍摄意图。
本说明书一个实施例提供的用户拍摄意图的识别设备,可以实现对用户拍摄意图的识别。
需要说明的是,图7示出的是本说明书实施例提供的用户拍摄意图的识别设备为服务器的例子。在实际应用中,该设备也可以为终端,本说明书对此不作限定。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
结合本说明书公开内容所描述的方法或者算法的步骤可以硬件的方式来实现,也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外,该ASIC可以位于服务器中。当然,处理器和存储介质也可以作为分立组件存在于服务器中。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述的具体实施方式,对本说明书的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本说明书的具体实施方式而已,并不用于限定本说明书的保护范围,凡在本说明书的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本说明书的保护范围之内。