CN115115611A - 车辆损伤识别方法、装置、电子设备和存储介质 - Google Patents
车辆损伤识别方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN115115611A CN115115611A CN202210864318.9A CN202210864318A CN115115611A CN 115115611 A CN115115611 A CN 115115611A CN 202210864318 A CN202210864318 A CN 202210864318A CN 115115611 A CN115115611 A CN 115115611A
- Authority
- CN
- China
- Prior art keywords
- image
- damage identification
- vehicle
- damage
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种车辆损伤识别方法和装置,该方法包括:将目标车辆的外观整体划分为预定的N个区块;根据预设的图像采集模型分别对N个区块中每个区块进行图像采集,以获得与N个区块对应的N个原始图像;对N个原始图像中的每个原始图像进行车件识别,以获得车件位置识别结果;根据预设的切割模型将N个原始图像中的每个原始图像切割为预定尺寸的M个子图像;分别对N个原始图像中的每个原始图像及其对应的M个子图像进行损伤识别,以获得损伤识别结果;以及将车件位置识别结果与损伤识别结果融合,以获得所述目标车辆的车件损伤结果。通过标准化的图像采集和图像前处理,减少图像采集次数并加快整个损伤识别的速度,提高了损伤识别的效率。
Description
技术领域
本发明涉及汽车后市场的人工智能领域,具体地,涉及一种基于深度学习的车辆损伤识别方法、装置、电子设备和存储介质。
背景技术
目前在汽车后市场领域,关于对车辆受损部位的鉴定与估损技术,主要应用于例如公司或具有鉴定或估损的第三方机构等。在进行定损时,估损人员通过手机拍摄上传车辆损伤部位的外观图片,而后系统自动识别受损部件及损伤类别,以此提升小额案件的定损理赔效率或对直观损伤做出大概的估损值。由此可见,目前汽车后市场上现有的技术均是对车辆直观可见的受损部位进行估损,并且具有一定的主观判定性,对损伤的定义也存在着歧义。而且,针对无法轻易判定也不易察觉的损伤还,尚未有解决方案来实现估损的过程。例如,在汽车租赁行业,客户将租赁车辆归还至租赁公司时,车辆外观有些损失通过肉眼无法轻易判定且不易察觉,因此,针对这类损失,需要提出新的技术手段来对这样的损失进行鉴定和估损。
再者,在现有技术的汽车损伤识别中,为了捕捉细小损伤,需要同时拍摄近距离的照片以及远距离的照片。其中,近距离的照片用于细节识别,远距离的照片用于车体位置识别。这样的图像采集以及识别过程虽然精确,但是需要使用者拍摄多张照片,影响使用体验跟时效,导致效率较低。
发明内容
鉴于以上情况而提出了本发明,并且本发明的目的是提供一种车辆损伤识别方法、装置、电子设备和存储介质,其利用端到端的标准化损伤识别流程,将车辆损伤识别从主观判定转换为科学客观的判断,减少了用户对于车辆专业知识的依赖,具备广泛的通用性和兼容性,并且提高了车辆细小损伤识别的识别效率。而且,本发明通过采用标准化的图像采集流程和图像前处理流程,能够在不影响辨识损伤的精度的前提下,减少图像采集次数并加快图像采集过程从而加快了整个损伤识别的速度,提高了损伤识别的效率。
根据本发明的第一方面,提供一种对目标车辆进行损伤识别的车辆损伤识别方法,所述方法包括:将所述目标车辆的外观整体划分为预定的N个区块,N为正整数;根据预设的图像采集模型分别对所述N个区块中每个区块进行图像采集,以获得与所述N个区块对应的N个原始图像;对所述N个原始图像中的每个原始图像进行车件识别,以获得车件位置识别结果;根据预设的切割模型将所述N个原始图像中的每个原始图像切割为预定尺寸的M个子图像,M为正整数;分别对所述N个原始图像中的每个原始图像及其对应的所述M个子图像进行损伤识别,以获得损伤识别结果;以及将所述车件位置识别结果与所述损伤识别结果融合,以获得所述目标车辆的车件损伤结果。
根据该实施例,能够获得如下技术效果:通过标准化损伤识别流程,将车辆损伤识别从主观判定转换为科学客观的判断,减少了用户对于车辆专业知识的依赖,具备广泛的通用性和兼容性,并且提高了车辆细小损伤识别的识别效率。此外,通过采用标准化的图像采集流程和图像前处理流程,能够在不影响辨识损伤的精度的前提下,减少图像采集次数并加快图像采集过程从而加快了整个损伤识别的速度,提高了损伤识别的效率。
作为一个实施例,所述图像采集模型可以包括:以预设的拍摄角度对所述目标车辆的所述N个区域分别进行图像采集,以获得横纵比均为a:b的所述N个原始图像。
根据该实施例,能够获得如下技术效果:能够以预定的拍摄角度对已经划分的各个区域进行图像采集,从而将采集到的原始图像标准化,因此,在不影响辨识损伤的精度的前提下,能够减少图像采集次数并加快图像采集过程。此外,还能够减少用户主观拍摄对于原始图像的影响,提高图像采集的应用效率,并且提高图像对车辆的车件覆盖率,进而提高损伤识别的效率。
作为一个实施例,所述切割模型可以包括:在所述N个原始图像中的每个原始图像中,在横向上对所述原始图像a等分,并且在纵向上对所述原始图像b等分,以获得a×b个所述子图像,其中,a×b=M。
根据该实施例,能够获得如下技术效果:能够利用预设的切割模型将获得的原始图像进行标准化的切割处理,从而获得大小相同的正方形子图像,使得切割出的图像大小基本符合训练图像的大小,避免了卷积中可能遇到的例如不变性隐式能力不佳等问题,并且无需进行尺寸调整等,从而不会改变图像的纵横比,进而保存了整个原始图像的所有原始特征。
作为一个实施例,分别对所述N个原始图像中的每个原始图像及其对应的所述M个子图像进行损伤识别,以获得损伤识别结果,可以包括:分别对所述N个原始图像中的每个原始图像进行损伤识别,以获得所述每个原始图像的整体损伤识别结果;分别对所述每个原始图像中的所述M个子图像进行损伤识别,以获得局部损伤识别结果;根据所述M个子图像中的每个子图像在其对应的所述原始图像中的位置,对所述局部损伤识别结果进行坐标变换,以将所述局部损伤识别结果的坐标从在所述子图像中的坐标变换为在对应的所述原始图像中的坐标,从而获得变换后局部损伤识别结果;以及将所述变换后局部损伤识别结果与所述整体损伤识别结果融合,从而获得所述损伤识别结果。
根据该实施例,能够获得如下技术效果:能够分别对原始图像和子图像进行损伤识别,从而提高了损伤识别的精度和准确度。
作为一个实施例,所述方法还可以包括:输出并显示所述车件损伤结果。
根据该实施例,能够获得如下技术效果:能够将显示结果直接显示给拍摄的用户,从而能够使用户在拍摄照片后的短时间内(基本可以控制在5分钟以内)即可获得车辆损伤结果的显示信息。
作为一个实施例,将所述目标车辆的外观整体划分为预定的N个区块,可以包括:将所述目标车辆的外观整体划分为14个区块,所述14个区块包括:所述目标车辆的前侧上部、前侧下部、左前部、右前部、左侧前部、右侧前部、左侧中部、右侧中部、左侧后部、右后侧部、左后部、右后部、后侧上部和后侧下部。
根据该实施例,能够获得如下技术效果:通过上述区域划分以及对上述划分后的区域的图像采集,能够让每个区域内的部件重复出现在多个采集的图像内,从而保证至少一张以上的图像能够侦测到损伤。因此,通过标准化的划分和图像采集,能够减少用户主观拍摄对于原始图像的影响,提高图像采集的应用效率,并且提高图像对车辆的车件覆盖率,进而提高损伤识别的效率。
根据本发明的第二方面,提供了一种用于对目标车辆进行损伤识别的车辆损伤识别装置,所述装置包括:划分模块,用于将所述目标车辆的外观整体划分为预定的N个区块,N为正整数;原始图像采集模块,用于根据预设的图像采集模型分别对所述N个区块中每个区块进行图像采集,以获得与所述N个区块对应的N个原始图像;车件位置识别模块,用于对所述N个原始图像中的每个原始图像进行车件识别,以获得车件位置识别结果;原始图像切割模块,用于根据预设的切割模型将所述N个原始图像中的每个原始图像切割为预定尺寸的M个子图像,M为正整数;损伤识别模块,用于分别对所述N个原始图像中的每个原始图像及其对应的所述M个子图像进行损伤识别,以获得损伤识别结果;以及车件损伤融合模块,用于将所述车件位置识别结果与所述损伤识别结果融合,以获得所述目标车辆的车件损伤结果。
作为一个实施例,所述图像采集模型可以包括:以预设的拍摄角度对所述目标车辆的所述N个区域分别进行图像采集,以获得横纵比均为a:b的所述N个原始图像。
作为一个实施例,所述切割模型可以包括:在所述N个原始图像中的每个原始图像中,在横向上对所述原始图像a等分,并且在纵向上对所述原始图像b等分,以获得a×b个所述子图像,其中,a×b=M。
作为一个实施例,所述损伤识别模块可以包括:整体损伤识别单元,用于分别对所述N个原始图像中的每个原始图像进行损伤识别,以获得所述每个原始图像的整体损伤识别结果;局部损伤识别单元,用于分别对所述每个原始图像中的所述M个子图像进行损伤识别,以获得局部损伤识别结果;坐标变换单元,用于根据所述M个子图像中的每个子图像在其对应的所述原始图像中的位置,对所述局部损伤识别结果进行坐标变换,以将所述局部损伤识别结果的坐标从在所述子图像中的坐标变换为在对应的所述原始图像中的坐标,从而获得变换后局部损伤识别结果;以及损伤融合单元,用于将所述变换后局部损伤识别结果与所述整体损伤识别结果融合,从而获得所述损伤识别结果。
作为一个实施例,所述装置还可以包括:结果输出模块,用于输出并显示所述车件损伤结果。
作为一个实施例,所述划分模块用于将所述目标车辆的外观整体划分为14个区块,所述14个区块包括:所述目标车辆的前侧上部、前侧下部、左前部、右前部、左侧前部、右侧前部、左侧中部、右侧中部、左侧后部、右后侧部、左后部、右后部、后侧上部和后侧下部。
根据第二方面的车辆损伤识别装置的上述各实施例能够获得与对应的损伤识别方法的各实施例基本相同的技术效果,此处不再赘述。
根据本发明的第三方面,提供了一种电子设备,所述电子设备包括:存储器,该存储器存储有计算机程序;处理器,该处理器执行所述计算机程序以实现第一地方面所述的方法的步骤;以及用于进行图像采集的摄像装置和用于显示的显示装置。
根据该第三方面的电子设备,能够实现端到端的标准化损伤识别流程,将车辆损伤识别从主观判定转换为科学客观的判断,减少了用户对于车辆专业知识的依赖,而且能够在不影响辨识损伤的精度的前提下,减少图像采集次数并加快图像采集过程从而加快了整个损伤识别的速度,减少损伤识别所需的人力时间(可以降至5分钟以内),从而降低了人员的培训成本。
根据本发明的第四方面,提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述方法的步骤。
以下结合本发明的附图及优选实施方式对本发明的技术方案做进一步详细地描述,本发明的有益效果将进一步明确。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,但其说明仅用于解释本发明,并不构成对本发明的不当限定。
图1是根据本发明一优选实施例的车辆损伤识别方法的示意性流程图;
图2是根据示出本发明一优选实施例的车辆损伤识别方法的损伤识别步骤的示例的示意性流程图;
图3是根据本发明另一优选实施例的车辆损伤识别方法的示意性流程图。
图4示出了根据本发明的一优选实施例的车辆损伤识别方法所采集的原始图像的一个实例。
图5是示出根据本发明一优选实施例的车辆损伤识别装置的示意性配置的框图。
图6是示出根据本发明一优选实施例的车辆损伤识别装置的损伤识别模块的示意性配置的框图。
图7是示出根据本发明另一优选实施例的车辆损伤识别装置的示意性配置的框图。
图8是本发明实施例可以应用于其中的示例性系统架构图;
图9是适于用来实现本发明实施例的终端设备的计算机系统的结构示意图。
图10示出了用来实现本发明实施例的终端设备的操作流程的实例。
具体实施方式
下面将结合本发明的具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分优选实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合图1-3描述根据本发明的实施例的用于识别目标车辆的损伤的车辆损伤识别方法。
图1是根据本发明一优选实施例的车辆损伤识别方法的示意性流程图,如图1所示,根据本发明的车辆损伤识别方法包括以下步骤S101-S106,下面将详细描述各个步骤。
步骤S101:划分步骤。
将所述目标车辆的外观整体划分为预定的N个区块,N为正整数。
作为一个实例,例如,可以将所述目标车辆的外观整体划分为14个区块,这14个区块可以包括:目标车辆的前侧上部、前侧下部、左前部、右前部、左侧前部、右侧前部、左侧中部、右侧中部、左侧后部、右后侧部、左后部、右后部、后侧上部和后侧下部。
需要指出的是,本发明的上述划分方式仅为一个实例,可以以其它的划分方式将目标车辆的外观合理划分为多个区域。另外,上述14个区块中的彼此相邻的区块可以存在互相重叠的部分。
步骤S102:原始图像采集步骤。
根据预设的图像采集模型分别对所述N个区块中每个区块进行图像采集,以获得与所述N个区块对应的N个原始图像。
具体地,该图像采集模型包括:以预设的拍摄角度对所述目标车辆的所述N个区域分别进行图像采集,以获得横纵比均为a:b的所述N个原始图像。
关于所述预设的拍摄角度,例如,以前文所述的14个区域为例,下文将详细描述与该14个区域相对应的拍摄角度。
前侧上部:以目标车辆的前侧的左右两个车灯以及前保险杠的下缘为主要对齐对象,在目标车辆的正前方进行拍摄。具体地,例如,可以使前侧的左右两个车灯定位在图像的左右两侧边缘处,并且前保险杠的下缘定位在图像的下侧边缘处。
前侧下部:以目标车辆的前侧的左右两个车灯、前保险杠的下缘和车顶为主要对齐对象,在目标车辆的正前方进行拍摄。具体地,例如,可以使前侧的左右两个车灯定位在图像的左右两侧边缘处,并且使前保险杠下缘定位在图像的大致中央处,车顶定位在图像的上侧边缘处。
左前部:在目标车辆的左斜前方进行拍摄,使得图像以前保险杠为对齐标准并且图像的左侧包括车牌,右侧包括整个叶子板。例如,可以使前保险杠位于图像左侧中的上下方向上的大致中间位置,图像左侧包括车牌,右侧包括整个叶子板。
右前部:在目标车辆的右斜前方进行拍摄,使得图像以前保险杠为对齐标准并且图像的右侧包括车牌,左侧包括整个叶子板。例如,可以使前保险杠位于图像右侧中的上下方向上的大致中间位置,图像右侧包括车牌,左侧包括整个叶子板。
左侧前部:在目标车辆的左前方进行拍摄,使得图像的左侧包含左前车灯,图像的右侧尽量拍摄到更多的车辆左侧车身(例如,参见图4)。
右侧前部:在目标车辆的右前方进行拍摄,使得图像的右侧包含右前车灯,图像的左侧尽量拍摄到更多的车辆右侧车身。
左侧中部:在目标车辆的左侧进行拍摄,使得前后车门的交接处位于图像的左右方向上的中央位置,图像的上侧与车顶对齐,图像的左右两侧尽可能多地拍摄到前后车门。
右侧中部:在目标车辆的右侧进行拍摄,使得前后车门的交接处位于图像的左右方向上的中央位置,图像的上侧与车顶对齐,图像的左右两侧尽可能多地拍摄到前后车门。
左侧后部:在目标车辆的左后方进行拍摄,使得图像的右侧包含左后车灯,图像的左侧尽量拍摄到更多的车辆左侧车身。
右侧后部:在目标车辆的右后方进行拍摄,使得图像的左侧包含右后车灯,图像的右侧尽量拍摄到更多的车辆左侧车身。
左后部:在目标车辆的左斜后方进行拍摄,使得图像以后保险杠为对齐标准并且图像的右侧包括后车牌,左侧包括整个叶子板。例如,可以使后保险杠位于图像右侧中的上下方向上的大致中间位置,图像右侧包括车牌,左侧包括整个叶子板。
右后部:在目标车辆的右斜后方进行拍摄,使得图像以后保险杠为对齐标准并且图像的左侧包括后车牌,右侧包括整个叶子板。例如,可以使后保险杠位于图像左侧中的上下方向上的大致中间位置,图像左侧包括车牌,右侧包括整个叶子板。
后侧上部:以目标车辆的后侧的左右两个车灯以及后保险杠的下缘为主要对齐对象,在目标车辆的正后方进行拍摄。具体地,例如,可以使后侧的左右两个车灯定位在图像的左右两侧边缘处,并且后保险杠的下缘定位在图像的下侧边缘处。
后侧下部:以目标车辆的后侧的左右两个车灯、后保险杠的下缘和车顶为主要对齐对象,在目标车辆的正后方进行拍摄。具体地,例如,可以使后侧的左右两个车灯定位在图像的左右两侧边缘处,并且使后保险杠下缘定位在图像的大致中央处,车顶定位在图像的上侧边缘处。
通过上述标准化的区域划分以及图像采集,能够让每个区域内的部件重复出现在多个采集的图像内,从而保证至少一张以上的图像能够侦测到损伤,因此,通过标准化的划分和图像采集,能够减少用户主观拍摄对于原始图像的影响,提高图像采集的应用效率,并且提高图像对车辆的车件覆盖率,进而提高损伤识别的效率。需要说明的是,以上作为对齐标准的车辆部件不限于以上描述的内容,而可以进行适当的设置,只要能够保证每个区域内的部件重复出现在多个采集的图像内以使得至少一张以上的图像能够侦测到损伤即可。
此外,该图像采集模型还可以包括:以固定像素进行图像采集。例如,可以以横向拍摄的方式,以4032*3024的固定像素进行图像采集。从而,可以获得常见的横纵比a:b=4:3的原始图像。
需要说明的是,上述图像采集的角度、像素、横纵比等仅为一个实例,并且可以根据需要进行适当地设置。
步骤S103:车件位置识别步骤。
对所述N个原始图像中的每个原始图像进行车件识别,以获得车件位置识别结果。
具体地,在本实施例中,利用已经预先训练好的车件检测模型,基于已经采集到的各个区域的原始图像,对每个原始图像进行车件检测,以获得各原始图像所对应的车件位置识别结果。
步骤S104:原始图像切割步骤。
根据预设的切割模型将所述N个原始图像中的每个原始图像切割为预定尺寸的M个子图像,M为正整数。优选地,M个子图像的尺寸完全相同。
具体地,该分割模型可以采用例如滑动窗口(sliding window)并且重叠为0(overlap=0)的切割算法来实现。例如,在采集的原始图像的横纵比为a:b的情况下,在获得的N个原始图像中的每个原始图像中,在横向上对原始图像a等分,并且在纵向上对原始图像b等分,以获得a×b个子图像,其中,a×b=M。
作为一个实例,参见图4所示,原始图像的像素为4032*3024,横纵比为4:3。则针对每个原始图像,将上述切割模型设定为重叠为0(overlap=0)且步长为1008(step=1008),在横向上对原始图像4等分,在纵向上对原始图像3等分,从而获得了12个像素为1008*1008的正方形子图像。
现有技术的对象检测(object detection)在训练集合上的图片的大小通常在600-1000之间,这是因为卷积神经网络(convolution network)在大小(size)、旋转(rotate)和平移(translation)的不变性隐式能力不佳。而且,现有技术的对象检测为了批量化图像而加速处理,因此图像的前处理中包括调整大小或者切割成正方形的处理。
相比之下,本发明的上述切割方法,使得切割出的图像大小基本符合训练图像的大小,避免上述卷积中可能遇到的问题,并且无需进行尺寸调整等,从而不会改变图像的纵横比(aspect ratio),进而保存了整个原始图像的所有原始特征。
步骤S105:损伤识别步骤。
分别对所述N个原始图像中的每个原始图像及其对应的所述M个子图像进行损伤识别,以获得损伤识别结果。
具体地,作为一个实例,上述步骤S105包括以下步骤S201-S204,下文将参考图2描述根据本发明的实施例的上述各个步骤S201-S204。
S201:整体损伤识别步骤。
分别对所述N个原始图像中的每个原始图像进行损伤识别,以获得所述每个原始图像的整体损伤识别结果。
具体地,针对已经采集到的原始图像,将其送入已经预先训练好的车辆损伤检测模型(例如,车辆损伤对象检测(vehicle damage object detection)AI系统),对每个原始图像进行全局损伤识别,以获得与每个原始图像对应的整体损伤识别结果。
S202:局部损伤识别步骤。
分别对所述每个原始图像中的所述M个子图像进行损伤识别,以获得局部损伤识别结果。
具体地,针对每个原始图像被分割成的M个子图像,将每个子图像送入前文所述的车辆损伤检测模型,以对每个子图像进行局部损伤识别,以获得与每个子图像对应的局部损伤识别结果。
S203:坐标变换步骤。
根据所述M个子图像中的每个子图像在其对应的所述原始图像中的位置,对所述局部损伤识别结果进行坐标变换,以将所述局部损伤识别结果的坐标从在所述子图像中的坐标变换为在对应的所述原始图像中的坐标,从而获得变换后局部损伤识别结果。
具体地,由于本申请的子图像是通过标准化的切割获得的图像,因此,可以基于每个子图像在其所对应的原始图像中的位置计算出偏置值(offset),从而基于该偏置值将局部损伤识别结果在子图像中的局部坐标转换为在原始图像中的坐标,因此获得了转换后局部损伤识别结果。
S204:损伤融合步骤。
将所述变换后局部损伤识别结果与所述整体损伤识别结果融合,从而获得所述损伤识别结果。
具体的,由于变换后局部损伤识别结果已经进行坐标变换,因此其与整体损伤识别结果处于相同的坐标系下,因此,可以将两者进行融合,从而获得与每个原始图像相对应的融合了局部损伤识别和整体损伤识别的损伤识别结果。
以上描述了损伤识别步骤的流程,利用上述步骤S201-S204,能够分别对原始图像和子图像进行损伤识别,从而提高了损伤识别的精度和准确度。
步骤S106:车件损伤融合步骤。
将步骤S103中获得的车件位置识别结果与步骤S105中获得的损伤识别结果融合,以获得所述目标车辆的车件损伤结果。
具体地,现有技术中,一般利用边界框交集并集比(bounding box intersectionover union)进行坐标匹配。
在本发明中,由于损伤框较小的特性,导致如果采用上述坐标匹配方法则匹配效果较差。因此,本发明中的车辆损伤与车件之间的相对位置利用边界框交集与损伤面积比(bounding box intersection over damage area)来进行坐标匹配,从而获得车件损伤的结果,该边界框交集与损伤面积比由以下公式表示:
其中,IOA表示边界框交集与损伤面积比,Area of Intersection表示交集的面积,即,损伤框与车部件这两个框重叠在一起的区域面积,Area of Damage表示损伤框的面积。
此外,如图3所示,根据本发明的实施例的车辆损伤识别方法还可以包括步骤S107,结果输出步骤,即,输出并显示经过融合而获得的车件损伤结果。
以上描述了根据本发明的车辆损伤识别方法,其利用标准化的图像采集流程以及图像前处理流程,将车辆损伤识别从主观判定转换为科学客观的判断,减少了用户对于车辆专业知识的依赖,具备广泛的通用性和兼容性,并且提高了车辆细小损伤识别的识别效率,在实现真正的AI智能定损的同时,加速了AI的识别速度。而且,通过采用标准化的图像采集流程和图像前处理流程,能够在不影响辨识损伤的精度的前提下,减少图像采集次数并加快图像采集过程从而加快了整个损伤识别的速度,减少损伤识别所需的人力时间(可以降至5分钟以内),从而降低了人员的培训成本。
以上描述了根据本发明的实施例的损伤识别方法,本发明的实施例还提供了一种了损伤识别装置,如图根据本发明的实施例的损伤识别装置100包括模块101-106,下面将参考图5描述根据本发明的实施例的损伤识别装置100。
模块101:划分模块。
划分模块101用于将所述目标车辆的外观整体划分为预定的N个区块,N为正整数。
作为一个实例,例如,划分模块101可以将所述目标车辆的外观整体划分为14个区块,这14个区块可以包括:目标车辆的前侧上部、前侧下部、左前部、右前部、左侧前部、右侧前部、左侧中部、右侧中部、左侧后部、右后侧部、左后部、右后部、后侧上部和后侧下部。
需要指出的是,本发明的上述划分方式仅为一个实例,可以以其它的划分方式将目标车辆的外观合理划分为多个区域。另外,上述14个区块中的彼此相邻的区块可以存在互相重叠的部分。
模块102:原始图像采集模块。
原始图像采集模块102用于根据预设的图像采集模型分别对所述N个区块中每个区块进行图像采集,以获得与所述N个区块对应的N个原始图像。
具体地,该图像采集模型包括:以预设的拍摄角度对所述目标车辆的所述N个区域分别进行图像采集,以获得横纵比均为a:b的所述N个原始图像。
关于所述预设的拍摄角度,例如,以前文所述的14个区域为例,下文将详细描述与该14个区域相对应的拍摄角度。
前侧上部:以目标车辆的前侧的左右两个车灯以及前保险杠的下缘为主要对齐对象,在目标车辆的正前方进行拍摄。具体地,例如,可以使前侧的左右两个车灯定位在图像的左右两侧边缘处,并且前保险杠的下缘定位在图像的下侧边缘处。
前侧下部:以目标车辆的前侧的左右两个车灯、前保险杠的下缘和车顶为主要对齐对象,在目标车辆的正前方进行拍摄。具体地,例如,可以使前侧的左右两个车灯定位在图像的左右两侧边缘处,并且使前保险杠下缘定位在图像的大致中央处,车顶定位在图像的上侧边缘处。
左前部:在目标车辆的左斜前方进行拍摄,使得图像以前保险杠为对齐标准并且图像的左侧包括车牌,右侧包括整个叶子板。例如,可以使前保险杠位于图像左侧中的上下方向上的大致中间位置,图像左侧包括车牌,右侧包括整个叶子板。
右前部:在目标车辆的右斜前方进行拍摄,使得图像以前保险杠为对齐标准并且图像的右侧包括车牌,左侧包括整个叶子板。例如,可以使前保险杠位于图像右侧中的上下方向上的大致中间位置,图像右侧包括车牌,左侧包括整个叶子板。
左侧前部:在目标车辆的左前方进行拍摄,使得图像的左侧包含左前车灯,图像的右侧尽量拍摄到更多的车辆左侧车身(例如,参见图4)。
右侧前部:在目标车辆的右前方进行拍摄,使得图像的右侧包含右前车灯,图像的左侧尽量拍摄到更多的车辆右侧车身。
左侧中部:在目标车辆的左侧进行拍摄,使得前后车门的交接处位于图像的左右方向上的中央位置,图像的上侧与车顶对齐,图像的左右两侧尽可能多地拍摄到前后车门。
右侧中部:在目标车辆的右侧进行拍摄,使得前后车门的交接处位于图像的左右方向上的中央位置,图像的上侧与车顶对齐,图像的左右两侧尽可能多地拍摄到前后车门。
左侧后部:在目标车辆的左后方进行拍摄,使得图像的右侧包含左后车灯,图像的左侧尽量拍摄到更多的车辆左侧车身。
右侧后部:在目标车辆的右后方进行拍摄,使得图像的左侧包含右后车灯,图像的右侧尽量拍摄到更多的车辆左侧车身。
左后部:在目标车辆的左斜后方进行拍摄,使得图像以后保险杠为对齐标准并且图像的右侧包括后车牌,左侧包括整个叶子板。例如,可以使后保险杠位于图像右侧中的上下方向上的大致中间位置,图像右侧包括车牌,左侧包括整个叶子板。
右后部:在目标车辆的右斜后方进行拍摄,使得图像以后保险杠为对齐标准并且图像的左侧包括后车牌,右侧包括整个叶子板。例如,可以使后保险杠位于图像左侧中的上下方向上的大致中间位置,图像左侧包括车牌,右侧包括整个叶子板。
后侧上部:以目标车辆的后侧的左右两个车灯以及后保险杠的下缘为主要对齐对象,在目标车辆的正后方进行拍摄。具体地,例如,可以使后侧的左右两个车灯定位在图像的左右两侧边缘处,并且后保险杠的下缘定位在图像的下侧边缘处。
后侧下部:以目标车辆的后侧的左右两个车灯、后保险杠的下缘和车顶为主要对齐对象,在目标车辆的正后方进行拍摄。具体地,例如,可以使后侧的左右两个车灯定位在图像的左右两侧边缘处,并且使后保险杠下缘定位在图像的大致中央处,车顶定位在图像的上侧边缘处。
通过上述标准化的区域划分以及图像采集,能够让每个区域内的部件重复出现在多个采集的图像内,从而保证至少一张以上的图像能够侦测到损伤,因此,通过标准化的划分和图像采集,能够减少用户主观拍摄对于原始图像的影响,提高图像采集的应用效率,并且提高图像对车辆的车件覆盖率,进而提高损伤识别的效率。需要说明的是,以上作为对齐标准的车辆部件不限于以上描述的内容,而可以进行适当的设置,只要能够保证每个区域内的部件重复出现在多个采集的图像内以使得至少一张以上的图像能够侦测到损伤即可。
此外,该图像采集模型还可以包括:以固定像素进行图像采集。例如,可以以横向拍摄的方式,以4032*3024的固定像素进行图像采集。从而,可以获得常见的横纵比a:b=4:3的原始图像。
需要说明的是,上述图像采集的角度、像素、横纵比等仅为一个实例,并且可以根据需要进行适当地设置。
模块103:车件位置识别模块。
车件位置识别模块103用于对所述N个原始图像中的每个原始图像进行车件识别,以获得车件位置识别结果。
具体地,在本实施例中,车件位置识别模块103利用已经预先训练好的车件检测模型,基于已经采集到的各个区域的原始图像,对每个原始图像进行车件检测,以获得各原始图像所对应的车件位置识别结果。
模块104:原始图像切割模块。
原始图像切割模块104用于根据预设的切割模型将所述N个原始图像中的每个原始图像切割为预定尺寸的M个子图像,M为正整数。优选地,M个子图像的尺寸完全相同。
具体地,该分割模型可以采用例如滑动窗口(sliding window)并且重叠为0(overlap=0)的切割算法来实现。例如,在采集的原始图像的横纵比为a:b的情况下,在获得的N个原始图像中的每个原始图像中,在横向上对原始图像a等分,并且在纵向上对原始图像b等分,以获得a×b个子图像,其中,a×b=M。
作为一个实例,参见图4所示,原始图像的像素为4032*3024,横纵比为4:3。则针对每个原始图像,将上述切割模型设定为重叠为0(overlap=0)且步长为1008(step=1008),在横向上对原始图像4等分,在纵向上对原始图像3等分,从而获得了12个像素为1008*1008的正方形子图像。
现有技术的对象检测(object detection)在训练集合上的图片的大小通常在600-1000之间,而卷积神经网络(convolution network)在大小(size)、旋转(rotate)和平移(translation)的不变性隐式能力不佳。而且,现有技术的对象检测为了批量化图像而加速处理,因此图像的前处理中包括调整大小或者切割成正方形的处理。
相比之下,本发明的上述切割方法,使得切割出的图像大小基本符合训练图像的大小,避免上述卷积中可能遇到的问题,并且无需进行尺寸调整等,从而不会改变图像的纵横比(aspect ratio),进而保存了整个原始图像的所有原始特征。
模块105:损伤识别模块。
损伤识别模块105用于分别对所述N个原始图像中的每个原始图像及其对应的所述M个子图像进行损伤识别,以获得损伤识别结果。
具体地,作为一个实例,上述模块105包括以下单元201-204,下文将参考图6描述根据本发明的实施例的上述各个单元201-204。
201:整体损伤识别单元。
整体损伤识别单元201用于分别对所述N个原始图像中的每个原始图像进行损伤识别,以获得所述每个原始图像的整体损伤识别结果。
具体地,整体损伤识别单元201针对已经采集到的原始图像,将其送入已经预先训练好的车辆损伤检测模型(例如,车辆损伤对象检测(vehicle damage object detection)AI系统),对每个原始图像进行全局损伤识别,以获得与每个原始图像对应的整体损伤识别结果。
202:局部损伤识别单元。
局部损伤识别单元202用于分别对所述每个原始图像中的所述M个子图像进行损伤识别,以获得局部损伤识别结果。
具体地,局部损伤识别单元202针对每个原始图像被分割成的M个子图像,将每个子图像送入前文所述的车辆损伤检测模型,以对每个子图像进行局部损伤识别,以获得与每个子图像对应的局部损伤识别结果。
单元203:坐标变换单元。
坐标变换单元203用于根据所述M个子图像中的每个子图像在其对应的所述原始图像中的位置,对所述局部损伤识别结果进行坐标变换,以将所述局部损伤识别结果的坐标从在所述子图像中的坐标变换为在对应的所述原始图像中的坐标,从而获得变换后局部损伤识别结果。
具体地,由于本申请的子图像是通过标准化的切割获得的图像,因此,坐标变换单元203可以基于每个子图像在其所对应的原始图像中的位置计算出偏置值(offset),从而基于该偏置值将局部损伤识别结果在子图像中的局部坐标转换为在原始图像中的坐标,因此获得了转换后局部损伤识别结果。
204:损伤融合单元。
损伤融合单元204用于将所述变换后局部损伤识别结果与所述整体损伤识别结果融合,从而获得所述损伤识别结果。
具体的,由于变换后局部损伤识别结果已经进行坐标变换,因此其与整体损伤识别结果处于相同的坐标系下,因此,损伤融合单元204可以将两者进行融合,从而获得与每个原始图像相对应的融合了局部损伤识别和整体损伤识别的损伤识别结果。
以上描述了损伤识别模块的各个单元,利用上述单元201-204,能够分别对原始图像和子图像进行损伤识别,从而提高了损伤识别的精度和准确度。
模块106:车件损伤融合模块。
将模块103所获得的车件位置识别结果与模块105所获得的损伤识别结果融合,以获得所述目标车辆的车件损伤结果。
具体地,现有技术中,针对车辆损伤与车件之间的相对位置的坐标匹配,一般利用边界框交集并集比(bounding box intersection over union)进行坐标匹配。
在本发明中,由于损伤框较小的特性,导致如果采用上述坐标匹配方法则匹配效果较差。因此,本发明中的车辆损伤与车件之间的相对位置可以利用例如边界框交集与损伤面积比(bounding box intersection over damage area)来进行坐标匹配,从而获得车件损伤的结果,该边界框交集与损伤面积比由以下公式表示:
其中,IOA表示边界框交集与损伤面积比,交集的面积为损伤框与车部件这两个框重叠在一起的区域面积,损伤的面积即为损伤框的面积。
此外,如图7所示,根据本发明的实施例的车辆损伤识别装置还可以包括模块107,结果输出模块。该结果输出模块107用于输出并显示经过融合而获得的车件损伤结果。
以上描述了根据本发明的车辆损伤识别装置,其利用标准化的图像采集流程以及图像前处理流程,将车辆损伤识别从主观判定转换为科学客观的判断,减少了用户对于车辆专业知识的依赖,具备广泛的通用性和兼容性,并且提高了车辆细小损伤识别的识别效率,在实现真正的AI智能定损的同时,加速了AI的识别速度。而且,通过采用标准化的图像采集流程和图像前处理流程,能够在不影响辨识损伤的精度的前提下,减少图像采集次数并加快图像采集过程从而加快了整个损伤识别的速度,减少损伤识别所需的人力时间(可以降至5分钟以内),从而降低了人员的培训成本。
根据本发明的实施例,提供了一种可以应用本发明实施例的车辆损伤识别方法或车辆损伤识别装置的系统架构。图8示出了可以应用本发明实施例的车辆损伤识别方法或车辆损伤识别装置的示例性系统架构800。
如图8所示,系统架构800可以包括终端设备801、802、803,网络804和服务器805(此架构仅仅是示例,具体架构中包含的组件可以根据申请具体情况调整)。网络804用以在终端设备801、802、803和服务器805之间提供通信链路的介质。网络804可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备801、802、803通过网络804与服务器805交互,以接收或发送消息等。终端设备801、802、803上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备801、802、803可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器805可以是提供各种服务的服务器,例如对用户利用终端设备801、802、803所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是,本发明实施例所提供的车辆损伤识别方法一般由终端设备801、802、803等执行,相应地,车辆损伤识别装置一般设置于终端设备801、802、803中。
应该理解,图8中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图9,其示出了适于用来实现本发明实施例的终端设备的计算机系统900的结构示意图。图9示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示,计算机系统900包括中央处理单元(CPU)901,其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中,还存储有系统900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905:包括键盘、鼠标等的输入部分906;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907;包括硬盘等的存储部分908;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器910上,以便于从其上读出的计算机程序根据需要被安装入存储部分908。
图10示出了用来实现本发明实施例的终端设备的操作流程的实例。该终端设备可以是前文所述的终端设备801、802、803等。如图10所示,在本发明中,终端设备至少包括用于进行图像采集的摄像装置以及用于进行显示的显示装置,并且该在在终端设备的后台(处理器)中执行本发明的车辆损伤识别的各步骤,例如,对图像的处理以及识别。
根据上述终端设备,能够实现端到端的标准化损伤识别流程,将车辆损伤识别从主观判定转换为科学客观的判断,减少了用户对于车辆专业知识的依赖,而且能够在不影响辨识损伤的精度的前提下,减少图像采集次数并加快图像采集过程从而加快了整个损伤识别的速度,减少损伤识别所需的人力时间(可以降至5分钟以内),从而降低了人员的培训成本。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分909从网络上被下载和安装,和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括划分模块、原始图像采集模块、车件位置识别模块、原始图像切割模块、损伤识别模块和车件损伤融合模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,原始图像采集模块还可以被描述为“采集原始图像的拍摄模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:
将所述目标车辆的外观整体划分为预定的N个区块,N为正整数;
根据预设的图像采集模型分别对所述N个区块中每个区块进行图像采集,以获得与所述N个区块对应的N个原始图像;
对所述N个原始图像中的每个原始图像进行车件识别,以获得车件位置识别结果;
根据预设的切割模型将所述N个原始图像中的每个原始图像切割为预定尺寸的M个子图像,M为正整数;
分别对所述N个原始图像中的每个原始图像及其对应的所述M个子图像进行损伤识别,以获得损伤识别结果;以及
将所述车件位置识别结果与所述损伤识别结果融合,以获得所述目标车辆的车件损伤结果。
本发明的适用于固定类神经网路大小的算法/模型,其提供了一种车辆损伤识别方法、装置、电子设备和存储介质,其利用端到端的标准化损伤识别流程,将车辆损伤识别从主观判定转换为科学客观的判断,减少了用户对于车辆专业知识的依赖,具备广泛的通用性和兼容性,并且提高了车辆细小损伤识别的识别效率。而且,本发明通过采用标准化的图像采集流程和图像前处理流程,能够在不影响辨识损伤的精度的前提下,减少图像采集次数并加快图像采集过程从而加快了整个损伤识别的速度,提高了损伤识别的效率。
以上所述仅为本申请的实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。
Claims (14)
1.一种对目标车辆进行损伤识别的车辆损伤识别方法,其特征在于,所述方法包括:
将所述目标车辆的外观整体划分为预定的N个区块,N为正整数;
根据预设的图像采集模型分别对所述N个区块中每个区块进行图像采集,以获得与所述N个区块对应的N个原始图像;
对所述N个原始图像中的每个原始图像进行车件识别,以获得车件位置识别结果;
根据预设的切割模型将所述N个原始图像中的每个原始图像切割为预定尺寸的M个子图像,M为正整数;
分别对所述N个原始图像中的每个原始图像及其对应的所述M个子图像进行损伤识别,以获得损伤识别结果;以及
将所述车件位置识别结果与所述损伤识别结果融合,以获得所述目标车辆的车件损伤结果。
2.根据权利要求1所述的方法,其特征在于,其中,所述图像采集模型包括:
以预设的拍摄角度对所述目标车辆的所述N个区域分别进行图像采集,以获得横纵比均为a:b的所述N个原始图像。
3.根据权利要求2所述的方法,其特征在于,其中,所述切割模型包括:
在所述N个原始图像中的每个原始图像中,在横向上对所述原始图像a等分,并且在纵向上对所述原始图像b等分,以获得a×b个所述子图像,
其中,a×b=M。
4.根据权利要求1至3的任意一项所述的方法,其特征在于,其中分别对所述N个原始图像中的每个原始图像及其对应的所述M个子图像进行损伤识别,以获得损伤识别结果,包括:
分别对所述N个原始图像中的每个原始图像进行损伤识别,以获得所述每个原始图像的整体损伤识别结果;
分别对所述每个原始图像中的所述M个子图像进行损伤识别,以获得局部损伤识别结果;
根据所述M个子图像中的每个子图像在其对应的所述原始图像中的位置,对所述局部损伤识别结果进行坐标变换,以将所述局部损伤识别结果的坐标从在所述子图像中的坐标变换为在对应的所述原始图像中的坐标,从而获得变换后局部损伤识别结果;以及
将所述变换后局部损伤识别结果与所述整体损伤识别结果融合,从而获得所述损伤识别结果。
5.根据权利要求4所述的方法,其特征在于,其中,所述方法还包括:
输出并显示所述车件损伤结果。
6.根据权利要求5所述的方法,其特征在于,其中,将所述目标车辆的外观整体划分为预定的N个区块,包括:
将所述目标车辆的外观整体划分为14个区块,所述14个区块包括:
所述目标车辆的前侧上部、前侧下部、左前部、右前部、左侧前部、右侧前部、左侧中部、右侧中部、左侧后部、右后侧部、左后部、右后部、后侧上部和后侧下部。
7.一种用于对目标车辆进行损伤识别的车辆损伤识别装置,其特征在于,所述装置包括:
划分模块,用于将所述目标车辆的外观整体划分为预定的N个区块,N为正整数;
原始图像采集模块,用于根据预设的图像采集模型分别对所述N个区块中每个区块进行图像采集,以获得与所述N个区块对应的N个原始图像;
车件位置识别模块,用于对所述N个原始图像中的每个原始图像进行车件识别,以获得车件位置识别结果;
原始图像切割模块,用于根据预设的切割模型将所述N个原始图像中的每个原始图像切割为预定尺寸的M个子图像,M为正整数;
损伤识别模块,用于分别对所述N个原始图像中的每个原始图像及其对应的所述M个子图像进行损伤识别,以获得损伤识别结果;以及
车件损伤融合模块,用于将所述车件位置识别结果与所述损伤识别结果融合,以获得所述目标车辆的车件损伤结果。
8.根据权利要求7所述的装置,其特征在于,其中,所述图像采集模型包括:
以预设的拍摄角度对所述目标车辆的所述N个区域分别进行图像采集,以获得横纵比均为a:b的所述N个原始图像。
9.根据权利要求8所述的装置,其特征在于,其中,所述切割模型包括:
在所述N个原始图像中的每个原始图像中,在横向上对所述原始图像a等分,并且在纵向上对所述原始图像b等分,以获得a×b个所述子图像,
其中,a×b=M。
10.根据权利要求7至9的任意一项所述的装置,其特征在于,其中,所述损伤识别模块包括:
整体损伤识别单元,用于分别对所述N个原始图像中的每个原始图像进行损伤识别,以获得所述每个原始图像的整体损伤识别结果;
局部损伤识别单元,用于分别对所述每个原始图像中的所述M个子图像进行损伤识别,以获得局部损伤识别结果;
坐标变换单元,用于根据所述M个子图像中的每个子图像在其对应的所述原始图像中的位置,对所述局部损伤识别结果进行坐标变换,以将所述局部损伤识别结果的坐标从在所述子图像中的坐标变换为在对应的所述原始图像中的坐标,从而获得变换后局部损伤识别结果;以及
损伤融合单元,用于将所述变换后局部损伤识别结果与所述整体损伤识别结果融合,从而获得所述损伤识别结果。
11.根据权利要求10所述的装置,其特征在于,其中,所述装置还包括:
结果输出模块,用于输出并显示所述车件损伤结果。
12.根据权利要求11所述的装置,其特征在于,其中,
所述划分模块用于将所述目标车辆的外观整体划分为14个区块,所述14个区块包括:
所述目标车辆的前侧上部、前侧下部、左前部、右前部、左侧前部、右侧前部、左侧中部、右侧中部、左侧后部、右后侧部、左后部、右后部、后侧上部和后侧下部。
13.一种电子设备,其特征在于,所述电子设备包括:
存储器,该存储器存储有计算机程序;
处理器,该处理器执行所述计算机程序以实现权利要求1至6中任一项所述的方法的步骤;以及
用于进行图像采集的摄像装置和用于显示的显示装置。
14.一种计算机可读存储介质,其特征在于,存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一项所述方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210864318.9A CN115115611B (zh) | 2022-07-21 | 2022-07-21 | 车辆损伤识别方法、装置、电子设备和存储介质 |
PCT/CN2023/088277 WO2024016752A1 (zh) | 2022-07-21 | 2023-04-14 | 车辆损伤识别方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210864318.9A CN115115611B (zh) | 2022-07-21 | 2022-07-21 | 车辆损伤识别方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115115611A true CN115115611A (zh) | 2022-09-27 |
CN115115611B CN115115611B (zh) | 2023-04-07 |
Family
ID=83334187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210864318.9A Active CN115115611B (zh) | 2022-07-21 | 2022-07-21 | 车辆损伤识别方法、装置、电子设备和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115115611B (zh) |
WO (1) | WO2024016752A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115410174A (zh) * | 2022-11-01 | 2022-11-29 | 之江实验室 | 一种两阶段车险反欺诈图像采集质检方法、装置和系统 |
WO2024016752A1 (zh) * | 2022-07-21 | 2024-01-25 | 明觉科技(北京)有限公司 | 车辆损伤识别方法、装置、电子设备和存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107358596A (zh) * | 2017-04-11 | 2017-11-17 | 阿里巴巴集团控股有限公司 | 一种基于图像的车辆定损方法、装置、电子设备及系统 |
CN109342320A (zh) * | 2018-12-13 | 2019-02-15 | 深源恒际科技有限公司 | 汽车外观损伤检测识别硬件系统 |
CN109410218A (zh) * | 2018-10-08 | 2019-03-01 | 百度在线网络技术(北京)有限公司 | 用于生成车辆损伤信息的方法和装置 |
CN110390666A (zh) * | 2019-06-14 | 2019-10-29 | 平安科技(深圳)有限公司 | 道路损伤检测方法、装置、计算机设备及存储介质 |
CN111553265A (zh) * | 2020-04-27 | 2020-08-18 | 河北天元地理信息科技工程有限公司 | 一种排水管道内部缺陷的检测方法及系统 |
CN111612104A (zh) * | 2020-06-30 | 2020-09-01 | 爱保科技有限公司 | 车辆定损图像获取方法、装置、介质和电子设备 |
CN111666990A (zh) * | 2020-05-27 | 2020-09-15 | 平安科技(深圳)有限公司 | 车辆损伤特征检测方法、装置、计算机设备及存储介质 |
CN112881467A (zh) * | 2021-03-15 | 2021-06-01 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种大尺寸复合材料损伤成像与定量识别方法 |
CN113139896A (zh) * | 2020-01-17 | 2021-07-20 | 波音公司 | 基于超分辨重建的目标检测系统及方法 |
CN113505624A (zh) * | 2020-03-23 | 2021-10-15 | 虹软科技股份有限公司 | 车辆定损方法、车辆定损装置及应用其的电子设备 |
CN113705351A (zh) * | 2021-07-28 | 2021-11-26 | 中国银行保险信息技术管理有限公司 | 车辆定损方法、装置及设备 |
CN114677601A (zh) * | 2022-04-12 | 2022-06-28 | 雅砻江流域水电开发有限公司 | 一种基于无人机巡检的结合深度学习的大坝裂缝检测方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10692050B2 (en) * | 2016-04-06 | 2020-06-23 | American International Group, Inc. | Automatic assessment of damage and repair costs in vehicles |
KR102198296B1 (ko) * | 2018-06-01 | 2021-01-05 | 한화손해보험(주) | 자동으로 사고 차량의 파손 정도를 산출하는 장치, 방법 및 컴퓨터 프로그램 |
US11676365B2 (en) * | 2019-12-16 | 2023-06-13 | Accenture Global Solutions Limited | Explainable artificial intelligence (AI) based image analytic, automatic damage detection and estimation system |
CN111652209B (zh) * | 2020-04-30 | 2024-05-10 | 平安科技(深圳)有限公司 | 损伤检测方法、装置、电子设备及介质 |
CN115115611B (zh) * | 2022-07-21 | 2023-04-07 | 明觉科技(北京)有限公司 | 车辆损伤识别方法、装置、电子设备和存储介质 |
-
2022
- 2022-07-21 CN CN202210864318.9A patent/CN115115611B/zh active Active
-
2023
- 2023-04-14 WO PCT/CN2023/088277 patent/WO2024016752A1/zh unknown
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107358596A (zh) * | 2017-04-11 | 2017-11-17 | 阿里巴巴集团控股有限公司 | 一种基于图像的车辆定损方法、装置、电子设备及系统 |
CN109410218A (zh) * | 2018-10-08 | 2019-03-01 | 百度在线网络技术(北京)有限公司 | 用于生成车辆损伤信息的方法和装置 |
CN109342320A (zh) * | 2018-12-13 | 2019-02-15 | 深源恒际科技有限公司 | 汽车外观损伤检测识别硬件系统 |
CN110390666A (zh) * | 2019-06-14 | 2019-10-29 | 平安科技(深圳)有限公司 | 道路损伤检测方法、装置、计算机设备及存储介质 |
CN113139896A (zh) * | 2020-01-17 | 2021-07-20 | 波音公司 | 基于超分辨重建的目标检测系统及方法 |
CN113505624A (zh) * | 2020-03-23 | 2021-10-15 | 虹软科技股份有限公司 | 车辆定损方法、车辆定损装置及应用其的电子设备 |
CN111553265A (zh) * | 2020-04-27 | 2020-08-18 | 河北天元地理信息科技工程有限公司 | 一种排水管道内部缺陷的检测方法及系统 |
CN111666990A (zh) * | 2020-05-27 | 2020-09-15 | 平安科技(深圳)有限公司 | 车辆损伤特征检测方法、装置、计算机设备及存储介质 |
CN111612104A (zh) * | 2020-06-30 | 2020-09-01 | 爱保科技有限公司 | 车辆定损图像获取方法、装置、介质和电子设备 |
CN112881467A (zh) * | 2021-03-15 | 2021-06-01 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种大尺寸复合材料损伤成像与定量识别方法 |
CN113705351A (zh) * | 2021-07-28 | 2021-11-26 | 中国银行保险信息技术管理有限公司 | 车辆定损方法、装置及设备 |
CN114677601A (zh) * | 2022-04-12 | 2022-06-28 | 雅砻江流域水电开发有限公司 | 一种基于无人机巡检的结合深度学习的大坝裂缝检测方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024016752A1 (zh) * | 2022-07-21 | 2024-01-25 | 明觉科技(北京)有限公司 | 车辆损伤识别方法、装置、电子设备和存储介质 |
CN115410174A (zh) * | 2022-11-01 | 2022-11-29 | 之江实验室 | 一种两阶段车险反欺诈图像采集质检方法、装置和系统 |
US11887292B1 (en) | 2022-11-01 | 2024-01-30 | Zhejiang Lab | Two-step anti-fraud vehicle insurance image collecting and quality testing method, system and device |
Also Published As
Publication number | Publication date |
---|---|
CN115115611B (zh) | 2023-04-07 |
WO2024016752A1 (zh) | 2024-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115115611B (zh) | 车辆损伤识别方法、装置、电子设备和存储介质 | |
KR101923845B1 (ko) | 이미지 처리 방법 및 장치 | |
CN109474780B (zh) | 一种用于图像处理的方法和装置 | |
CN106845470B (zh) | 地图数据采集方法和装置 | |
EP3598386A1 (en) | Method and apparatus for processing image | |
CN110062157B (zh) | 渲染图像的方法、装置、电子设备和计算机可读存储介质 | |
CN112116655A (zh) | 目标对象的图像的位置信息确定方法和装置 | |
CN111028279A (zh) | 点云数据处理方法及装置、电子设备和存储介质 | |
CN109961501A (zh) | 用于建立三维立体模型的方法和装置 | |
CN108492284B (zh) | 用于确定图像的透视形状的方法和装置 | |
CN113255619A (zh) | 车道线识别及定位方法、电子设备和计算机可读介质 | |
CN109949414A (zh) | 室内地图的构建方法及装置 | |
CN111311481A (zh) | 背景虚化方法、装置、终端设备及存储介质 | |
CN111563398A (zh) | 用于确定目标物的信息的方法和装置 | |
CN117315406B (zh) | 一种样本图像处理方法、装置及设备 | |
CN114550117A (zh) | 一种图像检测方法和装置 | |
WO2020181510A1 (zh) | 一种图像数据处理方法、装置及系统 | |
CN114283416A (zh) | 车险理赔图片的处理方法和装置 | |
CN108419044B (zh) | 车辆定责方法、终端及计算机可读存储介质 | |
CN109034214B (zh) | 用于生成标记的方法和装置 | |
CN112115737B (zh) | 一种车辆朝向的确定方法、装置及车载终端 | |
CN113225484B (zh) | 快速获取屏蔽非目标前景的高清图片的方法及装置 | |
CN116017129A (zh) | 一种补光灯角度调整方法、装置、系统、设备和介质 | |
CN112288817B (zh) | 基于图像的三维重建处理方法及装置 | |
CN115565158A (zh) | 车位检测方法、装置、电子设备和计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |