CN108875648A - 一种基于手机视频流的实时车辆损伤和部件检测的方法 - Google Patents

Abstract

本发明公开了一种基于手机视频流的实时车辆损伤和部件检测的方法，通过手机获取待定损车辆的实时视频流；对实时视频流中的每帧图像进行车辆部件检测，获得当前帧图像中的车辆部件的位置和名称；根据车辆部件在当前帧图像中的大小占比和对应关系，判断拍摄距离；当拍摄距离合适时提示用户拍摄照片；对实时视频流中的每帧图像进行损伤位置检测；当损伤大小符合要求时提示用户拍摄照片；将拍摄到的所有照片提交到云端，进行定损。本发明用于保险公司汽车保险定损时快速采集专业的损伤图像，通过对车辆部件检测，语音提示用户拍照，降低了使用门槛；快速地上传图片，减少了定损时间；且对车伤有统一的检测标准，可以去除人的主观因素影响。

Description

一种基于手机视频流的实时车辆损伤和部件检测的方法

技术领域

本发明涉及车辆定损技术领域，尤其涉及一种基于手机视频流的实时车辆损伤和部件检测的方法。

背景技术

在汽车出现损伤，需要进行保险理赔时，保险公司首先需要对车辆进行定损；现有定损方式一般是保险公司派专业定损员到现场采集专业的现场照片；或者被保险人驱车到指定地点找专业人员定损，确定损失。但无论是哪一种都需要专业人员对车辆拍照定损，因此现有方式存在以下缺点：1、耗时长，一般需要几个小时以上；2、需要专业人员辅助，门槛较高，有很高的人力成本；3、由于车伤比较复杂，人的主观因素比较大，导致定损标准不统一。

专利(CN 107358596 A)公开了一种基于图像的车辆定损方法、装置、电子设备及系统；但是该专利方案只有通过视频流实时检测损伤位置的方法，并没有对车辆部件进行识别，从而获取合适拍摄距离的中景图像的方法，所以会出现拍摄照片不合格的情况，需要多次重复拍摄。

此外，现有的目标检测框架，如Faster RCNN、YOLO、SSD等；无法直接应用到车辆部件识别和车伤检测，需要对其进行迁移学习，对特定的数据进行优化；另外这些目标检测框架的模型运算量大，无法直接适用手机的运行环境，需要进行压缩优化处理。

发明内容

针对现有技术问题中存在的不足之处，本发明提供一种基于手机视频流的实时车辆损伤和部件检测的方法，该基于手机视频流的实时车辆损伤和部件检测的方法包括：

将手机摄像头对准待定损车辆，通过手机对所述待定损车辆进行摄像，获取所述待定损车辆的实时视频流；

对所述待定损车辆的实时视频流中的每帧图像进行车辆部件检测，获得当前帧图像中的车辆部件的位置和名称；

通过获取的车辆部件的位置和名称，根据车辆部件在当前帧图像中的大小占比和对应关系，判断拍摄者和所述待定损车辆之间的拍摄距离；

当所述拍摄距离在预设距离范围内时，通过手机提示用户拍摄照片；

对所述待定损车辆的实时视频流中的每帧图像进行损伤位置检测，获取当前帧图像中的损伤位置；

计算当前帧图像中损伤的大小，当损伤大小在预设大小范围内时，通过手机提示用户拍摄照片；

通过手机将拍摄到的所有照片提交到云端，对所述待定损车辆进行定损。

可选地，所述对所述待定损车辆的实时视频流中的每帧图像进行车辆部件检测和对所述待定损车辆的实时视频流中的每帧图像进行损伤位置检测分别采用Faster RCNN、EAST、SSD以及YOLO中的任意一种算法。

进一步地，所述对所述待定损车辆的实时视频流中的每帧图像进行车辆部件检测和对所述待定损车辆的实时视频流中的每帧图像进行损伤位置检测均采用Faster RCNN算法，其检测过程为：

深度卷积网络提取当前帧图片的抽象特征；使用区域候选网络推荐车辆部件/损伤的候选区域；从候选区域回归车辆部件/损伤的精准区域。

可选地，所述深度卷积网络提取当前帧图片的抽象特征采用MobileNet、Resnet、ShuffleNet以及AlexNet中的任意一种网络模型。

进一步地，所述深度卷积网络提取当前帧图片的抽象特征采用MobileNet网络模型，其提取过程包括：

采用depth-wise separable convolution，即逐通道的卷积，一个卷积负责一个通道；采用Point-wise convolution，将depth-wise separable convolution得到的抽象特征再进一步融合。

本发明相对于现有技术具有如下有益效果：

本发明用于保险公司汽车保险定损时快速采集专业的损伤图像；通过采用深度卷积网络的方式快速识别车辆部件和对车伤进行检测；采用深度学习的方式，利用模型优化和平台优化方法，将车辆部件识别和损伤检测移植到了移动端；从而可以通过移动端对车辆部件和车伤进行检测，并且可以在车辆部件和车伤识别中达到很高的准确率。

并且，本发明通过判断车辆部件的对应关系和车伤位置，语音提示用户如何拍摄图像，因此无需专业人员辅助即可完成拍照，普通人也可以取得专业人员的拍摄效果，从而有效降低了使用门槛；同时拍摄到的照片可以快速地上传到云端，因此可以减少定损时间；此外，本发明对车伤有统一的检测标准，可以去除人的主观因素影响。

附图说明

图1为本发明的基于手机视频流的实时车辆损伤和部件检测的方法的原理示意图；

图2为本发明实施例提供的基于手机视频流的实时车辆损伤和部件检测的方法的流程示意图；

图3为通过Faster RCNN算法进行目标检测的原理示意图；

图4为通过MobileNet网络模型抽取特征的原理示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明公开了一种基于手机视频流的实时车辆损伤和部件检测的方法，用于保险公司汽车保险定损时快速采集专业的损伤图像；其检测过程如图1所示，包括：打开手机摄像头对准待处理车辆；获取手机视频流；实时检测视频流中车辆、车辆部件以及车辆损伤，并对图像质量进行分析；根据检测到的车辆和车辆部件在图像中的大小占比推测拍摄者距离车辆的距离；当距离适中，部件检测正常，图像质量高时提示用户抓取照片；检测到车辆损伤时，计算损伤图像占比；当损伤图像占比符合要求，损伤检测正常，图像质量高时，提示用户抓取照片；抓取的照片可用于计算机自动定损或人工定损。

下面以具体实施例的方式来进一步阐述本发明的基于手机视频流的实时车辆损伤和部件检测的方法的检测流程；请参阅图2，图2示出了本实施例中的基于手机视频流的实时车辆损伤和部件检测的方法的流程图，该方法包括：

S101，将手机摄像头对准待定损车辆，通过手机对待定损车辆进行摄像，获取待定损车辆的实时视频流；

S102，对实时视频流中的每帧图像进行车辆部件检测，获得当前帧图像中的车辆部件的位置和名称；

S103，根据车辆部件在当前帧图像中的大小占比和对应关系，判断拍摄者和待定损车辆之间的拍摄距离；

S104，当拍摄距离在预设距离范围内时，通过手机提示用户拍摄照片；

S105，对待定损车辆的实时视频流中的每帧图像进行损伤位置检测，获取当前帧图像中的损伤位置；

S106，计算当前帧图像中损伤的大小，当损伤大小在预设大小范围内时，通过手机提示用户拍摄照片；

S107，通过手机将拍摄到的所有照片提交到云端，对待定损车辆进行定损。

上述对实时视频流中的每帧图像进行车辆部件检测和损伤位置检测是通过目标检测算法实现的；其中，需要说明的是，目标检测算法是在图像中检测到我们需要的对象，并将对象的位置识别出来的算法。传统的目标检测算法有Cascade+harr/SVM+HOG/DPM等，传统的目标检测算法基本上采用的是以下步骤：

用不同尺度的滑动窗口选定图像的某一区域为候选区域；从对应区域中提取如Harr、HOG、LBP等一类或者多类特征；使用Adaboost、SVM等分类算法对候选区域分类，判断是否属于待检测的目标。

传统目标检测算法主要存在两个问题：1、基于滑动窗口的区域选择策略没有针对性，时间复杂度高，窗口冗余；2、手工设计特征对于多样性变化没有很好的鲁棒性。

参考传统的目标检测算法的思想，深度学习利用比传统方法更好的特征提取优势，提出类似的目标检测框架，如RCNN、Fast RCNN、Faster RCNN等，最终的Faster RCNN算法实现了端到端的训练方式，解决了传统算法所存在的以上两个问题。

Faster RCNN算法是基于区域选择的方式，另外基于回归算法的深度学习目标检测算法也在快速发展，如YOLO、SSD等，这类算法速度快，但是准确率稍低。不过最新的算法研究正在逐步弥补各自缺点，目前YOLOv3已经能够达到与Faster RCNN同样的准确率。

本实施例中对实时视频流中的每帧图像进行车辆部件检测和损伤位置检测可以通过Faster RCNN、EAST、SSD以及YOLO等算法中的任意一种实现。本实施例中以FasterRCNN算法为例，来说明其检测原理，如图3所示，其检测原理为：深度卷积网络(convlayers)提取当前帧图片的抽象特征(feature maps)；使用区域候选网络推荐车辆部件/损伤的候选区域；从候选区域回归车辆部件/损伤的精准区域。

上述车辆部件检测和损伤位置检测中提取特征可以采用MobileNet、Resnet、ShuffleNet以及AlexNet中的任意一种网络模型。本实施例中采用MobileNet网络模型，该网络模型为专门为移动端使用的网络模型，其提取特征的过程包括：采用depth-wiseseparable convolution，即逐通道的卷积，一个卷积负责一个通道；采用Point-wiseconvolution，将depth-wise separable convolution得到的抽象特征再进一步融合。

本发明相对于现有技术具有如下有益效果：

本发明用于保险公司汽车保险定损时快速采集专业的损伤图像；通过采用深度卷积网络的方式快速识别车辆部件和对车伤进行检测；采用深度学习的方式，利用模型优化和平台优化方法，将车辆部件识别和损伤检测移植到了移动端；从而可以通过移动端对车辆部件和车伤进行检测，并且可以在车辆部件和车伤识别中达到很高的准确率。

并且，本发明通过判断车辆部件的对应关系和车伤位置，语音提示用户如何拍摄图像，因此无需专业人员辅助即可完成拍照，普通人也可以取得专业人员的拍摄效果，从而有效降低了使用门槛；同时拍摄到的照片可以快速地上传到云端，因此可以减少定损时间；此外，本发明对车伤有统一的检测标准，可以去除人的主观因素影响。

需要说明的是，本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明实施例可采用完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照本发明的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于手机视频流的实时车辆损伤和部件检测的方法，其特征在于，所述基于手机视频流的实时车辆损伤和部件检测的方法包括：

将手机摄像头对准待定损车辆，通过手机对所述待定损车辆进行摄像，获取所述待定损车辆的实时视频流；

对所述待定损车辆的实时视频流中的每帧图像进行车辆部件检测，获得当前帧图像中的车辆部件的位置和名称；

通过获取的车辆部件的位置和名称，根据车辆部件在当前帧图像中的大小占比和对应关系，判断拍摄者和所述待定损车辆之间的拍摄距离；

当所述拍摄距离在预设距离范围内时，通过手机提示用户拍摄照片；

对所述待定损车辆的实时视频流中的每帧图像进行损伤位置检测，获取当前帧图像中的损伤位置；

计算当前帧图像中损伤的大小，当损伤大小在预设大小范围内时，通过手机提示用户拍摄照片；

通过手机将拍摄到的所有照片提交到云端，对所述待定损车辆进行定损。

2.如权利要求1所述的基于手机视频流的实时车辆损伤和部件检测的方法，其特征在于，所述对所述待定损车辆的实时视频流中的每帧图像进行车辆部件检测和对所述待定损车辆的实时视频流中的每帧图像进行损伤位置检测分别采用Faster RCNN、EAST、SSD以及YOLO中的任意一种算法。

3.如权利要求2所述的基于手机视频流的实时车辆损伤和部件检测的方法，其特征在于，所述对所述待定损车辆的实时视频流中的每帧图像进行车辆部件检测和对所述待定损车辆的实时视频流中的每帧图像进行损伤位置检测均采用Faster RCNN算法，其检测过程为：

深度卷积网络提取当前帧图片的抽象特征；使用区域候选网络推荐车辆部件/损伤的候选区域；从候选区域回归车辆部件/损伤的精准区域。

4.如权利要求3所述的基于手机视频流的实时车辆损伤和部件检测的方法，其特征在于，所述深度卷积网络提取当前帧图片的抽象特征采用MobileNet、Resnet、ShuffleNet以及AlexNet中的任意一种网络模型。

5.如权利要求4所述的基于手机视频流的实时车辆损伤和部件检测的方法，其特征在于，所述深度卷积网络提取当前帧图片的抽象特征采用MobileNet网络模型，其提取过程包括：

采用depth-wise separable convolution，即逐通道的卷积，一个卷积负责一个通道；采用Point-wise convolution，将depth-wise separable convolution得到的抽象特征再进一步融合。