CN112001208B - 用于车辆盲区的目标检测方法、装置和电子设备 - Google Patents
用于车辆盲区的目标检测方法、装置和电子设备 Download PDFInfo
- Publication number
- CN112001208B CN112001208B CN201910446922.8A CN201910446922A CN112001208B CN 112001208 B CN112001208 B CN 112001208B CN 201910446922 A CN201910446922 A CN 201910446922A CN 112001208 B CN112001208 B CN 112001208B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- target image
- target object
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 102
- 238000013136 deep learning model Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 206010039203 Road traffic accident Diseases 0.000 abstract description 7
- 238000012544 monitoring process Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 abstract description 7
- 238000004364 calculation method Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于车辆盲区的目标检测方法、装置和电子设备。一种目标检测方法通过获取目标图像；在所述目标图像中根据预设的车辆盲区标定对应的检测区域；使用深度学习模型检测所述目标图像中的目标对象，获得所述目标对象的位置信息；基于所述目标对象的位置信息，判断所述检测区域中是否存在所述目标对象；在所述检测区域中存在所述目标对象的情况下，发出报警信息。可以实现对车辆盲区内目标对象的自动监测，并在与车辆盲区对应的检测区域内存在目标对象时，发出报警提示，辅助驾驶员在行驶过程中及时发现潜在的危险，减少因驾驶员查看视频分心所导致的交通事故的发生。
Description
技术领域
本发明涉及计算机视觉处理技术，具体而言，涉及一种用于车辆盲区的目标检测方法、装置和电子设备。
背景技术
随着城市建设发展，公交车、罐装车、渣土车等大型车辆为城市建设做出贡献的同时也产生了很多不必要的交通事故。大型车辆由于车身过高，对驾驶员来说存在较大的视觉盲区，而且行人目标又比较小，当进入盲区后，驾驶员基本无法看到，尤其在车辆拐弯时存在较大的安全隐患。
针对这种现状，很多大型车辆都会在盲区安装摄像头，用来实时监测盲区路况，并在驾驶室安装显示屏幕供驾驶员实时查看盲区情况。但是驾驶员不可能时刻查看视频，而且在查看视频路况的时候会带来别的安全隐患。
发明内容
本发明实施例提供了一种用于车辆盲区的目标检测方法、装置和电子设备，以至少解决现有技术中存在的因驾驶员分心查看视频而导致交通事故的问题。
根据本发明实施例的一个方面，提供了一种用于车辆盲区的目标检测方法，该方法包括以下步骤：获取目标图像；在所述目标图像中根据预设的车辆盲区标定对应的检测区域；使用深度学习模型检测所述目标图像中的目标对象，获得所述目标对象的位置信息；基于所述目标对象的位置信息，判断所述检测区域中是否存在所述目标对象；在所述检测区域中存在所述目标对象的情况下，发出报警信息。
进一步地，所述车辆盲区根据车辆类型预设或者通过对所述图像采集模块进行标定来预设。
进一步地，通过图像采集模块获取所述目标图像，所述图像采集模块的安装位置位于所述车辆的以下至少一个位置上：右后侧、左后侧、右前侧、左前侧、后侧。
进一步地，根据车辆类型预设所述车辆盲区包括根据车辆类型在地面上划定至少一个与车辆一侧相距预设距离的区域作为车辆盲区。
进一步地，所述深度学习模型以Mobilenet卷积神经网络作为基础特征提取网络，以SSD模型作为检测算法。
进一步地，该方法还包括：在使用深度学习模型检测所述目标图像中的目标对象，获得所述目标对象的位置信息后，采用非极大值抑制的方法对所述目标对象的位置信息进行筛选。
进一步地，所述目标对象包括以下至少之一：电动车、摩托车、行人、自行车、机动车、宠物、障碍物。
进一步地，在获取所述目标图像后，根据所述目标图像的通道信息判断是否为红外图像，并根据判断结果切换红外图像模型或RGB图像模型。
进一步地，该方法还包括对所述深度学习模型进行训练，训练方法包括：获取大量样本图像，并对所述样本图像中的目标对象标记标注框；将已标记标注框的所述样本图像输入所述深度学习模型并选取特征图；在所述特征图上选取预选框；将所述标记框与所述预选框进行匹配，获得所述预选框的定位损失和分类置信度损失；根据所述预选框的定位损失和分类置信度损失调整所述深度学习模型的损失函数以完成对所述深度学习模型的训练。
进一步地，将所述标记框与所述预选框进行匹配包括：将所述标记框与所述预选框按照交并比进行匹配。
进一步地，当交并比大于等于第一阈值时，将该预选框标记为正样本；根据正样本的数量和预设的正负样本比例，确定负样本数量。
根据本发明实施例的另一个方面，提供了一种用于车辆盲区的目标检测装置，该装置包括：图像采集模块，用于获取目标图像；检测区域标定模块，用于在所述目标图像中根据预设的车辆盲区标定对应的检测区域；位置检测模块，通过使用深度学习模型检测所述目标图像中的目标对象，获得所述目标对象的位置信息；判断模块，用于基于所述目标对象的位置信息，判断所述检测区域中是否存在所述目标对象；报警模块，用于在所述检测区域中存在所述目标对象的情况下，发出报警信息。
进一步地，所述深度学习模型以Mobilenet卷积神经网络作为基础特征提取网络，以SSD模型作为检测算法。
进一步地，所述目标检测装置还包括模式切换模块，用于在所述图像采集模块获取所述目标图像后，根据所述目标图像的通道信息判断所述目标图像是否为红外图像，并根据判断结果切换为红外图像模型或RGB图像模型，
根据本发明实施例的另一个方面，提供了一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项目标检测方法。
进一步地，根据处理器的运算能力对所述目标检测方法所采用的深度学习模型的权重和特征值进行优化。
根据本发明实施例的另一个方面，提供了一种存储介质，该存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述任意一项目标检测方法。
在本发明实施例中，通过获取目标图像；在所述目标图像中根据预设的车辆盲区标定对应的检测区域；使用深度学习模型检测所述目标图像中的目标对象，获得所述目标对象的位置信息；基于所述目标对象的位置信息，判断所述检测区域中是否存在所述目标对象；在所述检测区域中存在所述目标对象的情况下，发出报警信息。可以实现对车辆盲区内目标对象的自动监测，并在与车辆盲区对应的检测区域内存在目标对象时，发出报警提示，辅助驾驶员在行驶过程中及时发现潜在的危险，进而解决现有技术中存在的因驾驶员分心查看视频而导致交通事故的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1根据本发明实施例的一种可选的目标检测方法的流程图；
图2是根据本发明实施例的一种可选的深度学习模型训练方法的流程图；
图3是根据本发明实施例的一种可选的目标检测装置的结构框图；
图4是根据本发明实施例的一种可选的电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例可以应用于计算机系统/服务器，其可与众多其它通用或者专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、手持或膝上设备、基于微处理器的系统、可编程消费电子产品、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块等)的一般语境下描述。通常，程序模块可以包括例程、程序、组件、逻辑以及数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，由通过通信网络链接的远程处理设备执行任务。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或者远程计算系统存储介质上。
下面通过详细的实施例来说明本发明。
根据本发明的一个方面，提供了一种用于车辆盲区的目标检测方法。参考图1，是根据本发明实施例的一种可选的用于车辆盲区的目标检测方法的流程图。如图1所示，该方法包括以下步骤：
S10：获取目标图像；
S12：在目标图像中根据预设的车辆盲区标定对应的检测区域；
S14：使用深度学习模型检测目标图像中的目标对象，获得目标对象的位置信息；
S16：基于目标对象的位置信息，判断检测区域中是否存在目标对象；
S18：在检测区域中存在目标对象的情况下，发出报警信息。
在本发明实施例中，通过上述步骤，可以实现对车辆盲区内目标对象的自动监测，并在与车辆盲区对应的检测区域内存在目标对象时，发出报警提示，辅助驾驶员在行驶过程中及时发现潜在的危险，减少因驾驶员查看视频分心所导致的交通事故的发生。
下面对上述各步骤进行详细说明。
步骤S10：获取目标图像。
可选的，在本发明实施例中，可以通过图像采集模块获取目标图像。其中，图像采集模块可以为独立的摄像头或集成有摄像头的相机、手机、行车记录仪、辅助驾驶系统等电子设备，摄像头的类型包括红外结构光摄像头、飞行时间摄像头(Time-of-flight，ToF)、RGB摄像头、Mono摄像头、鱼眼摄像头等。图像采集模块的数量为一个或多个，其在车辆上的安装位置可以包括位于车辆的以下至少一个位置上：右后侧、左后侧、右前侧、左前侧、后侧，用于采集至少一个区域的至少一个图像。
可选的，在本发明实施例中，可以通过图像采集模块拍摄视频，并间隔预定时间截取目标图像，以减少计算量。为了实现对目标的实时监测，相邻两帧目标图像之间所间隔的预定时间一般较短。
步骤S12：在目标图像中根据预设的车辆盲区标定对应的检测区域。
可选的，在本发明实施例中，车辆盲区是指驾驶员在行驶过程中不能通过后视镜看到并且容易发生事故的视觉死角。车辆盲区可以根据车辆类型预设或者通过对图像采集模块进行标定来预设。其中，根据车辆类型预设车辆盲区包括根据车辆类型在地面上划定至少一个与车辆一侧相距预设距离的区域作为车辆盲区，然后在目标图像中标定与划定的车辆盲区重合的检测区域。例如，针对大货车，在只监测右后侧盲区的情况下，可以通过在地面上划定距离右后侧车门1米、2米和3米线来预设大货车的盲区，然后在目标图像中构造与拍摄的1米、2米和3米线重合的标定线来标定对应的检测区域。通过对图像采集模块进行标定来预设车辆盲区包括对图像采集模块进行标定以获得图像采集模块的参数；根据图像采集模块的参数来预设车辆盲区；图像采集模块的参数包括内部参数和外部参数，内部参数包括视场角、焦距等，外部参数包括图像采集模块的位置、角度等。
步骤S14：使用深度学习模型检测目标图像中的目标对象，获得目标对象的位置信息。
可选的，在本发明实施例中，深度学习模型以Mobilenet卷积神经网络作为基础特征提取网络，将标准的卷积计算分解成使用1*1的逐点卷积和3*3的深度卷积，以SSD(Single Shot Multi Box Detector)模型作为检测算法，结合Mobilenet卷积神经网络提取的特征，对目标对象进行回归和分类。通过使用Mobilenet卷积神经网络替换标准SSD模型的基础网络，能够在保证检测效果的同时，减少计算量，使得基于深度学习的检测方法可以在计算能力较弱的移动硬件上得以实现。目标对象包括但不限于：电动车、摩托车、行人、自行车、机动车、宠物、障碍物等。
可选的，在本发明实施例中，在使用深度学习模型检测目标图像中的目标对象，获得目标对象的位置信息后，目标检测方法还可以包括采用非极大值抑制(Non-MaximumSuppression)的方法对目标对象的位置信息进行筛选。
S16：基于目标对象的位置信息，判断检测区域中是否存在目标对象。
可选的，在本发明实施例中，可以在目标图像中构建坐标系，根据目标对象的中心像素点坐标与检测区域中的边界线(例如1米、2米或3米线)来判断检测区域中是否存在目标对象。
S18：在检测区域中存在目标对象的情况下，发出报警信息。
可选的，在本发明实施例中，报警信息包括视觉、听觉、触觉中的其中一种或任意组合的信息。例如，可以在显示屏的画面中将目标对象框出，当目标对象出现在不同位置时(例如，距离车辆右后侧车门1米、2米和3米线)，分别发出不同的语音提示，以辅助驾驶员做出更准确的判断。
可选的，在本发明实施例中，当图像采集模块的数量为多个时，还可以将多个图像进行切换显示或根据驾驶员的选择显示其中一个或多个图像采集模块的图像，也可以将其中几个图像采集模块的图像合成显示。
由于在雨天、夜间、雾霾天等能见度较低的天气下或者路灯配置较少的道路，光线较暗，图像采集模块可以采用受光照变化影响小的红外摄像头来获取质量优于普通摄像头的红外线IR视频流，从而提高检测结果的准确度。在这种情况下，图像采集模块可以为红外摄像头和RGB摄像头的组合，相应地，深度学习模型包含红外图像模型和RGB图像模型，即可以采用大量红外图像和RGB图像作为样本图像分别训练得到红外图像模型和RGB图像模型，其中，红外图像模型和RGB图像模型可以具有相同的结构，以降低深度学习模型的复杂度。在获取目标图像后，可以根据目标图像的通道信息判断目标图像是否为红外图像，并根据判断结果切换为红外图像模型或RGB图像模型，以实现对红外图像和RGB图像的无缝衔接，无论在光线明亮的环境还是在光线昏暗的环境下，对车辆盲区的目标对象检测都能取得较好的效果。在本发明的一个实施例中，由于RGB图像有3个通道，每个通道的值都是不同的，而红外图像只有1个通道，为了判断是否为红外图像，可以将红外图像处理成3个通道，每个通道的值都相同，通过比较每个像素点的三个通道上的像素值是否一致来判断是红外图像还是RGB图像，如果都一致，则判断为红外图像；若出现一个以上的像素点三个通道的值不一致，则判断为RGB图像。为了减少计算量，还可以每隔预定数量的像素点(例如，每隔50个像素点)去比较三个通道上的像素值是否一致来判断是红外图像还是RGB图像。之后，再根据判断结果切换为红外图像模型或RGB图像模型，以实现对红外图像和RGB图像的无缝衔接。
在使用上述实施例所提供的目标检测方法检测车辆盲区时，该目标检测方法还包括对深度学习模型进行训练。参考图2，是根据本发明实施例的一种可选的深度学习模型训练方法的流程图。如图2所示，该方法包括以下步骤：
S20：获取大量样本图像，并对样本图像中的目标对象标记标注框。
可选的，在本发明实施例中，可以在各种场景下获取大量样本图像，包括由乡村道路、城市道路等各级道路以及晴天、阴天、雨天、白天、夜晚等各种天气状况构成的各种场景。
可选的，在本发明实施例中，标注框可以为目标对象的最小外接矩形框。
S22：将已标记标注框的样本图像输入深度学习模型并选取特征图。
可选的，在本发明实施例中，可以在样本图像上选取多个不同大小尺寸的特征图。
S24：在特征图上选取预选框。
可选的，在本发明实施例中，在每个特征图上选取一定数量的预选框，以适应不同大小比例的目标对象。
S26：将标记框与预选框进行匹配，获得预选框的定位损失和分类置信度损失；
可选的，在本发明实施例中，将标记框与预选框进行匹配包括：将所述标记框与所述预选框按照交并比(IOU，Intersection Over Union)进行匹配，当交并比大于等于第一阈值时，将该预选框标记为正样本；当交并比小于第一阈值时，将该预选框标记为负样本。由于会在每一张特征图上选取大量的预选框，除了少数几个正样本以外，其余均为负样本，这样会使得在优化时，过度地关注负样本，使得检测效果变差。因此，可以通过实验确定一个合适的正负样本比例，然后根据正样本的数量和正负样本比例，确定负样本的数量，以优化训练效果。当然，在不同情况下可以适当调整正负样本比例，例如，当误检率过高时，可以适当提高负样本的数量，以降低误检率。
S28：根据预选框的定位损失和分类置信度损失调整深度学习模型的损失函数以完成对深度学习模型的训练。
在本发明实施例中，通过上述步骤，可以实现对深度学习模型的训练，并且通过设置正负样本比例，可以优化训练效果。
根据本发明实施例的另一方面，还提供了一种用于车辆盲区的目标检测装置。参考图3，是根据本发明实施例的一种可选的用于车辆盲区的目标检测装置的结构框图。如图3所示，目标检测装置3包括：
图像采集模块30，用于获取目标图像；
可选的，在本发明实施例中，图像采集模块30可以为独立的摄像头或集成有摄像头的相机、手机、行车记录仪、辅助驾驶系统等电子设备，摄像头的类型包括红外结构光摄像头、飞行时间摄像头(Time-of-flight，ToF)、RGB摄像头、Mono摄像头、鱼眼摄像头等。图像采集模块30的数量为一个或多个，其在车辆上的安装位置可以包括位于车辆的以下至少一个位置上：右后侧、左后侧、右前侧、左前侧、后侧，用于采集至少一个区域的至少一个图像。
可选的，在本发明实施例中，可以通过图像采集模块30拍摄视频，并间隔预定时间截取目标图像，以减少计算量。为了实现对目标的实时监测，相邻两帧目标图像之间所间隔的预定时间一般较短。
检测区域标定模块32，用于在目标图像中根据预设的车辆盲区标定对应的检测区域。
可选的，在本发明实施例中，车辆盲区是指驾驶员在行驶过程中不能通过后视镜看到并且容易发生事故的视觉死角。车辆盲区可以根据车辆类型预设或者通过对图像采集模块进行标定来预设。其中，根据车辆类型预设车辆盲区包括根据车辆类型在地面上划定至少一个与车辆一侧相距预设距离的区域作为车辆盲区，然后在目标图像中标定与划定的车辆盲区重合的检测区域。例如，针对大货车，在只监测右后侧盲区的情况下，可以通过在地面上划定距离右后侧车门1米、2米和3米线来预设大货车的盲区，然后在目标图像中构造与拍摄的1米、2米和3米线重合的标定线来标定对应的检测区域。通过对图像采集模块进行标定来预设车辆盲区包括对图像采集模块进行标定以获得图像采集模块的参数；根据图像采集模块的参数来预设车辆盲区；图像采集模块的参数包括内部参数和外部参数，内部参数包括视场角、焦距等，外部参数包括图像采集模块的位置、角度等。
位置检测模块34，通过使用深度学习模型检测目标图像中的目标对象，获得目标对象的位置信息。
可选的，在本发明实施例中，深度学习模型以Mobilenet卷积神经网络作为基础特征提取网络，将标准的卷积计算分解成使用1*1的逐点卷积和3*3的深度卷积，以SSD(Single Shot Multi Box Detector)模型作为检测算法，用于在Mobilenet卷积神经网络提取的特征上，对目标对象进行回归和分类。通过使用Mobilenet卷积神经网络替换标准SSD模型的基础网络，能够在保证检测效果的同时，减少计算量，使得基于深度学习的检测方法可以在计算能力较弱的移动硬件上得以实现。目标对象包括但不限于：电动车、摩托车、行人、自行车、机动车、宠物、障碍物等。
可选的，在本发明实施例中，在使用深度学习模型检测目标图像中的目标对象，获得目标对象的位置信息后，目标检测方法还可以包括采用非极大值抑制(Non-MaximumSuppression)的方法对目标对象的位置信息进行筛选。
判断模块36，用于基于目标对象的位置信息，判断检测区域中是否存在目标对象。
可选的，在本发明实施例中，判断模块36可以在目标图像中构建坐标系，根据目标对象的中心像素点坐标与检测区域中的边界线(例如1米、2米或3米线)来判断检测区域中是否存在目标对象。
报警模块38，用于在检测区域中存在目标对象的情况下，发出报警信息。
可选的，在本发明实施例中，报警信息包括视觉、听觉、触觉中的其中一种或任意组合的信息。报警模块包括但不限于显示屏、喇叭、振动电机等。例如，可以在显示屏的画面中将目标对象框出，当目标对象出现在不同位置时(例如，距离车辆右后侧车门1米、2米和3米线)，分别发出不同的语音提示，以辅助驾驶员做出更准确的判断。
可选的，在本发明实施例中，当图像采集模块的数量为多个时，还可以将多个图像进行切换显示或根据驾驶员的选择显示其中一个或多个图像采集模块的图像，也可以将其中几个图像采集模块的图像合成显示。
由于在雨天、夜间、雾霾天等能见度较低的天气下或者路灯配置较少的道路，光线较暗，图像采集模块30可以采用受光照变化影响小的红外摄像头来获取质量优于普通摄像头的红外线IR视频流，从而提高检测结果的准确度。在这种情况下，图像采集模块可以为红外摄像头和RGB摄像头的组合，相应地，深度学习模型包含红外图像模型和RGB图像模型，即可以采用大量红外图像和RGB图像作为样本图像分别训练得到红外图像模型和RGB图像模型，其中，红外图像模型和RGB图像模型可以具有相同的结构，以降低深度学习模型的复杂度。在一个实施例中，目标检测装置3还可以包括模式切换模块31，用于在图像采集模块30获取目标图像后，根据目标图像的通道信息判断目标图像是否为红外图像，并根据判断结果切换为红外图像模型或RGB图像模型，以实现对红外图像和RGB图像的无缝衔接，无论在光线明亮的环境还是在光线昏暗的环境下，对车辆盲区的目标对象检测都能取得较好的效果。
在本发明实施例中，通过上述模块，可以实现对车辆盲区内目标对象的自动监测，并在与车辆盲区对应的检测区域内存在目标对象时，发出报警提示，辅助驾驶员在行驶过程中及时发现潜在的危险，减少因驾驶员查看视频分心所导致的交通事故的发生。
根据本发明实施例的另一方面，还提供了一种电子设备。参考图4，是根据本发明实施例的一种可选的电子设备的结构框图。如图4所示，电子设备4包括：处理器40；以及存储器42，用于存储所述处理器40的可执行指令；其中，所述处理器40被配置为经由执行所述可执行指令来执行上述目标检测方法。
可选的，在本发明实施例中，可以根据处理器的运算能力对目标检测方法所采用的深度学习模型的权重和特征值进行优化。例如，当使用的处理器为DSP时，其对浮点乘法的运算能力比较弱，具体表现在计算所需时间会比较长，但是对量化后八位的运算比较强，时间可以缩短2-3倍，所以在对深度学习模型进行训练时可以模拟量化的计算，对卷积的权重和特征的值进行优化，减少量化后对检测效果的影响，实现在尽量不影响效果的情况下，缩短报警的延迟时间。
根据本发明实施例的另一方面，还提供了一种存储介质，其中，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述目标检测方法。
根据本发明实施例所提供的目标检测方法和目标检测装置，不仅可以用于对车辆盲区中目标对象的检测，减少交通事故，还可以用于对车辆行驶过程中其它预设区域中目标对象的检测，实现智能车辆辅助驾驶。此外，在本领域技术人员不付出创造性劳动的情况下，上述目标检测方法和目标检测装置还可以用于其它监控场景下对目标对象的检测、计数等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (14)
1.一种用于车辆盲区的目标检测方法，其特征在于，所述方法包括以下步骤：
获取目标图像；
在所述目标图像中根据预设的车辆盲区标定对应的检测区域；
使用深度学习模型检测所述目标图像中的目标对象，获得所述目标对象的位置信息；
基于所述目标对象的位置信息，判断所述检测区域中是否存在所述目标对象；
在所述检测区域中存在所述目标对象的情况下，发出报警信息；
其中，所述深度学习模型包含红外图像模型和RGB图像模型；
使用深度学习模型检测所述目标图像中的目标对象包括：
根据所述目标图像的通道信息判断所述目标图像是否为红外图像，如果所述目标图像为红外图像，则使用所述红外图像模型检测所述目标图像中的目标对象；如果所述目标图像为RGB图像，则使用所述RGB图像模型检测所述目标图像中的目标对象；所述根据所述目标图像的通道信息判断所述目标图像是否为红外图像包括：将所述目标图像处理成3个通道，比较所述目标图像每个像素点的三个通道上的像素值是否一致，如果所述目标图像每个像素点的三个通道上的像素值都一致，则判断所述目标图像为红外图像；若所述目标图像存在一个以上的像素点三个通道的值不一致，则判断所述目标图像为RGB图像；
所述方法还包括：对所述深度学习模型进行训练；
训练方法包括：
获取大量样本图像，并对所述样本图像中的目标对象标记标注框；
将已标记标注框的所述样本图像输入所述深度学习模型并选取特征图；
在所述特征图上选取预选框；
将已标记标注框与所述预选框进行匹配，获得所述预选框的定位损失和分类置信度损失；
根据所述预选框的定位损失和分类置信度损失调整所述深度学习模型的损失函数以完成对所述深度学习模型的训练。
2.根据权利要求1所述的方法，其特征在于，所述车辆盲区根据车辆类型预设或者通过对图像采集模块进行标定来预设，所述图像采集模块用于获取目标图像。
3.根据权利要求1所述的方法，其特征在于，通过图像采集模块获取所述目标图像，所述图像采集模块的安装位置位于所述车辆的以下至少一个位置上：右后侧、左后侧、右前侧、左前侧、后侧。
4.根据权利要求2所述的方法，其特征在于，根据车辆类型预设所述车辆盲区包括根据车辆类型在地面上划定至少一个与车辆一侧相距预设距离的区域作为车辆盲区。
5.根据权利要求1所述的方法，其特征在于，所述深度学习模型以Mobilenet卷积神经网络作为基础特征提取网络，以SSD模型作为检测算法。
6.根据权利要求1所述的方法，还包括：在使用深度学习模型检测所述目标图像中的目标对象，获得所述目标对象的位置信息后，采用非极大值抑制的方法对所述目标对象的位置信息进行筛选。
7.根据权利要求1所述的方法，其特征在于，所述目标对象包括以下至少之一：电动车、摩托车、行人、自行车、机动车、宠物、障碍物。
8.根据权利要求1所述的方法，其特征在于，将已标记标注框与所述预选框进行匹配包括：将已标记标注框与所述预选框按照交并比进行匹配。
9.根据权利要求8所述的方法，其特征在于，当交并比大于等于第一阈值时，将该预选框标记为正样本；根据正样本的数量和预设的正负样本比例，确定负样本数量。
10.一种用于车辆盲区的目标检测装置，其特征在于，所述装置包括：
图像采集模块，用于获取目标图像；
检测区域标定模块，用于在所述目标图像中根据预设的车辆盲区标定对应的检测区域；
位置检测模块，用于通过使用深度学习模型检测所述目标图像中的目标对象，获得所述目标对象的位置信息；还用于对所述深度学习模型进行训练；
判断模块，用于基于所述目标对象的位置信息，判断所述检测区域中是否存在所述目标对象；
报警模块，用于在所述检测区域中存在所述目标对象的情况下，发出报警信息；
其中，所述深度学习模型包含红外图像模型和RGB图像模型；
所述位置检测模块通过使用深度学习模型检测所述目标图像中的目标对象包括：
根据所述目标图像的通道信息判断所述目标图像是否为红外图像，如果所述目标图像为红外图像，则使用所述红外图像模型检测所述目标图像中的目标对象；如果所述目标图像为RGB图像，则使用所述RGB图像模型检测所述目标图像中的目标对象；
所述根据所述目标图像的通道信息判断所述目标图像是否为红外图像包括：将所述目标图像处理成3个通道，比较所述目标图像每个像素点的三个通道上的像素值是否一致，如果所述目标图像每个像素点的三个通道上的像素值都一致，则判断所述目标图像为红外图像；若所述目标图像存在一个以上的像素点三个通道的值不一致，则判断所述目标图像为RGB图像；
所述深度学习模型的训练方法包括：
获取大量样本图像，并对所述样本图像中的目标对象标记标注框；
将已标记标注框的所述样本图像输入所述深度学习模型并选取特征图；
在所述特征图上选取预选框；
将已标记标注框与所述预选框进行匹配，获得所述预选框的定位损失和分类置信度损失；
根据所述预选框的定位损失和分类置信度损失调整所述深度学习模型的损失函数以完成对所述深度学习模型的训练。
11.根据权利要求10所述的装置，其特征在于，所述深度学习模型以Mobilenet卷积神经网络作为基础特征提取网络，以SSD模型作为检测算法。
12.一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9中任意一项所述的目标检测方法。
13.根据权利要求12所述的电子设备，其特征在于，根据处理器的运算能力对所述目标检测方法所采用的深度学习模型的权重和特征值进行优化。
14.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至9中任意一项所述的目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910446922.8A CN112001208B (zh) | 2019-05-27 | 2019-05-27 | 用于车辆盲区的目标检测方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910446922.8A CN112001208B (zh) | 2019-05-27 | 2019-05-27 | 用于车辆盲区的目标检测方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112001208A CN112001208A (zh) | 2020-11-27 |
| CN112001208B true CN112001208B (zh) | 2024-08-27 |
Family
ID=73461378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910446922.8A Active CN112001208B (zh) | 2019-05-27 | 2019-05-27 | 用于车辆盲区的目标检测方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112001208B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112633258B (zh) * | 2021-03-05 | 2021-05-25 | 天津所托瑞安汽车科技有限公司 | 一种目标确定方法及装置、电子设备、计算机可读存储介质 |
| CN113581194A (zh) * | 2021-08-06 | 2021-11-02 | 武汉极目智能技术有限公司 | 基于车载视觉检测的自动预警交互系统及方法 |
| CN115578470B (zh) * | 2022-09-22 | 2024-06-07 | 虹软科技股份有限公司 | 一种单目视觉定位方法、装置、存储介质和电子设备 |
| CN116034734B (zh) * | 2023-03-31 | 2023-05-30 | 徐工汉云技术股份有限公司 | 收割机的安全监控系统、方法与装置 |
| CN118053123B (zh) * | 2024-02-29 | 2024-10-01 | 北京积加科技有限公司 | 报警信息生成方法、装置、电子设备与计算机介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108710913A (zh) * | 2018-05-21 | 2018-10-26 | 国网上海市电力公司 | 一种基于深度学习的开关柜图像开关状态自动识别方法 |
| CN109591698A (zh) * | 2017-09-30 | 2019-04-09 | 上海欧菲智能车联科技有限公司 | 盲区检测系统、盲区检测方法和车辆 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8781171B2 (en) * | 2012-10-24 | 2014-07-15 | Honda Motor Co., Ltd. | Object recognition in low-lux and high-lux conditions |
| CN105512667B (zh) * | 2014-09-22 | 2019-01-15 | 中国石油化工股份有限公司 | 红外和可见光视频图像融合识别火灾的方法 |
| CN105930787B (zh) * | 2016-04-16 | 2019-08-23 | 南京林业大学 | 车辆开门预警方法 |
| CN107832677A (zh) * | 2017-10-19 | 2018-03-23 | 深圳奥比中光科技有限公司 | 基于活体检测的人脸识别方法及系统 |
| CN108960179A (zh) * | 2018-07-16 | 2018-12-07 | 维沃移动通信有限公司 | 一种图像数据处理方法及移动终端 |
| CN109711474B (zh) * | 2018-12-24 | 2023-01-17 | 中山大学 | 一种基于深度学习的铝材表面缺陷检测算法 |
-
2019
- 2019-05-27 CN CN201910446922.8A patent/CN112001208B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109591698A (zh) * | 2017-09-30 | 2019-04-09 | 上海欧菲智能车联科技有限公司 | 盲区检测系统、盲区检测方法和车辆 |
| CN108710913A (zh) * | 2018-05-21 | 2018-10-26 | 国网上海市电力公司 | 一种基于深度学习的开关柜图像开关状态自动识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112001208A (zh) | 2020-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112001208B (zh) | 用于车辆盲区的目标检测方法、装置和电子设备 | |
| CN105512623B (zh) | 基于多传感器雾天行车视觉增强与能见度预警系统及方法 | |
| US7031496B2 (en) | Method and apparatus for object recognition using a plurality of cameras and databases | |
| US10339812B2 (en) | Surrounding view camera blockage detection | |
| US9070023B2 (en) | System and method of alerting a driver that visual perception of pedestrian may be difficult | |
| CN109703460B (zh) | 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法 | |
| US20110182473A1 (en) | System and method for video signal sensing using traffic enforcement cameras | |
| EP0986036A2 (en) | Method of updating reference background image, method of detecting entering objects and system for detecting entering objects using the methods | |
| US7970178B2 (en) | Visibility range estimation method and system | |
| CN107845104A (zh) | 一种检测超车车辆的方法、相关处理系统、超车车辆检测系统以及车辆 | |
| CN111652060A (zh) | 一种基于激光雷达的限高预警方法、装置、电子设备及存储介质 | |
| KR102267517B1 (ko) | 도로 안개감지 장치 및 그 감지 방법 | |
| CN108482367A (zh) | 一种基于智能后视镜辅助驾驶的方法、装置及系统 | |
| CN112101272A (zh) | 交通灯检测的方法、装置、计算机存储介质和路侧设备 | |
| CN112092809A (zh) | 一种辅助倒车方法、装置、系统及车辆 | |
| US11580695B2 (en) | Method for a sensor-based and memory-based representation of a surroundings, display device and vehicle having the display device | |
| CN116486351A (zh) | 行车预警方法、装置、设备及存储介质 | |
| JP2019146012A (ja) | 撮像装置 | |
| CN110929606A (zh) | 车辆盲区行人监控方法和装置 | |
| CN112699862B (zh) | 图像数据处理方法、装置、设备和存储介质 | |
| JP2008077154A (ja) | 車両周辺監視装置 | |
| CN112183415A (zh) | 车道线处理方法、车辆和可读存储介质 | |
| CN113421191B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN110198439A (zh) | 用于自动测试adas相机的图像识别性能的方法和装置 | |
| CN113989774A (zh) | 一种交通灯检测方法、装置、车辆和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: 310052 19th Floor, No. 392, Binxing Road, Changhe Street, Binjiang District, Hangzhou City, Zhejiang Province (Hongsoft Building) Applicant after: Rainbow Software Co.,Ltd. Address before: 310012 22nd and 23rd Floors of Building A, Paradise Software Park, No. 3 Xidoumen Road, Xihu District, Hangzhou City, Zhejiang Province Applicant before: Rainbow Software Co.,Ltd. Country or region before: China |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |