CN110647863A - 用于智能驾驶的视觉信号采集分析系统 - Google Patents

用于智能驾驶的视觉信号采集分析系统 Download PDF

Info

Publication number
CN110647863A
CN110647863A CN201910945128.8A CN201910945128A CN110647863A CN 110647863 A CN110647863 A CN 110647863A CN 201910945128 A CN201910945128 A CN 201910945128A CN 110647863 A CN110647863 A CN 110647863A
Authority
CN
China
Prior art keywords
target object
vehicle
signal acquisition
visual signal
analysis system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910945128.8A
Other languages
English (en)
Other versions
CN110647863B (zh
Inventor
杨辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Yuan Han Automotive Technology Design And Research Institute Co Ltd
Original Assignee
Chongqing Yuan Han Automotive Technology Design And Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Yuan Han Automotive Technology Design And Research Institute Co Ltd filed Critical Chongqing Yuan Han Automotive Technology Design And Research Institute Co Ltd
Priority to CN201910945128.8A priority Critical patent/CN110647863B/zh
Publication of CN110647863A publication Critical patent/CN110647863A/zh
Application granted granted Critical
Publication of CN110647863B publication Critical patent/CN110647863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及无人驾驶技术领域，具体公开了用于智能驾驶的视觉信号采集分析系统，包括：采集模块，用于采集预设方向上的图像；处理模块，用于对采集的图像进行第一预处理，并从第一预处理后的图像中检测出目标物体，生成标记目标物体的标记框，其中目标物体位于标记框内；还包括分析模块，分析模块用于识别标记框内的目标物体，判断目标物体是否为车辆；当目标物体为车辆时，识别车辆上的预设区域并判断预设区域内是否有高风险标记；如果有，获取预存的该高风险标记对应的潜在风险决策信息，并输出。采用本发明的技术方案能对道路中不稳定因素进行提前识别。

Description

用于智能驾驶的视觉信号采集分析系统
技术领域
本发明涉及无人驾驶技术领域，特别涉及用于智能驾驶的视觉信号采集分析系统。
背景技术
智能驾驶,也称为无人驾驶；它主要是由车辆中安装的一些传感器来采集车辆在行驶过程中周围道路环境信息，通过对这些信息的处理而实现车辆的速度和转向控制，从而使车辆能够安全、可靠地在道路上行驶，达到无人驾驶的目的。
例如，公开号为CN107316486A的中国专利公开了一种基于双摄像头的无人驾驶汽车视觉识别系统，包括第一图像采集模块、第二图像采集模块、车道线识别模块、车辆识别模块、交通标志识别模块、交通信号灯检测与识别模块。该系统通过基于双摄像头，通过两条通道对图像数据进行分别的处理，识别行进过程中不同的目标，发送相应数据信号实现无人驾驶车辆的车道识别与跟踪，对于周围车辆的主动避撞，根据交通标志进行相应的车辆控制，通过交通信号灯实现快速启动与停止等功能，能在一定程度上保证行车安全。
但是，上述方案只能对道路上的常规项目进行检测，对于道路上的其他危险因素，却不能做到及时的识别，例如未上牌照的两轮电动车，这一类车辆通常危险系数高，需要提前识别，及时作出反应，以保障行车安全。
为此，需要一种能对道路中不稳定因素进行提前识别的视觉信号采集分析系统。
发明内容
本发明的目的在于提供用于智能驾驶的视觉信号采集分析系统，以解决不能对道路中不稳定因素进行识别的问题。
为解决上述技术问题，本发明技术方案如下：
用于智能驾驶的视觉信号采集分析系统，包括：采集模块，用于采集预设方向上的图像；处理模块，用于对采集的图像进行第一预处理，并从第一预处理后的图像中检测出目标物体，生成标记目标物体的标记框，其中目标物体位于标记框内；还包括分析模块，分析模块用于识别标记框内的目标物体，判断目标物体是否为车辆；当目标物体为车辆时，识别车辆上的预设区域并判断预设区域内是否有高风险标记；如果有，获取预存的该高风险标记对应的潜在风险决策信息，并输出。
基础方案原理及有益效果如下：
本方案中，通过采集模块采集预设方向上的图像，可以充分的采集道路上的图像信息，处理模块通过标记框框选出目标物体，能便于后续的识别。分析模块通过判断目标物体是否为车辆，能排除其他物体的干扰，减少数据处理量。分析模块通过识别车辆上的预设区域并判断预设区域内是否有高风险标记，能够及时的筛选出危险系数较高的车辆，便于及时作出反应，能保障行车安全，降低安全事故发生的概率。
进一步，所述分析模块基于卷积神经网络模型识别标记框内的目标物体。
卷积神经网络模型相比传统人工神经网络其最显著的特点是局部链接和权值共享，使得卷积神经网络模型不仅减少了权值数量还降低了网络模型复杂度。因此卷积神经网络模型非常适合本方案中输入数据体量庞大、信息丰富的图像识别任务。
进一步，所述卷积神经网络模型在使用前基于场景图像进行训练，其中，场景图像的数量不低于200000张。
通过丰富的场景图像，能对卷积神经网络模型进行充分的训练，以提高卷积神经网络模型识别的准确率。
进一步，所述处理模块还用于对采集的图像进行第二预处理，并从第二预处理的图像中识别车道线。
通过第二预处理，便于快速对车道线进行识别。
进一步，所述第一预处理包括图像降噪，所述第二预处理包括灰度化、图像降噪和图像分割。
图像的后续识别内容不同，故第一预处理和第二预处理包括的具体内容不同；第一预处理不进行灰度化处理，能避免一些具有明显色彩特征的高风险标记在处理中被抹去。
进一步，所述分析模块还用于识别交通标志、交通信号和障碍物。
通过识别交通标志、交通信号和障碍物能便于后续作出正常的驾驶决策。
进一步，所述车辆包括机动车和非机动车，其中，机动车包括四轮车辆和两轮车辆。
通过将四轮车辆和两轮车辆进行区别，针对性更强，能提高识别的准确度。
进一步，所述四轮车辆的预设区域包括车牌区域、后车窗区域、车轮区域、车顶区域、车灯区域和尾箱区域；两轮车辆的预设区域包括车牌区域，驾驶员头部区域。
为四轮车辆和两轮车辆设置不同的预设区域，针对性更强。
进一步，所述采集模块包括若干个摄像头，摄像头分别固定在本车的各个方位上。
通过摄像头采集本车各个方位的图像，能有效扩大图像采集的面积，以获取更多的有用信息。
进一步，所述标记框为矩形框。
通过四个点就可以确定一个矩形框，便于快速的框选目标物体。
附图说明
图1为用于智能驾驶的视觉信号采集分析系统实施例一的逻辑框图。
具体实施方式
下面通过具体实施方式进一步详细说明：
实施例一
如图1所示，用于智能驾驶的视觉信号采集分析系统，包括采集模块、处理模块和分析模块。
采集模块包括若干个摄像头，摄像头分别固定在本车的各个方位上。本实施例中，摄像头的数量为4个，分别固定在本车的前、后、左、右四个方位上。采集模块用于采集预设方向上的图像；
处理模块用于对采集的图像进行第一预处理，并从第一预处理后的图像中检测出目标物体，生成标记目标物体的标记框，其中目标物体位于标记框内；本实施例中标记框为矩形框，不同的目标物体，标记框的颜色不同。目标物体指道路上的各种物体,例如车辆、行人、障碍区、交通标志、交通线信号灯等。
第一预处理包括图像降噪。处理模块还用于对采集的图像进行第二预处理，并从第二预处理的图像中识别车道线。本实施例中，第二预处理包括灰度化、图像降噪和图像分割。
具体的，由于采集的图像有亮度和色彩信息，灰度化是将采集的图像转换为灰度图像，本实施例中采用加权平均值法进行灰度化处理。图像降噪时，采用中值滤波法对灰度图像进行降噪，中值滤波法能在取出图像噪点的同时较好的保护图像的边缘细节、图像分隔时，采用基于阈值分隔法；阈值分割法的基本思想是根据图像的灰度，把图像分成同实际物体相对应的区域。在分割后的每个区域内部中从灰度的角度看是均匀的，相邻的区域之间是不同的，灰度不同的区域间存在着明显的边界。
分析模块包括分析单元和存储单元；分析单元用于识别标记框内的目标物体；本实施例中，分析单元基于卷积神经网络模型识别标记框内的目标物体。卷积神经网络模型在使用前通过场景图像进行训练，场景图像的数量不低于200000张。本实施例中，采用300000张现有场景图片进行训练，其中高分辨率(不低于400x800)行车记录仪图片200000张，中高分辨率(不低于400×300)网络爬取图片100000张。每张图片均进行了目标物体标记。
分析单元基于识别后的目标物体和从处理模块获取的车道线生成基础决策信息并输出。识别后的目标物体包括识别交通标志、交通信号、障碍物和车辆等。本实施例中，交通标志指用文字或符号传递引导、限制、警告或指示信息的道路设施，例如禁令标志、警告标志、指示标志、道路施工安全标志等。交通信号指交通信号灯。车辆包括机动车和非机动车，其中机动车包括四轮车辆和两轮车辆。
存储单元中预存有潜在风险决策信息，其中每一潜在风险决策信息对应一高风险标记。卷积神经网络模型在使用前，还需要输入高风险标记图像集进行训练，以获得识别高风险标记的能力。
当目标物体为车辆时，分析单元识别车辆上的预设区域，并识别判断预设区域内是否有对应的高风险标记；如果有，从存储单元中获取该高风险标记对应的潜在风险决策信息并输出。本实施例中，四轮车辆的预设区域包括车牌区域、后车窗区域、车轮区域、车顶区域、车灯区域和尾箱区域等，两轮车辆的预设区域包括车牌区域，驾驶员头部区域等。
四轮车辆的预设区域对应的高风险标记，例如车牌区域的未上车牌和遮挡车牌；后车窗区域的遮挡车窗；车轮区域的车轮缺气等；两轮车辆的预设区域对应的高风险标记，例如，车牌区域的未上车牌或遮挡车牌，驾驶员头部区域的未带头盔或头部数量大于2(即超载)等。例如高风险标记为两轮车辆的车牌区域的未上车牌或遮挡车牌时，对应的潜在风险决策信息为，保持车距或变道。
具体的，每一风险决策信息包括加速度控制信息和转向角度控制信息。汽车的控制装置可以根据加速度控制信息和转向角度控制信息的组合，调节汽车的油门、刹车、离合和转向中的一种或多种，从而实现汽车的加速、减速、停车或变道等，此处属于现有技术，这里不再赘述。
实施例二
用于智能驾驶的视觉信号采集分析系统，与实施例一的区别之处在于：当目标物体为车辆时，分析单元还识别车辆的型号，本实施例中，存储单元中还预存有车辆每一型号对应的外观图像；存储单元中还预存有外观破损对应的风险决策信息。分析单元基于周围车辆的型号从存储单元中获取对应的外观图像，分析单元将周围车辆的图像信息与对应的外观图像进行对比，判断周围车辆是否有外观破损。本实施例中，外观破损指能被摄像头采集到的汽车外观上的损坏，例如碰撞导致的缺少零部件、凹陷或者较大的划痕等。对于一些较小的擦挂痕迹，本方案中不需要进行采集，在汽车高速运动中，现有的摄像头也不容易采集到。
当分析单元判断周围车辆存在破损时，从存储单元中获取外观破损对应的风险决策信息并输出。
通过对汽车外观是否存在破损进行判断，能从一个维度判断对应汽车驾驶员的驾驶习惯；首先存在破损证明该汽车出过事故，该驾驶员操控车辆出现交通事故的概率较高；其次，破损仍然存在，证明该汽车没有及时进行维修，该驾驶员对汽车的爱惜程度较低，存在激烈驾驶风格的可能性更高(通常爱惜车辆的人，出现问题会及时维修，平时驾驶中也会小心翼翼，避免擦挂)。本实施例中之所以没有采用保险公司或交通管理部门的交通事故数据作为参考，是因为交通事故存在私了的情况，这是不会被记录在案的。而本实施例不受此影响。
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (10)

1.用于智能驾驶的视觉信号采集分析系统，包括：采集模块，用于采集预设方向上的图像；处理模块，用于对采集的图像进行第一预处理，并从第一预处理后的图像中检测出目标物体，生成标记目标物体的标记框，其中目标物体位于标记框内；其特征在于，还包括分析模块，分析模块用于识别标记框内的目标物体，判断目标物体是否为车辆；当目标物体为车辆时，识别车辆上的预设区域并判断预设区域内是否有高风险标记；如果有，获取预存的该高风险标记对应的潜在风险决策信息，并输出。
2.根据权利要求1所述的用于智能驾驶的视觉信号采集分析系统，其特征在于：所述分析模块基于卷积神经网络模型识别标记框内的目标物体。
3.根据权利要求2所述的用于智能驾驶的视觉信号采集分析系统，其特征在于：所述卷积神经网络模型在使用前基于场景图像进行训练，其中，场景图像的数量不低于200000张。
4.根据权利要求3所述的用于智能驾驶的视觉信号采集分析系统，其特征在于：所述处理模块还用于对采集的图像进行第二预处理，并从第二预处理的图像中识别车道线。
5.根据权利要求4所述的用于智能驾驶的视觉信号采集分析系统，其特征在于：所述第一预处理包括图像降噪，所述第二预处理包括灰度化、图像降噪和图像分割。
6.根据权利要求5所述的用于智能驾驶的视觉信号采集分析系统，其特征在于：所述分析模块还用于识别交通标志、交通信号和障碍物。
7.根据权利要求6所述的用于智能驾驶的视觉信号采集分析系统，其特征在于：所述车辆包括机动车和非机动车，其中，机动车包括四轮车辆和两轮车辆。
8.根据权利要求7所述的用于智能驾驶的视觉信号采集分析系统，其特征在于：所述四轮车辆的预设区域包括车牌区域、后车窗区域、车轮区域、车顶区域、车灯区域和尾箱区域；两轮车辆的预设区域包括车牌区域，驾驶员头部区域。
9.根据权利要求1所述的用于智能驾驶的视觉信号采集分析系统，其特征在于：所述采集模块包括若干个摄像头，摄像头分别固定在本车的各个方位上。
10.根据权利要求1所述的用于智能驾驶的视觉信号采集分析系统，其特征在于：所述标记框为矩形框。
CN201910945128.8A 2019-09-30 2019-09-30 用于智能驾驶的视觉信号采集分析系统 Active CN110647863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910945128.8A CN110647863B (zh) 2019-09-30 2019-09-30 用于智能驾驶的视觉信号采集分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910945128.8A CN110647863B (zh) 2019-09-30 2019-09-30 用于智能驾驶的视觉信号采集分析系统

Publications (2)

Publication Number Publication Date
CN110647863A true CN110647863A (zh) 2020-01-03
CN110647863B CN110647863B (zh) 2024-02-02

Family

ID=68993425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910945128.8A Active CN110647863B (zh) 2019-09-30 2019-09-30 用于智能驾驶的视觉信号采集分析系统

Country Status (1)

Country Link
CN (1) CN110647863B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985418A (zh) * 2020-08-24 2020-11-24 庞荣 一种车载式公路交通安全设施风险源智能识别装置及方法
CN113895431A (zh) * 2021-09-30 2022-01-07 重庆电子工程职业学院 一种车辆检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105620489A (zh) * 2015-12-23 2016-06-01 深圳佑驾创新科技有限公司 驾驶辅助系统及车辆实时预警提醒方法
CN107316486A (zh) * 2017-07-11 2017-11-03 湖南星云智能科技有限公司 基于双摄像头的无人驾驶汽车视觉识别系统
CN107585160A (zh) * 2016-07-08 2018-01-16 大陆汽车电子（连云港）有限公司 车辆危险警示干预系统
CN108509907A (zh) * 2018-03-30 2018-09-07 北京市商汤科技开发有限公司 车灯检测方法、实现智能驾驶的方法、装置、介质及设备
US20190042860A1 (en) * 2017-08-04 2019-02-07 Samsung Electronics Co., Ltd. Method and apparatus of detecting object of interest
CN109389046A (zh) * 2018-09-11 2019-02-26 昆山星际舟智能科技有限公司 用于自动驾驶的全天候物体识别与车道线检测方法
CN110182206A (zh) * 2019-05-06 2019-08-30 深圳市华芯技研科技有限公司 一种基于双摄像头的无人驾驶汽车视觉识别系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105620489A (zh) * 2015-12-23 2016-06-01 深圳佑驾创新科技有限公司 驾驶辅助系统及车辆实时预警提醒方法
CN107585160A (zh) * 2016-07-08 2018-01-16 大陆汽车电子（连云港）有限公司 车辆危险警示干预系统
CN107316486A (zh) * 2017-07-11 2017-11-03 湖南星云智能科技有限公司 基于双摄像头的无人驾驶汽车视觉识别系统
US20190042860A1 (en) * 2017-08-04 2019-02-07 Samsung Electronics Co., Ltd. Method and apparatus of detecting object of interest
CN108509907A (zh) * 2018-03-30 2018-09-07 北京市商汤科技开发有限公司 车灯检测方法、实现智能驾驶的方法、装置、介质及设备
CN109389046A (zh) * 2018-09-11 2019-02-26 昆山星际舟智能科技有限公司 用于自动驾驶的全天候物体识别与车道线检测方法
CN110182206A (zh) * 2019-05-06 2019-08-30 深圳市华芯技研科技有限公司 一种基于双摄像头的无人驾驶汽车视觉识别系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985418A (zh) * 2020-08-24 2020-11-24 庞荣 一种车载式公路交通安全设施风险源智能识别装置及方法
CN111985418B (zh) * 2020-08-24 2024-02-27 招商局重庆公路工程检测中心有限公司 一种车载式公路交通安全设施风险源智能识别装置及方法
CN113895431A (zh) * 2021-09-30 2022-01-07 重庆电子工程职业学院 一种车辆检测方法及系统

Also Published As

Publication number Publication date
CN110647863B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN113276769B (zh) 车辆盲区防撞预警系统及方法
Kurihata et al. Rainy weather recognition from in-vehicle camera images for driver assistance
US20220327406A1 (en) Systems and methods for classifying driver behavior
US7366325B2 (en) Moving object detection using low illumination depth capable computer vision
CN109190523B (zh) 一种基于视觉的车辆检测跟踪预警方法
CN101739829B (zh) 一种基于视频的车辆超速监控方法及系统
KR102041734B1 (ko) 딥 러닝 기반 교통 위반 단속 시스템 및 방법
CN105047019B (zh) 一种客运车辆防止后车超车后突然变道判断方法及装置
US10442438B2 (en) Method and apparatus for detecting and assessing road reflections
CN105512623A (zh) 基于多传感器雾天行车视觉增强与能见度预警系统及方法
JP2021517675A (ja) 路面状態と天候に基づく環境影響を認識し評価するための方法及び装置
Fernández et al. Real-time vision-based blind spot warning system: Experiments with motorcycles in daytime/nighttime conditions
CN110647863A (zh) 用于智能驾驶的视觉信号采集分析系统
JP5077088B2 (ja) 画像処理装置及び画像処理方法
Cualain et al. Multiple-camera lane departure warning system for the automotive environment
CN113706901B (zh) 高速公路隧道入口段事故智慧防控与预警系统
CN113903012A (zh) 碰撞预警方法及装置、车载设备及存储介质
CN114119955A (zh) 一种潜在危险目标检测方法及装置
CN115937827A (zh) 用于汽车紧急主动避险的监控视频处理方法
US20230186644A1 (en) A vision system and method for a motor vehicle
Feng et al. Detection of approaching objects reflected in a road safety mirror using on-vehicle camera
WO2021161443A1 (ja) 視認負荷値推定装置、視認負荷値推定システム、視認負荷値推定方法、及び視認負荷値推定プログラム
CN114120250A (zh) 一种基于视频的机动车辆违法载人检测方法
JP5720380B2 (ja) 物体検出方法、物体検出装置および物体検出プログラム
KR102662625B1 (ko) 딥러닝을 이용한 차종별 및 시간대별 가변형 다기능 무인 단속 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant