CN111775944A - 辅助驾驶装置、方法及计算机可读存储介质 - Google Patents

辅助驾驶装置、方法及计算机可读存储介质 Download PDF

Info

Publication number
CN111775944A
CN111775944A CN201910273122.0A CN201910273122A CN111775944A CN 111775944 A CN111775944 A CN 111775944A CN 201910273122 A CN201910273122 A CN 201910273122A CN 111775944 A CN111775944 A CN 111775944A
Authority
CN
China
Prior art keywords
traffic sign
image
vehicle
image frame
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910273122.0A
Other languages
English (en)
Other versions
CN111775944B (zh
Inventor
林忠亿
吴宗祐
林子甄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Futaihua Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Original Assignee
Futaihua Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Futaihua Industry Shenzhen Co Ltd, Hon Hai Precision Industry Co Ltd filed Critical Futaihua Industry Shenzhen Co Ltd
Priority to CN201910273122.0A priority Critical patent/CN111775944B/zh
Priority to US16/823,532 priority patent/US11482012B2/en
Publication of CN111775944A publication Critical patent/CN111775944A/zh
Application granted granted Critical
Publication of CN111775944B publication Critical patent/CN111775944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种辅助驾驶方法，包括：获取运载工具前方的道路影像；对所述道路影像进行图像识别，以判断是否包含有交通标志；当道路影像中包含有交通标志时，提取所述交通标志在第一时刻被拍到的第一图像帧及在第二时刻被拍到的第二图像帧；判断所述交通标志在第一图像帧与第二图像帧之间的变化规律是否符合预设规律；当所述交通标志在第一图像帧与第二图像帧之间的变化规律符合预设规律时，识别所述交通标志并根据所述交通标志的识别结果触发运载工具执行相应操作。本发明还提供一种辅助驾驶装置及计算机可读存储介质。上述辅助驾驶装置、方法及计算机可读存储介质，可实现准确识别交通标志并基于交通标志的识别结果来实现辅助驾驶员驾驶运载工具。

Description

辅助驾驶装置、方法及计算机可读存储介质
技术领域
本发明涉及辅助驾驶技术领域，尤其涉及一种基于交通标志的辅助驾驶装置、方法及计算机可读存储介质。
背景技术
道路交通标志是用图案、符号、文字传递交通管理信息，用以管制及引导交通的一种安全管理设施。行车安全一直是交通运输、交通运行、交通运营中的重点。目前汽车在路上的安全行驶主要依靠驾驶员来掌控，驾驶员通过识别各种交通标志，来进行相应的驾驶动作，从而降低行车违章或行车安全的风险。一旦驾驶员存在经验不足或疲劳驾驶，极易造成行车违章或行车安全。目前有些汽车中配备的辅助驾驶系统通常只是利用行车定位系统的侦测数据来进行辅助驾驶，当信号强度不足或信号品质不佳，导致定位数据错误或者行车定位系统未更新时，均会影响辅助驾驶准确性。
发明内容
有鉴于此，有必要提供一种辅助驾驶装置、方法及计算机可读存储介质，其可准确识别交通标志并基于交通标志的识别结果来实现辅助驾驶功能。
本发明一实施方式提供一种辅助驾驶方法，所述方法包括：
获取运载工具前方的道路影像；
对所述道路影像进行图像识别，以判断所述道路影像中是否包含有交通标志；
当所述道路影像中包含有交通标志时，提取所述交通标志在第一时刻被拍到的第一图像帧及在第二时刻被拍到的第二图像帧，其中所述第二时刻为所述第一时刻向后计预设时间；
判断所述交通标志在所述第一图像帧与所述第二图像帧之间的变化规律是否符合预设规律；及
当所述交通标志在所述第一图像帧与所述第二图像帧之间的变化规律符合所述预设规律时，识别所述交通标志并根据所述交通标志的识别结果触发所述运载工具执行相应操作。
优选地，所述对所述道路影像进行图像识别的步骤包括：
基于影像拍摄位置信息、影像内容色彩信息及影像内容形态特征对所述道路影像进行图像识别；或
基于多个交通标志样本图像及预设神经网络算法建立并训练得到一识别模型，并利用所述识别模型对所述道路影像进行图像识别。
优选地，所述识别所述交通标志并根据所述交通标志的识别结果触发所述运载工具执行相应操作的步骤包括：
识别所述交通标志并根据所述交通标志的识别结果及所述运载工具当前的行驶状态来触发所述运载工具执行相应操作。
优选地，所述判断所述交通标志在所述第一图像帧与所述第二图像帧之间的变化规律是否符合预设规律的步骤之后还包括：
当所述交通标志在所述第一图像帧与所述第二图像帧之间的变化规律不符合所述预设规律时，放弃识别所述交通标志。
优选地，所述预设规律为：所述交通标志在图像帧的尺寸随着所述运载工具的速度增大而按预设比例增大，或者所述交通标志在图像帧的尺寸随着所述运载工具向前行驶而增大。
优选地，所述方法还包括：
当根据所述交通标志的识别结果触发所述运载工具执行相应操作时，输出相应操作的执行通知。
优选地，所述根据所述交通标志的识别结果触发所述运载工具执行相应操作的步骤包括：
根据所述道路影像获取道路交通状况信息，其中，所述道路交通信息包括路面状况信息、其他车辆的状态信息、行人的状态信息、交通拥堵状态信息；及
根据所述道路交通状况信息修正所述运载工具执行的相应操作。
优选地，所述方法还包括：
获取所述运载工具的行驶状态，以确认所述运载工具是否处于静止状态；
当所述运载工具处于静止状态时，暂停对所述道路影像进行图像识别。
本发明一实施方式提供一种辅助驾驶装置，所述辅助驾驶装置包括摄像头、处理器及存储器，所述摄像头用于连续拍摄运载工具前方的道路影像，所述存储器上存储有辅助驾驶程序，所述处理器用于执行所述存储器中存储的辅助驾驶程序时实现上述的辅助驾驶方法的步骤。
本发明一实施方式提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，多条所述指令可被一个或者多个处理器执行，以实现上述的辅助驾驶方法的步骤。
与现有技术相比，上述辅助驾驶装置、方法及计算机可读存储介质，通过识别交通标志来辅助驾驶员驾驶，可以实现在驾驶员无法及时执行与交通标志图像对应的操作指令时，触发运载工具自动执行与交通标志图像对应的操作指令，从而避免因驾驶员无法及时操作而引起的行车违章或行车安全，且交通标志识别准确性高。
附图说明
图1是本发明一实施方式的辅助驾驶装置的架构示意图。
图2是本发明一实施方式的辅助驾驶系统的功能模块图。
图3是本发明一实施方式的交通标志在运载工具向前行驶的尺寸变化示意图。
图4是本发明一实施方式的辅助驾驶方法的流程图。
主要元件符号说明
存储器 10
处理器 20
辅助驾驶系统 30
摄像头 40
辅助驾驶装置 100
获取模块 101
识别模块 102
提取模块 103
判断模块 104
执行模块 105
运载工具 200
具体实施方式
如下具体实施方式将结合上述附图进一步说明本发明。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
进一步需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
请参阅图1，为本发明辅助驾驶装置较佳实施例的示意图。
辅助驾驶装置100包括存储器10、处理器20、存储在所述存储器10中并可在所述处理器20上运行的辅助驾驶系统30及摄像头40，所述辅助驾驶系统30优选为计算机程序。所述处理器20执行所述计算机程序时可以实现辅助驾驶方法实施例中的步骤，例如图4所示的步骤S400～S408。或者，所述处理器20执行所述计算机程序时实现辅助驾驶系统30(图2所示)实施例中各模块的功能，例如图2中的模块101～105。
所述辅助驾驶系统30可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器10中，并由所述处理器20执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，所述指令段用于描述所述辅助驾驶系统30在所述辅助驾驶装置100中的执行过程。例如，所述辅助驾驶系统30可以被分割成图2中的获取模块101、识别模块102、提取模块103、判断模块104及执行模块105。各模块具体功能参见辅助驾驶系统实施例中各模块的功能。
所述辅助驾驶装置100可以通过有线或者无线方式与运载工具200进行通信，从而可以实现为运载工具200提供辅助驾驶功能。本领域技术人员可以理解，所述示意图仅是辅助驾驶装置100的示例，并不构成对辅助驾驶装置100的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述辅助驾驶装置100还可以包括网络接入设备(图未示)、通信总线(图未示)等。
所述运载工具200优选为机动车辆(比如轿车、货车等)。所述辅助驾驶装置100基于识别的交通标志来为运载工具200提供辅助驾驶功能。
所称处理器20可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器20也可以是任何常规的处理器等，所述处理器20可以利用各种接口和线路连接辅助驾驶装置100的其他各个部分。
所述存储器10可用于存储所述辅助驾驶系统30和/或模块/单元，所述处理器20通过运行或执行存储在所述存储器10内的辅助驾驶系统30和/或模块/单元，以及调用存储在存储器10内的数据，实现所述辅助驾驶装置100的各种功能。所述存储器10可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
图2为本发明辅助驾驶系统较佳实施例的功能模块图。
参阅图2所示，所述辅助驾驶系统30可以包括获取模块101、识别模块102、提取模块103、判断模块104及执行模块105。可以理解的是，在其他实施方式中，上述模块也可为固化于所述处理器20中的程序指令或固件(firmware)。
所述获取模块101用于获取运载工具200前方的道路影像。
在一实施方式中，为了便于对运载工具200行进方向上的拍摄，可以预先将摄像头40设置于不妨碍驾驶者视线的位置，例如车内后视镜上、定位于车辆副驾驶前方的前挡风玻璃上、或定位于车辆前框架一合适区域上(比如前车标、前车牌区域等)。所述摄像头40可以连续拍摄或间隔一时间拍摄运载工具200前方的道路影像。所述摄像头40可以是CCD摄像头、CMOS摄像头、红外摄像头等。所述获取模块101可以通过与摄像头40进行通信来获取运载工具200前方的道路影像。
可以理解的是，所述辅助驾驶装置100的摄像头40可以省略，可以利用运载工具200自身安装的行车记录仪来连续拍摄运载工具200前方的道路影像。此时，所述获取模块101可以通过与行车记录仪进行通信来获取运载工具200前方的道路影像。
所述识别模块102用于对所述道路影像进行图像识别，以确定所述道路影像中是否包含有交通标志。
在一实施方式中，当获取到运载工具200前方的道路影像后，所述识别模块102可以对交通标志的颜色和形状特征进行颜色空间阈值分割与形状判别，实现对交通标志进行检测，然后再结合位置信息进行修正。即所述识别模块102可以基于影像拍摄的位置信息、影像每一帧内容色彩信息及影像每一帧内容形态特征对所述道路影像进行图像识别，以确定所述道路影像中是否包含有交通标志。
在一实施方式中，还可以通过预设神经网络算法建立一机器学习模型，并利用多个交通标志样本图像对所述机器学习模型进行训练得到一识别模型，然后利用训练好的识别模型对所述道路影像进行图像识别，以确定所述道路影像中是否包含有交通标志。
举例而言，预先建立一机器学习模型，所述机器学习模型包括输入层、多个隐藏层及输出层。可以通过向后传播(Back propagation，BP)算法来对各隐藏层的权值的进行调节，所述机器学习模型的输出层用于接收来自最后一层隐藏层的输出信号。所述模型的训练方式可以是：从交通标志样本图像中提取训练特征，并将80％的交通标志样本图像的训练特征划分为训练集及20％的交通标志样本图像的训练特征划分验证集；利用所述训练集对所述机器学习模型进行训练；利用所述验证集对训练后的机器学习模型进行验证，并根据每一验证结果统计得到一模型预测准确率；判断所述模型预测准确率是否小于预设阈值；若所述模型预测准确率不小于所述预设阈值，将训练完成的所述机器学习模型作为所述识别模型；若所述模型预测准确率小于所述预设阈值，调整所述机器学习模型的参数，并利用所述训练集重新对调整后的机器学习模型进行训练，直到验证集验证得到的模型预测准确率不小于所述预设阈值，其中所述神经网络模型的参数可以包括总层数、每一层的神经元数等。
可以理解的是，当运载工具200处于静止状态时，所述辅助驾驶装置100无需为所述运载工具200提供辅助驾驶功能。所述获取模块101还用于获取所述运载工具200的行驶状态，以确认所述运载工具200是否处于静止状态。当确定所述运载工具200处于静止状态时，所述识别模块102暂停对所述道路影像进行图像识别。
所述提取模块103用于在所述道路影像中包含有交通标志时，提取所述交通标志在第一时刻t1被拍到的第一图像帧及在第二时刻t2被拍到的第二图像帧，其中所述第二时刻t2为所述第一时刻t1向后计预设时间。
在一实施方式中，当确定所述道路影像中包含有交通标志时，所述提取模块103提取所述交通标志在第一时刻t1被拍到的第一图像帧及在第二时刻t2被拍到的第二图像帧。所述第二时刻t2与所述第一时刻t2之间可以间隔预设时间，比如所述第二时刻t2与所述第一时刻t1之间间隔2s，即所述第二时刻t2为所述第一时刻t1向后计2s。当确定所述道路影像中包含有交通标志时，所述第一时刻t1可以根据实际需求进行设定，比如为刚好可识别到交通标志的那一图像帧的拍摄时刻为所述第一时刻t1。
所述判断模块104用于判断所述交通标志在所述第一图像帧与所述第二图像帧之间的变化规律是否符合预设规律。
在一实施方式中，所述变化规律优选为尺寸变化。所述判断模块104判断所述交通标志在所述第一图像帧与所述第二图像帧之间的尺寸变化规律是否符合预设规律。所述判断模块104可以先获取所述交通标志在所述第一图像帧的尺寸信息及所述交通标志在所述第二图像帧的尺寸信息，然后可得到所述交通标志在所述第一图像帧与所述第二图像帧之间的尺寸变化规律，进而可以判断所述尺寸变化规律是否符合预设规律。
在一实施方式中，所述预设规律可以是：所述交通标志在图像帧的尺寸随着所述运载工具200的速度增大而按预设比例增大，或者所述交通标志在图像帧的尺寸随着所述运载工具200向前行驶而增大。图3示出了所述交通标志在图像帧的尺寸随着所述运载工具200向前行驶而增大的示意图，在图3中，第二时刻t2的拍摄到的交通标志尺寸大于第一时刻t1的拍摄到的交通标志尺寸。
所述执行模块105用于当所述交通标志在所述第一图像帧与所述第二图像帧之间的变化规律符合所述预设规律时，识别所述交通标志并根据所述交通标志的识别结果触发所述运载工具200执行相应操作。
在一实施方式中，当所述交通标志在所述第一图像帧与所述第二图像帧之间的变化规律符合所述预设规律时，表明所述交通标志确实为当前行驶的道路前方所设置的交通标志，所述执行模块105识别所述交通标志并根据所述交通标志的识别结果触发所述运载工具200执行相应操作，实现辅助驾驶。举例而言，所述交通标志为限速标志(限速60)，当所述执行模块105识别所述交通标志为限速60(最高速度)的标志时，且当前运载工具200的车速超过60km/h，则触发所述运载工具200执行降速操作，使得运载工具200的车速不超过60km/h。可以理解的是，若当前运载工具200的车速不超过60km/h，则不触发所述运载工具200执行降速操作。
在一实施方式中，当所述交通标志在所述第一图像帧与所述第二图像帧之间的变化规律符合所述预设规律时，所述执行模块105识别所述交通标志并根据所述交通标志的识别结果及所述运载工具200当前的行驶状态触发所述运载工具200执行相应操作。当所述交通标志在所述第一图像帧与所述第二图像帧之间的变化规律不符合所述预设规律时，表明当前交通标志可能并不是属于当前行驶的道路前方所设置的交通标志，放弃识别所述交通标志，无需进行触发响应。比如，所述交通标志属于道路施工/作业车辆上设置的交通标志时，此时所述交通标志在图像帧的尺寸虽然随着所述运载工具200的速度增大而增大，但并不是按预设比例增大，即所述判断模块104可实现判断变化规律不符合预设规律，不进行交通标志识别。
在一实施方式中，当所述执行模块105触发所述运载工具200执行相应操作时，所述执行模块105还用于触发所述运载工具200输出相应操作的执行通知，以通知驾驶员。比如，触发所述运载工具200的车载显示屏输出相应操作的执行通知。
在一实施方式中，为了提高运载工具200的行驶安全性，所述识别模块102还用于根据所述道路影像获取当前道路交通状况信息，其中，所述道路交通信息可以包括路面状况信息、其他车辆的状态信息、行人的状态信息、交通拥堵状态信息等，所述执行模块105还用于根据所述道路交通状况信息修正所述运载工具200执行的相应操作。举例而言，所述交通标志为最低限速40km/h，当所述执行模块105识别所述交通标志为最低限速40km/h的标志时，但判断当前道路为交通拥堵状态时，此时，即使所述运载工具200的当前速度低于40km/h，也不会触发所述运载工具200执行加速操作。
图4为本发明一实施方式中辅助驾驶方法的流程图。根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。
步骤S400，所述获取模块101获取运载工具200前方的道路影像。
步骤S402，所述识别模块102对所述道路影像进行图像识别，以确定所述道路影像中是否包含有交通标志。
步骤S404，当所述道路影像中包含有交通标志时，所述提取模块103提取所述交通标志在第一时刻t1被拍到的第一图像帧及在第二时刻t2被拍到的第二图像帧，其中所述第二时刻t2为所述第一时刻t1向后计预设时间。当所述道路影像中不包含有交通标志时，返回步骤S400。
步骤S406，所述判断模块104判断所述交通标志在所述第一图像帧与所述第二图像帧之间的变化规律是否符合预设规律。
步骤S408，当所述交通标志在所述第一图像帧与所述第二图像帧之间的变化规律符合所述预设规律时，所述执行模块105识别所述交通标志并根据所述交通标志的识别结果触发所述运载工具200执行相应操作。当所述交通标志在所述第一图像帧与所述第二图像帧之间的变化规律不符合所述预设规律时，不进行交通标志识别操作，返回步骤S400。
上述辅助驾驶装置、方法及计算机可读存储介质，通过识别交通标志来辅助驾驶员驾驶，可以实现在驾驶员无法及时执行与交通标志图像对应的操作指令时，触发运载工具自动执行与交通标志图像对应的操作指令，从而避免因驾驶员无法及时操作而引起的行车违章或行车安全，且交通标志识别准确性高。
对本领域的技术人员来说，可以根据本发明的发明方案和发明构思结合生产的实际需要做出其他相应的改变或调整，而这些改变和调整都应属于本发明所公开的范围。

Claims (10)

1.一种辅助驾驶方法，其特征在于，所述方法包括：
获取运载工具前方的道路影像；
对所述道路影像进行图像识别，以判断所述道路影像中是否包含有交通标志；
当所述道路影像中包含有交通标志时，提取所述交通标志在第一时刻被拍到的第一图像帧及在第二时刻被拍到的第二图像帧，其中所述第二时刻为所述第一时刻向后计预设时间；
判断所述交通标志在所述第一图像帧与所述第二图像帧之间的变化规律是否符合预设规律；及
当所述交通标志在所述第一图像帧与所述第二图像帧之间的变化规律符合所述预设规律时，识别所述交通标志并根据所述交通标志的识别结果触发所述运载工具执行相应操作。
2.如权利要求1所述的方法，其特征在于，所述对所述道路影像进行图像识别的步骤包括：
基于影像拍摄位置信息、影像内容色彩信息及影像内容形态特征对所述道路影像进行图像识别；或
基于多个交通标志样本图像及预设神经网络算法建立并训练得到一识别模型，并利用所述识别模型对所述道路影像进行图像识别。
3.如权利要求1所述的方法，其特征在于，所述识别所述交通标志并根据所述交通标志的识别结果触发所述运载工具执行相应操作的步骤包括：
识别所述交通标志并根据所述交通标志的识别结果及所述运载工具当前的行驶状态来触发所述运载工具执行相应操作。
4.如权利要求1所述的方法，其特征在于，所述判断所述交通标志在所述第一图像帧与所述第二图像帧之间的变化规律是否符合预设规律的步骤之后还包括：
当所述交通标志在所述第一图像帧与所述第二图像帧之间的变化规律不符合所述预设规律时，放弃识别所述交通标志。
5.如权利要求1所述的方法，其特征在于，所述预设规律为：所述交通标志在图像帧的尺寸随着所述运载工具的速度增大而按预设比例增大，或者所述交通标志在图像帧的尺寸随着所述运载工具向前行驶而增大。
6.如权利要求1-5任意一项所述的方法，其特征在于，所述方法还包括：
当根据所述交通标志的识别结果触发所述运载工具执行相应操作时，输出相应操作的执行通知。
7.如权利要求1所述的方法，其特征在于，所述根据所述交通标志的识别结果触发所述运载工具执行相应操作的步骤包括：
根据所述道路影像获取道路交通状况信息，其中，所述道路交通信息包括路面状况信息、其他车辆的状态信息、行人的状态信息、交通拥堵状态信息；及
根据所述道路交通状况信息修正所述运载工具执行的相应操作。
8.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述运载工具的行驶状态，以确认所述运载工具是否处于静止状态；
当所述运载工具处于静止状态时，暂停对所述道路影像进行图像识别。
9.一种辅助驾驶装置，所述辅助驾驶装置包括摄像头、处理器及存储器，所述摄像头用于连续拍摄运载工具前方的道路影像，其特征在于，所述存储器上存储有辅助驾驶程序，所述处理器用于执行所述存储器中存储的辅助驾驶程序时实现如权利要求1-8任一项所述的辅助驾驶方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，多条所述指令可被一个或者多个处理器执行，以实现如权利要求1-8任一项所述的辅助驾驶方法的步骤。
CN201910273122.0A 2019-04-04 2019-04-04 辅助驾驶装置、方法及计算机可读存储介质 Active CN111775944B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910273122.0A CN111775944B (zh) 2019-04-04 2019-04-04 辅助驾驶装置、方法及计算机可读存储介质
US16/823,532 US11482012B2 (en) 2019-04-04 2020-03-19 Method for driving assistance and mobile device using the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910273122.0A CN111775944B (zh) 2019-04-04 2019-04-04 辅助驾驶装置、方法及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111775944A true CN111775944A (zh) 2020-10-16
CN111775944B CN111775944B (zh) 2021-12-28

Family

ID=72663143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910273122.0A Active CN111775944B (zh) 2019-04-04 2019-04-04 辅助驾驶装置、方法及计算机可读存储介质

Country Status (2)

Country Link
US (1) US11482012B2 (zh)
CN (1) CN111775944B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112896042A (zh) * 2021-03-02 2021-06-04 广州通达汽车电气股份有限公司 一种车辆驾驶预警方法、装置、设备及存储介质
CN113286272A (zh) * 2021-05-25 2021-08-20 郑州信大捷安信息技术股份有限公司 一种基于车联网的车辆安全驾驶方法和系统
CN115092056A (zh) * 2022-06-30 2022-09-23 泽景(西安)汽车电子有限责任公司 一种路况信息展示方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114373319A (zh) * 2021-12-24 2022-04-19 上海东普信息科技有限公司 基于自动驾驶的路况提醒方法、装置、设备及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1818929A (zh) * 2005-01-28 2006-08-16 爱信艾达株式会社 图像识别装置及图像识别方法
TW200840365A (en) * 2007-03-23 2008-10-01 Ind Tech Res Inst Motion-blur degraded image restoration method
US20120265435A1 (en) * 2011-04-14 2012-10-18 Institute For Information Industry Real-time navigation electronic device and method based on determining current traffic rule information, and corresponding computer readable storage medium for storing program thereof
CN103442950A (zh) * 2010-12-14 2013-12-11 罗伯特·博世有限公司 用于识别湿道路的方法
US20140133833A1 (en) * 2012-11-09 2014-05-15 Jason Sumler Creating customized digital advertisement from video and/or an image array
CN104276082A (zh) * 2013-07-05 2015-01-14 鸿富锦精密工业（深圳）有限公司 车载辅助装置
CN105438184A (zh) * 2015-12-22 2016-03-30 上海卓易科技股份有限公司 车辆及利用交通标志识别辅助驾驶的方法、系统
TW201623067A (zh) * 2014-12-25 2016-07-01 由田新技股份有限公司 燈號警示裝置及其方法、電腦可讀取紀錄媒體、及電腦程式產品
US20160347324A1 (en) * 2015-05-29 2016-12-01 Denso Corporation Driving assistance device and driving assistance method
CN106326858A (zh) * 2016-08-23 2017-01-11 北京航空航天大学 一种基于深度学习的公路交通标志自动识别与管理系统
TW201721523A (zh) * 2015-12-01 2017-06-16 Chunghwa Telecom Co Ltd 影像式圓形及三角形交通標誌偵測及辨識方法
CN107571867A (zh) * 2017-09-05 2018-01-12 百度在线网络技术（北京）有限公司 用于控制无人驾驶车辆的方法和装置
US9911030B1 (en) * 2010-10-05 2018-03-06 Waymo Llc System and method for evaluating the perception system of an autonomous vehicle
US20180096595A1 (en) * 2016-10-04 2018-04-05 Street Simplified, LLC Traffic Control Systems and Methods
CN109074078A (zh) * 2016-04-26 2018-12-21 高通股份有限公司 用于捕捉交通标志的图像的方法和装置
CN109300159A (zh) * 2018-09-07 2019-02-01 百度在线网络技术（北京）有限公司 位置检测方法、装置、设备、存储介质及车辆

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103786726B (zh) 2012-11-05 2017-04-12 财团法人车辆研究测试中心 直觉式节能驾驶辅助方法与系统
US10614326B2 (en) * 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1818929A (zh) * 2005-01-28 2006-08-16 爱信艾达株式会社 图像识别装置及图像识别方法
TW200840365A (en) * 2007-03-23 2008-10-01 Ind Tech Res Inst Motion-blur degraded image restoration method
US9911030B1 (en) * 2010-10-05 2018-03-06 Waymo Llc System and method for evaluating the perception system of an autonomous vehicle
CN103442950A (zh) * 2010-12-14 2013-12-11 罗伯特·博世有限公司 用于识别湿道路的方法
US20120265435A1 (en) * 2011-04-14 2012-10-18 Institute For Information Industry Real-time navigation electronic device and method based on determining current traffic rule information, and corresponding computer readable storage medium for storing program thereof
US20140133833A1 (en) * 2012-11-09 2014-05-15 Jason Sumler Creating customized digital advertisement from video and/or an image array
CN104276082A (zh) * 2013-07-05 2015-01-14 鸿富锦精密工业（深圳）有限公司 车载辅助装置
TW201623067A (zh) * 2014-12-25 2016-07-01 由田新技股份有限公司 燈號警示裝置及其方法、電腦可讀取紀錄媒體、及電腦程式產品
US20160347324A1 (en) * 2015-05-29 2016-12-01 Denso Corporation Driving assistance device and driving assistance method
TW201721523A (zh) * 2015-12-01 2017-06-16 Chunghwa Telecom Co Ltd 影像式圓形及三角形交通標誌偵測及辨識方法
CN105438184A (zh) * 2015-12-22 2016-03-30 上海卓易科技股份有限公司 车辆及利用交通标志识别辅助驾驶的方法、系统
CN109074078A (zh) * 2016-04-26 2018-12-21 高通股份有限公司 用于捕捉交通标志的图像的方法和装置
CN106326858A (zh) * 2016-08-23 2017-01-11 北京航空航天大学 一种基于深度学习的公路交通标志自动识别与管理系统
US20180096595A1 (en) * 2016-10-04 2018-04-05 Street Simplified, LLC Traffic Control Systems and Methods
CN107571867A (zh) * 2017-09-05 2018-01-12 百度在线网络技术（北京）有限公司 用于控制无人驾驶车辆的方法和装置
CN109300159A (zh) * 2018-09-07 2019-02-01 百度在线网络技术（北京）有限公司 位置检测方法、装置、设备、存储介质及车辆

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SWATHI M ETC: "Automatic_traffic_sign_detection_and_recognition_in_video_sequences", 《2017 2ND IEEE INTERNATIONAL CONFERENCE ON RECENT TRENDS IN ELECTRONICS, INFORMATION & COMMUNICATION TECHNOLOGY (RTEICT)》 *
邹柏贤等: "基于主成分特征向量系数的交通标志识别方法研究", 《微型机与应用》 *
隗寒冰等: "融合历史轨迹的智能汽车城市复杂环境多目标检测与跟踪算法", 《西安交通大学学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112896042A (zh) * 2021-03-02 2021-06-04 广州通达汽车电气股份有限公司 一种车辆驾驶预警方法、装置、设备及存储介质
CN113286272A (zh) * 2021-05-25 2021-08-20 郑州信大捷安信息技术股份有限公司 一种基于车联网的车辆安全驾驶方法和系统
CN113286272B (zh) * 2021-05-25 2022-03-15 郑州信大捷安信息技术股份有限公司 一种基于车联网的车辆安全驾驶方法和系统
CN115092056A (zh) * 2022-06-30 2022-09-23 泽景(西安)汽车电子有限责任公司 一种路况信息展示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111775944B (zh) 2021-12-28
US11482012B2 (en) 2022-10-25
US20200320316A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
CN111775944B (zh) 辅助驾驶装置、方法及计算机可读存储介质
US9697430B2 (en) Method and apparatus for identifying road signs
CN109800633B (zh) 一种非机动车交通违法判断方法、装置和电子设备
US9082038B2 (en) Dram c adjustment of automatic license plate recognition processing based on vehicle class information
CA2858919C (en) License plate recognition
CN110400478A (zh) 一种路况通知方法及装置
CN110866427A (zh) 一种车辆行为检测方法及装置
CN110781880A (zh) 用于识别车辆牌照的方法和装置
CN111368612B (zh) 超员检测系统、人员检测方法及电子设备
CN108966145A (zh) 使用v2x通信来跟踪肇事逃逸犯罪者
US11810327B1 (en) Systems and methods for calibrating distance estimation in image analysis
JP2013057992A (ja) 車間距離算出装置およびそれを用いた車両制御システム
US20180349744A1 (en) Method and device for classifying an object for a vehicle
CN111210100A (zh) 评价系统、评价方法及存储介质
CN115331191B (zh) 车型识别方法、装置、系统和存储介质
CN113408364B (zh) 一种临时车牌识别方法、系统、装置及存储介质
CN112183206B (zh) 一种基于路侧单目摄像头的交通参与者定位方法和系统
CN113239827A (zh) 基于深度学习的智能防撞方法、系统、设备及存储介质
TWI709917B (zh) 輔助駕駛裝置、方法及電腦可讀取存儲介質
CN113752940B (zh) 进出隧道车灯控制方法、设备、存储介质及装置
KR102644787B1 (ko) 차량 번호판 위조 여부 판단 방법 및 장치
CN114333414A (zh) 停车让行检测装置、停车让行检测系统以及记录介质
CN110322700B (zh) 多乘员专用车道管控方法及相关产品
CN111161542B (zh) 车辆识别方法及装置
CN114274965A (zh) 车辆控制方法、车辆控制装置、车载终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant