CN114371693A - 基于多传感器数据融合的多场景下的交通巡航器控制方法 - Google Patents

基于多传感器数据融合的多场景下的交通巡航器控制方法 Download PDF

Info

Publication number
CN114371693A
CN114371693A CN202111420880.4A CN202111420880A CN114371693A CN 114371693 A CN114371693 A CN 114371693A CN 202111420880 A CN202111420880 A CN 202111420880A CN 114371693 A CN114371693 A CN 114371693A
Authority
CN
China
Prior art keywords
traffic
target
obstacle
data
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111420880.4A
Other languages
English (en)
Inventor
李琪
李涛
汪鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Genture Electronics Co ltd
Original Assignee
Genture Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Genture Electronics Co ltd filed Critical Genture Electronics Co ltd
Priority to CN202111420880.4A priority Critical patent/CN114371693A/zh
Publication of CN114371693A publication Critical patent/CN114371693A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Analytical Chemistry (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于多传感器数据融合的多场景下的交通巡航器控制方法，属于智能交通技术领域，超声波和红外传感器采集距离信息；摄像头采集实时视频数据；在NPU板卡硬件上部署模型；数据融合分析处理；避障判断执行；不同场景下交通巡航器执行命令；进行冗余数据清理及数据更新。本发明通过将超声波和红外传感器采集的环境信息数据进行融合，能够识别多种交通数据，将模型在NPU板卡硬件上部署，对周边障碍物进行识别，能够在系统无视频信号输入时自主完成避障，同时能够根据不同场景信息，完成多场景下动态策略研判，起到维护交通秩序的作用，减小了人力资源的投入，促进了交通智能化。

Description

基于多传感器数据融合的多场景下的交通巡航器控制方法
技术领域
本发明涉及一种基于多传感器数据融合的多场景下的交通巡航器控制方法，属于智能交通技术领域。
背景技术
近来智能交通巡航器在交通领域应用也越来越广泛，但是效率和效果无法满足交通领域的要求，问题主要体现在：1.能实现基本的目标识别功能但是无法根据目标识别结果进一步实现有选择性的避障；2.现有交通领域下的机器人所用控制方法可扩展性不强，适用场景单一，无法根据不同场景做出不同动作；3.需要大量的视频信号输入。
嵌入式神经网络处理器NPU采用“数据驱动并行计算”的架构，特别擅长处理视频、图像类的海量多媒体数据。
因此需要一种能够自主避障的交通文明交通巡航器。
发明内容
为了解决上述技术问题，本发明提供一种基于多传感器数据融合的多场景下的交通巡航器控制方法，其具体技术方案如下：
一种基于多传感器数据融合的多场景下的交通巡航器控制方法，包括以下步骤：
步骤1：超声波传感器和红外传感器采集交通巡航器周边障碍物距离信息，并进行分析；
步骤2：摄像头采集实时视频数据，包括交通巡航器所处环境的交通信息，并进行目标识别，所述交通信息包括交通标识、红绿灯和行人；
步骤3：在NPU板卡硬件上部署模型，模型输入为视频流图像，模型输出为图像坐标信息，所述图像坐标信息包括检测目标的左上角坐标（X1，Y1）和右下角坐标（X2，Y2）；
步骤4：数据融合分析处理：将图像源左侧统计数据与左前方超声波检测的目标障碍物进行对比，将图像源右侧统计数据与右前方超声波检测的目标障碍物进行对比，将目标障碍物进行归类；
步骤5：避障判断执行：根据交通巡航器与障碍物目标的距离与设定的交通巡航器与周围物体的安全距离S，通过主控模块发出执行指令，输出相应避障动作；
步骤6：主控模块根据不同场景的数据处理结果对交通巡航器给出指定命令，交通巡航器做出相应动作。
步骤7：进行冗余数据清理及数据更新。
进一步的，所述步骤1的具体过程为：
步骤1.1：在交通巡航器正面靠左和正面靠右各装置一个红外传感器，在交通巡航器左前方、右前方、左侧和右侧各装置一个超声波传感器；
步骤1.2：设左前方传感器到障碍物距离为为d1，右前方传感器到障碍物距离为d2，根据红外传感器的反射数据计算障碍物距离D=max(d1,d2)；
步骤1.3：计算超声波传感器检测到的左前侧、右前侧、左侧和右侧障碍物数据并对检测目标进行分开统计。
进一步的，所述步骤2的具体过程为：
步骤2.1：将视频流截取单独成帧，得到的图像宽为W，高为H，图像中心为坐标原点，图像右上角坐标为（W/2，H/2）；
步骤2.2：根据目标轮廓和特征点信息进行目标分类，对人类目标进行编号跟踪，对非人障碍物进行标记，对交通标记进行后续处理。
进一步的，所述步骤4中数据融合分析处理具体过程为：
步骤4.1：当目标信息X1+X2<0时，将目标统计在左侧障碍物中，左侧目标宽度为L1，移动和转向过程中，实时更新L1=max(L1,X2-X1)；
步骤4.2：当目标信息X1+X2>0时，将目标统计在右侧障碍物中，右侧目标宽度为L2，移动和转向过程中，实时更新L2=max(L2,X2-X1)；
步骤4.3：当目标信息X1+X2=0时，根据当前左右两侧目标数量累加情况将目标统计在较多的一侧，若当前两侧目标数量相等，则将目标加入障碍物目标宽度L总和更大的一侧。
进一步的，所述步骤5中避障判断执行的具体过程为：
步骤5.1：设定交通巡航器与障碍物目标的安全距离S，当判定交通巡航器与障碍物目标距离小于S时，停止前进，执行转向动作，具体为：
步骤5.1.1：当交通巡航器与左侧障碍物目标距离小于S时，转向右侧60°；
步骤5.1.2：当交通巡航器与右侧障碍物目标距离小于S时，转向左侧60°；
步骤5.1.3：当交通巡航器与两侧均存在障碍物目标距离小于S时，获取左右两侧超声波检测数据，比较左右两侧超声波检测数据，向结果较小的一侧转向120°；
步骤5.2：当判定交通巡航器与障碍物目标距离大于S时，对红外和左右侧超声波数据进行遍历，判断视觉盲区情况，决定是否需要减速或停止动作。
进一步的，所述步骤6的不同场景包括巡逻场景和红绿灯路口场景，
在巡逻场景下，根据交通因素信息车道线、车道数识别出所在路线为人行道或机动车道，如判断路线类型为机动车道，在交通巡航器不执行拐弯动作时，只将识别目标集中在行人上，只要识别到行人就对其发出警示语音；
在红绿灯路口场景下，信号灯为红灯时，对违反交通规则的行人进行人脸识别并记录备案；信号灯为黄灯时，若检测到行人出现在斑马线上则报警；信号灯为绿灯时，不做行人检测。
进一步的，所述违反交通规则包括闯红灯行为，所述闯红灯行为的判定方法为：
a.当处于路口场景且交通标志识别为红灯且红灯标签保留情况下，对路口范围内的行人目标保留编号标签；
b.保留当前帧的特征位置信息
Figure 7531DEST_PATH_IMAGE001
，并和上一帧的同编号特征位置信息
Figure 877398DEST_PATH_IMAGE002
进行比较；
c. 取当前帧的斑马线N组数据
Figure 487371DEST_PATH_IMAGE004
，一条斑 马线的斜率
Figure 408184DEST_PATH_IMAGE005
，取路口两端斑马线连线斜率
Figure 710990DEST_PATH_IMAGE006
；
d.过
Figure 396049DEST_PATH_IMAGE007
作斜率为的直线, 过
Figure 685079DEST_PATH_IMAGE008
作斜率为
Figure 568721DEST_PATH_IMAGE009
的直线
Figure 432641DEST_PATH_IMAGE010
,
Figure 401734DEST_PATH_IMAGE011
与
Figure 228876DEST_PATH_IMAGE010
交于
Figure 232604DEST_PATH_IMAGE012
，求距离
Figure 80474DEST_PATH_IMAGE013
，
e.判断与斑马线范围
Figure 162962DEST_PATH_IMAGE014
，
Figure 918428DEST_PATH_IMAGE015
, 当t超过设定阈值
Figure 100002_DEST_PATH_IMAGE016
时判定为存在闯红灯危险动作，否则使用
Figure 183188DEST_PATH_IMAGE007
替换
Figure 201959DEST_PATH_IMAGE008
。
进一步的，所述步骤7的冗余数据清理及数据更新，具体过程为：
步骤7.1：对判别为影响执行动作的干扰障碍物目标数据进行清除
步骤7.1.1：对转向后避开的障碍物位置信息和距离信息进行清除；
步骤7.1.2：重置红外距离位置的初始化d1，d2，D，重置L1，L2宽度参数；
步骤7.2：保留车道情况，更新替换红绿灯情况和交通标志的识别数据，清除被替换的历史数据，具体为：保留当前帧图像的交通标签，删除上一帧中出现但当前帧未出现的交通标签；
步骤7.3：对识别为人类目标的信息进行缓存，保留更新替换之前的数据，当结束跟踪目标时，删除保留的跟踪目标编号和位置信息。
本发明的有益效果是：本发明通过将超声波和红外传感器采集的环境信息数据进行融合，能够识别多种交通数据，将模型在NPU板卡硬件上部署，对周边障碍物进行识别，能够在系统无视频信号输入时自主完成避障，同时能够根据不同场景信息，完成多场景下动态策略研判，起到维护交通秩序的作用，减小了人力资源的投入，促进了交通智能化。
附图说明
图1是本发明的控制方法流程图，
图2是本发明的图像坐标示意图，
图3是本发明的障碍物目标计算流程图，
图4是本发明的巡逻场景执行流程图，
图5是本发明的红绿灯场景执行流程图，
图6是本发明的红绿灯场景下闯红灯判断示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示，本发明的基于多传感器数据融合的多场景下的交通巡航器控制方法，包括以下步骤：
步骤1：超声波传感器和红外传感器采集交通巡航器周边障碍物距离信息，并进行分析；
步骤1.1：在交通巡航器正面靠左和正面靠右各装置一个红外传感器，在交通巡航器左前方、右前方、左侧和右侧各装置一个超声波传感器；
步骤1.2：设左前方传感器到障碍物距离为为d1，右前方传感器到障碍物距离为d2，根据红外传感器的反射数据计算障碍物距离D=max(d1,d2)；
步骤2：摄像头采集实时视频数据，包括交通巡航器所处环境的交通信息，并进行目标识别，所述交通信息包括交通标识、红绿灯和行人；
步骤2.1：如图2所示，将视频流截取单独成帧，得到的图像宽为W，高为H，图像中心为坐标原点，图像右上角坐标为（W/2，H/2）；
步骤2.2：根据目标轮廓和特征点信息进行目标分类，对人类目标进行编号跟踪，对非人障碍物进行标记，对交通标记进行后续处理；
步骤3：在NPU板卡硬件上部署模型，模型输入为视频流图像，模型输出为图像坐标信息如图2所示，所述图像坐标信息包括检测目标的左上角坐标（X1，Y1）和右下角坐标（X2，Y2）；
步骤4：数据融合分析处理：根据图3所示流程图，将图像源左侧统计数据与左前方超声波检测障碍进行对比，将图像源右侧统计数据与右前方超声波检测障碍进行对比，将目标障碍物进行归类；
步骤4.1：当目标信息X1+X2<0时，将目标统计在左侧障碍物中，左侧目标宽度为L1，移动和转向过程中，实时更新L1=max(L1,X2-X1)；
步骤4.2：当目标信息X1+X2>0时，将目标统计在右侧障碍物中，右侧目标宽度为L2，移动和转向过程中，实时更新L2=max(L2,X2-X1)；
步骤4.3：当目标信息X1+X2=0时，根据当前左右两侧目标数量累加情况将目标统计在较多的一侧，若当前两侧目标数量相等，则将目标加入障碍物目标宽度L总和更大的一侧；
如图3所示，交通巡航器获得的图像信息中，目标信息X1+X2>0，因此将目标统计在右侧障碍物中，右侧目标宽度为L2，移动和转向过程中，实时更新L2=max(L2,X2-X1)；
步骤5：避障判断执行：根据交通巡航器与障碍物目标的距离与设定的交通巡航器与周围物体的安全距离S，通过主控模块发出执行指令，输出相应避障动作；
步骤5.1：设定交通巡航器与障碍物目标的安全距离S，当判定交通巡航器与障碍物目标距离小于S时，停止前进，执行转向动作，具体为：
步骤5.1.1：当交通巡航器与左侧障碍物目标距离小于S时，转向右侧60°；
步骤5.1.2：当交通巡航器与右侧障碍物目标距离小于S时，转向左侧60°；
步骤5.1.3：当交通巡航器与两侧均存在障碍物目标距离小于S时，获取左右两侧超声波检测数据，比较左右两侧超声波检测数据，向结果较小的一侧转向120°；
步骤5.2：当判定交通巡航器与障碍物目标距离大于S时，对红外和左右侧超声波数据进行遍历，判断视觉盲区情况，决定是否需要减速或停止动作；
步骤6：主控模块根据不同场景的数据处理结果对交通巡航器给出指定命令，交通巡航器做出相应动作；
如图4所示巡逻场景下的交通巡航器控制流程图，根据交通因素信息车道线、车道数识别出所在路线为人行道或机动车道，如判断路线类型为机动车道，在交通巡航器不执行拐弯动作时，只将识别目标集中在行人上，只要识别到行人就对其发出警示语音；
如图5所示红绿灯路口场景下的交通巡航器控制流程图，信号灯为红灯时，对违反交通规则的行人进行人脸识别并记录备案；信号灯为黄灯时，若检测到行人出现在斑马线上则报警；信号灯为绿灯时，不做行人检测。
如图6所示，对于行人闯红灯行为的判定方法为：
a.当处于路口场景且交通标志识别为红灯且红灯标签保留情况下，对路口范围内的行人目标保留编号标签；
b.保留当前帧的特征位置信息
Figure 270278DEST_PATH_IMAGE001
，并和上一帧的同编号特征位置信息
Figure 829436DEST_PATH_IMAGE002
进行比较；
c.取当前帧的斑马线N组数据
Figure DEST_PATH_IMAGE017
，一条斑 马线的斜率
Figure 371538DEST_PATH_IMAGE005
，取路口两端斑马线连线斜率
Figure 295631DEST_PATH_IMAGE006
；
d.过
Figure 726613DEST_PATH_IMAGE007
作斜率为的直线, 过
Figure 964827DEST_PATH_IMAGE008
作斜率为
Figure 797654DEST_PATH_IMAGE009
的直线
Figure 814020DEST_PATH_IMAGE010
,
Figure 935560DEST_PATH_IMAGE011
与
Figure 836520DEST_PATH_IMAGE010
交于
Figure 399219DEST_PATH_IMAGE012
，求距离
Figure 727433DEST_PATH_IMAGE013
，
e.判断与斑马线范围
Figure 70689DEST_PATH_IMAGE014
，
Figure 389720DEST_PATH_IMAGE015
, 当t超过设定阈值
Figure 931560DEST_PATH_IMAGE016
时判定为存在闯红灯危险动作，否则使用
Figure 306040DEST_PATH_IMAGE007
替换
Figure 198910DEST_PATH_IMAGE008
。
步骤7：冗余数据清理及数据更新
步骤7.1：对判别为影响执行动作的干扰障碍物目标数据进行清除
步骤7.1.1：对转向后避开的障碍物位置信息和距离信息进行清除；
步骤7.1.2：重置红外距离位置的初始化d1，d2，D，重置L1，L2宽度参数；
步骤7.2：保留车道情况，更新替换红绿灯情况和交通标志的识别数据，清除被替换的历史数据，具体为：保留当前帧图像的交通标签，删除上一帧中出现但当前帧未出现的交通标签；
步骤7.3：对识别为人类目标的信息进行缓存，保留更新替换之前的数据，当结束跟踪目标时，删除保留的跟踪目标编号和位置信息。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (8)

1.一种基于多传感器数据融合的多场景下的交通巡航器控制方法，其特征在于：包括以下步骤：
步骤1：超声波传感器和红外传感器采集交通巡航器周边障碍物距离信息，并进行分析；
步骤2：摄像头采集实时视频数据，包括交通巡航器所处环境的交通信息，并进行目标识别，所述交通信息包括交通标识、红绿灯和行人；
步骤3：在NPU板卡硬件上部署模型，模型输入为视频流图像，模型输出为图像坐标信息，所述图像坐标信息包括检测目标的左上角坐标（X1，Y1）和右下角坐标（X2，Y2）；
步骤4：数据融合分析处理：将图像源左侧统计数据与左前方超声波检测的目标障碍物进行对比，将图像源右侧统计数据与右前方超声波检测的目标障碍物进行对比，将目标障碍物进行归类；
步骤5：避障判断执行：根据交通巡航器与障碍物目标的距离与设定的交通巡航器与周围物体的安全距离S，通过主控模块发出执行指令，输出相应避障动作；
步骤6：主控模块根据不同场景的数据处理结果对交通巡航器给出指定命令，交通巡航器做出相应动作；
步骤7：进行冗余数据清理及数据更新。
2.根据权利要求1所述的基于多传感器数据融合的多场景下的交通巡航器控制方法，其特征在于：所述步骤1的具体过程为：
步骤1.1：在交通巡航器正面靠左和正面靠右各装置一个红外传感器，在交通巡航器左前方、右前方、左侧和右侧各装置一个超声波传感器；
步骤1.2：设左前方传感器到障碍物距离为为d1，右前方传感器到障碍物距离为d2，根据红外传感器的反射数据计算障碍物距离D=max(d1,d2)；
步骤1.3：计算超声波传感器检测到的左前侧、右前侧、左侧和右侧障碍物数据并对检测目标进行分开统计。
3.根据权利要求1所述的基于多传感器数据融合的多场景下的交通巡航器控制方法，其特征在于：所述步骤2的具体过程为：
步骤2.1：将视频流截取单独成帧，得到的图像宽为W，高为H，图像中心为坐标原点，图像右上角坐标为（W/2，H/2）；
步骤2.2：根据目标轮廓和特征点信息进行目标分类，对人类目标进行编号跟踪，对非人障碍物进行标记，对交通标记进行后续处理。
4.根据权利要求2所述的基于多传感器数据融合的多场景下的交通巡航器控制方法，其特征在于：所述步骤4中数据融合分析处理具体过程为：
步骤4.1：当目标信息X1+X2<0时，将目标统计在左侧障碍物中，左侧目标宽度为L1，移动和转向过程中，实时更新L1=max(L1,X2-X1)；
步骤4.2：当目标信息X1+X2>0时，将目标统计在右侧障碍物中，右侧目标宽度为L2，移动和转向过程中，实时更新L2=max(L2,X2-X1)；
步骤4.3：当目标信息X1+X2=0时，根据当前左右两侧目标数量累加情况将目标统计在较多的一侧，若当前两侧目标数量相等，则将目标加入障碍物目标宽度L总和更大的一侧。
5.根据权利要求2所述的基于多传感器数据融合的多场景下的交通巡航器控制方法，其特征在于：所述步骤5中避障判断执行的具体过程为：
步骤5.1：设定交通巡航器与障碍物目标的安全距离S，当判定交通巡航器与障碍物目标距离小于S时，停止前进，执行转向动作，具体为：
步骤5.1.1：当交通巡航器与左侧障碍物目标距离小于S时，转向右侧60°；
步骤5.1.2：当交通巡航器与右侧障碍物目标距离小于S时，转向左侧60°；
步骤5.1.3：当交通巡航器与两侧均存在障碍物目标距离小于S时，获取左右两侧超声波检测数据，比较左右两侧超声波检测数据，向结果较小的一侧转向120°；
步骤5.2：当判定交通巡航器与障碍物目标距离大于S时，对红外和左右侧超声波数据进行遍历，判断视觉盲区情况，决定是否需要减速或停止动作。
6.根据权利要求2所述的基于多传感器数据融合的多场景下的交通巡航器控制方法，其特征在于：所述步骤6的不同场景包括巡逻场景和红绿灯路口场景，
在巡逻场景下，根据交通因素信息车道线、车道数识别出所在路线为人行道或机动车道，如判断路线类型为机动车道，在交通巡航器不执行拐弯动作时，只将识别目标集中在行人上，只要识别到行人就对其发出警示语音；
在红绿灯路口场景下，信号灯为红灯时，对违反交通规则的行人进行人脸识别并记录备案；信号灯为黄灯时，若检测到行人出现在斑马线上则报警；信号灯为绿灯时，不做行人检测。
7.根据权利要求6所述的基于多传感器数据融合的多场景下的交通巡航器控制方法，其特征在于：所述违反交通规则包括闯红灯行为，所述闯红灯行为的判定方法为：
a.当处于路口场景且交通标志识别为红灯且红灯标签保留情况下，对路口范围内的行人目标保留编号标签；
b.保留当前帧的特征位置信息
Figure 755596DEST_PATH_IMAGE001
，并和上一帧的同编号特征位置信息
Figure 469474DEST_PATH_IMAGE002
进行比较；
c.取当前帧的斑马线N组数据
Figure 905004DEST_PATH_IMAGE004
，一条斑 马线的斜率
Figure 34634DEST_PATH_IMAGE005
，取路口两端斑马线连线斜率
Figure 380165DEST_PATH_IMAGE006
；
d.过
Figure 609152DEST_PATH_IMAGE007
作斜率为的直线, 过
Figure 672923DEST_PATH_IMAGE008
作斜率为
Figure 606244DEST_PATH_IMAGE009
的直线
Figure 432379DEST_PATH_IMAGE010
,
Figure 956902DEST_PATH_IMAGE011
与
Figure 383335DEST_PATH_IMAGE010
交于
Figure 651505DEST_PATH_IMAGE012
，求距离
Figure 830683DEST_PATH_IMAGE013
，
e.判断与斑马线范围
Figure 994948DEST_PATH_IMAGE014
，
Figure 767732DEST_PATH_IMAGE015
, 当t超 过设定阈值
Figure DEST_PATH_IMAGE016
时判定为存在闯红灯危险动作，否则使用
Figure 246118DEST_PATH_IMAGE007
替换
Figure 624009DEST_PATH_IMAGE008
。
8.根据权利要求1所述的基于多传感器数据融合的多场景下的交通巡航器控制方法，其特征在于：所述步骤7的冗余数据清理及数据更新，具体过程为：
步骤7.1：对判别为影响执行动作的干扰障碍物目标数据进行清除
步骤7.1.1：对转向后避开的障碍物位置信息和距离信息进行清除；
步骤7.1.2：重置红外距离位置的初始化d1，d2，D，重置L1，L2宽度参数；
步骤7.2：保留车道情况，更新替换红绿灯情况和交通标志的识别数据，清除被替换的历史数据，具体为：保留当前帧图像的交通标签，删除上一帧中出现但当前帧未出现的交通标签；
步骤7.3：对识别为人类目标的信息进行缓存，保留更新替换之前的数据，当结束跟踪目标时，删除保留的跟踪目标编号和位置信息。
CN202111420880.4A 2021-11-26 2021-11-26 基于多传感器数据融合的多场景下的交通巡航器控制方法 Pending CN114371693A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111420880.4A CN114371693A (zh) 2021-11-26 2021-11-26 基于多传感器数据融合的多场景下的交通巡航器控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111420880.4A CN114371693A (zh) 2021-11-26 2021-11-26 基于多传感器数据融合的多场景下的交通巡航器控制方法

Publications (1)

Publication Number Publication Date
CN114371693A true CN114371693A (zh) 2022-04-19

Family

ID=81139073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111420880.4A Pending CN114371693A (zh) 2021-11-26 2021-11-26 基于多传感器数据融合的多场景下的交通巡航器控制方法

Country Status (1)

Country Link
CN (1) CN114371693A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106054889A (zh) * 2016-06-28 2016-10-26 旗瀚科技股份有限公司 一种机器人自主避障方法和装置
CN106383515A (zh) * 2016-09-21 2017-02-08 哈尔滨理工大学 一种基于多传感器信息融合的轮式移动机器人避障控制系统
US20170193830A1 (en) * 2016-01-05 2017-07-06 California Institute Of Technology Controlling unmanned aerial vehicles to avoid obstacle collision
CN108230392A (zh) * 2018-01-23 2018-06-29 北京易智能科技有限公司 一种基于imu的视觉障碍物检测虚警剔除方法
CN109986605A (zh) * 2019-04-09 2019-07-09 深圳市发掘科技有限公司 一种智能自动跟踪机器人系统及方法
CN111258330A (zh) * 2020-01-15 2020-06-09 安阳学院 一种无人机自动避障图像处理装置
CN112289036A (zh) * 2020-09-02 2021-01-29 侯晓峰 基于交通语义的场景式违章属性识别系统及方法
US20210266146A1 (en) * 2020-02-26 2021-08-26 Renesas Electronics America Inc. Error detection

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170193830A1 (en) * 2016-01-05 2017-07-06 California Institute Of Technology Controlling unmanned aerial vehicles to avoid obstacle collision
CN106054889A (zh) * 2016-06-28 2016-10-26 旗瀚科技股份有限公司 一种机器人自主避障方法和装置
CN106383515A (zh) * 2016-09-21 2017-02-08 哈尔滨理工大学 一种基于多传感器信息融合的轮式移动机器人避障控制系统
CN108230392A (zh) * 2018-01-23 2018-06-29 北京易智能科技有限公司 一种基于imu的视觉障碍物检测虚警剔除方法
CN109986605A (zh) * 2019-04-09 2019-07-09 深圳市发掘科技有限公司 一种智能自动跟踪机器人系统及方法
CN111258330A (zh) * 2020-01-15 2020-06-09 安阳学院 一种无人机自动避障图像处理装置
US20210266146A1 (en) * 2020-02-26 2021-08-26 Renesas Electronics America Inc. Error detection
CN112289036A (zh) * 2020-09-02 2021-01-29 侯晓峰 基于交通语义的场景式违章属性识别系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹晓磊: "基于车载视频的行车违章行为识别算法设计与实现", 《信息科技辑》, pages 10 - 70 *

Similar Documents

Publication Publication Date Title
Chen et al. Lane departure warning systems and lane line detection methods based on image processing and semantic segmentation: A review
Wu et al. Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement
Berriel et al. Ego-lane analysis system (elas): Dataset and algorithms
Bonnin et al. Pedestrian crossing prediction using multiple context-based models
CN111815959B (zh) 一种车辆违章的检测方法、装置以及计算机可读存储介质
AU2020102039A4 (en) A high-precision multi-targets visual detection method in automatic driving scene
CN110826508B (zh) 一种基于视频流的行人非机动车违章检测与跟踪方法
CN107705577B (zh) 一种基于车道线标定车辆违章变道的实时检测方法及系统
CN111199647B (zh) 一种道路车辆连续变道和违规掉头的监控视频检测方法
Yang et al. Improved lane detection with multilevel features in branch convolutional neural networks
Zhang et al. Monocular visual traffic surveillance: A review
CN112560580B (zh) 障碍物识别方法、装置、系统、存储介质和电子设备
Chowdhury et al. Real time traffic density measurement using computer vision and dynamic traffic control
Wang et al. The research on edge detection algorithm of lane
Park et al. Vision-based surveillance system for monitoring traffic conditions
Joy et al. Real time road lane detection using computer vision techniques in python
Abiyev et al. Vehicle detection systems for intelligent driving using deep convolutional neural networks
Abbas V-ITS: Video-based intelligent transportation system for monitoring vehicle illegal activities
CN106128105A (zh) 一种交通路口行人行为监测系统
CN114371693A (zh) 基于多传感器数据融合的多场景下的交通巡航器控制方法
CN112686136B (zh) 一种对象检测方法、装置及系统
Memon et al. Self-driving car using lidar sensing and image processing
CN112180913A (zh) 特种车辆识别方法
Araya et al. Simple detection and classification of road lanes based on image processing
Bosaghzadeh et al. Inverse perspective mapping for real-time Lane Detection in City Streets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination