CN116958930A - 一种无人驾驶双目摄像判断控制系统及方法 - Google Patents

一种无人驾驶双目摄像判断控制系统及方法 Download PDF

Info

Publication number
CN116958930A
CN116958930A CN202310789216.XA CN202310789216A CN116958930A CN 116958930 A CN116958930 A CN 116958930A CN 202310789216 A CN202310789216 A CN 202310789216A CN 116958930 A CN116958930 A CN 116958930A
Authority
CN
China
Prior art keywords
vehicle
unmanned
road
processing unit
road surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310789216.XA
Other languages
English (en)
Inventor
刘宇
康轶翾
李磊
周立君
郭城
刘志东
鲁睿元
张向阳
周新妮
王本国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian institute of Applied Optics
Original Assignee
Xian institute of Applied Optics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian institute of Applied Optics filed Critical Xian institute of Applied Optics
Priority to CN202310789216.XA priority Critical patent/CN116958930A/zh
Publication of CN116958930A publication Critical patent/CN116958930A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本发明公开了一种无人驾驶双目摄像判断控制系统及方法，系统包含一组2个摄像模块和一个处理单元、壳体以及外部接口，摄像机模块固定间隔刚性连接，输出视频图像由处理单元解算，系统组成简单，可用于无人车辆驾驶或有人车辆辅助驾驶；方法通过双目视频图像测量，以及比较目标图像相对大小、颜色、图形的方法，对前方车辆、障碍物、横穿马路行人靠近与否的判断，判读交通灯显示颜色，判读交通标志意义，相应发出车辆减速、刹车、转向或稳速等行驶的控制指令，算法简捷，测量精度高，反应速度快；也可以扩展信息来源，与通用的卫星定位装置(如北斗、GPS等)信息、防撞超声波雷达等联动。

Description

一种无人驾驶双目摄像判断控制系统及方法
技术领域
本发明属于光电成像技术领域，涉及一种无人驾驶双目摄像判断控制系统及方法。
背景技术
无人车驾驶是一种人工智能技术，主要涉及无人在车操控情况下，无人车载机器自动对前方车辆、行人或障碍影响，以及交通灯、标志进行准确判断，并相应采取减速、刹车、转换车道等控制，这种控制能力是保障无人车安全行驶的重要因素。无人车驾驶的判断控制系统和技术可用于民用无人车、军用无人战车的自主驾驶，也可适用于有人驾驶车辆的辅助驾驶。由于每一辆无人车都必需有该类功能才能有效行驶，因此还需要采取低成本技术途径实现，也相应需要低功耗的方案，还需要不受导航卫星、数字地图等外围环境受干扰、破坏的影响，具有较高的工作可靠性。
无人驾驶控制系统一般包括传感器、控制单元、通信设备等。申请号201710786187.6描述了传感器系统，含1个或多个摄像机、GPS、惯性测量单元、雷达、激光探测与测距机，其依据GPS及惯性测量单元作大地坐标定位，利用激光探测设备探测和定位障碍，摄像机获得环境图像，相对于参考节点，基于图对车道变换。申请号202110010003.3、202120019588.0描述了一种无人驾驶矿车的控制系统，主要涉及在矿区的矿车驾驶控制问题，包括终端、服务器、车端通信单元、无人驾驶控制单元和整车控制单元，利用摄像机作为遥控人员对矿车周边情况的观察，摄像机自身没有判断能力，无人驾驶时依托导航装置在固定线路行驶。申请号201811515488.6描述一种无人驾驶矿车驾驶模式的转换控制系统及方法，涉及对“人工驾驶”和“无人驾驶”两种状态的切换控制。申请号201811525905.5公开了一种农用车辆无人驾驶控制方法、系统及车辆，采用定位技术与拖拉机自身获取转向角技术相结合的方式完成自动路径规划设计，具有对障碍物及非作业区域的避障策略。申请号201810835657.8公开了一种车辆无人驾驶控制方法及装置，其摄像机采集车辆前方的视频图像与预存储信息对比、判断车辆所处地点。申请号202110395570.5公开的无人驾驶车辆的控制方法及控制装置、无人驾驶车辆，提及了采用摄像机来采集通行标识信息，与预设导航地图配合来避免行驶路线错误而碰撞。申请号201210592065.0则公开了一种双目视觉系统间的位置关联方法，使用至少二组双目视觉系统，并使其测量范围有重叠，依据任意二组双目视觉系统的关系式和重叠部分的至少四个坐标值计算，使测量坐标统一到同一个三维坐标系内。申请号201110395573.5提出一种车辆防撞自动报警系统，由超声波发射器、超声波接收器、控制驱动电路、声光报警系统等组成，当车辆前、后方一定距离内出现障碍时可发出声光报警信号进行预警提示，未涉及光电成像内容。
这些装置和方法分别涉及对无人驾驶控制、或者双目视觉测量，未涉及基于双目视觉的无人驾驶判断问题。
发明内容
(一)发明目的
本发明的目的是：提供一种无人车驾驶双目摄像判断控制系统及方法，以类似人类驾驶的观察、比较、控制原理，实现对障碍物、前方车辆、交通灯、交通标志等情况的快速、低成本、准确判断，来解决无人车行驶中合理控制行驶速度、转换车道等自动控制问题。
(二)技术方案
为了解决上述技术问题，本发明首先提供一种无人车驾驶的双目摄像判断控制系统，包括一组摄像机组件和一个处理单元及壳体、外部接口，一组摄像机组件包含左右分置的2个摄像模块，类似传统车辆驾驶员的眼睛来观察行驶道路上前方车辆或障碍目标，处理单元相当于车辆驾驶员的大脑，根据观察到的路面情况进行比较，从而对车辆加速、减速、刹车、转弯等实施判断；有车载供电接口、控制接口和外部信息接口。
本发明还提供一种无人车驾驶双目摄像判断控制方法，包括以下步骤：
步骤1，摄像机组件对车辆行驶路面成像，左右两个摄像模块的视场一部分重叠。
步骤2，处理单元计算两个摄像模块重叠部分两个图像的角度差，形成立体感视觉，有以下检测结果：
情况一，检测出路面或道路行道分界线，与车辆行驶路线比较(两者方向一致、还是偏离)，相应发出判断结果(在两者方向一致时，保持行驶方向不变；或偏离时，相应发出转弯指令，使车辆处于路面中间或行道线限定区域内)，用于控制车辆方向使其符合在路面中间或行道线内通行；
情况二，检测出不同于平直路面的“障碍物”(可能是前方车辆，或者是石块、塌陷路面等其它物体)，进入步骤3；
情况三，检测出道路上的交通灯(红黄绿灯)，进入步骤9；
情况四，检测出有行人在车辆行驶前方横过道路，进入步骤10；
情况五，检测出前方道路有单行线、禁止通行等交通标志，比较当前行驶方向是否符合标志规定，相应发出“刹车”、“调转方向”或继续“行驶”等指令，以符合交通管制要求；
情况六，有其它信号(如车载北斗或GPS等导航设备给出的行驶路线)输入，按照行驶路线导航信息控制车辆行驶方向。
步骤3，处理单元利用图像测量原理，通过计算目标所占的像元数量(基于特定距离下标定摄像模块每个横向视场像素的宽度)，检测出摄像模块图像帧中的“障碍物”目标的尺寸。
步骤4，对于大于车辆底盘下部空间高度的，判断为有碰撞的危险，发出“减速”指令；进入步骤8。
步骤5，处理单元比较后续帧图像中的“障碍物”尺寸，对于后一帧尺寸大于前一帧尺寸时，判断为车辆在靠近“障碍物”，有碰撞的危险；反之，后一帧尺寸小于前一帧尺寸时，则判断为车辆离开“障碍物”，不会碰撞；不变，则判断为车辆与“障碍物”距离不变，暂时不会发生碰撞。
步骤6，对于车辆靠近“障碍物”的情况，处理单元发出“减速”的指令，直至发出“刹车”指令，以使摄像模块图像帧中的“障碍物”尺寸为不变或变小的情况。
步骤,7，对于车辆离开“障碍物”的情况，处理单元发出“稳速”或“加速”的指令，直至达到“障碍物”尺寸变大的条件，再调整为发出相应的指令，以使摄像模块图像帧中的“障碍物”尺寸为不变的情况。
步骤8，对于车辆靠近“障碍物”的情况，处理单元根据摄像模块的图像检测出路面左侧有局够宽的道路可以通行，发出“左转”指令，控制车辆安全经过；或者处理单元根据摄像模块的图像检测出路面右侧有局够宽的道路可以通行，发出“右转”指令，控制车辆安全经过。
步骤9，处理单元根据前进方向的交通灯颜色进行判断：
对于“红色”，在车辆直行或左转弯状态，发出“减速”指令，在停车线外“刹车”；在右转弯状态，继续行驶；
对于“黄色”，发出“减速”指令，在停车线外“刹车”，等待“绿色”交通灯；
对于“绿色”，发出“稳速”指令，控制车辆按原定路线通过。
步骤10，无论什么状态，发出“减速”和“刹车”指令，等待行人行走到路面外或停留区等安全位置，再发出“行驶”指令。
步骤11，对于行人突然横穿情况，发出“减速”指令，根据行人身后(车辆前进方向左侧或右侧)路面宽度，发出车辆“左转”(或“右转”)指令绕行，避免碰撞行人。
(三)有益效果
上述技术方案所提供的无人车驾驶双目摄像判断控制系统及方法，具有以下有益效果：
第一：工作原理与人类判断方式相近，基于图像相对比较、测量，和色度、图形比对原理，进行前方车辆、障碍物、交通灯、横穿马路行人等多种判断，算法简捷，对处理平台的算力要求较低，精度高，反应速度快；
第二，系统组成简单，不依赖激光雷达或惯性导航装置，可靠性高，成本低，功耗低，便于无人车辆使用或有人车辆辅助驾驶防撞应用；
第三，可以扩展信息来源，可接入通用的卫星定位装置(如北斗、GPS等)信息、防撞超声波雷达等，提高控制功能。
附图说明
图1是无人车驾驶的双目摄像判断控制系统组成及视场示意图。
图2是无人车驾驶的双目摄像判断控制系统体视感示意图。
图3是无人车驾驶的双目摄像判断控制系统相对比较原理图。
图4是无人车驾驶的双目摄像判断控制系统图形与颜色比较示意图。
图5是无人车驾驶的双目摄像判断控制流程图。
具体实施方式
为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
本实施例从以下几方面进行介绍：
(1)系统
为实现本发明的目的，如图1所示，本发明的无人车驾驶的双目摄像判断控制系统由一组摄像机组件(左右两个摄像模块)、一个处理单元、壳体及连接结构组成，有车载供电接口、控制接口和外部信息接口；在车辆前端安装固定使用，左右两个摄像模块光轴平行安装，系统在车载供电或系统内置电池供电下工作；摄像模块的物镜收集外界图像，经过其传感器转换后输出视频图像到处理单元；处理单元对两路视频进行处理、比对，获得路面及行道线、前方车辆、障碍物、行人、交通灯、交通标志等信息，这些目标的相对距离、大小，并判断控制需求、发出控制指令；两个摄像模块间隔l，成像视场有部分重叠，还各有一部分独立的其它视场，各视场都能有效成像；
所述的摄像模块，可以是宽工作照度范围的CCD，或者CMOS，或者EMCCD等成像传感器，传感器像元面阵一般为1920×1080，也可以为1280×1024、1024×768等规格，具有昼夜成像的能力，以及色彩判读能力；
所述的处理单元是一块或一组电路板，采用FPGA，或者ARM、DSP器件，或者其它可编程器件，能够运行处理软件，对摄像模块获得的图像进行比较、识别处理；
所述的两个摄像模块刚性连接，间隔l一般在0.1m至2m之间，不超过所安装车辆的宽度；
所述的两个摄像模块采用固定焦距物镜，其重叠视场一般不小于40°，“水平”布置，车辆停车时光轴及两个光轴的连线与地面平行，光轴与车头朝向一致；
所述的车载供电接口可以是无人车的供电接口，12VDC，或24VDC，或其它电压的电源，也可以是干电池，或锂电池、或电瓶；
所述的控制接口是与无人车控制系统连接的接口，接收外部指令，输出对障碍物、交通灯、交通标志及前方车辆、行人等检测后判断指令，包括加速、减速、刹车、转弯、稳速等；
所述的外部信息接口是指可用于车辆驾驶的卫星定位装置的坐标数据、惯性导航装置的导航数据、激光雷达或毫米波雷达的测距信息等；
所述的无人车也可以是进入辅助驾驶状态的有人驾驶车辆。
一种实施例：
安装在无人车驾驶室上部中央，成像方向与车辆正常行驶方向一致，且与地面平行；采用1920×1080像元的彩色低照度CMOS探测器，单路CMOS模块的成像视场是60°，重叠视场40°，双摄像模块的光轴中心间隔是200mm；处理单元采用FPGA器件；供电电压是24VDC；有外部信息接口，连接无人车的惯性导航系统(北斗接收机、光纤陀螺捷联惯导装置组合)；获取的视频信息及处理信息通过无人车载数据链传输到无人车控制站，显示在控制站的驾驶终端上。
(2)绝对测量
如图2、3所示，所述的角度测量，是根据摄像模块的成像物镜的视场2ω(物镜焦距fo)、该视场方向(水平或垂直)上传感器像元数k、目标点所在的位置p等计算得到目标点相对于光轴的水平夹角αp：
αp＝arctg((p/k)·tgω) (1)
如水平视场为60°、水平视场像元数为1920(视场中心位置为960)、目标点的位置在离中心右侧480处，则可得αp＝arctg((480/960)·tg30°)＝16.1°；
所述的体视感是基于双目相对交会测量原理，通过测量目标点PA投影到“水平面”上的点P'A，相对于左摄像模块坐标系OL的方位角αL和相对于右摄像模块坐标系OR的方位角αR；因为tgαL＝lL/D，tgαR＝lR/D，l＝D·tgαL+D·tgαR，结合l＝lL+lR，可以得到距离D：
D＝l/(tgαL+tgαR) (2)
一种实施例(摄像模块1920×1080像元、两个模块间隔200mm)下，在D为100m处的绝对距离(纵向)测量精度约25m，物体尺寸(横向)测量精度约0.06m；
同理，利用距离D和方位角αL或方位角αR，可以得到目标点在水平相对单视场中心的位置；也相应可解算出两个点之间的长度d；
利用距离D和相对于水平面的俯仰角βL或俯仰角βR，也可以得到某个点的纵向位置、两个点之间的尺寸h；
(3)相对测量
基于上述原理，通过测量摄像模块上的前方车辆或障碍物的尺寸df，再测量下一帧图像上的尺寸db；
处理单元对db和df进行比较：
结果一，如果db>df，则判断出目标变大；
结果二，如果db＝df，则判断出目标不变；
结果三，如果db<df，则判断出目标变小；
根据几何光学原理，可得出测量误差为：
ΔD＝D－(p/k)×D (3)
可以得到，相对距离测量精度远高于绝对测量距离精度；
一种实施例下(摄像模块1920×1080像元，k为960)，对于D为100m处、位置p为50个像元(宽度3m)的目标，变化1个像素时，可通过图像测量出的距离误差为：
ΔD100＝100－(50/51)×100＝1.96(m)
(4)比对判读
如图4所示，摄像模块获得行驶方向上的交通灯或交通标志图像，处理单元进行识别：
对横向或纵向三个圆形等组合，识别为交通灯；采取图像的色度检测，对红色灯亮起，识别为“红灯”；对黄色灯亮起，识别为“黄灯”；对绿色灯亮起，识别为“绿灯”；
对摄像模块获得图像中出现的交通标志图形，根据与存储的信息进行比对，判断为哪一种标志。
(5)控制流程
如图5所示，所述的无人车驾驶的双目摄像判断控制流程为：
步骤1，摄像机组件对车辆行驶路面成像，左右两个摄像模块的视场一部分重叠。
步骤2，处理单元计算两个摄像模块重叠部分两个图像的角度差，形成立体感视觉，有以下检测结果：
情况一，检测出路面或道路行道分界线，与车辆行驶路线比较(两者方向一致、还是偏离)，相应发出判断结果(在两者方向一致时，保持行驶方向不变；或偏离时，相应发出转弯指令，使车辆处于路面中间或行道线限定区域内)，用于控制车辆方向使其符合在路面中间或行道线内通行；
情况二，检测出不同于平直路面的“障碍物”(可能是前方车辆，或者是石块、塌陷路面等其它物体)，进入步骤3；
情况三，检测出道路上的交通灯(红黄绿灯)，进入步骤9；
情况四，检测出有行人在车辆行驶前方横过道路，进入步骤10；
情况五，检测出前方道路有单行线、禁止通行等交通标志，比较当前行驶方向是否符合标志规定，相应发出“刹车”、“调转方向”或继续“行驶”等指令，以符合交通管制要求；
情况六，有其它信号(如车载北斗或GPS等导航设备给出的行驶路线)输入，按照行驶路线控制车辆行驶方向。
步骤3，处理单元利用图像测量原理，通过计算目标所占的像元数量(基于特定距离下标定摄像模块每个横向视场像素的宽度)，检测出摄像模块图像帧中的“障碍物”目标的尺寸。
步骤4，对于大于车辆底盘下部空间高度的，判断为有碰撞的危险，发出“减速”指令；进入步骤8。
步骤5，处理单元比较后续帧图像中的“障碍物”尺寸，对于后一帧尺寸大于前一帧尺寸时，判断为车辆在靠近“障碍物”，有碰撞的危险；反之，后一帧尺寸小于前一帧尺寸时，则判断为车辆离开“障碍物”，不会碰撞；不变，则判断为车辆与“障碍物”距离不变，暂时不会发生碰撞。
步骤6，对于车辆靠近“障碍物”的情况，处理单元发出“减速”的指令，直至发出“刹车”指令，以使摄像模块图像帧中的“障碍物”尺寸为不变或变小的情况。
步骤,7，对于车辆离开“障碍物”的情况，处理单元发出“稳速”或“加速”的指令，直至达到“障碍物”尺寸变大的条件，再调整为发出相应的指令，以使摄像模块图像帧中的“障碍物”尺寸为不变的情况。
步骤8，对于车辆靠近“障碍物”的情况，处理单元根据摄像模块的图像检测出路面左侧有局够宽的道路可以通行，发出“左转”指令，控制车辆安全经过；或者处理单元根据摄像模块的图像检测出路面右侧有局够宽的道路可以通行，发出“右转”指令，控制车辆安全经过。
步骤9，处理单元根据前进方向的交通灯颜色进行判断：
对于“红色”，在车辆直行或左转弯状态，发出“减速”指令，在停车线外“刹车”；在右转弯状态，继续行驶；
对于“绿色”，发出“稳速”指令，控制车辆按原定路线通过；
对于“黄色”，发出“减速”指令，在停车线外“刹车”，等待“绿色”交通灯。
步骤10，无论什么状态，发出“减速”和“刹车”指令，等待行人行走到路面外或停留区等安全位置，再发出“行驶”指令。
步骤11，对于行人突然横穿情况，发出“减速”指令，根据行人身后(车辆前进方向左侧或右侧)路面宽度，发出车辆“左转”(或“右转”)指令绕行，避免碰撞行人。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种无人驾驶双目摄像判断控制系统，其特征在于，包括：壳体和安装再壳体内的具有左右两个摄像模块的摄像机组件、处理单元，壳体安装固定在车辆前端，摄像机组件包括左右两个摄像模块，壳体上还设置有车载供电接口、控制接口和外部信息接口；左右两个摄像模块水平布置，光轴平行安装，光轴及两个光轴的连线与地面平行，光轴与车头朝向一致；控制系统在车载供电或系统内置电池供电下工作；摄像模块的物镜收集外界图像，经过其传感器转换后输出视频图像到处理单元；处理单元对两路视频进行处理、比对，获得路面及行道线、前方车辆、障碍物、行人、交通灯、交通标志对应的目标信息，解算出这些目标的相对距离、大小，并判断控制需求、发出控制指令。
2.如权利要求1所述的无人驾驶双目摄像判断控制系统，其特征在于，两个所述摄像模块有固定间隔，成像视场部分重叠，并各有一部分独立的其它视场，各视场都能有效成像。
3.如权利要求2所述的无人驾驶双目摄像判断控制系统，其特征在于，所述摄像模块选用宽工作照度范围的CCD、或者CMOS、或者EMCCD成像传感器；两个摄像模块采用固定焦距物镜，其重叠视场不小于40°。
4.如权利要求3所述的无人驾驶双目摄像判断控制系统，其特征在于，所述处理单元采用FPGA，或者ARM、DSP器件，对摄像模块获得的图像进行比较、识别处理。
5.如权利要求4所述的无人驾驶双目摄像判断控制系统，其特征在于，两个所述摄像模块刚性连接，间隔l在0.1m至2m之间，不超过所安装车辆的宽度。
6.如权利要求5所述的无人驾驶双目摄像判断控制系统，其特征在于，所述车载供电接口为无人车的供电接口，连接12VDC，或24VDC，或干电池，或锂电池、或电瓶。
7.如权利要求6所述的无人驾驶双目摄像判断控制系统，其特征在于，所述控制接口是与无人车控制系统连接的接口，接收外部指令，输出对障碍物、交通灯、交通标志及前方车辆、行人检测后判断指令，包括加速、减速、刹车、转弯、稳速。
8.如权利要求7所述的无人驾驶双目摄像判断控制系统，其特征在于，所述外部信息接口用于接收车辆驾驶的卫星定位装置的坐标数据、惯性导航装置的导航数据、激光雷达或毫米波雷达的测距信息。
9.基于权利要求8所述无人驾驶双目摄像判断控制系统的控制方法，其特征在于，包括以下步骤：
步骤1，摄像机组件对车辆行驶路面成像，左右两个摄像模块的视场部分重叠；
步骤2，处理单元计算两个摄像模块重叠部分两个图像的角度差，形成立体感视觉，形成以下检测结果：
情况一，检测出路面或道路行道分界线，与车辆行驶路线比较，两者方向一致、还是偏离，相应发出判断结果，在两者方向一致时，保持行驶方向不变；或偏离时，相应发出转弯指令，使车辆处于路面中间或行道线限定区域内，用于控制车辆方向使其符合在路面中间或行道线内通行；
情况二，检测出不同于平直路面的障碍物，进入步骤3；
情况三，检测出道路上的交通灯，进入步骤9；
情况四，检测出有行人在车辆行驶前方横过道路，进入步骤10；
情况五，检测出前方道路有单行线、禁止通行交通标志，比较当前行驶方向是否符合标志规定，相应发出“刹车”、“调转方向”或继续“行驶”指令，以符合交通管制要求；
情况六，有其它信号输入，按照行驶路线控制车辆行驶方向；
步骤3，处理单元利用图像测量原理，通过计算目标所占的像元数量，检测出摄像模块图像帧中的障碍物目标的尺寸；
步骤4，对于大于车辆底盘下部空间高度的，判断为有碰撞的危险，发出减速指令；进入步骤8；
步骤5，处理单元比较后续帧图像中的障碍物尺寸，对于后一帧尺寸大于前一帧尺寸时，判断为车辆在靠近障碍物，有碰撞的危险；反之，后一帧尺寸小于前一帧尺寸时，则判断为车辆离开障碍物，不会碰撞；不变，则判断为车辆与障碍物距离不变，暂时不会发生碰撞；
步骤6，对于车辆靠近障碍物的情况，处理单元发出减速的指令，直至发出刹车指令，以使摄像模块图像帧中的障碍物尺寸为不变或变小的情况；
步骤7，对于车辆离开障碍物的情况，处理单元发出“稳速”或“加速”的指令，直至达到障碍物尺寸变大的条件，再调整为发出相应的指令，以使摄像模块图像帧中的障碍物尺寸为不变的情况；
步骤8，对于车辆靠近障碍物的情况，处理单元根据摄像模块的图像检测出路面左侧有局够宽的道路可以通行，发出“左转”指令，控制车辆安全经过；或者处理单元根据摄像模块的图像检测出路面右侧有局够宽的道路可以通行，发出“右转”指令，控制车辆安全经过。
步骤9，处理单元根据前进方向的交通灯颜色进行判断：
对于“红色”，在车辆直行或左转弯状态，发出“减速”指令，在停车线外“刹车”；在右转弯状态，继续行驶；
对于“绿色”，发出“稳速”指令，控制车辆按原定路线通过；
对于“黄色”，发出“减速”指令，在停车线外“刹车”，等待“绿色”交通灯；
步骤10，无论什么状态，发出“减速”和“刹车”指令，等待行人行走到路面外或停留区安全位置，再发出“行驶”指令；
步骤11，对于行人突然横穿情况，发出“减速”指令，根据行人身后路面宽度，发出车辆“左转”或“右转”指令绕行，避免碰撞行人。
10.一种基于权利要求1-8中任一项所述无人驾驶双目摄像判断控制系统在光电成像技术领域中的应用。
CN202310789216.XA 2023-06-30 2023-06-30 一种无人驾驶双目摄像判断控制系统及方法 Pending CN116958930A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310789216.XA CN116958930A (zh) 2023-06-30 2023-06-30 一种无人驾驶双目摄像判断控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310789216.XA CN116958930A (zh) 2023-06-30 2023-06-30 一种无人驾驶双目摄像判断控制系统及方法

Publications (1)

Publication Number Publication Date
CN116958930A true CN116958930A (zh) 2023-10-27

Family

ID=88445395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310789216.XA Pending CN116958930A (zh) 2023-06-30 2023-06-30 一种无人驾驶双目摄像判断控制系统及方法

Country Status (1)

Country Link
CN (1) CN116958930A (zh)

Similar Documents

Publication Publication Date Title
US11634136B2 (en) Vehicular trailer hitching assist system
CN106909152B (zh) 一种车用环境感知系统及汽车
US10554757B2 (en) Smart road system for vehicles
US20210341929A1 (en) Vehicle and trailer maneuver assist system
CN113002396B (zh) 一种用于自动驾驶矿用车辆的环境感知系统及矿用车辆
US8384781B2 (en) Stereo camera device
CN211765500U (zh) 一种用于封闭场景下的智能驾驶环境感知系统及汽车
CN111076731B (zh) 自动驾驶高精定位与路径规划方法
US20170317748A1 (en) Vehicle positioning by visible light communication
US20220169254A1 (en) Systems and techniques for field-of-view improvements in autonomous trucking systems
CN113085896B (zh) 一种现代有轨清洁车辅助自动驾驶系统及方法
US20190135169A1 (en) Vehicle communication system using projected light
CN112567264A (zh) 用于获取坐标变换信息的装置和方法
US11577748B1 (en) Real-time perception system for small objects at long range for autonomous vehicles
US11855691B1 (en) Vehicle with free-space optical link for log data uploading
JP2023519940A (ja) 車両をナビゲートするための制御ループ
JP7165012B2 (ja) 車両用ステレオカメラ装置
CN110288848A (zh) 一种路基自动驾驶巡航系统
CN111776942A (zh) 轮胎吊行驶控制系统、方法、装置和计算机设备
JPH04193641A (ja) 車両用障害物検出装置
CN116958930A (zh) 一种无人驾驶双目摄像判断控制系统及方法
JP2001101596A (ja) 車両の表示装置
US20240077619A1 (en) Sensor configuration for autonomous vehicles
CN110794821A (zh) 车载控制装置、场端定位装置、车辆控制系统及车辆
Kurtz DEMO III experimental unmanned vehicle autonomous mobility system overview

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination