CN113392691A - 车外环境识别装置 - Google Patents

车外环境识别装置 Download PDF

Info

Publication number
CN113392691A
CN113392691A CN202110046634.0A CN202110046634A CN113392691A CN 113392691 A CN113392691 A CN 113392691A CN 202110046634 A CN202110046634 A CN 202110046634A CN 113392691 A CN113392691 A CN 113392691A
Authority
CN
China
Prior art keywords
speed
monocular
velocity
stereo
derives
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110046634.0A
Other languages
English (en)
Inventor
高桥直树
后藤雄介
胜野雄贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Publication of CN113392691A publication Critical patent/CN113392691A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/143—Speed control
    • B60W30/146—Speed limiting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种车外环境识别装置，其稳定地导出立体物的速度。车外环境识别装置(120)具备：立体速度导出部(160)，其导出表示基于从两个拍摄装置(110)的亮度图像导出的距离图像而提取出的预定的立体物的速度的立体速度；单眼速度导出部(162)，其导出表示基于一个拍摄装置(110)的亮度图像而提取出的立体物的速度的单眼速度；预测速度导出部(164)，其导出表示基于立体物的过去的速度而预测出的立体物的当前的速度的预测速度；混合比率导出部(166)，其导出立体速度、单眼速度和预测速度的混合比率；以及物体速度导出部(168)，其基于混合比率将立体速度、单眼速度和预测速度混合而导出表示立体物的速度的物体速度。

Description

车外环境识别装置
技术领域
本发明涉及能够将拍摄到的立体物的速度导出的车外环境识别装置。
背景技术
已知有使用由搭载于车辆的两个拍摄装置拍摄到的图像来识别位于本车辆的行进方向上的立体物(例如前行车辆)的速度等车外环境的技术(例如专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2019-34664号公报
发明内容
技术问题
在使用两个拍摄装置识别车外环境的技术中，从由各个拍摄装置拍摄到的亮度图像导出包含视差信息的距离图像，并基于导出的距离图像来导出立体物的速度。
然而，如果在一个拍摄装置的检测区域存在雨滴等，则有时在距离图像中导出大量错误的视差。如果导出大量错误的视差，则有时立体物的速度会发生错误。根据情况，导出的立体物的速度有时会急剧变化。如此，在利用导出的立体物的速度进行巡航控制等的情况下，本车辆可能会被意外地加速，本车辆可能会错误地接近前行车辆。
因此，本发明的目的在于提供一种能够稳定地导出立体物的速度的车外环境识别装置。
技术方案
为了解决上述课题，本发明的车外环境识别装置具备：立体速度导出部，其导出立体速度，该立体速度表示基于从两个拍摄装置的亮度图像导出的距离图像而提取出的预定的立体物的速度；单眼速度导出部，其导出单眼速度，该单眼速度表示基于一个拍摄装置的亮度图像而提取出的立体物的速度；预测速度导出部，其导出预测速度，该预测速度表示基于立体物的过去的速度而预测出的立体物的当前的速度；混合比率导出部，其导出立体速度、单眼速度和预测速度的混合比率；以及物体速度导出部，其基于混合比率，将立体速度、单眼速度和预测速度混合而导出表示立体物的速度的物体速度。
另外，混合比率导出部可以具有：立体权重导出部，其导出表示立体速度的比例的立体权重；单眼权重导出部，其导出表示单眼速度的比例的单眼权重；以及预测权重导出部，其导出表示预测速度的比例的预测权重，在将立体速度设为Vs、将单眼速度设为Vm、将预测速度设为Vp、将立体权重设为Ws、将单眼权重设为Wm、将预测权重设为Wp、将物体速度设为V的情况下，物体速度导出部可以通过以下的式(1)导出物体速度。
V＝(Ws×Vs+Wm×Vm+Wp×Vp)/(Ws+Wm+Wp)…(1)
另外，立体权重导出部可以根据距离图像的可信值来导出立体权重。
另外，单眼权重导出部可以根据一个拍摄装置的亮度图像的可信值来导出单眼权重。
另外，预测权重导出部可以根据距离图像的不可信值和一个拍摄装置的亮度图像的不可信值来导出预测权重。
技术效果
根据本发明，能够稳定地导出立体物的速度。
附图说明
图1是示出了车外环境识别系统的连接关系的框图。
图2是用于说明亮度图像和距离图像的说明图。图2的(A)示出了亮度图像的一例。图2的(B)示出了距离图像的一例。
图3是示出了车外环境识别装置的大致功能的功能框图。
图4是说明立体可信值的图。图4的(A)以表格示出了与立体可信值相关联的立体状态。图4的(B)以图表示出了立体状态。
图5是说明IB值的图。图5的(A)示出了亮度图像的一例。图5的(B)示出了对基于图5的(A)的亮度图像而导出的距离图像进行处理而得的图像的一例。
图6是说明单眼可信值的图。图6的(A)示出了本车辆的车外环境为白昼的情况。图6的(B)示出了本车辆的车外环境为夜晚的情况。
图7是说明识别率和识别得分的图。
图8是说明灯得分的图。
图9是说明中央控制部的工作流程的流程图。
符号说明
110 拍摄装置
120 车外环境识别装置
126 亮度图像
128 距离图像
160 立体速度导出部
162 单眼速度导出部
164 预测速度导出部
166 混合比率导出部
168 物体速度导出部
170 立体权重导出部
172 单眼权重导出部
174 预测权重导出部
具体实施方式
在以下一边参照附图，一边对本发明的实施方式进行详细说明。该实施方式中所示的尺寸、材料、其他具体数值等只是用于易于理解发明的示例，除非特别说明，否则并不限定本发明。应予说明，在本说明书和附图中，对于实质上具有相同功能、构成的要素，通过标注相同的符号来省略重复说明，另外，对于与本发明没有直接关系的要素省略图示。
图1是示出了车外环境识别系统100的连接关系的框图。车外环境识别系统100构成为包括拍摄装置110、车外环境识别装置120和车辆控制装置(ECU：Electronic ControlUnit，发动机控制单元)130。
拍摄装置110构成为包括CCD(Charge-Coupled Device：电荷耦合器件)和/或CMOS(Complementary Metal-Oxide Semiconductor：互补金属氧化物半导体)等拍摄元件，能够拍摄本车辆1的前方的车外环境，并能够生成至少包含亮度信息的亮度图像(彩色图像和/或黑白图像)。另外，拍摄装置110在本车辆1的行进方向侧，以使两个拍摄装置110各自的光轴大致平行的方式在大致水平方向上分离地配置。拍摄装置110以例如1/60秒每帧(60fps)的方式连续地生成对存在于本车辆1的前方的检测区域的立体物进行拍摄而得的亮度图像。在此，通过拍摄装置110识别的立体物不仅包括自行车、行人、车辆、信号灯、道路(行进道路)、道路标志、护栏、建筑物这类独立存在的物体，还包括自行车的车轮等能够作为独立存在的物体的一部分而确定的物体。
另外，车外环境识别装置120分别从两个拍摄装置110获得亮度图像，使用从一个亮度图像检索与从另一个亮度图像任意提取出的区块(例如，水平4个像素×垂直4个像素的阵列)对应的区块的所谓图案匹配，来导出包括视差和表示任意的区块在画面内的位置的画面位置在内的视差信息。在此，水平表示拍摄到的图像的画面横向，垂直表示拍摄到的图像的画面纵向。作为该图案匹配，可以考虑在一对图像之间，以任意的区块单位比较亮度(Y)。例如，有以下方法，即，取亮度的差值的SAD(Sum of Absolute Difference：绝对差值和)、将差值平方来使用的SSD(Sum of Squared intensity Difference：灰度差值平方和)、取从各像素的亮度减去平均值而得的方差值的相似度的NCC(Normalized CrossCorrelation：归一化互相关)等。车外环境识别装置120对映现于检测区域(例如，600个像素×200个像素)的全部区块进行这样的区块单位的视差导出处理。在此，将区块设为4个像素×4个像素，但区块内的像素数量可以任意设定。
但是，在车外环境识别装置120，虽然能够按每个作为检测分辨率单位的区块导出视差，但无法识别该区块是怎样的对象物的一部分。因此，视差信息不是以对象物单位，而是以检测区域处的检测分辨率单位(例如区块单位)而独立地被导出。在此，将与这样导出的视差信息相对应的图像与上述的亮度图像区分地称为距离图像。
图2是用于说明亮度图像126和距离图像128的说明图。图2的(A)示出了亮度图像126的一例。图2的(B)示出了距离图像128的一例。例如，假定通过两个拍摄装置110，针对检测区域124生成了图2的(A)那样的亮度图像126。但是，在此，为了易于理解，仅示意性地示出了两个亮度图像126中的一个亮度图像。车外环境识别装置120根据这样的亮度图像126求出每个区块的视差，形成图2的(B)那样的距离图像128。在距离图像128中的各区块，关联有该区块的视差。在此，为了便于说明，用黑点表示导出了视差的区块。
另外，车外环境识别装置120通过使用所谓立体法将距离图像128中的每个区块的视差信息转换为三维的位置信息，从而能够按每个区块导出与本车辆1的相对距离。在此，立体法是通过使用三角测量法，根据对象物的视差来导出该对象物相对于拍摄装置110的相对距离的方法。
车外环境识别装置120使用基于亮度图像126的亮度值(色值)、以及基于距离图像128计算出的包括与本车辆1的相对距离在内的实际空间中的三维的位置信息，将色值相等且三维的位置信息接近的区块彼此作为对象物进行分组化，来确定本车辆1前方的检测区域中的对象物对应于哪个特定物(例如前行车辆、自行车)。另外，如果车外环境识别装置120如此确定立体物，则以避免与立体物之间的冲撞(避撞控制)、或者将与前行车辆之间的车间距离保持为安全的距离的方式控制本车辆1(巡航控制)。
车外环境识别装置120导出如上述那样确定出的立体物的速度，使用导出的立体物的速度进行上述的避撞控制或巡航控制。在下文中，有时将车外环境识别装置120导出的立体物的速度称为物体速度。
如图1所示，车辆控制装置130通过方向盘132、加速踏板134、制动踏板136接收驾驶员的操作输入，并将其传递到转向机构142、驱动机构144、制动机构146，由此控制本车辆1。另外，车辆控制装置130根据车外环境识别装置120的指示，控制转向机构142、驱动机构144、制动机构146。
图3是示出了车外环境识别装置120的大致功能的功能框图。如图3所示，车外环境识别装置120构成为包括I/F部150、数据保持部152和中央控制部154。
I/F部150是用于进行与拍摄装置110和车辆控制装置130之间的双向的信息交换的接口。数据保持部152由RAM、闪速存储器、HDD等构成，保持以下所示的各功能部的处理所需的各种信息。
中央控制部154由包括中央处理装置(CPU)、存储有程序等的ROM、作为工作区的RAM等的半导体集成电路构成，通过系统总线156控制I/F部150、数据保持部152等。另外，在本实施方式中，中央控制部154还作为立体速度导出部160、单眼速度导出部162、预测速度导出部164、混合比率导出部166、物体速度导出部168发挥功能。
这样，在距离图像中，按每个区块导出左右的拍摄装置110的亮度图像126间的图像一致度为阈值以上且为最大的视差。换言之，在距离图像中，在图像一致度小于阈值的区块中，视为未导出视差。
在左右两方的拍摄装置110能够清晰地拍摄检测区域124的状态下，左右的亮度图像126的一致度变高，在距离图像128中的大量区块中实际能够导出视差。
但是，如果在拍摄装置110的检测区域124存在雨滴等，则亮度图像126成为模糊的图像(立体物未被清晰地拍摄的图像)。由此，如果在左右的拍摄装置110中的某一个拍摄装置110的检测区域124存在雨滴，则左右的亮度图像126的一致度降低，在距离图像128中实际能够导出视差的区块的数量变少。如果无法导出视差的区块的数量变多，则难以根据距离图像128确定立体物，其结果，无法准确地导出前行车辆等立体物的物体速度。
因此，如果在距离图像128中实际能够导出视差的区块数量小于预定区块数量，则车外环境识别装置120从使用立体距离的立体控制切换为使用单眼距离的单眼控制。立体控制是至少使用立体距离来控制本车辆1的控制。立体距离是基于距离图像128而提取出的立体物的相对距离。单眼控制是不使用立体距离而使用单眼距离来控制本车辆1的控制。单眼距离是基于一个(单方)拍摄装置110的亮度图像126而提取出的立体物的相对距离。
如果处于单眼控制，则车外环境识别装置120使用左右的拍摄装置110之中能够相对清晰地进行拍摄的拍摄装置110(例如，亮度图像126的亮度值整体较高的一方)的亮度图像126。
例如，车外环境识别装置120导出表示成为导出物体速度的对象的立体物(例如前行车辆)在单眼控制对象的亮度图像126中占有的区域的物体框。然后，车外环境识别装置120基于相对于当前的帧为预定帧(例如，100帧等)前的物体框的横向宽度以及当时的相对距离(切换为单眼控制的首次为即将切换前的立体距离)与当前的物体框的横向宽度的差值，将横向宽度的变化视为相对距离的变化，来导出立体物的物体速度。
如此，在车外环境识别装置120中，在两个拍摄装置110中的一个拍摄装置110的亮度图像126模糊的情况下，通过仅使用另一个拍摄装置110的亮度图像126来导出物体速度，从而能够抑制导出的物体速度的精度的降低。
然而，在即将从立体控制切换为单眼控制之前，能够导出视差的区块数量比预定区块数量多，但因雨滴等的存在而使亮度图像126模糊，因此有时按每个区块导出错误的值的视差。如果导出大量错误的视差，则在基于距离图像128导出物体速度时，有时会导出错误的物体速度。
如果导出错误的物体速度，则车外环境识别装置120可能会根据情况识别为物体速度急剧地发生了变化。例如，尽管立体物(例如前行车辆)实际上正以约80km/h的恒定速度移动，但车外环境识别装置120有可能识别为该立体物从约80km/h急加速到约90km/h。在这样的情况下，如果基于导出的物体速度进行巡航控制，则本车辆1会意外地加速，本车辆1可能会错误地接近实际上以恒定速度移动的前行车辆。
因此，本实施方式的车外环境识别装置120在立体控制中，除了导出基于距离图像128而提取出的立体物的速度以外，还导出基于一个拍摄装置110的亮度图像126而提取出的立体物的速度、以及基于立体物的过去速度而预测的立体物的当前的速度。
在下文中，有时将基于距离图像128而提取出的立体物的速度称为立体速度。另外，有时将基于一个拍摄装置110的亮度图像126而提取出的立体物的速度称为单眼速度。另外，有时将基于立体物的过去速度而预测出的立体物的当前的速度称为预测速度。
另外，预测速度例如设为在上次的物体速度的导出时刻导出的物体速度。即，对于预测速度，将过去的速度用作当前的速度。
应予说明，在从当前到预定时间前为止的过去，在立体物的减速度的绝对值被设为预定值(例如，0.1G)以上的情况下，也可以考虑该减速而导出预测速度。即，在该情况下，预测速度也可以设为比上次的导出时刻下的物体速度减小了的值。
本实施方式的车外环境识别装置120在立体控制中，将立体速度、单眼速度和预测速度以适当的比率混合，来导出立体物的物体速度。在下文中，有时将混合立体速度、单眼速度和预测速度来导出物体速度的处理称为速度校正处理。
车外环境识别装置120中的立体速度导出部160导出上述立体速度。单眼速度导出部162导出上述单眼速度。预测速度导出部164导出上述预测速度。混合比率导出部166导出立体速度、单眼速度和预测速度的混合比率。物体速度导出部168基于导出的混合比率，将立体速度、单眼速度和预测速度混合，来导出立体物的物体速度。
更详细而言，混合比率导出部166包括立体权重导出部170、单眼权重导出部172和预测权重导出部174。立体权重导出部170导出表示立体速度的比例的立体权重。单眼权重导出部172导出表示单眼速度的比例的单眼权重。预测权重导出部174导出表示预测速度的比例的预测权重。
在此，有时将立体速度标记为Vs，将单眼速度标记为Vm，将预测速度标记为Vp，将立体权重标记为Ws，将单眼权重标记为Wm，将预测权重标记为Wp，并且将物体速度标记为V。更详细而言，物体速度导出部168在速度校正处理中，通过以下的式(1)导出物体速度。
V＝(Ws×Vs+Wm×Vm+Wp×Vp)/(Ws+Wm+Wp)…(1)
立体权重导出部170根据距离图像128的可信值导出立体权重。具体而言，立体权重导出部170通过以下的式(2)导出立体权重。
Ws＝(立体可信值)2…(2)
图4是说明立体可信值的图。图4的(A)以表格示出了与立体可信值相关联的立体状态。图4的(B)以图表示出了立体状态。
如图4的(A)所示，立体可信值例如被设定为“0”、“1”、“2”、“3”这4个等级的值。立体可信值的值越大，表示距离图像128的可靠性越高。另外，立体可信值与立体状态相关联。
立体状态是表达距离图像128的可靠性的高低的指标。立体状态例如设定有“超级信任(super trust)”、“信任(trust)”、“稳妥(stable)”、“可能(maybe)”、“不可信(none)”这五个等级。立体状态“信任”与立体可信值“3”相对应。立体状态“稳妥”与立体可信值“2”相对应。立体状态“可能”与立体可信值“1”相对应。立体状态“不可信”与立体可信值“0”相对应。即，“信任”的可靠性比“稳妥”的可靠性高，“稳妥”的可靠性比“可能”的可靠性高，“可能”的可靠性比“不可信”的可靠性高。
另外，“超级信任”的可靠性设定得比“信任”的可靠性高。“超级信任”没有相对应的立体可信值。但是，在“超级信任”的情况下，作为例外，采用立体速度为100％、单眼速度为0％、且预测速度为0％的混合比率。即，在“超级信任”的情况下，作为例外，物体速度导出部168将立体物的立体速度直接作为物体速度。
图4的(B)的实线180表示区分“超级信任”与“信任”的阈值。单点划线182表示区分“信任”与“稳妥”的阈值。双点划线184表示区分“稳妥”与“可能”的阈值。虚线186表示区分“可能”与“不可信”的阈值。
立体状态基于单眼距离和IB值来确定。图5是说明IB值的图。图5的(A)示出了亮度图像126的一例。图5的(B)示出了对基于图5的(A)的亮度图像126而导出的距离图像128进行处理而得的图像的一例。在图5的(B)的图像中，显示有多个沿图像的上下方向(高度方向)延伸的柱190。该柱190通过在从立体物的下端向上方沿着区块推进时将大致相同的视差(距离)连续的区块从下向上连接而形成。另外，关于柱190而言，也可以在大致相同的视差(距离)的连续数量为预定连续数量以上的情况下连接区块，并在连续数量小于预定连续数量的情况下不形成柱190。即，一个柱190的面积表示视差(距离)大致相等的区域的大小。
IB值表示该柱190的根数。如果在距离图像128中导出视差的区块多，则IB值也有变大的趋势。由此推测IB值越大，则距离图像128的可靠性越高。即，IB值是表示距离图像128中的立体物的检测精度的指标。
如图4的(A)和图4的(B)所示，根据IB值来确定立体状态的等级，并设定为IB值越大则立体可信值越大。
例如，在单眼距离为50m以下的情况下，确定如下。如果IB值超过23，则立体权重导出部170将立体状态设为“超级信任”。如果IB值超过17且为23以下，则立体权重导出部170将立体状态设为“信任”，并将立体可信值设为“3”。如果IB值超过14且为17以下，则立体权重导出部170将立体状态设为“稳妥”，且将立体可信值设为“2”。如果IB值超过6且为14以下，则立体权重导出部170将立体状态设为“可能”，并将立体可信值设为“1”。如果IB值为6以下，则立体权重导出部170将立体状态设为“不可信”，且将立体可信值设为“0”。
另外，例如，在单眼距离超过70m的情况下，确定如下。如果IB值超过18，则立体权重导出部170将立体状态设为“超级信任”。如果IB值超过12且为18以下，则立体权重导出部170将立体状态设为“信任”，且将立体可信值设为“3”。如果IB值超过9且为12以下，则立体权重导出部170将立体状态设为“稳妥”，且将立体可信值设为“2”。如果IB值超过2且为9以下，则立体权重导出部170将立体状态设为“可能”，且将立体可信值设为“1”。如果IB值为2以下，则立体权重导出部170将立体状态设为“不可信”，且将立体可信值设为“0”。
另外，在单眼距离超过50m且为70m以下的范围内，如图4的(B)所示，将在50m时的IB值的阈值与70m时的IB值的阈值之间进行线性插补而得的线性插补值作为区分立体状态的各等级的阈值。
应予说明，推定为：立体物越近，即单眼距离越近，则越能够在大量区块导出距离图像128中的视差。即，推定为：单眼距离越近则IB值越容易变大。因此，如图4的(A)和图4的(B)所示，IB值的阈值被设定为单眼距离越近则IB值的阈值越大。
另外，在立体速度小于预测速度的0.8倍或超过预测速度的1.3倍的情况下，立体权重导出部170可以将立体状态降低一个等级，并且将立体可信值降低1。
接下来，对单眼权重进行说明。单眼权重导出部172根据一个拍摄装置的亮度图像126的可信值导出单眼权重。具体而言，单眼权重导出部172通过以下的式(3)导出单眼权重。
Wm＝(单眼可信值)2…(3)
图6是说明单眼可信值的图。图6的(A)示出了本车辆1的车外环境为白昼的情况。图6的(B)示出了本车辆1的车外环境为夜晚的情况。
如图6的(A)和图6的(B)所示，单眼可信值例如设定为“0”、“1”、“2”、“3”这4个等级的值。单眼可信值的值越大，表示亮度图像126的可靠性越高。另外，单眼可信值与单眼状态相关联。
单眼状态是表达亮度图像126的可靠性的高低的指标。单眼状态例如设定为“信任”、“稳妥”、“可能”、“不可信”这四个等级。单眼状态“信任”与单眼可信值“3”相对应。单眼状态“稳妥”与单眼可信值“2”相对应。单眼状态“可能”与单眼可信值“1”相对应。单眼状态“不可信”与单眼可信值“0”相对应。即，“信任”的可靠性比“稳妥”的可靠性高，“稳妥”的可靠性比“可能”的可靠性高，“可能”的可靠性比“不可信”的可靠性高。
如图6的(A)所示，在白昼的情况下，基于识别率和识别得分来确定单眼状态。与此相对，如图6的(B)所示，在夜晚的情况下，基于灯得分和灯检测持续标志来确定单眼状态。
图7是说明识别率和识别得分的图。在利用一个拍摄装置110的亮度图像126确定对象物的情况下，如图7所示，用预定大小的框200包围对象物的至少一部分，进行框200内的对象物是否为应确定的立体物(例如，前行车辆)的识别。在该识别中，框200相对于对象物随机移动，来对多处框200中的每个框进行对象物是否为应确定的立体物的识别。应予说明，框200也可以形成为与检测到的立体物相匹配的大小。
在各个框200中的识别中，关于框200内的对象物，使用机器学习来判断应确定的立体物相似度的数值。识别得分是该立体物相似度的数值。识别得分被标准化为0～1的值。识别得分越接近1，表示越像应确定的立体物(例如前行车辆)，识别得分越接近0，表示越不像应确定的立体物。识别得分平均值是用框200的数量(换言之，识别得分的导出次数)将识别得分进行平均而导出的。
另外，关于各个框200，在识别得分超过0.51的情况下，识别为框200内的对象物是应确定的立体物，在识别得分为0.51以下的情况下，识别为框200内的对象物不是应确定的立体物。
识别率表示识别为应确定的立体物的次数相对于框200的数量(换言之，识别的次数)的比率。可以推定：识别率越高，则是应确定的立体物的概率越高。
如图6的(A)所示，在白昼的情况下，识别率和识别得分平均值越高，则单眼可信值越高。例如，在识别率超过0.74且识别得分平均值超过0.70的情况下，单眼权重导出部172将单眼状态设为“信任”，且将单眼可信值设为“3”。另外，在识别率超过0.70且为0.74以下，并且识别得分平均值超过0.61且为0.70以下的情况下，单眼权重导出部172将单眼状态设为“稳妥”，且将单眼可信值设为“2”。另外，在识别率超过0.63且为0.70以下，并且识别得分平均值超过0.55且为0.61以下的情况下，单眼权重导出部172将单眼状态设为“可能”，并将单眼可信值设为“1”。另外，在识别率为0.63以下并且识别得分平均值为0.55以下的情况下，单眼权重导出部172将单眼状态设为“不可信”，并将单眼可信值设为“0”。
应予说明，在白昼中，在某一定时间(例如，0.5秒～1.5秒)内无法识别立体物的情况下，单眼权重导出部172可以将单眼状态降低为“不可信”，并将单眼可信值降低为“0”。
另外，在识别率和识别得分平均值急剧下降时，对表示视为无法识别的次数的损失计数(lost count)进行计数，并且在白昼中损失计数进行了预定次数以上计数的情况下，单眼权重导出部172可以将单眼状态降低一个等级，并将单眼可信值降低1。
图8是说明灯得分的图。在夜晚的情况下，在前行车辆中，左右尾灯被点亮。灯得分是对前行车辆的左右尾灯的特征进行评分而得的得分。
图8的箭头210表示亮度图像126中的各尾灯的中心的高度位置。图8的阴影所示的区域212表示各尾灯的面积。图8的箭头214表示各尾灯的横向宽度。灯得分是如下值：在左右的尾灯这一组中，将尾灯的中心的高度位置的一致程度、尾灯的面积的一致程度、尾灯的横向宽度的一致程度相加而得的值。灯得分被调整为0～100之间的值。例如，在中心的高度位置、面积和横向宽度所有项关于左右的尾灯均一致的情况下，灯得分为100。
另外，灯检测持续标志表示是否持续检测出前行车辆的尾灯。在持续预定帧(例如20帧等)检测出尾灯的情况下，灯检测持续标志开启，之后，在持续检测出尾灯的期间，开启状态持续。应予说明，在尾灯的检测中断时，灯检测持续标志被关闭。
如图6的(B)所示，在夜晚的情况下，灯得分越高并且灯检测持续标志开启，则单眼可信值越高。例如，在灯得分超过80且灯检测持续标志开启的情况下，单眼权重导出部172将单眼状态设为“信任”，并将单眼可信值设为“3”。另外，无论灯持续检测标志如何，在灯得分超过70且为80以下的情况下，单眼权重导出部172将单眼状态设为“稳妥”，并将单眼可信值设为“2”。另外，无论灯检测持续标志如何，在灯得分为70以下的情况下，单眼权重导出部172将单眼状态设为“不可信”，并将单眼可信值设为“0”。另外，单眼状态“可能”对应于单眼可信值“1”。例如，在单眼可信值从“2”下降1的情况下，或者在单眼可信值从“0”上升1的情况下，可成为单眼状态“可能”。
应予说明，在夜晚立体物(前行车辆)的单眼距离超过40m的情况下，单眼权重导出部172可以将单眼状态降低一个等级并将单眼可信值降低1。这是为了抑制因位于远方的尾灯的灯得分而导致单眼权重错误地变得过高。
另外，也可以在白昼和夜晚这双方，在立体物的单眼距离超过60m的情况下，单眼权重导出部172将单眼状态降低一个等级，并将单眼可信值降低1。应予说明，在夜晚的情况下，也可以并用上述的40m和60m这两个条件，将单眼可信值共计降低2。
另外，也可以在白昼和夜晚这双方，在立体物的单眼速度的变化表示出加速的情况下，单眼权重导出部172将单眼状态降低一个等级，并将单眼可信值降低1。这是为了考虑到错误判断为立体物正加速的情况而降低单眼可信值，抑制基于单眼速度的上升所进行的本车辆的错误加速。
另外，也可以在白昼和夜晚这双方，在立体物的单眼速度的变化表示出加速，且刹车灯识别模块的刹车标志开启的情况下，单眼权重导出部172将单眼状态降低一个等级，并将单眼可信值降低1。应予说明，刹车灯识别模块判断前行车辆的刹车灯是否亮灯，并在刹车灯亮灯的情况下开启刹车标志。
另外，关于上述立体可信值，也可以设定使用了一个拍摄装置110的亮度图像126的例外条件。例如，立体权重导出部170也可以获取在右侧的亮度图像126中识别为框200内的对象物是立体物的次数(右侧识别数量)与在左侧的亮度图像126中识别为框200内的对象物是立体物的次数(左侧识别数量)的比率。而且，也可以在立体状态的等级为“信任”以下，且右侧识别数量与左侧识别数量的比率小于0.9(单眼速度的变化表示出加速时为小于0.94)的情况下，立体权重导出部170将立体状态降低一个等级，并将立体可信值降低1。这是因为，在右侧识别数量与左侧识别数量大幅分歧的情况下，推测为在左右的拍摄装置110中的某一方的检测区域124存在雨滴等的可能性高。
另外，在立体状态为“不可信”且单眼状态为“不可信”的情况下，立体权重导出部170可以将立体可信值提高1。这是为了避免仅根据预测速度导出物体速度。
接着，对预测权重进行说明。预测权重导出部174根据距离图像的不可信值和一个拍摄装置的亮度图像的不可信值来导出预测权重。具体而言，预测权重导出部174通过以下的式(4)导出预测权重。
Wp＝(立体不可信值)×(单眼不可信值)…(4)
在此，有时将立体可信值标记为Rs，将立体可信值的最大值标记为Rsmax，并且将立体偏差标记为Bs。预测权重导出部174通过以下的式(5)导出不可信值。
(立体不可信值)＝Rsmax-min(Rsmax，(Rs+Bs))…(5)
式(5)中的min(Rsmax，(Rs+Bs))表示采用Rsmax与(Rs+Bs)之中较小的一方的值。另外，立体可信值(Rs)采用由立体权重导出部170导出的值。立体可信值的最大值(Rsmax)是立体状态为“信任”时的立体可信值，具体为“3”。
立体偏差(Bs)是为了提高导出立体不可信值所使用的立体可信值，其结果降低立体不可信值而设定。例如在立体物的立体速度的变化表示出减速，且立体物为近距离(立体距离为预定值以下)的情况下，立体偏差被设定为“3”。另外，在立体物的立体速度的变化表示出减速，且立体物不是近距离(立体距离超过预定值)的情况下，立体偏差被设定为“2”。另外，立体偏差在“3”或“2”时的条件以外的情况下，被设定为“1”。
另外，有时将单眼可信值标记为Rm，将单眼可信值的最大值标记为Rmmax，并且将单眼偏差标记为Bm。预测权重导出部174通过以下的式(6)导出单眼不可信值。
(单眼不可信值)＝Rmmax-min(Rmmax，(Rm+Bm))…(6)
式(6)中的min(Rmmax，(Rm+Bm))表示采用Rmmax与(Rm+Bm)之中较小的一方。另外，单眼可信值(Rm)使用由单眼权重导出部172导出的值。单眼可信值的最大值(Rmmax)是单眼状态为“信任”时的单眼可信值，具体而言为“3”。
单眼偏差(Bm)是为了提高导出单眼不可信值所使用的单眼可信值，其结果降低单眼不可信值而设定。例如在立体物的单眼速度的变化表示出减速的情况下，单眼偏差被设定为“1”，在该条件以外的情况下，单眼偏差被设定为“0”。
如果将立体偏差或单眼偏差设定为“1”以上，则能够降低预测权重的比率。其结果是，能够防止物体速度的运算中的预测速度的比率减小，并且能够防止物体速度的随时间变化的响应性过度降低。
物体速度导出部168将通过式(2)导出的立体权重、通过式(3)导出的单眼权重、通过式(4)导出的预测权重应用于式(1)，从而导出物体速度。
应予说明，如果预定的例外条件成立，则物体速度导出部168也可以不进行立体速度、单眼速度和预测速度的混合(不进行速度校正处理)，而将立体物的立体速度作为物体速度。预定的例外条件例如根据本车辆1的周围的暗度、立体距离、立体速度或立体状态等来设定。
例如，物体速度导出部168可以检测本车辆1的周围的暗度，在该暗度为表示夜晚的程度以上的情况下，认为满足例外条件，从而将立体物的立体速度作为物体速度。这是为了区分亮度图像126因雨滴等而模糊的情况和亮度图像126因夜晚而变暗的情况。
另外，物体速度导出部168也可以在立体距离小于20m或立体速度小于45km/h的情况下，认为满足例外条件，从而将立体物的立体速度作为物体速度。如果在近距离存在立体物的情况下进行速度校正处理，则物体速度的随时间变化有可能相对于立体物的行为产生响应延迟，上述将立体物的立体速度作为物体速度是为了避免这样的响应延迟。
另外，物体速度导出部168也可以在立体距离为20m以上且小于25m(在判断为立体物正在加速时立体距离为17m以上且小于25m)，并且立体状态的等级为“稳妥”以上的情况下，视为满足例外条件，从而将立体物的立体速度作为物体速度。这也是为了避免导出的物体速度的响应延迟。
另外，物体速度导出部168也可以在立体距离为70m以上的情况下，认为满足例外条件，从而将立体物的立体速度作为物体速度。这是因为，如果立体物存在于远方，则单眼速度和预测速度的值容易产生偏差，引起物体速度的精度降低。上述将立体物的立体速度作为物体速度是为了抑制该物体速度的精度降低。
图9为说明中央控制部154的工作的流程的流程图。中央控制部154在每个按预定控制周期到来的预定的中断时刻，重复图9的一系列的处理。在图9的流程图中，对与物体速度的导出相关的工作的流程进行说明，并对与物体速度的导出无关的工作省略说明。
首先，立体速度导出部160从左右的拍摄装置110分别获取亮度图像126(S100)。接着，立体速度导出部160按每个区块进行左右的亮度图像126的匹配，导出包含视差信息的距离图像128(S110)。
接着，立体速度导出部160基于距离图像128来确定立体物(例如前行车辆)，并导出立体物的立体距离(S120)。接着，立体速度导出部160基于立体物的立体距离来导出立体物的立体速度(S130)。
接着，单眼速度导出部162使用在步骤S100中获取到的左右的亮度图像126之中更清晰地拍摄到立体物的亮度图像126(例如，亮度值整体上高的亮度图像126)，来导出立体物的单眼速度(S140)。具体而言，单眼速度导出部162基于从预定帧以前(例如，100帧以前)到当前为止的亮度图像126中的立体物的横向宽度的变化来导出单眼速度。应予说明，用于导出单眼速度的亮度图像也可以被固定于左侧的拍摄装置110的亮度图像和右侧的拍摄装置110的亮度图像中的某一方。
另外，单眼速度导出部162将导出的单眼速度在时间上进行积分，来导出立体物的单眼距离(S150)。
接着，预测速度导出部164基于过去的立体物的速度，来导出立体物的预测速度(S160)。具体而言，预测速度导出部164将在上次的中断时刻(相对于当前的中断时刻在预定控制周期以前到来的中断时刻)导出的物体速度作为本次的预测速度。
接着，物体速度导出部168判断例外条件是否成立(S170)。在例外条件已成立的情况下(S170中的“是”)，物体速度导出部168将在步骤S130中导出的立体物的立体速度作为本次的物体速度(S180)，并结束一系列的处理。
另外，在例外条件未成立的情况下(S170中的“否”)，则进行步骤S200以后的处理。具体而言，立体权重导出部170导出立体权重(S200)。接着，单眼权重导出部172导出单眼权重(S210)。接着，预测权重导出部174导出预测权重(S220)。
然后，物体速度导出部168根据导出的立体权重、单眼权重和预测权重来导出物体速度(S230)，并结束一系列的处理。具体而言，物体速度导出部168将立体权重、立体速度、单眼权重、单眼速度、预测权重和预测速度应用于式(1)而导出物体速度。
应予说明，虽然在图9的流程图中进行了省略，但在导出各权重的过程中例外条件成立的情况下，物体速度导出部168也可以进入步骤S180的处理，并将立体速度作为物体速度。
并且，虽然在图9的流程图中进行了省略，但在距离图像128中导出视差的区块数量小于预定区块数量的情况下，也可以从立体控制切换为单眼控制。在切换为单眼控制的情况下，物体速度导出部168可以将单眼速度作为物体速度。
如上，在本实施方式的车外环境识别装置120中，在立体控制中，以适当的混合比率混合立体速度、单眼速度和预测速度来导出物体速度。由此，在本实施方式的车外环境识别装置120中，在立体速度产生误差时，与仅根据立体速度导出物体速度的方式相比，能够降低已产生误差的立体速度的加权。因此，在本实施方式的车外环境识别装置120中，即使在一个拍摄装置110的检测区域124存在雨滴等，也能够抑制导出的物体速度的误差。
因此，在本实施方式的车外环境识别装置120中，能够稳定地导出立体物的速度。其结果是，在本实施方式的车外环境识别装置120中，能够稳定地进行利用了物体速度的巡航控制等。
以上，参照附图对本发明的实施方式进行了说明，但本发明当然不限于该实施方式。显然，只要是本领域技术人员，就能够在权利要求书所记载的范畴内想到各种变更例或修正例，应了解的是，这些变更例或修正例当然也属于本发明的技术范围。

Claims (6)

1.一种车外环境识别装置，其特征在于，具备：
立体速度导出部，其导出立体速度，所述立体速度表示基于从两个拍摄装置的亮度图像导出的距离图像而提取出的预定的立体物的速度；
单眼速度导出部，其导出单眼速度，所述单眼速度表示基于一个所述拍摄装置的亮度图像而提取出的所述立体物的速度；
预测速度导出部，其导出预测速度，所述预测速度表示基于所述立体物的过去的速度而预测出的所述立体物的当前的速度；
混合比率导出部，其导出所述立体速度、所述单眼速度和所述预测速度的混合比率；以及
物体速度导出部，其基于所述混合比率，将所述立体速度、所述单眼速度和所述预测速度混合而导出表示所述立体物的速度的物体速度。
2.根据权利要求1所述的车外环境识别装置，其特征在于，所述混合比率导出部具有：
立体权重导出部，其导出表示所述立体速度的比例的立体权重；
单眼权重导出部，其导出表示所述单眼速度的比例的单眼权重；以及
预测权重导出部，其导出表示所述预测速度的比例的预测权重，
在将所述立体速度设为Vs、将所述单眼速度设为Vm、将所述预测速度设为Vp、将所述立体权重设为Ws、将所述单眼权重设为Wm、将所述预测权重设为Wp、将所述物体速度设为V的情况下，所述物体速度导出部通过以下的式(1)导出所述物体速度：
V＝(Ws×Vs+Wm×Vm+Wp×Vp)/(Ws+Wm+Wp)…(1)。
3.根据权利要求2所述的车外环境识别装置，其特征在于，所述立体权重导出部根据所述距离图像的可信值来导出所述立体权重。
4.根据权利要求2或3所述的车外环境识别装置，其特征在于，所述单眼权重导出部根据一个所述拍摄装置的亮度图像的可信值来导出所述单眼权重。
5.根据权利要求2或3所述的车外环境识别装置，其特征在于，所述预测权重导出部根据所述距离图像的不可信值和一个所述拍摄装置的亮度图像的不可信值来导出所述预测权重。
6.根据权利要求4所述的车外环境识别装置，其特征在于，所述预测权重导出部根据所述距离图像的不可信值和一个所述拍摄装置的亮度图像的不可信值来导出所述预测权重。
CN202110046634.0A 2020-03-11 2021-01-14 车外环境识别装置 Pending CN113392691A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020041648A JP7431623B2 (ja) 2020-03-11 2020-03-11 車外環境認識装置
JP2020-041648 2020-03-11

Publications (1)

Publication Number Publication Date
CN113392691A true CN113392691A (zh) 2021-09-14

Family

ID=77616708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110046634.0A Pending CN113392691A (zh) 2020-03-11 2021-01-14 车外环境识别装置

Country Status (3)

Country Link
US (1) US11748967B2 (zh)
JP (1) JP7431623B2 (zh)
CN (1) CN113392691A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114755444B (zh) * 2022-06-14 2022-10-21 天津所托瑞安汽车科技有限公司 目标速度测定方法、装置、电子设备及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3255360B2 (ja) * 1999-09-22 2002-02-12 富士重工業株式会社 距離データの検査方法およびその検査装置
JP4197033B2 (ja) * 2004-08-10 2008-12-17 株式会社村田製作所 レーダ
JP2008151659A (ja) * 2006-12-18 2008-07-03 Fuji Heavy Ind Ltd 物体検出装置
US9457810B2 (en) * 2009-10-21 2016-10-04 Berthold K. P. Horn Method and apparatus for reducing motor vehicle traffic flow instabilities and increasing vehicle throughput
JP5592308B2 (ja) * 2011-05-19 2014-09-17 富士重工業株式会社 環境認識装置
JP5612621B2 (ja) * 2012-02-28 2014-10-22 富士重工業株式会社 車外環境認識装置
JP5724955B2 (ja) 2012-06-22 2015-05-27 トヨタ自動車株式会社 物体検出装置、情報処理装置、物体検出方法
US10140717B2 (en) * 2013-02-27 2018-11-27 Hitachi Automotive Systems, Ltd. Imaging apparatus and vehicle controller
JP6648411B2 (ja) * 2014-05-19 2020-02-14 株式会社リコー 処理装置、処理システム、処理プログラム及び処理方法
JP6764378B2 (ja) * 2017-07-26 2020-09-30 株式会社Ｓｕｂａｒｕ 車外環境認識装置
JP6944308B2 (ja) * 2017-08-18 2021-10-06 ソニーセミコンダクタソリューションズ株式会社 制御装置、制御システム、および制御方法
JP7353747B2 (ja) 2018-01-12 2023-10-02 キヤノン株式会社 情報処理装置、システム、方法、およびプログラム
DE102018212318B4 (de) * 2018-07-24 2023-09-28 Denso Corporation Adaptive geschwindigkeitsregelung
US20210197720A1 (en) * 2019-12-27 2021-07-01 Lyft, Inc. Systems and methods for incident detection using inference models
CA3168740C (en) * 2020-02-21 2023-08-01 Joel Pazhayampallil Method for object avoidance during autonomous navigation
US12013457B2 (en) * 2020-03-05 2024-06-18 Uatc, Llc Systems and methods for integrating radar data for improved object detection in autonomous vehicles

Also Published As

Publication number Publication date
US11748967B2 (en) 2023-09-05
JP7431623B2 (ja) 2024-02-15
JP2021144389A (ja) 2021-09-24
US20210284151A1 (en) 2021-09-16

Similar Documents

Publication Publication Date Title
US10246038B2 (en) Object recognition device and vehicle control system
US8305431B2 (en) Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images
US11021155B2 (en) Vehicle control apparatus and vehicle control method
JP6313646B2 (ja) 外界認識装置
JP5863536B2 (ja) 車外監視装置
JP5886809B2 (ja) 車外環境認識装置
JP2015165381A (ja) 画像処理装置、機器制御システム、および画像処理プログラム
JP6722084B2 (ja) 物体検出装置
JP2018124768A (ja) 車両制御装置
CN113392691A (zh) 车外环境识别装置
JP7356319B2 (ja) 車外環境認識装置
EP3395613B1 (en) Headlight control device
CN109308442B (zh) 车外环境识别装置
JP2019053685A (ja) 画像処理装置
CN109017772B (zh) 车辆控制装置
US10857998B2 (en) Vehicle control device operating safety device based on object position
CN114746915A (zh) 信号机识别方法及信号机识别装置
KR102485318B1 (ko) 단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법
CN112606839A (zh) 车外环境识别装置
JP2006036048A (ja) 車両ライト制御装置
KR101622051B1 (ko) 차량 분별 시스템 및 방법
JP6273156B2 (ja) 歩行者認識装置
JP7336367B2 (ja) 車外環境認識装置
WO2024135201A1 (ja) 走行支援装置、及び走行支援装置の走行支援方法
JP6731020B2 (ja) 車外環境認識装置および車外環境認識方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination