CN114402357A - 路面检测装置、物体检测装置、物体检测系统、移动体和物体检测方法 - Google Patents

路面检测装置、物体检测装置、物体检测系统、移动体和物体检测方法 Download PDF

Info

Publication number
CN114402357A
CN114402357A CN202080064299.0A CN202080064299A CN114402357A CN 114402357 A CN114402357 A CN 114402357A CN 202080064299 A CN202080064299 A CN 202080064299A CN 114402357 A CN114402357 A CN 114402357A
Authority
CN
China
Prior art keywords
parallax
road surface
stereo camera
image
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080064299.0A
Other languages
English (en)
Inventor
岸本洵也
河野健治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of CN114402357A publication Critical patent/CN114402357A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

物体检测装置具备处理器。处理器获取或者生成基于安装在移动体上的立体照相机的输出而生成的第一视差图像。第一视差图像是在由立体照相机的基线长度方向所对应的第一方向和与第一方向相交的第二方向构成的二维平面上配置表示视差的像素而成的。处理器利用两条直线对第一视差图像中包含的、移动体的行进方向的路面的第二方向的坐标和表示路面的视差之间的关系进行近似。

Description

路面检测装置、物体检测装置、物体检测系统、移动体和物体 检测方法
相关申请的交叉引用
本申请要求2019年9月12日申请的日本专利申请2019-166595号的优先权，在先的申请的全部公开内容通过引用并入本文。
技术领域
本公开涉及路面检测装置、物体检测装置、物体检测系统、移动体和物体检测方法。
背景技术
近年来，在汽车等移动体中设置有使用了立体照相机的物体检测装置，用于物体的检测和距离测量等。在这样的物体检测装置中，根据从多个相机获取的多个图像，在整个图像上求出距离分布(或视差分布)，根据该距离分布的信息来判别障碍物(例如，参照专利文献1)。
现有技术文献
专利文献
日本特开平5-265547号公报
发明内容
本公开的路面检测装置具备处理器。所述处理器获取或生成第一视差图，所述第一视差图是基于拍摄包含路面在内的图像的立体照相机的输出而生成的。所述第一视差图是从所述立体照相机的输出获得的视差与由第一方向和与所述第一方向相交的第二方向构成的二维坐标相关联的图，其中，所述第一方向与所述立体照相机的拍摄图像的水平方向相对应。所述处理器利用两条直线对所述第一视差图中包含的、所述路面的所述第二方向的坐标和表示所述路面的视差之间的关系进行近似。
本公开的物体检测装置具备处理器。所述处理器获取或生成第一视差图，所述第一视差图是基于拍摄包含路面在内的图像的立体照相机的输出而生成的。所述第一视差图是从所述立体照相机的输出获得的视差与由第一方向和与所述第一方向相交的第二方向构成的二维坐标相关联的图，其中，所述第一方向与所述立体照相机的拍摄图像的水平方向相对应。所述处理器利用两条直线对所述第一视差图中包含的、所述路面的所述第二方向的坐标和表示所述路面的视差之间的关系进行近似。所述处理器构成为使用由所述直线近似后的表示所述路面的视差来检测物体。
本公开的物体检测系统具备：立体照相机，拍摄多个彼此具有视差的图像；以及物体检测装置，包括至少一个处理器。所述处理器获取或生成第一视差图，所述第一视差图是基于拍摄包含路面在内的图像的立体照相机的输出而生成的。所述第一视差图是从所述立体照相机的输出获得的视差与由第一方向和与所述第一方向相交的第二方向构成的二维坐标相关联的图，其中，所述第一方向与所述立体照相机的拍摄图像的水平方向相对应。所述处理器利用两条直线对所述第一视差图中包含的、所述路面的所述第二方向的坐标和表示所述路面的视差之间的关系进行近似。所述处理器构成为使用由所述直线近似后的表示所述路面的视差来检测物体。
本公开的移动体具备物体检测系统。本公开的物体检测系统包括：拍摄多个彼此具有视差的图像的立体照相机和具有至少一个处理器的物体检测装置。所述处理器获取或生成第一视差图，所述第一视差图是基于拍摄包含路面在内的图像的立体照相机的输出而生成的。所述第一视差图是从所述立体照相机的输出获得的视差与由第一方向和与所述第一方向相交的第二方向构成的二维坐标相关联的图，其中，所述第一方向与所述立体照相机的拍摄图像的水平方向相对应。所述处理器利用两条直线对所述第一视差图中包含的、所述路面的所述第二方向的坐标和表示所述路面的视差之间的关系进行近似。所述处理器构成为使用由所述直线近似后的表示所述路面的视差来检测物体所述直线。
本公开的物体检测方法包括获取或生成第一视差图，所述第一视差图是基于拍摄包含路面在内的图像的立体照相机的输出而生成的。所述第一视差图是从所述立体照相机的输出获得的视差与由第一方向和与所述第一方向相交的第二方向构成的二维坐标相关联的图，其中，所述第一方向与所述立体照相机的拍摄图像的水平方向相对应。所述物体检测方法利用两条直线对所述第一视差图中包含的、所述路面的所述第二方向的坐标和表示所述路面的视差之间的关系进行近似。所述物体检测方法包括使用由所述直线近似后的表示所述路面的视差来检测物体。
附图说明
图1是示出本公开的一个实施方式的物体检测系统的概略结构的框图。
图2是示意性地示出安装图1的物体检测系统的移动体的侧视图。
图3是示意性地示出安装图1的物体检测系统的移动体的前视图。
图4是示出本公开的另一的物体检测系统的概略结构的框图。
图5是示出图1的由物体检测装置执行的处理的一例的流程图。
图6是说明由物体检测装置获取或生成的第一视差图像的一例的图。
图7是示出进行路面形状的推定的处理的一例的流程图。
图8是示出从第一视差图像提取路面候选视差的处理的一例的流程图。
图9是说明路面和立体照相机之间的位置关系的图。
图10是说明路面候选视差的提取顺序的图。
图11是示出使视差直方图化的路面上的范围的图。
图12是示出路面视差dr和纵向的坐标(v坐标)之间的关系的一例的d-v相关图。
图13是用于说明检测是否包含不是路面视差的物体的方法的图。
图14是将路面视差dr与图像的纵向左边(v坐标)之间的关系用直线近似处理的流程图。
图15是说明由第一直线进行的路面视差dr的近似的图。
图16是说明第二直线的确定方法的图。
图17是示出将路面视差dr与图像的纵坐标(v坐标)之间的关系用直线近似的结果的一例的图。
图18是说明去除了不需要的视差的第二视差图像的一例的图。
图19是示出第二视差图像的一例的图。
图20是示出创建直方图的第二视差图像上的区域之一的图。
图21是说明由直方图进行的物体视差的判别方法的图。
图22是说明获取物体视差的高度信息的方法的图。
图23是说明获取物体视差的高度信息的方法的图。
图24是示出表示物体视差的点云在u-d空间中的分布的一例的图。
图25是从高度方向(y方向)观察路面的图。
图26是将物体视差转换为实际空间中x-z平面上的点云的图。
图27是示出物体的检测结果的输出方法的一例的图。
具体实施方式
由于道路的形状以及道路上存在结构体和其他的物体等各种因素，物体检测装置可能无法获得高的检测性能。本公开的路面检测装置、物体检测装置、物体检测系统、物体检测方法和移动体能够提高检测物体的性能。
下面，将参考附图说明本公开的实施方式。需要说明的是，以下说明中使用的图是示意性的。附图上的尺寸、比例等并不一定与实际相符。示出由照相机拍摄的图像以及视差图像等的图包括用于说明而做出的图。这些图像与实际拍摄的或处理的图像不同。并且，以下的说明中“被拍摄体”是由照相机拍摄的对象。“被拍摄体”包括物体、路面、天空等。“物体”在空间中具有具体位置和大小。“物体”也可称为“三维物体”。
如图1所示，物体检测系统1包括立体照相机10和物体检测装置20。立体照相机10和物体检测装置20可以通过有线或无线通信进行通信。立体照相机10和物体检测装置20可以通过网络进行通信。网络可以包括：例如有线或无线LAN(Local Area Network：局域网)、CAN(Controller Area Network：控制器局域网)等。立体照相机10和物体检测装置20可以容纳在同一个壳体中并一体地构成。立体照相机10和物体检测装置20可以位于后述的移动体30中，并且可以与移动体30中的ECU(Electronic Control Unit：电子控制单元)进行通信。
“立体照相机”是彼此具有视差且相互配合的多个照相机。立体照相机包括至少两个以上照相机。立体照相机通过使多个照相机协作，可以从多个方向拍摄对象。立体照相机可以是在一个壳体中包括多个照相机的设备。立体照相机可以是包括彼此独立且位于彼此分开的位置的两个以上照相机的设备。立体照相机不限于彼此独立的多个照相机。在本公开中，例如，可以采用具有光学机构的照相机作为立体照相机，所述光学机构将入射到分开的两处的光引导到一个光接收元件。在本公开中，从不同视点拍摄了相同被拍摄体的多个图像被称为“立体图像”。
立体照相机10包括第一照相机11和第二照相机12。第一照相机11和第二照相机12分别包括规定了光轴OX的光学系统和摄像器件。第一照相机11和第二照相机12各自具有不同的光轴OX。在本说明书的说明中，仅用一个附图标记OX表示第一照相机11和第二照相机12两者的光轴OX。摄像器件包括CCD图像传感器(Charge-Coupled device Image Sensor)和CMOS图像传感器(Complementary MOS Image Sensor)。第一照相机11和第二照相机12分别包括的摄像器件可以存在于与各照相机的光轴OX垂直的同一平面中。第一照相机11和第二照相机12产生图像信号，该图像信号表示由摄像器件成像的图像。此外，第一照相机11和第二照相机12可以对拍摄的图像进行失真校正、亮度调整、对比度调整、伽马校正等任意处理。
第一照相机11和第二照相机12的光轴OX朝同一被拍摄体能够被拍摄到的方向。在第一照相机11和第二照相机12中，光轴OX和位置被确定为拍摄的图像中至少包括相同的被拍摄体。在多个实施方式中的一个实施方式中，第一照相机11和第二照相机12的光轴OX被定向为彼此平行。这种平行不限于严格意义上的平行，而使允许存在组装偏差、安装偏差以及随着时间的推移而引起的偏差。在多个实施方式中的另一个实施方式中，第一照相机11和第二照相机12的光轴OX不限于平行，可以彼此面对不同方向。即使第一照相机11和第二照相机12的光轴OX相互不平行，也可以通过在立体照相机10或物体检测装置20内转换图像来生成立体图像。将立体照相机10的第一照相机11和第二照相机12的光学中心之间的距离称为基线长度。基线长度相当于第一照相机11与第二照相机12之间的透镜中心的距离。将连接立体照相机10的第一照相机11和第二照相机12的光学中心的方向称为基线长度方向。
第一照相机11和第二照相机12在与光轴OX相交的方向上彼此分离。在多个实施方式中的一个实施方式中，第一照相机11和第二照相机12沿左右方向设置。面向前方时，第一照相机11位于第二照相机12的左侧。面向前方时，第二照相机12位于第一照相机11的右侧。由于第一照相机11和第二照相机12的位置不同，因此由各照相机拍摄的两个图像之中相互对应的被拍摄体的位置不同。从第一照相机11输出的第一图像和从第二照相机12输出的第二图像是从不同视点拍摄的立体图像。第一照相机11和第二照相机12以预定帧率(例如，30fps)拍摄被拍摄体。
如图2和图3所示，图1的物体检测系统1搭载于移动体30。如图2的侧视图所示，第一照相机11和第二照相机12被设置成拍摄移动体30的前方。第一照相机11和第二照相机12被设置成拍摄包括路面的图像。即，立体照相机10被设置成拍摄包括路面的图像。在多个实施方式中的一个实施方式中，第一照相机11和第二照相机12各自的光学系统的光轴OX被布置成与移动体30的前方大致平行。
在本申请中，移动体30向前行驶时的行驶方向被称为前方或z方向。与前方相反的方向被称为后方。以面向移动体30的前方的状态为基准，定义左方向和右方向。与z方向正交且从左到右的方向称为x方向。x方向可以与基线长度方向重合。与移动体30附近的路面垂直且向上的方向称为高度方向或y方向。y方向可以与x方向和z方向正交。x方向也称为水平方向。y方向也称为铅垂方向。z方向也称为进深方向。
本公开中的“移动体”例如可以包括车辆、飞机。车辆例如可以包括汽车、工业车辆、铁路车辆、生活用车以及在跑道上滑行的固定翼飞机等。汽车例如可以包括轿车、卡车、公共汽车、摩托车以及无轨电车等。工业车辆例如可以包括用于农业和建筑的工业车辆等。工业车辆例如可以包括叉车以及高尔夫球车等。用于农业的工业车辆例如可以包括拖拉机、耕耘机、插秧机、收割机、联合收割机、以及割草机等。用于建设的工业车辆例如可以包括推土机、铲运机、挖掘机、汽车起重机、翻斗车以及压路机等。车辆可以包括通过人力行驶的车辆。车辆的分类不限于上述示例。例如，汽车可以包括可在道路上行驶的工业车辆。同一车辆可以包含在多个分类中。飞机例如可以包括固定翼飞机、旋翼机等。
本公开的移动体30在包含道路、跑道等的行驶道路上行驶。移动体30行驶的行驶道路的表面称为路面。
第一照相机11和第二照相机12搭载在移动体30的不同位置处。在多个实施方式中的一个实施方式中，第一照相机11和第二照相机12搭载于作为车辆的移动体30的内部，并且可以通过挡风玻璃拍摄移动体30的外部。例如，第一照相机11和第二照相机12配置在后视镜的前方或仪表盘上。在多个实施方式中的一个实施方式中，第一照相机11和第二照相机12可以任意固定到车辆的前保险杠、挡泥板格栅、侧挡泥板、灯模组以及引擎盖等。
物体检测装置20具备：获取部21、图像处理部22(处理器)、存储器23和输出部24。物体检测装置20能够在移动体30内配置在任意的位置。例如，物体检测装置20能够配置在移动体30的仪表盘内。
获取部21是接收从立体照相机10和其他装置输入的信息的、物体检测装置20的输入接口。获取部21可以采用物理连接器和无线通信设备。物理连接器包括对应电信号的传输的电连接器、对应光信号的传输的光连接器以及对应电磁波的传输的电磁连接器。电连接器包括符合IEC60603的连接器、符合USB标准的连接器、对应RCA端子的连接器、对应EIAJCP-1211A中规定的S端子的连接器、对应EIAJ RC-5237中规定的D端子的连接器、符合HDMI(注册商标)标准的连接器以及对应包含BNC的同轴电缆的连接器。光连接器包括符合IEC61754的各种连接器。无线通信设备包括符合Bluetooth(注册商标)和IEEE802.11的各种标准的无线通信设备。无线通信设备包括至少一根天线。
获取部21可以接收由第一照相机11和第二照相机12中分别拍摄得到的图像的图像数据。将获取部21接收到的图像数据传送给图像处理部22。获取部21可以对应于立体照相机10的拍摄信号的传送方式。获取部21可以经由网络与立体照相机10的输出接口连接。
图像处理部22包括一个或多个处理器。处理器包括加载特定程序并执行特定功能的通用处理器，以及专门进行特定处理的专用处理器。专用处理器包括专用集成电路(ASIC；Application Specific Integrated Circuit)。处理器包括可编程逻辑器件(PLD；Programmable Logic device)。PLD包括FPGA(Field-Programmable Gate Array：现场可编程门阵列)。图像处理部22可以是一个或多个处理器协作的SoC(System-on-a-Chip：片上系统)和SiP(System In a Package：系统级封装)中的任一个。由图像处理部22执行的处理也可以被视为由处理器执行的处理。
图像处理部22包括：视差图像生成部25、路面检测部26(路面检测装置)、不必要视差去除部27、聚类部28和分组部29的各功能块。视差图像生成部25基于从立体照相机10输出的第一图像和第二图像来生成第一视差图像。第一视差图像是在与立体照相机10的拍摄图像的水平方向对应的横向和与横向相交的纵向所构成的二维平面上配置表示视差的像素的图像。横向是第一方向。纵向是第二方向。横向和纵向可以彼此正交。横向与路面的宽度方向对应。横向是在立体照相机10的拍摄的图像包含水平线时与水平线平行的方向。纵向可以是与实际空间中的重力的施加方向对应的方向。路面检测部26、不必要视差去除部27、聚类部28和分组部29基于第一视差图像来执行检测物体的一系列处理。
在图像处理部22中的信息处理中，第一视差图像作为第一视差图而经历各种操作，其中，在第一视差图中，从立体照相机10的输出而获得的视差信息与由横向和纵向构成的二维坐标相关联。各种操作包括运算以及向存储器23写入、从存储器23读取。第一视差图像也可以被认为是第一视差图。在以下的说明中，对第一视差图像的处理也可以被认为是对第一视差图的处理。
图像处理部22的各个功能块可以是硬件模块或软件模块。由各个功能块执行的处理也可以认为是由图像处理部22执行的处理。图像处理部22可以执行各个功能块的所有动作。图像处理部22使任何功能块执行的处理可以由图像处理部22自身来执行。路面检测部26亦能够被称作路面检测装置。路面检测装置能够由与其他功能块共通的硬件或与其他功能块分开的硬件构成。除了路面检测部26之外，路面检测装置还可以包括视差图像生成部25。
存储器23存储用于各种处理的程序和运算中的信息。存储器23包括易失性存储器和非易失性存储器。存储器23包括独立于处理器的存储器和内置在处理器中的存储器。
输出部24是物体检测装置20的输出接口，其可以将物体检测装置20的处理结果输出到移动体30中的其他设备或者其他车辆和路侧设备等移动体30外部的设备。能够适当地使用从物体检测装置20接收到的信息的其他设备包括自动巡航控制等行驶辅助设备和自动制动装置等安全设备。与获取部21相同，输出部24包括对应有线和无线通信的各种接口。例如，输出部24具有CAN接口，并与移动体30内的其他设备进行通信。
物体检测装置20可以构成为通过读取记录在非临时性计算机可读介质中的程序实现由以下说明的图像处理部22执行的处理。非临时性计算机可读介质包括磁存储介质、光存储介质、磁光存储介质、半导体存储介质，但是不限于此。磁存储介质包括磁盘、硬盘、磁带。光存储介质包括CD(Compact Disc：光盘)、DVD、蓝光光盘(Blu-ray(注册商标)Disc)等光盘。半导体存储介质包括ROM(Read Only Memory：只读存储器)、EEPROM(ElectricallyErasable Programmable Read-Only Memory：带电可擦可编程只读存储器)、闪速存储器。
如图4所示，在本公开的另一实施方式的物体检测系统1A中，视差图像生成部25可以搭载到独立于物体检测装置20的硬件上。在图4中，与图1相同或相似的构成要素使用与图1相同的符号来表示。图4中的视差图像生成部25也可以认为是视差图像生成装置。图4中的视差图像生成部25具有处理器。图4中的视差图像生成部25中包括的处理器基于分别从立体照相机10的第一照相机11和第二照相机12输出的第一图像和第二图像来生成第一视差图像。图4的物体检测装置20所包括的获取部21从视差图像生成部25获取第一视差图像。图4的物体检测装置20和视差图像生成部25整体可以视为一个物体检测装置20。在图4那样构成的物体检测装置20中，图像处理部22的路面检测部26、不必要视差去除部27、聚类部28和分组部29的功能与图1的相应的功能块相同。
下面将参照图5的流程图进一步说明图像处理部22的各个功能块所执行的处理。图5是用于说明物体检测装置20执行的物体检测方法的整体处理的流程图。
首先，在详细说明图5的流程图的各个步骤中执行的处理之前，将简要说明每个步骤中的处理的概要和目的。
步骤S101是在后述的第一处理之前的阶段获取或生成作为物体检测对象的第一视差图像的步骤。步骤S101由获取部21或视差图像生成部25进行。
步骤S102是推定路面的形状的步骤。在步骤S102中进行的处理也被称为第一处理。步骤S102由路面检测部26进行。通过推定路面形状，可以在第一视差图像上找到表示路面相对于纵坐标的视差。路面形状对于在后续处理中去除不必要视差和/或确定实际空间中路面的高度位置而言是必要的。步骤S102的处理有助于在以下的步骤S103～S106中提高检测物体的性能。
步骤S103是生成去除了不必要的视差的第二视差图像的步骤。在步骤S103中执行的处理也可以称为第二处理。第二处理由不必要视差去除部27执行。不必要的视差是与实际空间中距路面的高度包括在预定范围内的被拍摄体对应的像素所表示的视差。例如，不必要的视差包括第一视差图像中包含的路面的视差以及空中部分中包含的结构体的视差等。通过从第一视差图像去除不必要的视差，降低了错误地将路面上的白线和存在于道路上空的结构体等检测为路面上的物体的可能性。由此，提高了物体检测的准确度。
在图像处理部22中的信息处理中，第二视差图像作为从第一视差图中包含的视差信息中去除了不必要的视差信息的第二视差图而接受各种操作。第二视差图像也可以认为是第二视差图。在以下的说明中，对第二视差图像的处理也可以认为是对第二视差图的处理。
步骤S104是对于第二视差图像在横向的各坐标上确定物体视差的步骤。步骤S104由聚类部28执行。物体视差是指如下视差：被确定为在预定条件下可以识别为实际空间中的物体的区域的视差。
步骤S105是基于第二视差图像上的物体视差分布和在步骤S102中推定的路面形状来计算出与物体视差相关的高度信息的步骤。步骤S105由聚类部28执行。在步骤S104和S105中执行的处理也可以称为第三处理。如果不需要高度信息，则可以省略步骤S105。
步骤S106是通过将物体视差信息变换到实际空间坐标上并提取物体视差的集合(组)来检测物体的步骤。在步骤S106中执行的处理也可以称为第四处理。第四处理由分组部29执行。
步骤S107是从输出部24输出检测到的物体信息的步骤。根据步骤S106的结果，能够获得检测到的物体位置和立体照相机10侧角度下的宽度信息。在步骤S105中获得的信息包括检测到的物体高度信息。该信息可以提供给移动体30内的其他设备。
接着，说明各步骤的细节。
首先，图像处理部22获取或生成第一视差图像(步骤S101)。在图1所示的物体检测系统1中，图像处理部22基于由获取部21获取了的第一图像和第二图像来生成第一视差图像。第一视差图像的生成由视差图像生成部25进行。在图4所示的物体检测系统1A中，图像处理部22通过获取部21来获取由视差图像生成部25生成的第一视差图像。图像处理部22可以将第一视差图像存储在存储器23中以用于以后的处理。
视差图像生成部25算出从第一照相机11获取的第一图像和从第二照相机12获取的第二图像的视差的分布，并生成第一视差图像。第一视差图像的生成方法是公知的，因此以下仅简单地说明。
视差图像生成部25将第一图像和第二图像中的一方的图像(例如，第一图像)划分为多个小区域。小区域可以是在纵向和横向上排列有多个像素的矩形区域。例如，小区域可以由纵向上的三个像素和横向上的三个像素构成。小区域的纵向和横向上包含的像素的数量不限于三个。小区域的纵向和横向上包含的像素的数量可以不同。视差图像生成部25将划分为多个小区域的各个图像和另一方的图像(例如，第二图像)变换到水平方向上并匹配。对于图像匹配，已知一种使用SAD(Sum of Absolute Difference：绝对差值之和)函数的方法。这表示小区域内的亮度值之间的差的绝对值的和。当SAD函数最小时，判断为两个图像最相似。立体图像的匹配不限于使用SAD函数的方法，也可以采用其他方法。
视差图像生成部25基于用第一图像和第二图像进行匹配时两个区域的横向上的像素位置之间的差异，计算出每个小区域的视差。视差的大小可以以像素在横向上的宽度为单位来表示。通过进行插值处理，能够以小于一个像素的精度计算出视差的大小。视差的大小对应于立体照相机10所拍摄的被拍摄体与实际空间中的立体照相机10之间的距离。如果视差大，则说明距离近；如果视差小，则说明距离远。视差图像生成部25生成表示计算出的视差分布的第一视差图像。在下文中，将表示构成第一视差图像的视差的像素称为视差像素。视差图像生成部25可以生成与原始第一图像和第二图像的像素具有相同清晰度的视差图像。
图6是说明第一视差图像的图。在图6中，在移动体30的前方的路面41上正在行驶有其他车辆42。
如图6所示，在第一视差图像中，表示视差的像素位于由立体照相机10的横向(第一方向)和与横向正交的纵向(第二方向)构成的二维平面上。表示横向上的位置的坐标称为u坐标。表示纵向上的位置的坐标称为v坐标。u坐标和v坐标称为图像坐标。在本公开的图像所表示的每个图中，u坐标是从左到右的坐标。v坐标是从上到下的坐标。u-v坐标空间的原点可以是第一视差图像的左上端。u坐标和v坐标可以以像素为单位来表示。
视差图像生成部25可以用像素的亮度或颜色的差异替换显示视差的差异。在图6中，为了说明，用不同的阴影表示视差。在图6中，阴影越深视差越小，阴影越浅视差越大。在图6中同等的阴影的区域表示分别位于规定的视差的范围内。在实际的第一视差图像中，u-v坐标空间上存在容易获取视差的部分和难以获取视差的部分。例如，在车窗等空间上均匀的被摄体的部分、由于阳光反射而发生过曝的部分中很难获得视差。在第一视差图像中，在存在物体和结构体的情况下，则它们会以与位于较远的背景的视差不同的亮度或颜色显示。
视差图像生成部25可以不必在计算出视差之后将第一视差图像显示为图像。视差图像生成部25可以在图像处理部22的内部生成第一视差图像的信息作为第一视差图并保持，并执行必要的处理。
在步骤S101之后，图像处理部22执行根据第一视差图像推定路面41形状的第一处理(步骤S102)。第一处理由路面检测部26执行。下面将使用图7、8和14的流程图来说明路面检测部26执行的路面形状的推定处理。首先，路面检测部26从第一视差图像中提取路面候选视差dc(步骤S201)。路面候选视差dc是与从第一视差图像收集的路面视差dr对应的可能性较高的视差。路面视差dr是指路面41区域的视差。路面视差dr是不包括路面41上的物体的视差。路面视差dr表示到路面上的相应位置的距离。路面视差dr被收集为在具有相同v坐标的位置具有接近的值
路面候选视差dc的提取处理的详细内容在图8的流程图中示出。如图8所示，路面检测部26基于立体照相机10的安装位置计算路面候选视差的初始值d0，即用于路面候选视差的计算的视差的初始值(步骤S301)。路面候选视差初始值d0是离立体照相机10最近的路面候选视差的提取位置处的路面候选视差的初始值。离立体照相机10最近的路面候选视差的提取位置例如可以设置在与立体照相机10相距1m到10m的范围。
如图9所示，在立体照相机10中，路面高度Y是立体照相机10在垂直方向上距离所拍摄的路面41的高度。此外，路面高度Y0是立体照相机10的安装位置距离路面41的高度。由于道路的起伏，路面高度Y可能会根据与立体照相机10的距离而变化。因此，远离立体照相机10的位置处的路面高度Y与立体照相机10的安装位置处的路面高度Y0不一致。在多个实施方式中的一个实施方式中，将立体照相机10的第一照相机11和第二照相机12的光轴OX相互平行地朝前方设置。在图9中，Z表示到特定路面位置的水平方向上的距离。将立体照相机10的基线长度设为B，将纵向的图像尺寸设为TOTALv。在这种情况下，在任一纵向坐标(v坐标)拍摄的路面41的路面视差ds和路面高度Y的关系由下面的数学式给出，而与水平方向上的距离Z无关。
ds＝B/Y×(v-TOTALv/2) (1)
由算式(1)算出的路面视差ds也被称为“几何推定路面视差”。以下，由符号ds表示几何推定路面视差。
路面候选视差初始值d0是在假设路面41是平坦的并且平行于立体照相机10和距立体照相机10的位置最近的路面候选视差dc的提取位置之间的第一照相机11和第二照相机12的光轴OX的情况下计算的。在这种情况下，将第一视差图像上的距立体照相机10的位置最近的路面候选视差的提取位置处的v坐标设置为特定坐标v0。坐标v0是提取路面候选视差时的v坐标的初始值。坐标v0位于TOTALv/2和TOTALv之间。坐标v0位于能够计算视差的图像坐标的范围内的最下侧(v坐标中较大的一侧)。坐标v0可以是对应于第一视差图像中最下方的行的TOTALv。路面候选视差初始值d0可以通过将v0和Y0代入数学式(1)中的v和Y来确定。
路面检测部26基于路面候选视差初始值d0来计算纵向上的v坐标为v0的第一行的视差收集阈值(步骤S302)。行是指在第一视差图像上具有相同v坐标的横向排列的像素的阵列。视差收集阈值包括作为收集视差的上限的阈值的上限阈值和作为收集视差的下限的阈值的下限阈值。视差收集阈值基于预定规则以包含路面候选视差初始值d0的方式设置在路面候选视差初始值d0之上和之下。具体而言，从计算出路面候选视差初始值d0的状态起，路面高度Y的上下变化为预定路面高度变化量ΔY时，将路面视差定义为视差收集阈值的上限阈值和下限阈值。即，视差收集阈值的下限阈值是通过从路面候选视差初始值d0减去与路面高度变化量ΔY相应的视差而获得的。视差收集阈值的上限阈值是通过从路面候选视差初始值d0加上与路面高度变化量ΔY相应的视差而获得的。具体的视差收集阈值的下限阈值和上限阈值可以通过改变数学式(1)中的Y的值来获得。
下面，路面检测部26重复步骤S303和步骤S307之间的处理。首先，路面检测部26对位于第一视差图像的最下侧的、v坐标为v0时的行进行处理(步骤S303)。
路面检测部26使用视差收集阈值收集视差(步骤S304)。路面检测部26针对第一视差图像中包含的v坐标为v0时的、在横向上排列的各个视差像素，收集具有视差收集阈值的下限阈值和上限阈值之间的视差的视差像素作为路面候选视差dc。即，路面检测部26将具有以使用数学式(1)计算出的路面候选视差初始值d0为基准的预定界限的范围内的视差的视差像素判定为表示路面41的正确视差的视差像素的候选。路面检测部26将与被判定为视差像素的候选的视差像素对应的视差作为路面候选视差dc，其中，被判定为视差像素的候选表示路面41的正确视差。通过这种方式，路面检测部26可以降低错误地将路面41上的物体或结构体之类的路面41以外的视差判定为路面41的视差的可能性。由此，提高了检测路面41的精度。
当在步骤S304中完成v坐标为v0时的所有视差像素的判定时，路面检测部26对收集的路面候选视差dc取平均以计算平均路面候选视差dav，即路面候选视差dc的平均值(步骤S305)。路面检测部26可以将各个路面候选视差dc和其u-v坐标以及v坐标为v0时的平均路面候选视差dav存储到存储器23中。
在步骤S305之后，路面检测部26根据在步骤S305中计算出的v坐标为v0时的平均路面候选视差dav，针对高一行的行即v坐标为v＝v0-1时的行的各视差像素计算视差收集阈值(步骤S306)。路面检测部26改变路面高度Y，使得对于在步骤S304中计算出的v坐标为v0时的平均路面候选视差dav满足数学式(1)。路面检测部26通过在改变了路面高度Y的数学式(1)中代替v0而代入v0-1，计算出v坐标为v0-1时的几何推定路面视差ds。与步骤S302类似，路面检测部26能够将从几何推定路面视差ds减去与预定路面高度变化量ΔY相应的视差而得到的视差设为视差收集阈值的下限阈值。路面检测部26能够将几何推定路面视差ds加上与预定路面高度变化量ΔY相应的视差而得到的视差设为视差收集阈值的上限阈值。
在步骤S306之后，路面检测部26判定通过数学式(1)计算出的几何推定路面视差ds是否大于预定值。预定值例如是一个像素。路面检测部26在几何推定路面视差ds大于1时返回到步骤S303的处理(步骤S307)。在步骤S303中，路面检测部26将路面候选视差dc的提取对象移动到一个像素之上的行。即，路面候选视差dc的提取对象在v坐标为v0的行时，路面检测部26将路面检测对象的行的v坐标改变为v0-1。此外，如图10所示，路面候选视差dc的计算对象为第n行时，路面检测部26将路面检测对象的行改变为第n+1行。在图10中，为了便于说明，加宽了各行的纵向宽度。实际上，每个行为一个像素的高度。在这种情况下，第n+1行的v坐标比第n行的v坐标小1。
将第n+1行视为对象的步骤S304～S306的各个处理与对v坐标为v0时的行进行的处理相同。在步骤S304中，路面检测部26使用在步骤S306中针对第n行算出的视差收集阈值来收集路面候选视差dc。在步骤S305中，路面检测部26对收集到的路面候选视差dc取平均以计算平均路面候选视差dav。在步骤S306中，路面检测部26使用平均路面候选视差dav来改变数学式(1)中的路面高度Y。路面检测部26使用改变了路面高度Y的数学式(1)来计算几何推定路面视差ds。进而，为了提取第n+2行的路面候选视差dc，路面检测部26在考虑几何推定路面视差ds中的路面高度变化量ΔY的情况下来计算视差收集阈值。
路面检测部26将路面候选视差dc的提取对象从距离立体照相机10最近的路面候选视差dc的提取位置所对应的行起依次向上(v坐标的负的方向)移位，并提取该v坐标所对应的路面候选视差dc。路面检测部26可以将提取到的路面候选视差dc与相应的u坐标和v坐标以及v坐标所对应的平均路面候选视差dav一起存储在存储器23中。
当在步骤S307中由算式(1)算出的几何推定路面视差ds在上述的规定的值以下时，路面检测部26结束路面候选视差dc的提取处理并回到图7的流程图的步骤S201。规定值例如可以设为一个像素。
如上所述，在图8的流程图中，将提取路面候选视差dc的v坐标的初始值设置为对应于从立体照相机10观察近距离侧的位置的v0，并依次提取远距离侧的路面候选视差dc。一般来说，立体照相机10在近距离侧具有比远距离侧更高的视差检测精度。因此，通过从近距离侧向远距离侧依次提取路面候选视差dc，能够提高检测到的路面候选视差dc的精度。
在上述提取路面候选视差dc的图8的流程图中，针对纵向上的每个坐标计算路面候选视差dc。换言之，在提取所述路面候选视差dc的流程图中，针对纵向上的一个像素的每一行计算路面候选视差dc。路面候选视差的计算单位不限于此。还可以以纵向上多个坐标为单位来计算路面候选视差dc。
在步骤S301～S307中的路面候选视差dc的提取处理之后，路面检测部26进入图7的流程图的步骤S202。路面检测部26在从近距离侧向远距离侧依次推定路面视差dr时，对路面视差dr依次应用次卡尔曼滤波器。因此，路面检测部26进行卡尔曼滤波器的初始化(步骤S202)。作为卡尔曼滤波器的初始值，可以使用在步骤S305中计算出的与进行路面视差dr的推定的行中的最下行(v坐标的值为v0的行)对应的平均路面候选视差dav的值。
路面检测部26从路面41的近距离侧向远距离侧改变目标行，并依次执行以下的步骤S203～S210的处理(步骤S203)。
首先，路面检测部26针对第一视差图像内的目标行，根据位于实际空间中的一定宽度的范围内的路面候选视差dc，生成表示路面视差dr的各值的频度的直方图(步骤S204)。实际空间中的一定宽度的范围是考虑了道路的行驶车道的宽度的范围。一定宽度例如可以是2.5m或3.5m等的值。获取视差的范围最初被设置为，例如由图11中的实现框线45所包围的范围。一定宽度预先存储在物体检测装置20的存储器23等中。通过将获取视差的范围限制在该范围内，降低了路面检测部26错误地将路面41以外的物体或隔音墙等的结构体识别为路面41并提取的可能性。由此，可以提高路面检测的精度。如后面要描述的，图11中用实线表示的视差的获取范围可以根据前方道路上的情况从最初设置的框线45开始依次变化。
路面检测部26基于卡尔曼滤波器对路面视差dr的预测值，针对目标行设定路面视差dr的获取范围。路面视差dr的获取范围是基于卡尔曼滤波器预测下一行的路面视差dr时计算出的可靠性而确定的范围。可靠性用高斯分布的方差σ2(σ是路面视差dr的标准偏差)来表示。路面检测部26可以根据预测值±2σ等求出路面视差dr的获取范围。路面检测部26从在步骤S204中生成的路面候选视差dc的直方图中提取在基于卡尔曼滤波器设置的路面视差dr的获取范围内具有最大频度的路面视差dr。路面检测部26将提取到的路面视差dr设为目标行的路面视差dr的观测值(步骤S205)。
接下来，路面检测部26确认在步骤S205中确定的路面视差dr是正确的路面视差dr而不包括物体的视差等(步骤S206)。路面检测部26生成d-v相关图，其中，将直到当前处理中的行的各行中检测到的所有路面视差dr关联到将路面视差dr和v坐标作为坐标轴的d-v坐标空间上。当检测到正确的路面41时，d-v相关图如图12中的虚线所示，随着v坐标的值减小，路面视差dr也线性地减小。
另一方面，当错误地将物体的视差识别为路面41时，如图13所示，d-v相关图在表示物体的视差的部分处视差d与纵向坐标(v坐标)的变化无关而几乎恒定。一般而言，由于物体包括垂直于路面41的部分，因此在第一视差图像上显示为包含较多的等距离的视差。在图13中，在第一部分R1中，视差d随着v坐标值的变化而減少。第一部分R1是正确检测路面41的部分。在第二部分R2中，即使v坐标发生变化，视差d也是恒定的。第二部分R2被认为是物体被错误地检测的部分。路面检测部26可以在视差d大致相等的值的行持续了预定数量时，判断为错误地识别了物体。
若在步骤S206中判断为视差不是正确的路面视差dr(步骤S206：否)，则路面检测部26从判断为错误地识别了物体的行开始重新搜索路面视差dr(步骤S207)。在步骤S207中，路面检测部26在即使v坐标值变化视差d也不变化的行的区域中重新搜索路面视差直方图。如果在该区域中，在视差小于在步骤S205中确定的视差d的部分，存在高频度视差，则路面检测部26可以判断为该视差是正确的路面视差dr的观测值。
在步骤S206中路面视差dr被判断为正确时(步骤S206：是)并且在步骤S207中路面视差dr的重新搜索结束时，则路面检测部26进入步骤S208。在步骤S208中，路面检测部26确定第一视差图像上的路面41的横向范围，该横向范围是生成在纵向上偏移了一个像素的下一行的直方图的对象。例如，如图11所示，在路面41上存在其他车辆42的情况下，路面检测部26无法在路面41的与其他车辆重叠的部分获取正确的路面视差dr。若能够获取路面视差dr的路面41的范围变窄，则路面检测部26难以获取准确的路面视差dr。因此，如图11中虚线所示，路面检测部26在横向上依次改变用于获取路面候选视差dc的范围。具体地，路面检测部26在步骤S206中判断为包含物体的情况下，检测物体的横向上的哪一侧表示正确的路面视差dr的路面候选视差dc多。在下一行中，使获取视差的范围依次向横向上的具有更多的表示正确的路面视差dr的路面候选视差dc的一侧(在图11中右侧)移动。
然后，路面检测部26使用在步骤S205或S207中确定的当前行的路面视差dr来更新卡尔曼滤波器(步骤S209)。即，卡尔曼滤波器基于当前行的路面视差dr的观测值来计算路面视差dr的推定值。当计算出当前行的推定值时，路面检测部26将当前行的路面视差dr的推定值作为过去的数据的一部分相加，用于计算下一行的路面视差dr的推定值的处理。路面41的高度被认为相对于距立体照相机10的水平方向的距离Z不会突然变化。因此，在本实施方式中的使用卡尔曼滤波器的推定中，推定为下一行的路面视差dr存在于当前行的路面视差dr附近。以此方式，路面检测部26将用于生成下一行的直方图视差的范围限制在当前行的路面视差dr附近，降低了错误地识别路面41以外的物体的可能性。此外，可以减少路面检测部26执行的运算量，以加快处理速度。
当在步骤S209中由卡尔曼滤波器推定的路面视差dr大于预定值时，路面检测部26返回到步骤S203并重复步骤S203～S209的处理。当由卡尔曼滤波器推定的路面视差dr为预定值以下时(步骤S210)，路面检测部26进入到下一个处理(步骤S211)。预定值例如可以是一个像素。
在步骤S211中，路面检测部26在d-v相关图上将纵向的图像坐标v和推定出的路面视差dr之间的关系用两条直线来进行近似处理。路面视差dr与到立体照相机10的距离Z相关。v坐标的值与到立体照相机10的距离z和路面高度Y相关。因此，v坐标和路面视差dr之间的关系用两条直线进行近似处理可以被认为是将到立体照相机10的距离和路面41的高度之间的关系用两条直线来进行近似处理。利用图14的流程图详细说明步骤S211的处理。
首先，通过到图7的步骤S210为止的处理获得路面视差dr和v坐标之间的相关性。例如，v坐标和路面视差dr之间的相关性如图15的虚线图形51所示在d-v坐标空间中示出。在实际空间中，如果路面41平坦且倾斜度没有变化，则图形51为直线。然而，在实际路面41中，可能因上下等起伏变化，路面41的倾斜度可能会变化变化。如果路面41的倾斜度变化，则d-v坐标空间中的图形51不能用直线表示。如果试图通过三条以上的直线或曲线来对路面41的倾斜度的变化进行近似，则物体检测装置20的处理负荷变大。因此，在本申请中利用两条直线来对图形51进行近似处理。
如图15所示，路面检测部26使用第一直线52通过最小二乘法对在d-v坐标空间中的下侧(近距离侧)的推定出的路面视差dr进行近似处理(步骤S401)。利用第一直线52的近似能够在物体检测装置20要进行物体检测的距离范围中的、与直到对应于预定距离的路面视差dr的范围内进行。预定距离可以是物体检测装置20要进行物体检测的距离范围的一半的距离。例如，当物体检测装置20被设计成检测前方最远100m为止的物体时，可以通过最小二乘法将第一直线52确定为在从立体照相机10能够测量的最近距离到50m远的范围内最接近图形51。
然后，路面检测部26判定步骤S401中进行了近似处理的第一直线52表示的路面41的倾斜度是否为路面41中可能存在的倾斜度(步骤S402)。第一直线52的倾斜角度在转换到实际空间时成为平面。第一直线52的倾斜度对应于根据立体照相机10的安装位置的路面高度Y0和基线长度B等条件确定的路面41的YZ平面内的倾斜度角度。当与第一直线52对应的实际空间中的路面41的倾斜度处于以实际空间中的水平面为基准成预定角度的范围内时，路面检测部26能够判定为该的路面41的倾斜度是可能的倾斜度。当与第一直线52对应的实际空间中的路面41的倾斜度处于以实际空间中的水平面为基准成预定角度的范围之外时，路面检测部26能够判定为该的路面41的倾斜度不是可能的倾斜度。预定角度可以在考虑移动体30的行驶环境后适当地进行设置。
当在步骤S402中判定为第一直线52的倾斜度是作为路面41不可能存在的倾斜度时(步骤S402：否)，路面检测部26基于假设路面41为平坦的理论路面来确定第一直线52(步骤S403)。理论路面能够基于立体照相机10的安装位置的路面高度Y0、安装角度以及基线长度B等的设置条件来计算。路面检测部26可以在根据图像计算出的路面视差dr不可靠时采用理论路面的路面视差。例如，路面检测部26可以在错误地将路面41以外的物体或结构体的视差作为路面视差dr而提取的情况下，判断为路面41具有不可能存在的倾斜度，从而排除错误。由此，可以降低误将路面41以外的物体或结构体的视差判定为路面视差dr的可能性。
在步骤S402中，当路面检测部26判定为第一直线52的倾斜度是作为路面41可能存在的倾斜度时(步骤S402：是)并且在步骤403之后，路面检测部26进入步骤S404的处理。在步骤S404中，路面检测部26确定开始对第二直线55进行近似处理的近似开始点53。路面检测部26从第一直线52的v坐标的最小的一侧(远距离侧)向最大的一侧(近距离侧)，计算与图形51的近似误差，并能够将近似误差连续地小于预定值的第一直线52上的坐标作为近似开始点53。或者，能够从第一直线52的v坐标的最大的一侧(近距离图像侧)向小的一侧(远距离侧)，计算与图形51的近似误差，确定近似误差大于预定值时的第一直线52上的坐标作为近似开始点53。近似开始点53的v坐标不被固定为特定的值。近似开始点53可以在第一直线52上设置在比物体检测装置20要进行物体检测的距离范围的一半的距离更靠近立体照相机10侧的位置所对应的v坐标的位置。例如，当第一直线52在从能够测量到的最近的距离到前方50m的范围内对路面41进行近似处理时，近似开始点53可以设置在相当于比50m更靠前的40m的v坐标的位置。
在步骤S404之后，路面检测部26重复执行步骤S405～S407。如图16所示，路面检测部26将与第一直线52之间的角度差作为从预定角度范围选择的角度，来依次选择以近似开始点53为起点的第二直线55的候选即候选直线(步骤S405)。预定角度范围设置为在测量对象的距离范围内道路的坡度能够改变的角度。预定角度范围例如可以是±3度。例如，路面检测部26可以将候选直线54的角度从第一直线52的角度-3度开始到第一直线52的角度+3度为止，依次增加0.001度。
对于所选择的候选直线54，路面检测部26计算与d-v坐标空间中的图形51的近似开始点53的上侧(远距离侧)部分之间的误差(步骤S406)。误差计算可以通过相对于v坐标的视差d的平均平方误差来计算。路面检测部26可以将针对每个候选直线54计算的误差存储在存储器23中。
当路面检测部26针对角度范围内的所有候选直线54的误差计算完成之后(步骤S407)，从存储在存储器23中的误差中搜索最小的误差。如图17所示，路面检测部26选择具有最小误差的候选直线54作为第二直线55(步骤S408)。
当在步骤S408中确定了第二直线55时，路面检测部26判定第二直线55的与图形51的误差是否在预定值以内(步骤S409)。为了获得期望的路面推定精度，可以适当地设置预定值。
在步骤S409中，在误差在预定值以内的情况下(步骤S409：是)，路面视差dr使用第一直线52和第二直线55进行近似处理。
在步骤S409中，如果误差超过预定值(步骤S409：否)，则路面检测部26将第一直线52向上侧(远距离侧)延长，并重写近似结果(步骤S410)。如上所述，路面视差dr利用两条直线进行近似处理。
通过使用两条直线近似相对于v坐标的路面视差dr，路面形状由两条直线进行近似处理。由此，与用曲线或三条以上直线近似路面形状的情况相比，减少了后续计算的负荷，并且加快了物体检测处理的速度。此外，与用一条直线近似路面的情况相比，与实际路面的误差更小。此外，通过不将第二直线55的近似开始点53的v坐标固定在预定坐标，与将近似开始点53的坐标预先固定的情况相比，能够提高与实际路面的近似的精度。
在步骤S409中，在误差在预定值以内的情况下(步骤S409：是)且在步骤S410之后，对路面视差dr进行线性近似的处理结束，并回到图7的步骤S212。
在步骤S212中，确定从第一视差图像去除的路面视差dr的阈值(步骤S212)。从第一视差图像去除的路面视差dr的阈值对应于后述的第一高度。可以计算第一高度，使得在随后的步骤S103的处理中去除路面视差dr。
然后，图像处理部22的处理返回到图5的流程图。图像处理部22的不必要视差去除部27从路面检测部26获取用两条直线近似了d-v坐标空间中的v坐标与路面视差dr之间的关系的近似式。根据表示d-v坐标空间中的v坐标与路面视差dr之间的关系的近似式，可以获得实际空间中立体照相机10的前方距离Z与路面高度Y之间的关系。不必要视差去除部27基于近似式执行(第二处理(步骤S103)。第二处理是从第一视差图像去除了实际空间中与距离路面41的高度为第一高度以下的被拍摄体对应的视差像素和与距离路面41的高度为第二高度以上的被拍摄体对应的视差像素的处理。由此，不必要视差去除部27从图6所示的第一视差图像生成图18所示的第二视差图像。图18是用于说明而绘制的图。基于从立体照相机10获取的图像的实际的第二视差图像如图19所示。在图19中，视差的大小用黑白的浓淡来表现。
第一高度可以设定为例如大于15cm且小于50cm的值。当将第一高度设定为小于15cm的值时，不必要视差去除部27由于路面41上的不平坦和/或近似式的误差等原因而容易地检测到道路上的物体以外的被拍摄体。其结果是，可能发生检测错误或检测速度的下降。另外，当将第一高度设为大于50cm时，不必要视差去除部27可能会无法检测到路面41上的孩子和/或大的障碍物等。
第二高度基于可以在道路上行驶的车辆的高度的上限值进行设置。可以在道路上行驶的车辆的高度由交通法规规定。例如，在日本的道路交通法中，卡车的高度原则上为3.8m以下。例如，第二高度可以是4m。当第二高度为4m以上时，可能会检测到不必要的物体，例如包括信号灯和信息显示板等的空中结构体等。
通过去除不必要的视差，在检测以下物体的物体检测处理(第三处理和第四处理)之前，不必要视差去除部27可以预先去除路面41或道路上的物体以外的被拍摄体的视差。由此，提高了检测物体的精度。此外，由于去除了不要的视差，可以减少与道路上的物体无关的视差相关的运算量，从而可以加快处理速度。因此，本公开的物体检测装置20可以提高用于检测物体的处理的性能。
不必要视差去除部27将第二视差图像传送到聚类部28。聚类部28基于第二视差图像以及由路面检测部26计算出的路面41的形状的近似式，进行针对横向上的各u坐标或u坐标的范围决定与物体相关的物体视差的处理，即第三处理(步骤S104)。具体而言，聚类部28针对第二视差图像的横向上的u坐标的各范围生成针对各视差的表示像素数量的直方图。u坐标的范围是包括横向上的一个或多个像素的范围。
如图20所示，聚类部28从二视差图像中提取具有一个或多个横向的像素宽度Δu的纵向区域。纵向区域用于判定该区域中是否存在与物体相关的物体视差，并且用于获取与物体视差对应的距离信息。因此，如果使纵向区域的横向宽度Δu变细，则检测横向的物体的分辨率变高。在图20中，为了便于说明，将Δu的宽度显示得较宽，但Δu可以是一个像素至数个像素的宽度。从第二视差图像的横向的一端到另一端依次获取纵向区域，通过进行下述的处理，在第二视差图像的横向整体上进行物体视差的检测。
图21是示出直方图的一例的图。图21的横轴是以像素为单位表示的视差d。视差d在横轴的左侧较大，向右侧逐渐减小。视差d的最小值例如可以是一个像素或者小于一个像素的值。视差越大，距离的分辨率越精细，视差越小，距离的分辨率越粗糙。因此，图21的直方图的横轴在视差大的一侧汇集更多的视差d。图21的直方图的纵轴表示具有横轴的视差d的视差像素的出现次数。
在图21中，还示出了阈值曲线，该阈值曲线表示用于判定各个视差d是否是物体视差的阈值。视差d可以是具有宽度的视差的区间的代表值。在各个视差d的像素的出现次数超过阈值曲线的情况下，意味着由阈值曲线规定的规定数量以上的代表相同距离的视差像素包括在宽度Δu的纵向区域内。在图21中，带有斜线的区域(柱状部)超过了阈值曲线。阈值曲线可以针对各视差d设置为与实际空间中的y方向的预定高度相应的出现次数(像素数)。例如，预定高度可以是50cm。当在远距离处且视差小时，图像上显示的物体比在近距离处的物体显示得小。因此，随着视差变小，阈值曲线的纵轴上的出现次数的值变小。当出现次数超过与视差d对应的预定阈值时，聚类部28将与该像素对应的视差d确定为物体视差de。
接着，聚类部28基于第二视差图像上的物体视差de的分布和在步骤S102中推定的路面41的形状来算出与物体视差de相关联的高度信息(步骤S105)。步骤S105的处理可以包含在第三处理中。
具体地，假设由第一照相机11或第二照相机12获取的图像包含如图22所示的部分的情况。第二视差图像中与被其他车辆42的框线61包围的部分对应的部分在图23中放大示出。
聚类部28针对存在物体视差de的u坐标，基于物体视差de所具有的距离信息和在步骤S102中推定出的路面形状，计算与物体视差de所表示的物体的距离对应的路面推定位置。当路面41上存在物体的情况下，具有物体视差de的视差像素在第二视差图像上的该路面推定位置的上方排列。聚类部28从u坐标的路面位置向上扫描第二视差图像的视差像素以检测具有物体视差de的视差像素在纵向(v坐标方向)上的分布。聚类部28基于相同的物体视差de的视差像素所排列的数量或分布来确定第二视差图像上的高度信息。在物体视差de的视差像素在纵向上局部地被中断的情况下，聚类部28也能够基于预定的判定标准来判定高度信息。
聚类部28可以针对包括一个或多个坐标的横向坐标(u坐标)的各范围，关联物体视差de和高度信息，并将其存储到存储器23中。如图24中的一例所示，聚类部28可以将存储在存储器23中的多个物体视差de以在将u坐标和视差d作为横轴和纵轴的二维空间(u-d坐标空间)上的点云分布的形式表现。
聚类部28将每个u坐标的物体视差de的信息传送给分组部29。分组部29通过将u-d坐标空间中的物体视差de的信息转换到由x-z坐标构成的实际空间上的坐标系，并提取物体视差de集合(组)，从而执行检测物体的处理，即第四处理(步骤S106)。将利用图25和图26说明由分组部29执行的处理的一例。
在图25中，包含在道路的路面41上行驶的搭载了物体检测系统1的移动体30和其他车辆42。在图25中，移动体30是车辆。
搭载于移动体30上的物体检测装置20的分组部29将图24所示的u-d坐标空间的多个物体视差de转换到图26所示的实际空间(x-z坐标空间)中的点云。在图26中，表示u-d坐标空间中的物体视差de的各点被表现为x-z坐标空间中的点。分组部29基于点云的分布来提取点云的集合。分组部29按照预定条件收集多个相近的点并将它们提取为点云的集合。点云的集合表示物体视差de的集合(组)。
当物体具有平行于立体照相机10的基线长度方向的面时，点云在x-z坐标空间上沿x方向排列。当在x-z坐标空间上存在沿x方向排列的点云的集合71时，分组部29可以将其识别为物体。在图26中，点云的集合71对应于其他车辆42的车身背面。当在x-z坐标空间上存在沿z方向排列的点云的集合72时，分组部29可以将其识别为护栏等路边上的结构体或其他车辆42的侧面等。在x-z坐标空间上沿z方向排列的点云的集合72对应于与移动体30的行进方向平行排列的物体或物体的与移动体30的行进方向平行的平面。分组部29可以从物体检测处理的对象中将沿z方向排列的点云与72排除在外。
分组部29可以根据识别为物体的点云的集合71在x方向上排列的宽度来检测物体的宽度。分组部29可以基于与聚类部28在步骤S105中获取到的物体视差de相关联的高度信息来确定物体的高度。因此，分组部29可以识别所识别到的物体在x-z坐标空间上的位置、横向宽度以及高度。
图像处理部22可以通过输出部24向移动体30内的其他设备输出由分组部29识别的物体的位置、横向宽度以及高度信息(步骤S107)。例如，图像处理部22可以将这些信息输出到移动体30内的显示设备。如图27所示，移动体30内的显示设备可以基于从物体检测装置20获取的信息，在第一照相机11或第二照相机12的图像上显示包围其他车辆42的图像的框线。在图27中，框线表示检测到的物体的位置和在图像内占据的范围。
如上所述，本公开的物体检测装置20能够实现快速的处理速度和高精度的物体检测。即，本公开的物体检测装置20能够提高检测物体的性能。此外，物体检测装置20不将待检测的物体限定为特定种类的物体。物体检测装置20可以检测存在于路面上的任何物体。物体检测装置20的图像处理部22可以在不使用第一视差图像以外的由所述立体照相机10拍摄的图像的信息的情况下执行第一处理、第二处理、第三处理以及第四处理。因此，除了第一视差图像和第二视差图像的处理之外，物体检测装置20不需要执行从拍摄的图像中单独识别物体的处理。因此，本公开的物体检测装置20可以降低物体识别所涉及的图像处理部22的处理负荷。这并不排除本公开的物体检测装置20与对直接从第一照相机11或第二照相机12获得的图像进行的图像处理相结合。物体检测装置20还可以与模板匹配之类的图像处理技术相结合。
在上述的图像处理部22执行的处理的说明中，为了帮助理解本公开，说明了包括使用各种图像的判定和操作等的处理。这种使用图像的处理可以不包括实际绘制图像的处理。通过图像处理部22的内部的信息处理来执行具有与使用这些图像的处理基本相同的内容的处理。
尽管已经基于附图和示例说明了根据本公开的实施方式，但是应当注意，本领域技术人员可以基于本公开容易进行各种变形或修改。因此，应注意，这些变形或修改包含在本公开的范围内。例如，各个构成部或各个步骤等中所包含的功能等能够以在逻辑上不矛盾的方式重新配置，多个构成部或步骤等可以被组合为一个或者被分割。虽然根据本公开的实施方式以装置为中心进行了说明，但是根据本公开的实施方式也可以作为包括由装置的各个构成部执行的步骤的方法而实现。根据本公开的实施方式还可以实现为由装置所包括的处理器执行的方法、程序、或记录有程序的存储介质。应当理解，本公开的范围也包括这些。
在本公开中，“第一”和“第二”等的记载是用于区别该构成的标识符。由本公开中的“第一”以及“第二”等的记载进行区分的构成能够交换该构成中的编号。例如，作为第一透镜的标识符的“第一”能够更换成作为第二透镜的标识符的“第二”。标识符的交换同时进行。在交换标识符之后也能够区别该结构。标识符可以删除。删除了标识符的构成用附图标记来区分。仅基于本公开中的“第一”以及“第二”等识别符的记载，并不能构成为解释该构成的顺序和用作存在具有较小编号的标识符的依据。
在公开中，x方向、y方向以及z方向是为了便于说明而设置的，并且可以互换。本公开的构成使用将x方向、y方向以及z方向作为各轴方向的正交坐标系来进行了说明。本公开的各构成的位置关系并不限定于处于正交关系。表示图像的坐标的u坐标以及v坐标是为了便于说明而设置的，并且可以互换。u坐标和v坐标的原点和方向不限于本公开所记载的内容。
在上述实施方式中，立体照相机10的第一照相机11和第二照相机12在x方向上并排放置。第一照相机11和第二照相机12的布置不限于此。第一照相机11和第二照相机12可以在垂直于路面的方向(y方向)上或相对于路面41倾斜的方向上并排放置。构成立体照相机10的照相机的数量不限于两个。立体照相机10可以包括三个以上照相机。例如，通过使用沿水平方向排列在路面上的两个照相机和沿垂直方向排列的两个照相机，即共四个照相机，可以获得更精确的距离信息。
在上述实施方式中，立体照相机10和物体检测装置20搭载于移动体30中。立体照相机10和物体检测装置20不限于搭载在移动体30中的情形。例如，立体照相机10和物体检测装置20可以搭载于十字路口等处安装的路侧设备，以配置成拍摄包括路面的图像。例如，路侧设备可以检测从十字路口处相交的道路的一方接近的第一车辆，并向在另一方的道路上行驶而接近的第二车辆提供第一车辆接近的通知信息。
附图文字说明
1：物体检测系统
10：立体照相机
11：第一照相机
12：第二照相机
20：物体检测装置
21：获取部
22：图像处理部(处理器)
23：存储器
24：输出部
25：视差图像生成部
26：路面检测部(路面检测装置)
27：不必要视差去除部
28：聚类部
29：分组部
30：移动体
41：路面
42：其他车辆(物体)
45：框线
51：图形
52：第一直线
53：近似开始点
54：候选直线
55：第二直线
61：框线
71、72：点云的集合
R1：第一部分
R2：第二部分。

Claims (11)

1.一种路面检测装置，其中，
具备处理器，该处理器构成为执行以下处理：
获取或生成第一视差图，所述第一视差图是基于拍摄包含路面的图像的立体照相机的输出而生成的，而且，所述第一视差图是从所述立体照相机的输出获得的视差与由第一方向和与所述第一方向相交的第二方向构成的二维坐标相关联的图，其中，所述第一方向与所述立体照相机的拍摄图像的水平方向相对应，
利用两条直线对所述第一视差图中包含的、所述路面的所述第二方向的坐标和表示所述路面的视差之间的关系进行近似。
2.根据权利要求1记载的路面检测装置，其中，
两条所述直线包括第一直线和第二直线，
所述处理器利用所述第一直线对从所述立体照相机所在的一侧起的实际空间中的近距离侧进行近似，利用所述第二直线对与所述第一直线相比的远距离侧进行近似，
所述处理器构成为能够根据所述第一视差图确定在所述第一直线的远距离侧开始所述第二直线的近似的近似开始点的坐标。
3.根据权利要求2记载的路面检测装置，其中，
所述处理器用直线对从所述立体照相机所在的一侧起到与预定距离对应的所述第二方向的坐标为止的部分进行近似来确定所述第一直线，并基于所述第一直线和表示所述路面的视差之间的误差来确定所述近似开始点的坐标。
4.根据权利要求3记载的路面检测装置，其中，
所述路面检测装置用于检测物体，所述处理器将所述预定距离设定为进行物体检测的距离范围的一半距离。
5.根据权利要求3或4记载的路面检测装置，其中，
所述处理器将所述近似开始点的所述第二方向的坐标确定为比所述预定距离更靠近实际空间中的所述立体照相机一侧的位置所对应的坐标。
6.根据权利要求2～5中任意一项记载的路面检测装置，其中，
所述处理器从多个第二直线的候选中选择与表示所述路面的视差的误差最小的直线作为所述第二直线，其中，多个所述第二直线的候选是以所述近似开始点为起点并与所述第一直线的角度差为从预定的角度范围中选择的角度的直线。
7.一种物体检测装置，其中，
具备处理器，该处理器构成为执行以下处理：
获取或生成第一视差图，所述第一视差图是基于拍摄包含路面的图像的立体照相机的输出而生成的，而且，所述第一视差图是从所述立体照相机的输出获得的视差与由第一方向和与所述第一方向相交的第二方向构成的二维坐标相关联的图，其中，所述第一方向与所述立体照相机的拍摄图像的水平方向相对应，
利用两条直线对所述第一视差图中包含的、所述路面的所述第二方向的坐标和表示所述路面的视差之间的关系进行近似，使用由所述直线近似后的表示所述路面的视差来检测物体。
8.根据权利要求7记载的物体检测装置，其中，
所述处理器基于从所述第一视差图去除了表示所述路面的视差而成的第二视差图来检测物体。
9.一种物体检测系统，其中，具备：
立体照相机，拍摄多个彼此具有视差的图像；
物体检测装置，包括至少一个处理器，
所述处理器构成为获取或生成第一视差图，所述第一视差图是基于拍摄包含路面的图像的立体照相机的输出而生成的，而且，所述第一视差图是从所述立体照相机的输出获得的视差与由第一方向和与所述第一方向相交的第二方向构成的二维坐标相关联的图，其中，所述第一方向与所述立体照相机的拍摄图像的水平方向相对应，利用两条直线对所述第一视差图中包含的、所述路面的所述第二方向的坐标和表示所述路面的视差之间的关系进行近似，使用由所述直线近似后的表示所述路面的视差来检测物体。
10.一种移动体，其中，
所述移动体具备物体检测系统，
所述物体检测系统构成为：
包括拍摄多个彼此具有视差的图像的立体照相机和具有至少一个处理器的物体检测装置，其中，所述处理器构成为，获取或生成第一视差图，所述第一视差图是基于拍摄包含路面的图像的立体照相机的输出而生成的，而且，所述第一视差图是从所述立体照相机的输出获得的视差与由第一方向和与所述第一方向相交的第二方向构成的二维坐标相关联的图，其中，所述第一方向与所述立体照相机的拍摄图像的水平方向相对应，利用两条直线对所述第一视差图中包含的、所述路面的所述第二方向的坐标和表示所述路面的视差之间的关系进行近似，使用由所述直线近似后的表示所述路面的视差来检测物体。
11.一种物体检测方法，其中，
获取或生成第一视差图，所述第一视差图是基于拍摄包含路面的图像的立体照相机的输出而生成的，而且，所述第一视差图是从所述立体照相机的输出获得的视差与由第一方向和与所述第一方向相交的第二方向构成的二维坐标相关联的图，其中，所述第一方向与所述立体照相机的拍摄图像的水平方向相对应，
利用两条直线对所述第一视差图中包含的、所述路面的所述第二方向的坐标和表示所述路面的视差之间的关系进行近似，
使用由所述直线近似后的表示所述路面的视差来检测物体。
CN202080064299.0A 2019-09-12 2020-09-11 路面检测装置、物体检测装置、物体检测系统、移动体和物体检测方法 Pending CN114402357A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-166595 2019-09-12
JP2019166595A JP7262350B2 (ja) 2019-09-12 2019-09-12 路面検出装置、物体検出装置、物体検出システム、移動体及び物体検出方法
PCT/JP2020/034586 WO2021049649A1 (ja) 2019-09-12 2020-09-11 路面検出装置、物体検出装置、物体検出システム、移動体及び物体検出方法

Publications (1)

Publication Number Publication Date
CN114402357A true CN114402357A (zh) 2022-04-26

Family

ID=74864086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080064299.0A Pending CN114402357A (zh) 2019-09-12 2020-09-11 路面检测装置、物体检测装置、物体检测系统、移动体和物体检测方法

Country Status (5)

Country Link
US (1) US20220327844A1 (zh)
EP (1) EP4030402A4 (zh)
JP (1) JP7262350B2 (zh)
CN (1) CN114402357A (zh)
WO (1) WO2021049649A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP5603687B2 (ja) 2010-07-15 2014-10-08 富士重工業株式会社 車両用白線認識装置
JP6657789B2 (ja) 2015-10-29 2020-03-04 株式会社リコー 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム

Also Published As

Publication number Publication date
WO2021049649A1 (ja) 2021-03-18
EP4030402A1 (en) 2022-07-20
JP7262350B2 (ja) 2023-04-21
EP4030402A4 (en) 2023-10-18
JP2021043809A (ja) 2021-03-18
US20220327844A1 (en) 2022-10-13

Similar Documents

Publication Publication Date Title
EP3358295B1 (en) Image processing device, stereo camera device, vehicle, and image processing method
KR20170104287A (ko) 주행 가능 영역 인식 장치 및 그것의 주행 가능 영역 인식 방법
JP6456499B2 (ja) 立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法
CN114365182A (zh) 物体检测装置、物体检测系统、移动体和物体检测方法
CN114450714A (zh) 物体检测装置、物体检测系统、移动体和物体检测方法
EP3367058B1 (en) Parallax calculation device, stereo camera device, vehicle, and parallax calculation method
CN114402357A (zh) 路面检测装置、物体检测装置、物体检测系统、移动体和物体检测方法
JP7278915B2 (ja) 物体検出装置、物体検出システム、移動体及び物体検出方法
JP7206172B2 (ja) 物体検出装置、物体検出システム、移動体及び物体検出方法
JP7308112B2 (ja) 物体検出装置、物体検出システム、移動体及び物体検出方法
WO2021056185A1 (en) Systems and methods for partially updating high-definition map based on sensor data matching
EP3327624A1 (en) Information processing apparatus, imaging device, device control system, mobile object, information processing method, and carrier means

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination