CN114521180A - 物体检测装置、行驶控制系统以及行驶控制方法 - Google Patents
物体检测装置、行驶控制系统以及行驶控制方法 Download PDFInfo
- Publication number
- CN114521180A CN114521180A CN202080043096.3A CN202080043096A CN114521180A CN 114521180 A CN114521180 A CN 114521180A CN 202080043096 A CN202080043096 A CN 202080043096A CN 114521180 A CN114521180 A CN 114521180A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- unit
- distance
- detection unit
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 238
- 238000000034 method Methods 0.000 title claims description 36
- 230000007423 decrease Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 25
- 238000003384 imaging method Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 22
- 238000012937 correction Methods 0.000 description 14
- 238000003702 image correction Methods 0.000 description 14
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 5
- 230000006837 decompression Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/10—Path keeping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/14—Adaptive cruise control
- B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
- G05D1/0291—Fleet control
- G05D1/0295—Fleet control by at least one leading vehicle of the fleet
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/20—Static objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4041—Position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/802—Longitudinal distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/806—Relative heading
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Abstract
本发明的课题在于提供一种不论物体的视场角位置及距离如何都能高精度地检测物体的物体检测装置等。本发明的物体检测装置具有:立体距离检测部(105),其检测物体的距离;位置检测部(106),其检测物体的位置;姿态检测部(111),其检测物体的姿态;车辆信息输入部,其输入自身车辆和其他车辆的状态信息;位置推断部(109),其根据自身车辆和其他车辆的状态信息来推断其他车辆的位置;姿态推断部(110),其根据自身车辆和其他车辆的状态信息来推断其他车辆的姿态;以及判定部(112),其根据由距离检测部、位置检测部、姿态检测部、位置推断部以及姿态推断部分别检测或推断出的信息来判定其他车辆的距离、位置以及姿态。
Description
技术领域
本发明例如涉及一种从自身车辆检测先行车辆等物体的物体检测装置。
背景技术
作为本技术领域的背景技术,例如在专利文献1中提出有一种对在自身车辆前方行驶的先行车辆的行驶轨迹进行预测的方法。
具体而言,专利文献1中叙述了如下内容:对摄像装置所拍摄到的图像进行解析而检测先行车辆的朝向和速度来进行行驶轨迹的预测。
现有技术文献
专利文献
专利文献1:日本专利特开2018-97644号公报
发明内容
发明要解决的问题
专利文献1记载的技术是对摄像装置所拍摄到的图像进行解析而检测先行车辆的朝向和速度来进行行驶轨迹的预测,因此在物体脱离摄影视场角这样的情况下有追踪精度降低的担忧。
本发明是为了解决这样的问题而成,其主要目的在于提供一种不论物体的视场角位置及距离如何都能高精度地检测物体的物体检测装置等。
解决问题的技术手段
解决上述问题的本发明的物体检测装置具有:距离检测部,其检测物体的距离;位置检测部,其根据由所述距离检测部检测到的距离来检测所述物体的位置;姿态检测部,其根据由所述距离检测部检测到的距离来检测所述物体的姿态;第1车辆信息输入部,其输入自身车辆的状态信息;第2车辆信息输入部,其输入其他车辆的状态信息;位置推断部,其根据由所述第1车辆信息输入部及所述第2车辆信息输入部输入的所述自身车辆的状态信息以及所述其他车辆的状态信息来推断所述其他车辆的位置;姿态推断部,其根据由所述第1车辆信息输入部及所述第2车辆信息输入部输入的所述自身车辆的状态信息以及所述其他车辆的状态信息来推断所述其他车辆的姿态;以及判定部,其根据由所述距离检测部、所述位置检测部、所述姿态检测部、所述位置推断部以及所述姿态推断部分别检测或推断出的信息来判定所述其他车辆的距离、位置以及姿态。
发明的效果
根据本发明,不论物体的视场角位置及距离如何,都能高精度地检测物体。根据本说明书的记述、附图,将明确本发明相关的更多特征。此外,上述以外的课题、构成及效果将通过以下实施方式的说明来加以明确。
附图说明
图1为表示第1实施方式的物体检测装置的构成的图。
图2为表示利用左右摄像部同时拍摄到的一对拍摄图像的一例的图。
图3为表示使用图2所示的一对拍摄图像检测到的结果的一例的图。
图4为表示车辆的行驶轨迹的一例的图。
图5为表示第1实施方式的物体检测装置的处理定时的图。
图6为表示第1实施方式的物体检测装置的处理流程的图。
图7为表示行驶中的拍摄图像的一例的图。
图8为表示第1实施方式的物体检测装置给出的检测结果和推断结果的一例的图。
图9为说明自身车辆与先行车辆的位置关系的一例的图。
图10为表示第2实施方式的物体检测装置的构成的图。
图11为表示第3实施方式的物体检测装置的构成的图。
图12为表示第4实施方式的物体检测装置的构成的图。
具体实施方式
下面,参考附图,对本发明的实施方式进行说明。在以下的实施方式中,列举先行车辆作为要检测位置的物体的例子而检测先行车辆的位置,但本发明并不限于此,可检测任何物体的位置。
<第1实施方式>
图1为表示本发明的第1实施方式的物体检测装置的构成的图。1为本实施方式的物体检测装置。物体检测装置1例如搭载于自身车辆的前方而识别作为其他车辆的先行车辆等物体,例如是构成对跟随先行车辆行驶的行驶控制进行辅助的行驶控制系统的一部分的装置。
物体检测装置1例如收纳在车载立体摄像机的壳体内。物体检测装置1具有左右一对摄像部101、102(第1摄像部、第2摄像部)、图像修正部104、立体距离检测部105、位置检测部106、轨道预测部107、108、位置推断部109、姿态推断部110、姿态检测部111以及判定部112。
摄像部101及102对图像传感器安装有光学透镜。这些摄像部101及102在规定时刻反复进行1张图像的拍摄,并输出拍摄到的图像。摄像部101和摄像部102以规定距离左右分开设置,根据由摄像部101拍摄到的图像与由摄像部102拍摄到的图像的偏差也就是所谓的视差,物体检测装置1可以算出到被摄体的距离。
再者,图1中展示了物体检测装置1的构成要素被收纳在同一壳体内的例子,但是,例如也可将摄像部101及102集中收纳在区别于其他构成要素的另一壳体内(图1中以虚线框11包围表示),也可将摄像部101及102分别收纳在不同壳体内而安装在车辆上。在该情况下,关于图像信号的传输,只要利用未图示的连接电缆将各构成加以连接来进行传输即可。作为使用连接电缆来传输图像的方法,有使用LVDS(Low Voltage DifferentialSignaling)方式的差动传输线路的传输方法等。
此外,通过将摄像部101及102的图像传感器设为彩色图像传感器,物体检测装置1可以获取拍摄到的图像的颜色信息,从而除了根据亮度信息以外还可以根据颜色信息来判断交通信号灯或先行车辆的后尾灯的状态。
图像修正部104导入来自摄像部101及102各方的图像,并将各图像的亮度以使它们相互一致的方式利用预先测量出的修正值加以修正,进而进行透镜造成的图像的畸变的修正,并且以使摄像部101的图像与摄像部102的图像的水平位置相互一致的方式利用预先测量出的修正值进行修正。
各修正值的测量是预先在物体检测装置1的制造工序中进行。针对运用修正值之前的物体检测装置1的每一个体来拍摄特定被摄体,求出获取到的图像的亮度变得均匀这样的每一像素的亮度修正值以及消除透镜畸变而使得图像变得水平这样的每一像素的几何修正值,并分别以修正表的形式按物体检测装置1的每一个体例如保存到未图示的非易失性存储器中。
立体距离检测部105输入来自图像修正部104的图像而检测被摄体的距离以及物体的类别。作为检测距离的方法,例如有如下方法。立体距离检测部105导入来自图像修正部104的图像,进行视差的算出。如前文所述,摄像部101和摄像部102是以规定距离左右分开设置的,因此拍摄到的图像具有视差。进行算出该视差的所谓立体处理。
作为视差的算出方法,例如有块匹配方式。具体而言,立体距离检测部105首先探索与从由摄像部101拍摄到的图像的指定的图像区域上较小地切出的规定尺寸例如纵8像素、横8像素的块区域相对应的摄像部102的图像上的区域。立体距离检测部105在摄像部102的图像上将相同尺寸的块区域沿水平方向逐次挪动以探索密度的形式指定的像素数,对此时的相关值进行评价。这时,立体距离检测部105例如设定将探索范围设为128像素、将探索密度设为2像素的组合或者将探索范围设为32像素、将探索密度设为1像素的组合,由此,还能结合处理区域的指定来控制计算的处理负荷和精度。当增大探索密度时,所检测的对象物的距离的精度下降,但探索范围内的处理负荷减轻,越是减小探索密度,所检测的距离的精度便越是提高。
继而,摄像部101的拍摄图像和摄像部102的拍摄图像中的一致的块区域的位置的差成为以像素数表示的视差。立体距离检测部105可以使用该视差来求出映照在块区域内的对象物在实际环境下的距离。再者,该例是采用块区域作为求距离的对象图像要素。作为用于实现相关值的评价的一致比较的方法,例如将所比较的块区域内的像素的亮度的差分的总和减小的位置作为视差。
众所周知,所检测的距离可以根据摄像部101及摄像部102的透镜焦距、摄像部101与摄像部102的距离即基线长度、上文中求出的视差以及摄像传感器的像素间距来求出。但在本发明中,距离的算出方法并不限定于此。此外,作为求距离的对象图像要素,并不限于上述块区域,也可采用构成摄像传感器的各个像素。
关于检测物体的方法,例如在附近存在表示大致同一距离的距离信息的情况下,立体距离检测部105将它们作为一个集合来群组化,在该群组的大小在一定程度以上时,将该群组视为物体。继而,立体距离检测部105根据检测到的群组的大小和形状例如检测到它是车辆。关于物体的大小和形状,有根据与作为参考数据预先保持的图案数据的比较来进行检测的方法。根据该处理方式,能高精度地获得自身车辆起到前方物体为止的距离,因此可用作自身车辆的减速或停止等规避碰撞用的信息。得到的物体的种类及其距离被输出至后文叙述的位置检测部106、位置推断部109、姿态推断部110、姿态检测部111、判定部112。
位置检测部106根据立体距离检测部105的结果来检测物体相对于自身车辆的位置。位置检测部106例如检测以摄像部101和摄像部102的设置位置的中心与物体的横向的中心的差来表示的左右位置。位置检测部106可以仅选择被识别为车辆的物体来进行检测。
例如,在摄像部101、102在自身车辆的车宽方向(左右)上分开配置并安装在隔着自身车辆的前挡玻璃来拍摄前方的位置的情况下,本实施方式中所检测的距离是沿车辆前后方向设定的车辆中心轴方向(Z方向)的距离,本实施方式中所检测的左右位置是自身车辆的车宽方向(X方向)的距离(例如参考图9)。
自身车辆的状态信息被输入至轨道预测部107(第1车辆信息输入部)。轨道预测部107根据输入的自身车辆的状态信息来预测自身车辆的轨道。作为输入的自身车辆的状态信息,可列举操舵角、横摆率、速度、加速度、车轮速度、卫星给出的位置信息、车辆的行驶计划等。
其他车辆的状态信息被输入至另一个轨道预测部108(第2车辆信息输入部)。轨道预测部108根据输入的先行车辆的状态信息来预测先行车辆的轨道。作为输入的先行车辆的状态信息,同样可列举操舵角、横摆率、速度、加速度、车轮速度、卫星给出的位置信息等。作为先行车辆的状态信息的输入方法,虽未图示,但例如使用无线在车辆间交换信息。也就是说,自身车辆与先行车辆之间进行车车间通信来获取先行车辆的状态信息。
位置推断部109根据由轨道预测部107及轨道预测部108得到的自身车辆和先行车辆的轨道预测来推断先行车辆相对于自身车辆的距离和位置。进而,位置推断部109确定该物体的规定部位即后端面的位置,并输出至后文叙述的姿态检测部111。物体的后端面例如为车辆的后尾面,在车辆转弯而使得后尾面和车辆侧面两方包含在获取图像中的情况下,位置推断部109能够检测车辆侧面除外的后尾面的姿态,从而能提高姿态检测的精度。作为后端面的位置的确定方法,有根据先行车辆相对于自身车辆的朝向(横摆角)来进行检测的方法等。例如,通过车车间通信从先行车辆获取包含先行车辆的朝向的信息的状态信息,由此能确定后端面的位置。
姿态推断部110根据由轨道预测部107及轨道预测部108得到的自身车辆和先行车辆的轨道预测来推断先行车辆相对于自身车辆的姿态。所谓姿态,是先行车辆与自身车辆的相对的横摆角,检测该角度差θ(例如参考图9)。
姿态检测部111检测物体的朝向例如先行车辆与自身车辆的相对的角度差即横摆角θ。该角度差根据先行车辆及自身车辆的横摆角的变化而变化。姿态检测部111使用立体距离检测部105的检测结果来检测物体的朝向。姿态检测部111例如对该物体的相对的面的水平方向的距离作线性近似来求其斜率。
例如,在将对应于物体(先行车)的后尾面的水平方向(横向)的坐标X的距离Z(纵深)表示为(X,Z)的情况下,得到(X1,Z1)、(X2,Z2)、…、(X5,Z5)作为测定结果。姿态检测部111例如通过最小平方法等来求回归直线(Z=a1×X+a2;a1、a2:常数),根据其斜率a1来算出θ(=arctan(a1))。
姿态检测部111在检测时输入通过位置推断部109来确定先行车辆的后尾面的信息,将车辆侧面去除而限定于后尾面来检测姿态,由此能提高姿态检测的精度。此外,姿态检测部111可以仅选择被识别为车辆的物体来进行检测。
判定部112接收来自立体距离检测部105的距离检测结果、来自位置检测部106的位置检测结果、来自姿态检测部111的姿态检测结果、来自位置推断部109的位置推断结果、以及来自姿态推断部110的姿态推断结果而对结果进行判定,并将物体的检测结果输出至物体检测装置1的外部。
判定部112根据物体的拍摄状况来变更位置检测部106及姿态检测部111给出的实际检测结果与位置推断部109及姿态推断部110给出的推断结果的使用比例。实际检测结果与推断结果的使用比例是根据映照在拍摄图像中的物体的范围来决定。
在判定部112中,进行算出映照在摄像部101、102的拍摄图像中的物体的范围的处理。继而,根据物体的范围来变更实际检测结果和推断结果的加权。具体而言,随着映照在拍摄图像中的物体的范围减少而降低由立体距离检测部105、位置检测部106以及姿态检测部111检测到的检测值的加权,提升由位置推断部109和姿态推断部110推断出的推断值的加权。
由此,例如在整个先行车辆都映照在拍摄图像中的情况下,从判定部112仅输出实际检测结果。继而,在因先行车辆在路口拐弯等而使得映照在拍摄图像中的先行车辆的范围减少的情况下,使用实际检测结果的比例下降,伴随于此,使用推断结果的比例上升。继而,在先行车辆已从视场角范围超出规定值以上的情况下,可将从判定部112输出的结果从实际检测结果完全切换至推断结果。继而,随着因自身车辆也跟随在路口拐弯而使得映照在拍摄图像中的先行车辆的范围逐渐增加而恢复原状,使用实际检测结果的比例上升,伴随于此,使用推断结果的比例下降。
再者,物体检测装置1中,例如摄像部101、摄像部102、图像修正部104以及立体距离检测部105由电子电路构成,这之外的构成要素则通过未图示的微电脑等进行的软件处理来实现。也可以通过软件处理来实现立体距离检测部105。
图2为表示由本发明的实施例1的物体检测装置1拍摄的拍摄图像的一例的图。该图中,1001表示由摄像部101拍摄并经图像修正部104修正后的拍摄图像,1002表示由摄像部102拍摄并经图像修正部104修正后的拍摄图像。202为作为被摄体的先行车辆。203为作为被摄体的行人。204为作为被摄体的街道树。205为作为被摄体的交通信号灯。206为作为被摄体的路面。
此外,该图中,201、209为拍摄图像1001及拍摄图像1002当中共通拍摄到的区域(共通摄像区域)。如前文所述,拍摄图像1001与拍摄图像1002之间有共通拍摄到的区域的偏差。在立体距离检测部105中使用该偏差量即视差来算出被摄体的距离。
图3为说明由第1实施方式的物体检测装置1拍摄的拍摄图像和立体距离检测部105、位置检测部106以及姿态检测部111的动作的一例的图,是表示使用图2所示的一对拍摄图像检测到的结果的一例的图。该图中,区域201是由摄像部101拍摄并经图像修正部104修正后的拍摄图像当中像前文所述那样与由摄像部102拍摄到的图像共通地拍摄到的区域。
301是供立体距离检测部105检测被摄体的距离以及物体的类别的处理区域。在本实施例中,处理区域301为整个区域201。立体距离检测部105在处理区域301的范围内通过前文所述的块匹配方式来求视差,根据该视差的群组来检测物体。
302、303、304以及305是以虚线框来包围表示物体的检测结果的处理区域。图像内的框和数值显示不是展示在拍摄到的图像内,而是以明示的方式重叠展示在图像上。在本实施方式中,检测到处理区域302内所检测到的先行车辆202处于与自身车辆的距离z为10.6m、位置x为2.3m、姿态θ为0.5度的位置。并且,检测到处理区域303内所检测到的行人203处于距离z为5.2m的位置,处理区域304的街道树204处于距离z为35.3m的位置,处理区域305的交通信号灯205处于距离z为19.7m的位置。如此,根据物体检测装置1,能够跨及拍摄到的整个图像来实现物体的距离、位置、姿态检测。由各检测部105、106、111检测到的物体的距离、位置、姿态的检测值被输出至判定部112。
图4为表示车辆的行驶轨迹的图。在前文所述的轨道预测部107、108以及位置推断部109、姿态推断部110的处理中,例如通过位置推算法来推断车辆的位置和姿态。首先,以地点A为起点,以某一周期、根据从地点A起的车辆的移动距离和车辆的行进方向来推断下一地点B上的车辆的位置和姿态。作为推断用的车辆的状态信息,根据前文所述的操舵角、横摆率、速度、加速度、车轮速度、卫星给出的位置信息等来算出该周期内的移动量并与地点A的坐标相加,由此来推断地点B。进而,从地点B起反复进行加法来更新出地点C、地点D。由此,能够推断出车辆的轨道,进而取自身车辆与先行车辆的轨道的差分,由此能推断出先行车辆相对于自身车辆的位置和姿态。在本方式中,由于移动量中包含误差,因此当反复进行加法时,误差会不断累积。
此外,也有取自身车辆与先行车辆的移动量的差分并不断相加、由此来推断先行车辆相对于自身车辆的位置和姿态的方法。进而,作为其他方法,也可以通过输入车辆中决定的行驶计划来推断位置和姿态而不进行轨道预测。
图5为表示本实施方式的物体检测装置1的处理定时的图。图5的(A)展示图像修正部104、立体距离检测部105、位置检测部106以及姿态检测部111的处理定时。图5的(B)展示轨道预测部107及108、位置推断部109以及姿态推断部110的处理定时。图5的(C)展示判定部112的处理定时。
图5的(A)中,通过图像修正部104和立体距离检测部105进行前文所述的距离检测处理来检测物体,在位置检测部106中检测该物体的位置,此外在姿态检测部111中检测物体的姿态。
此外,图5的(B)中,在轨道预测部107及108中推断自身车辆及先行车辆的轨道,在位置推断部109中进行先行车辆相对于自身车辆的位置的推断,在姿态推断部110中进行先行车辆相对于自身车辆的姿态的推断。
图5的(C)中,根据图5的(A)及图5的(B)中得到的检测结果在判定部112中进行判定,并输出所得到的物体的检测结果。
在本实施例中,对使位置检测、姿态检测以及位置推断、姿态推断的处理的周期相同而在1帧中将所有处理各进行1次的情况进行了说明,但也可不同,只要在各判定的周期内使用各自的最新结果即可。
图6为表示第1实施方式的物体检测装置的处理流程的图。首先,由摄像部101及102拍摄图像(步骤S601)。如前文所述,由摄像部101、102拍摄到的各图像借助图像修正部104来进行亮度修正、透镜畸变修正、水平位置对准(步骤S602)。接着,由立体距离检测部105检测处理区域301内的物体及其距离(步骤S603)。进而,由位置检测部106进行物体的位置的检测(步骤S604),在姿态检测部111中进行姿态检测(步骤S605)。
另一方面,输入自身车辆的状态信息(步骤606),同时输入先行车辆的状态信息(步骤607)。根据各个输入的信息来进行自身车辆的轨道预测(步骤608)、先行车辆的轨道预测(步骤609)。进而,根据自身车辆及先行车辆的轨道预测来进行位置推断(步骤610)及姿态推断(步骤611)。
最后,由判定部112根据各步骤中的物体的检测结果来进行判定,并输出判定结果(步骤S612)。物体检测装置1例如按每1帧来反复进行这些处理。在判定部112中,根据映照在拍摄图像中的先行车辆的拍摄状况来变更实际检测结果与推断结果的使用比例。判定部112算出拍摄图像中拍摄到的先行车辆的范围,根据先行车辆的范围来决定与先行车辆的距离、位置以及姿态的实际检测值与推断值的使用比例。继而,输出根据该比例算出的距离、位置以及姿态的值。
图7为表示从搭载有本实施方式的物体检测装置1的车辆拍摄到的行驶中的拍摄图像的一例的图。图7的(A)为在某一时刻t1由摄像部101拍摄到的图像,是在先行车辆202全部容纳在摄影视场角内的状态下获取到图像。图7的(B)为在时刻t1之后的时刻即时刻t2由摄像部101拍摄到的图像,获取到的是接近先行车辆202、先行车辆202左转弯而导致并非整个车辆容纳在摄影视场角内的状态的图像。进而,图7的(C)为在时刻t2之后的时刻即时刻t3拍摄到的图像,获取到的是先行车辆202进一步左转弯而正要脱离摄影视场角的状态的图像。
图8为表示根据图7的(A)、图7的(B)以及图7的(C)所示的在行驶中获取到的拍摄图像而按时间序列检测到的检测结果和判定得到的最终使用的检测结果的比例的图。时间t1、t2以及t3分别表示拍摄到图7的(A)的拍摄图像、图7的(B)的拍摄图像以及图7的(C)的拍摄图像的时刻。
图8的(A)展示位置的检测结果,实线为位置检测部106给出的位置检测结果,虚线为位置推断部109给出的位置推断结果。图8的(A)中,横轴为时间,纵轴为位置。如前文所述,位置检测部106根据立体距离检测部105给出的距离检测结果来检测物体的左右位置,因此,时刻t1附近为先行车辆202全部容纳在摄影视场角内的状态,获得稳定的检测结果。另一方面,如前文所述,位置推断部109给出的推断结果包含误差。时刻t2附近为先行车辆202接近且正在转弯的状态,是先行车辆202并非全部容纳在视场角内的状态,因此位置检测部106中检测误差增加。时刻t3附近,由于先行车辆202几乎脱离视场角,因此位置的检测变得困难。另一方面,位置推断部109进行的位置推断虽然包含误差但还在继续。
图8的(B)展示姿态的检测结果,实线为姿态检测部111给出的姿态检测结果,虚线为姿态推断部110给出的推断结果。图8的(B)中,横轴为时间,纵轴为姿态。在本实施例中,以先行车辆202左转弯的情况下的姿态为正方向。时刻t1附近为先行车辆202全部容纳在摄影视场角内的状态,在立体距离检测部105中获得稳定的检测结果。另一方面,如前文所述,姿态推断部110给出的推断结果包含误差。时刻t2附近为先行车辆202接近且正在转弯的状态,是先行车辆202并非全部容纳在视场角内的状态,因此姿态检测部111中检测误差增加。时刻t3附近,由于先行车辆202几乎脱离视场角,因此姿态的检测变得困难。另一方面,在姿态推断部110中,虽然包含误差但在继续推断。
图8的(C)展示距离的检测结果,实线为立体距离检测部105给出的距离检测结果,虚线为位置推断部109给出的推断结果。图8的(C)中,横轴为时间,纵轴为距离。时刻t1附近为先行车辆202全部容纳在摄影视场角内的状态,在立体距离检测部105中获得稳定的检测结果。另一方面,如前文所述,位置推断部109给出的推断结果包含误差。时刻t2附近为先行车辆202接近且正在转弯的状态,是先行车辆202并非全部容纳在视场角内的状态,因此立体距离检测部105中检测误差增加。时刻t3附近,由于先行车辆202几乎脱离视场角,因此距离的检测变得困难。另一方面,在位置推断部109中,虽然包含误差但在继续推断。
图8的(D)及图8的(E)展示判定部112从得到的检测结果中最终予以使用的检测结果的比例。图8的(D)及图8的(E)中,横轴为时间,纵轴为比例。
图8的(D)的曲线的下侧所示的比例a为判定部112使用位置检测部106给出的检测结果的比例,图8的(D)的曲线的上侧所示的比例b为判定部112使用位置推断部109的推断结果的比例。比例a与比例b的合计值为1。关于判定部112所使用的比例,以高比例使用该时间点上的高精度地获得的检测结果或推断结果(提升加权)。
在时刻t1附近,判定部112重点使用位置检测部106给出的检测结果。在时刻t2附近,判定部112增加位置推断部109的结果的比例,在时刻t3,判定部112仅使用位置推断部109的推断结果。进一步地,在物体的位置处于完全脱离摄影视场角的位置的情况下,判定部112采用位置推断部109给出的推断结果。
例如,在时刻t2附近,比例a为0.8、比例b为0.2。此处,若将位置检测部106给出的实际检测结果的位置设为x1、将位置推断部109给出的推断结果的距离设为x2、将判定部112所输出的距离设为x,则在时刻t2附近例如以x=0.8×x1+0.2×x2来表示。
此外,图8的(E)的曲线的下侧所示的比例c为判定部112使用姿态检测部111给出的检测结果的比例,图8的(E)的曲线的上侧所示的比例d为判定部112使用姿态推断部110的推断结果的比例。比例c与比例d的合计值为1。关于判定部112所使用的比例,以高比例使用该时间点上的高精度地获得的检测结果或推断结果(提升加权)。
在时刻t1附近,判定部112重点使用姿态检测部111给出的检测结果。在时刻t2附近,判定部112增加姿态推断部110给出的推断结果的比例,在时刻t3,判定部112仅使用姿态推断部110的推断结果。进一步地,在物体处于完全脱离摄影视场角的位置的情况下,判定部112采用姿态推断部110给出的推断结果。
在由位置检测部106检测到的位置在规定范围内的情况下,判定部112可采用立体距离检测部105、位置检测部106以及姿态检测部111的检测结果作为先行车辆的位置及姿态。在由位置检测部106检测到的位置在规定范围外的情况下,判定部112可采用位置推断部109和姿态推断部110的推断结果作为先行车辆的位置及姿态。
此外,在即便由位置检测部106检测到的位置在规定范围内、但由立体距离检测部105检测到的距离比规定距离远而无法确保检测精度的情况下,判定部112可采用位置推断部109和姿态推断部110的结果。
此外,在由立体距离检测部105检测到的距离比规定距离近、但由位置检测部106检测到的位置在规定范围外而无法确保检测精度的情况下,判定部112可采用位置推断部109和姿态推断部110的结果。
进一步地,在先行车辆202从暂时脱离摄影视场角而无法进行立体距离检测部105的距离检测的状态再次进入摄影视场角而能够进行立体距离检测部105的距离检测时,轨道预测部108使用位置检测部106及姿态检测部111的结果来再设定轨道预测用的起点。因而,可以消除位置推断部109及姿态推断部110中累积的误差。
图9为说明自身车辆与先行车辆的位置关系的图。
物体检测装置1搭载于自身车辆200中,进行先行车辆202的位置的检测。自身车辆200使用由物体检测装置1检测到的先行车辆202的位置的信息来进行跟随先行车辆202行驶的自动驾驶。物体检测装置1检测自身车辆200与先行车辆202的距离Za、位置Xa、姿态θ。
如图9所示,例如在先行车辆202于路口左转的情况下,在自身车辆200上拍摄的拍摄图像中,先行车辆202的大部分超出拍摄图像的视场角范围(参考图7的(C))。在这样的情况下,在判定部112中,以使用由位置推断部109及姿态推断部110推断出的推断结果的比例上升、使用由立体距离检测部105、位置检测部106以及姿态检测部111检测到的检测结果的比例下降的方式进行调整。继而,在判定部112中调整后的先行车辆202的位置、距离、姿态的信息被输出至外部,用于让自身车辆跟随先行车辆行驶的控制。
根据本实施方式的物体检测装置1,即便在先行车辆202超出摄影视场角的状态下,也能继续检测先行车辆202的距离、位置、姿态。即,不论物体的视场角位置和距离如何,都能继续物体的追踪来获取位置、距离、姿态信息。因而,即便在先行车辆202脱离摄影视场角这样的情况下也能高精度地检测先行车辆202,从而能防止自身车辆200的追踪精度降低。
<第2实施方式>
图10为表示第2实施方式的物体检测装置的构成的图。在本实施方式中,特征性内容为它是对第1实施方式的物体检测装置1追加设置了进行自动跟随先行车辆行驶的自动驾驶控制的车辆控制部的情况下的例子。对起到与图1的构成相同的功能的构成标注与图1相同的符号并省略详细说明。物体检测装置1搭载于汽车等车辆中,该图中,901为车辆控制部。判定部112的输出被输入到车辆控制部901。
搭载物体检测装置1的车辆(跟随先行车辆行驶的后续车辆)配置在先行车辆的后方,跟随先行车辆。这时,物体检测装置1像前文中展示过的那样检测先行车辆的距离、位置、姿态。
车辆控制部901接受判定部112给出的检测结果,根据该检测结果对车辆的未图示的其他装置进行控制。作为车辆的控制对象,为舵角、制动、转向装置等,根据检测到的结果,以跟随先行车辆行驶的方式进行控制。这些车辆控制信息从物体检测装置1经由CAN(Controller Area Network)等车内网络输出至未图示的其他装置。
在较短地设定与先行车辆的车间距离的跟随控制的情况下,存在超出摄影视场角的情况或者先行车辆转弯而脱离摄影视场角的情况,但根据本实施方式的物体检测装置1,如前文所述,能够继续检测先行车辆的距离、位置、姿态,从而能安全地跟随先行车辆。
再者,图10中展示的是车辆控制部901与物体检测装置1收纳在同一壳体内的例子,但并不限于此,也可收纳在不同壳体内而经由车内网络来传输检测结果,此外,如前文所述,也可将摄像部101及摄像部102收纳在不同的壳体内。
<第3实施方式>
图11为表示本发明的实施例3的物体检测装置的构成的图。对起到与图1的构成相同的功能的构成标注与图1相同的符号并省略详细说明。本实施方式的特征在于,通过由摄像部101及摄像部102以外的部件构成的、能获得距离和位置信息的传感器来进行物体的检测。
例如,作为输入信息,为从未图示的雷达、红外线传感器等传感器获得的信息,可以求出对象范围的物体的距离和位置。判定部112根据进入传感器的检测区域内的先行车辆的范围来变更位置检测部106及姿态检测部111的检测结果与位置推断部109及姿态推断部110的推断结果的使用比例。后面的动作与前文所述一致。
<第4实施方式>
图12为表示第4实施方式的物体检测装置的构成的图。对起到与图1的构成相同的功能的构成标注与图1相同的符号并省略详细说明。在本实施方式中,特征性内容为采用如下构成:将摄像部1201与控制部1204设置为不同个体,并通过网络以能相互通信的方式连接在一起。
1201为网络摄像部。1203为LAN(Local Area Network)。1204为控制部。网络摄像部1201例如安装在车辆的前挡玻璃上。控制部1204被收纳在与网络摄像部1201不同的另一壳体中,配置在能确保车辆内的空间的地方。作为LAN 1203,例如可使用CAN等车内网络。
网络摄像部1201经由LAN 1203与控制部1204相连。此外,1202为图像压缩及接口部。1205为网络接口部。1206为图像解压缩部。
由摄像部101及摄像部102拍摄到的图像在图像修正部104中进行亮度修正、透镜畸变修正、水平位置对准。接着,图像压缩及接口部1202对来自图像修正部104的图像进行压缩并经由LAN 1203发送至控制部1204。作为图像压缩的方式,有使用画面内压缩方式的方式,即,为了减少处理时间而不使用多个图像的时间相关关系、在1张图像内进行压缩。此外,也可选择影像压缩编码方式来进行切换。
图像压缩及接口部1202生成压缩编码数据,并按照规定的网络协议来发送数据。再者,图像修正部104也可设置在控制部1204的图像解压缩部1206之后,但通过在网络摄像部1201的图像压缩及接口部1202之前进行修正处理,会在修正透镜畸变等之后进行图像压缩,由此能预料到图像压缩的高效率化和高画质化。
控制部1204中,在网络接口部1205中经由LAN 1203来进行压缩图像数据的接收。由控制部1204的网络接口部1205接收到的压缩图像数据在图像解压缩部1206中被解压缩为原本的图像,并借助立体距离检测部105来检测距离。后面的处理与前文所述一致。
根据本实施方式,经由LAN 1203来发送压缩图像,因此能减少摄像部侧的处理量,从而能减少由摄像部侧的轻量化、低耗电化、壳体减小带来的对车辆设置的尺寸限制。只要能确保足够的网络传输带宽,也可以不实施图像的压缩-解压缩来进行传输。
再者,本发明包含各种变形例,并不限定于上述实施例。例如,上述实施例是为了以易于理解的方式说明本发明所作的详细说明,并非一定限定于具备说明过的所有构成。此外,可以将某一实施例的构成的一部分替换为其他实施例的构成,此外,也可以对某一实施例的构成加入其他实施例的构成。此外,可以对各实施例的构成的一部分进行其他构成的追加、删除、替换。
此外,上述各构成可由硬件来构成它们的一部分或全部,也可构成为通过在处理器中执行程序来实现。此外,控制线和信息线展示的是认为说明上需要的部分,在产品上未必展示了所有控制线和信息线。实际上,可认为几乎所有构成都相互连接在一起。
符号说明
1…物体检测装置,101~102…摄像部,104…图像修正部,105…立体距离检测部,106…位置检测部,107~108…轨道预测部(第1车辆信息输入部、第2车辆信息输入部),109…位置推断部,110…姿态推断部,111…姿态检测部,112…判定部,201、209…共通摄像区域,202~205…被摄体,301~305…处理区域,901…车辆控制部,1201…网络摄像部,1202…图像压缩及接口部,1203…LAN,1204…控制部,1205…网络接口部,1206…图像解压缩部。
Claims (10)
1.一种物体检测装置,其特征在于,具有:
距离检测部,其检测物体的距离;
位置检测部,其根据由所述距离检测部检测到的距离来检测所述物体的位置;
姿态检测部,其根据由所述距离检测部检测到的距离来检测所述物体的姿态;
第1车辆信息输入部,其输入自身车辆的状态信息;
第2车辆信息输入部,其输入其他车辆的状态信息;
位置推断部,其根据由所述第1车辆信息输入部及所述第2车辆信息输入部输入的所述自身车辆的状态信息以及所述其他车辆的状态信息来推断所述其他车辆的位置;
姿态推断部,其根据由所述第1车辆信息输入部及所述第2车辆信息输入部输入的所述自身车辆的状态信息以及所述其他车辆的状态信息来推断所述其他车辆的姿态;以及
判定部,其根据由所述距离检测部、所述位置检测部、所述姿态检测部、所述位置推断部以及所述姿态推断部分别检测或推断出的信息来判定所述其他车辆的距离、位置以及姿态。
2.根据权利要求1所述的物体检测装置,其特征在于,
具备拍摄所述物体的摄像部,
所述判定部根据映照在由所述摄像部拍摄到的拍摄图像中的所述物体的范围来决定由所述距离检测部、所述位置检测部以及所述姿态检测部检测到的检测结果与由所述位置推断部和所述姿态推断部推断出的推断结果的使用比例。
3.根据权利要求2所述的物体检测装置,其特征在于,
所述判定部随着映照在所述拍摄图像中的所述物体的范围减少而降低由所述距离检测部、所述位置检测部以及所述姿态检测部检测到的检测值的加权、提高由所述位置推断部和所述姿态推断部推断出的推断值的加权。
4.根据权利要求1所述的物体检测装置,其特征在于,
在由所述位置检测部检测到的位置在规定范围内的情况下,所述判定部采用所述距离检测部、所述位置检测部以及所述姿态检测部的检测结果。
5.根据权利要求1所述的物体检测装置,其特征在于,
在由所述位置检测部检测到的位置在规定范围外的情况下,所述判定部采用所述位置推断部和所述姿态推断部的推断结果。
6.根据权利要求2所述的物体检测装置,其特征在于,
所述摄像部具有相互成对地拍摄共通摄像区域的第1摄像部和第2摄像部,
所述距离检测部根据从由所述第1摄像部和所述第2摄像部得到的图像得到的视差来检测所述物体的距离。
7.根据权利要求1所述的物体检测装置,其特征在于,
所述第2车辆信息输入部通过车车间通信来获取所述其他车辆的状态信息。
8.根据权利要求1所述的物体检测装置,其特征在于,
所述位置推断部根据由所述距离检测部检测到的距离来检测所述物体的规定部位,
所述位置检测部及所述姿态检测部根据由所述位置推断部推断出的所述物体的规定部位来检测所述物体的后尾面的位置及姿态。
9.一种行驶控制系统,其对跟随其他车辆的自身车辆的行驶进行控制,其特征在于,
所述自身车辆具有:
距离检测部,其检测所述自身车辆与所述其他车辆之间的距离;
位置检测部,其根据由所述距离检测部检测到的距离来检测所述其他车辆的位置;
姿态检测部,其根据由所述距离检测部检测到的距离来检测所述其他车辆的姿态;
第1车辆信息输入部,其输入所述自身车辆的状态信息;
第2车辆信息输入部,其输入所述其他车辆的状态信息;
位置推断部,其根据由所述第1车辆信息输入部及所述第2车辆信息输入部输入的所述自身车辆的状态信息以及所述其他车辆的状态信息来推断所述其他车辆的位置;
姿态推断部,其根据由所述第1车辆信息输入部及所述第2车辆信息输入部输入的所述自身车辆的状态信息以及所述其他车辆的状态信息来推断所述其他车辆的姿态;
判定部,其根据由所述距离检测部、所述位置检测部、所述姿态检测部、所述位置推断部以及所述姿态推断部分别检测或推断出的信息来判定所述其他车辆的距离、位置以及姿态;以及
控制部,其根据所述判定部中进行判定的结果来进行让所述自身车辆跟随所述其他车辆的行驶控制。
10.一种行驶控制方法,其对跟随其他车辆的自身车辆的行驶进行控制,其特征在于,具有如下步骤:
检测所述自身车辆与其他车辆之间的距离;
根据检测到的所述距离来检测所述其他车辆的位置;
根据检测到的所述距离来检测所述其他车辆的姿态;
输入所述自身车辆的状态信息;
输入所述其他车辆的状态信息;
根据所述自身车辆的状态信息以及所述其他车辆的状态信息来推断所述其他车辆的位置;
根据所述自身车辆的状态信息以及所述其他车辆的状态信息来推断所述其他车辆的姿态;
根据检测到的所述距离、所述位置以及所述姿态和推断出的所述位置及所述姿态来判定所述其他车辆的距离、位置以及姿态;以及
根据所述判定的结果来进行让所述自身车辆跟随所述其他车辆的行驶控制。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-177661 | 2019-09-27 | ||
JP2019177661A JP7227112B2 (ja) | 2019-09-27 | 2019-09-27 | 物体検出装置、走行制御システム、および走行制御方法 |
PCT/JP2020/020489 WO2021059589A1 (ja) | 2019-09-27 | 2020-05-25 | 物体検出装置、走行制御システム、および走行制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114521180A true CN114521180A (zh) | 2022-05-20 |
Family
ID=75164958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080043096.3A Pending CN114521180A (zh) | 2019-09-27 | 2020-05-25 | 物体检测装置、行驶控制系统以及行驶控制方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220319186A1 (zh) |
JP (1) | JP7227112B2 (zh) |
CN (1) | CN114521180A (zh) |
DE (1) | DE112020002784T5 (zh) |
WO (1) | WO2021059589A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7216695B2 (ja) * | 2020-11-04 | 2023-02-01 | 本田技研工業株式会社 | 周囲車両監視装置及び周囲車両監視方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09272414A (ja) * | 1996-04-08 | 1997-10-21 | Mitsubishi Electric Corp | 車両制御装置 |
JP2009059082A (ja) * | 2007-08-30 | 2009-03-19 | Honda Motor Co Ltd | 車両用物体検知装置 |
CN101910781A (zh) * | 2007-12-25 | 2010-12-08 | 丰田自动车株式会社 | 移动状态推测装置 |
JP2013242737A (ja) * | 2012-05-22 | 2013-12-05 | Furukawa Electric Co Ltd:The | 車載装置および車載装置の判断方法 |
CN106461403A (zh) * | 2014-05-20 | 2017-02-22 | 日产自动车株式会社 | 物体检测装置及物体检测方法 |
CN108885828A (zh) * | 2016-04-15 | 2018-11-23 | 本田技研工业株式会社 | 车辆控制系统、车辆控制方法及车辆控制程序 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170242443A1 (en) * | 2015-11-02 | 2017-08-24 | Peloton Technology, Inc. | Gap measurement for vehicle convoying |
US9528838B2 (en) * | 2014-12-09 | 2016-12-27 | Toyota Motor Engineering & Manufacturing North America, Inc. | Autonomous vehicle detection of and response to intersection priority |
JP6425622B2 (ja) * | 2015-06-12 | 2018-11-21 | 日立建機株式会社 | 車載装置、車両衝突防止方法 |
US9927816B2 (en) * | 2016-05-13 | 2018-03-27 | Macau University Of Science And Technology | System and method for operating a follower vehicle in a vehicle platoon |
US10967864B2 (en) * | 2016-10-03 | 2021-04-06 | Honda Motor Co., Ltd. | Vehicle control device |
JP6774297B2 (ja) * | 2016-10-17 | 2020-10-21 | 株式会社デンソー | 車両認識装置及び車両認識方法 |
JP6815856B2 (ja) | 2016-12-14 | 2021-01-20 | 日立オートモティブシステムズ株式会社 | 先行車両の走行軌跡予測装置及びその搭載車両 |
JP2019049812A (ja) * | 2017-09-08 | 2019-03-28 | スズキ株式会社 | 走行位置評価システム |
JP6891082B2 (ja) * | 2017-09-25 | 2021-06-18 | 日立Astemo株式会社 | 物体距離検出装置 |
US20200017106A1 (en) * | 2019-06-13 | 2020-01-16 | Lg Electronics Inc. | Autonomous vehicle control method |
-
2019
- 2019-09-27 JP JP2019177661A patent/JP7227112B2/ja active Active
-
2020
- 2020-05-25 DE DE112020002784.8T patent/DE112020002784T5/de active Pending
- 2020-05-25 CN CN202080043096.3A patent/CN114521180A/zh active Pending
- 2020-05-25 US US17/596,873 patent/US20220319186A1/en active Pending
- 2020-05-25 WO PCT/JP2020/020489 patent/WO2021059589A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09272414A (ja) * | 1996-04-08 | 1997-10-21 | Mitsubishi Electric Corp | 車両制御装置 |
JP2009059082A (ja) * | 2007-08-30 | 2009-03-19 | Honda Motor Co Ltd | 車両用物体検知装置 |
CN101910781A (zh) * | 2007-12-25 | 2010-12-08 | 丰田自动车株式会社 | 移动状态推测装置 |
JP2013242737A (ja) * | 2012-05-22 | 2013-12-05 | Furukawa Electric Co Ltd:The | 車載装置および車載装置の判断方法 |
CN106461403A (zh) * | 2014-05-20 | 2017-02-22 | 日产自动车株式会社 | 物体检测装置及物体检测方法 |
CN108885828A (zh) * | 2016-04-15 | 2018-11-23 | 本田技研工业株式会社 | 车辆控制系统、车辆控制方法及车辆控制程序 |
Also Published As
Publication number | Publication date |
---|---|
WO2021059589A1 (ja) | 2021-04-01 |
JP2021056651A (ja) | 2021-04-08 |
JP7227112B2 (ja) | 2023-02-21 |
US20220319186A1 (en) | 2022-10-06 |
DE112020002784T5 (de) | 2022-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108886585B (zh) | 驾驶控制系统以及驾驶控制方法 | |
JP6202367B2 (ja) | 画像処理装置、距離測定装置、移動体機器制御システム、移動体及び画像処理用プログラム | |
US7171027B2 (en) | Vehicular image processing apparatus and related method | |
WO2017134982A1 (ja) | 撮像装置 | |
CN109196304B (zh) | 物体距离检测装置 | |
JP5371725B2 (ja) | 物体検出装置 | |
US8160300B2 (en) | Pedestrian detecting apparatus | |
JP3287465B2 (ja) | ステレオ画像処理装置 | |
JP2012073927A (ja) | 運転支援装置 | |
US11847791B2 (en) | Object position detection device, travel control system, and travel control method | |
CN110053625B (zh) | 距离计算装置和车辆控制装置 | |
JP2009239485A (ja) | 車両用環境認識装置および先行車追従制御システム | |
JP6899673B2 (ja) | 物体距離検出装置 | |
CN114521180A (zh) | 物体检测装置、行驶控制系统以及行驶控制方法 | |
EP3690812A1 (en) | Object distance detection device | |
JP2013161187A (ja) | 物体認識装置 | |
WO2024021083A1 (en) | Sensor data transfer with self adaptive configurations for autonomous driving vehicle | |
JP4255398B2 (ja) | 障害物検出方法及び障害物検出装置 | |
JP4324413B2 (ja) | 車外監視装置および車外監視方法 | |
JP2004220281A (ja) | 障害物検出装置 | |
JP2013161188A (ja) | 物体認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |