CN113875223B - 外部环境识别装置 - Google Patents
外部环境识别装置 Download PDFInfo
- Publication number
- CN113875223B CN113875223B CN202080038377.XA CN202080038377A CN113875223B CN 113875223 B CN113875223 B CN 113875223B CN 202080038377 A CN202080038377 A CN 202080038377A CN 113875223 B CN113875223 B CN 113875223B
- Authority
- CN
- China
- Prior art keywords
- external environment
- environment recognition
- vehicle
- synchronization processing
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims abstract description 63
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 239000000284 extract Substances 0.000 claims abstract description 8
- 230000033001 locomotion Effects 0.000 claims description 20
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 35
- 238000003384 imaging method Methods 0.000 description 24
- 230000006399 behavior Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000004575 stone Substances 0.000 description 3
- 230000008451 emotion Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/402—Type
- B60W2554/4029—Pedestrians
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Biomedical Technology (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
外部环境识别装置包括多个外部环境识别传感器(20)及一个同步处理部。多个外部环境识别传感器(20)具有分别检测车外物体信息的信息检测部(20a),多个外部环境识别传感器(20)被布置成具有信息检测部(20a)的检测范围的至少一部分彼此相互重合的重合区域(RF),同步处理部根据各外部环境识别传感器(20)的检测结果抽出重合区域(RF)中的相同物体,在重合区域(RF)中的相同物体的相互位置偏移了的情况下,同步处理部进行使多个外部环境识别传感器(20)同步的同步处理。
Description
技术领域
这里所公开的技术属于与使用于自主移动体的外部环境识别装置相关的技术领域。
背景技术
在识别外部环境并进行移动、行驶、飞行等(以下,也总称为“移动”)的自主移动体中,使用多个摄像头等传感装置来识别外部环境,根据该识别结果来决定移动方向、移动速度等。为了正确地识别外部环境而在自主移动体中设置多个摄像头,以下图像处理技术已为众人所知晓:对多个摄像头进行同步处理,从而使由多个摄像头拍摄到的图像时刻一致。
例如,在专利文献1中公开了以下技术:摄像头以从图像处理部周期性地输出的同步信号为触发,将图像信号输出给图像处理部。
在专利文献2中公开了一种监视装置,其根据具有重复的摄像区域的两个拍摄单元双方的拍摄图像监视车辆的周边。专利文献2中所公开的技术的目的以避免使用时间轴上有偏差的图像为目的。在专利文献2中所公开的技术中包括信息生成单元,该信息生成单元在根据两个拍摄单元的图像来识别外部环境时生成拍摄时刻间的偏差已得到修正的规定信息。
专利文献1:日本公开专利公报特开2005-117554号公报
专利文献2:日本公开专利公报特开2008-211373号公报
发明内容
-发明要解决的技术问题-
但是,在使用专利文献1那样的方法的情况下,由于每当输出从图像处理部周期性地输出的同步信号时,都要对摄像头进行同步处理,因此有时在不需要同步时也会进行同步处理,而出现处理资源浪费,这就是问题。
专利文献2中需要在图像处理装置中进行修正处理,而有可能增加运算装置的处理负荷,或者有可能需要进行复杂的处理。特别是,在为了提高外部环境的识别精度而增加要设置的摄像头的台数、或提高帧速率等要处理的信息量增大的情况下,处理就有可能复杂,处理负荷就有可能变大。
这里所公开的技术正是为解决上述问题而完成的,其目的在于:节约用于进行识别外部环境的外部环境识别传感器的同步处理的处理资源。
-用以解决技术问题的技术方案-
为了解决上述技术问题,在这里所公开的技术的一方面中,将识别自主移动体的外部环境的外部环境识别装置作为对象,其构成为包括:多个外部环境识别传感器及一个同步处理部,多个所述外部环境识别传感器的每一个外部环境识别传感器分别具有检测所述自主移动体的外部物体的信息的信息检测部,多个所述外部环境识别传感器被布置成具有该信息检测部的检测范围的至少一部分彼此相互重合的重合区域,所述同步处理部根据所述各外部环境识别传感器的检测结果抽出所述重合区域中的相同物体,在所述重合区域中的所述相同物体的相互位置偏移的情况下,所述同步处理部进行使多个所述外部环境识别传感器同步的同步处理。
根据该构成方式,在重合区域中的相同物体的相互位置偏移了的情况下,对多个外部环境识别传感器进行同步处理,因此能够配合着发生了位置偏移的时刻执行同步处理。在未发生位置偏移的情况下,能够不执行同步处理,因此与专利文献1那样周期性地执行同步处理的情况相比,能够节约用于进行同步处理的处理资源。能够在外部环境识别传感器输出信号的阶段使其同步,也就是说,能够让识别自主移动体外部物体这样的各种图像处理等之前的那一阶段的信号取得同步,因此能够降低图像处理等的处理负荷。
所述外部环境识别装置可以构成为:多个所述外部环境识别传感器包括被布置成具有所述重合区域的多个摄像头。所述同步处理部从多个所述摄像头的重合区域的图像中抽出相同物体,并从所述相同物体中确定出静止物体,且使该静止物体彼此相互重叠,由此来判断所述相同物体的相互位置是否偏移了。
根据该构成方式,由于使静止物体彼此重叠,因此能够提高位置偏移的检测精度。
也可以构成为:所述外部环境识别装置中,所述同步处理部在所述自主移动体的移动速度小于规定的阈值时进行所述同步处理。
根据该构成方式,能够根据在不易受到因自主移动体移动而引起的振动等的影响的状态下检测出的信息来进行同步处理,因此能够提高同步处理的稳定性和准确性。
也可以构成为:所述外部环境识别装置包括有异常通知装置,在所述同步处理部执行了所述同步处理之后所述相同物体的相互的位置偏移还没有被消除的情况下,所述异常通知装置将发出通知,通知所述外部环境识别传感器异常。
这样一来,便能够像例如外部环境识别传感器的安装位置的偏移等那样,检测外部环境识别传感器的物理位置的偏移,并将该情况通知给用户等。
-发明的效果-
如上所述,根据这里所公开的技术,能够配合着发生了位置偏移的时刻来执行同步处理,因此能够在相对较早的阶段进行同步处理,并且能够节约用于同步处理的资源。
附图说明
图1是示出安装有外部环境识别装置的汽车的控制系统的方框图。
图2是示出安装有车辆用信息显示装置的车辆的简图。
图3是示出外部环境识别装置的构成的方框图。
图4是表示外部环境识别装置的摄像头的布置例及拍摄范围之一例的图。
图5是示出外部环境识别装置的工作情况例的流程图。
图6A是用于说明外部环境识别装置的工作情况的图。
图6B是用于说明外部环境识别装置的工作情况的图。
图7是示出外部环境识别装置的工作情况例的时序图。
具体实施方式
下面,参照附图对示例性实施方式进行详细的说明。需要说明的是,在以下实施方式中,对以具有自动驾驶功能的汽车作为自主移动体之例进行说明。但是,能够应用本公开所涉及的外部环境识别装置的自主移动体并不限定于汽车,例如还可以是自主移动型行走机器人、吸尘器、无人机等。
图1为概略地示出本实施方式所涉及的车辆10的控制系统的构成的方框图。车辆10构成为能够进行辅助驾驶及自动驾驶。
在本实施方式中,为了能够进行辅助驾驶及自动驾驶,车辆10具有运算装置100,该运算装置100根据来自传感装置30的输出、从车外网络接收到的信息,计算车辆10应行驶的路径,并且决定车辆10的用于跟踪该路径的运动。运算装置100是由一个或多个芯片构成的微处理器,其具有CPU、存储器等。需要说明的是,在图1中,主要示出以用于发挥本实施方式所涉及的路径生成功能的构成,并未将运算装置100所具有的功能全部示出。
向运算装置100输出信息的传感装置30包括:例如,(1)设置于车辆10的车身等且拍摄车外环境(包括车外的物体)的多个摄像头20;(2)设置于车辆10的车身等且检测车外的人与物等的多个雷达32;(3)利用全球定位系统(Global Positioning System:GPS)检测车辆10的位置(车辆位置信息)的位置传感器33;(4)由车速传感器、加速度传感器、横摆率传感器等检测车辆10的举动的传感器类构成且获取车辆10的状态的车辆状态传感器34;(5)由车内摄像头等构成且获取车辆10上的乘员的状态的乘员状态传感器35;(6)用于检测驾驶员的驾驶操作的驾驶操作信息获取部36。经由与车外的网络相连接的车外通信部41向运算装置100输入来自位于本车辆10周围的其他车辆的通信信息、来自导航系统的交通信息。
各摄像头20分别被布置成能够在水平方向上360°地拍摄车辆10周围。具体而言,如图3所示,各摄像头20包括:使用CCD(Charged Coupled devices)或CMOS(ComplementaryMetal Oxide Semiconductor)等摄像元件来拍摄表示车外环境的光学图像并生成图像数据的摄像部20a(相当于信息检测部)。如图4所示,各摄像头20被布置为相邻布置的摄像头20之间分别具有摄像部20a的拍摄范围的一部分彼此相互重合的重合区域RF。在图4中,示出了在车辆10上设置有八台摄像头20的例子,为了之后便于说明,从设置在车辆10左前方的摄像头20开始按顺时针方向依次标注了符号21、22至28。在图4中,示意性地图示了各个摄像头21、22至28的拍摄范围,对各个拍摄范围标注了符号R21、R22至R28。在图4中,用圆点表示上述重合区域,并标注了符号RF。对拍摄车辆10的前方的摄像头21、22的重合区域RF标注了符号RF1。同样地,对摄像头21、28的重合区域RF标注了符号RF2,对摄像头22、23的重合区域标注了符号RF3。
各摄像头20将摄像部20a中的拍摄数据向运算装置100输出。摄像头20的拍摄数据除了输入运算装置100以外,也输入给HMI(Human Machine Interface:人机界面)单元61。HMI单元61将基于所获取的图像数据而得到的信息显示于车内的显示装置等上。摄像头20相当于用于拍摄车辆10的车外物体的拍摄装置。
与摄像头20一样,各雷达32分别被布置成其检测范围扩大到车辆10的周围水平方向上360°。雷达32的种类并没有特别限定,例如能够采用毫米波雷达等。需要说明的是,虽然省略了具体的图示,但各雷达32也可以是构成为能够进行拍摄的成像雷达或激光雷达等。并且,各雷达32也可以与上述摄像头20同样构成为将拍摄数据输出给运算装置100。在该情况下,雷达32相当于拍摄车辆10的车外环境的拍摄装置。
运算装置100构成为:根据来自摄像头20、雷达32等传感装置30的输出、经由车外通信部41从车外的网络接收到的信息来决定车辆10的目标运动,计算用于实现所决定的目标运动的驱动力、制动力、转向量,并将计算结果输出给控制发动机、制动器等的控制单元50。在图2的构成例中,运算装置100包括处理器和存储器。存储器中存储有模块,所述模块为能够由处理器执行的软件。图1所示的运算装置100各部分的功能例如由处理器执行存储在存储器中的各模块来实现。存储器中存储有在运算装置100中使用的模型的数据。需要说明的是,处理器及存储器可以分别为多个。图1所示的运算装置100的各部分功能的一部分可以由硬件电路来实现。
如图1所示,为了设定车辆10的目标运动,运算装置100具有:根据来自摄像头20等的传感装置30的输出、来自车外通信部41的输入信息来识别车外环境的车外环境识别部110;根据在车外环境识别部110识别出的车外环境,计算出车辆10能够行驶的一条或多条候选路径的候选路径生成部151;根据来自车辆状态传感器34的输出来推测车辆10的举动的车辆举动推测部152;根据来自乘员状态传感器35的输出来推测车辆10上的乘员的举动的乘员举动推测部153;决定车辆10应行驶的路径的路径决定部154;以及决定车辆10的用于跟踪路径决定部154设定的路径的目标运动的车辆运动决定部155。
〈车外环境识别部〉
如图3所示,车外环境识别部110根据来自各摄像头20的输出来识别车外环境,其包括物体识别部111、地图生成部112、相同物体识别部113、以及位置偏移检测部114。
物体识别部111根据从摄像头20接收到的拍摄数据、从雷达32接收到的反射波的峰值一览表等,来识别车外的物体是什么物体。例如,物体识别部111根据上述拍摄数据及峰值一览表等来检测车外的物体,使用存储于运算装置100的数据库等中的识别信息等来识别车外的物体是什么物体,并识别为“车物体信息”。物体识别部111也可以接收雷达32的输出,作为上述“车外物体信息”,获取包括存在于车辆10周边的人与物的位置及速度等“人与物的测量信息”。在物体识别部111中,根据“车外物体信息”或“人与物的测量信息”来对车外各物体进行分类,并且识别各个物体的位置信息。这里所说的分类例如可以分为物体是“静止物体”还是“能移动的物体”这样大的区分,也可以如“人”、“标志”、“人行横道”这样以具体的对象物为单位来进行区分。需要说明的是,在物体识别部111中,也可以用神经网络等来识别车外物体是什么物体并进行分类。物体识别部111也可以根据来自构成传感装置30的各传感器的输出信息,来掌握车辆10的位置及速度等。
地图生成部112根据由物体识别部111识别出的车外物体信息,来将车辆10周围的三维信息与车外环境模型进行对照,由此识别包括道路以及障碍物的车外环境,并进行将其绘制为地图的处理。车外环境模型例如为通过深层学习而生成的学习完毕模型,能够针对车辆周围的三维信息而识别道路以及障碍物等。需要说明的是,地图生成部112可以构成为生成周围的三维或二维地图,或者三维或二维地图都生成。
具体而言,例如,地图生成部112根据由物体识别部111识别出的车外物体信息,来确定自由空间即不存在物体的区域。这里的处理例如利用通过深层学习而生成的学习完毕模型。地图生成部112生成表示自由空间的二维地图。地图生成部112利用对人与物的测量信息,来生成表示车辆10周围的三维地图。这里,使用摄像头20的设置位置及拍摄方向信息、雷达32的设置位置及发送方向信息。地图生成部112通过将生成的三维地图与车外环境模型进行对比,由此而识别出包括道路及障碍物的车外环境,并将识别结果输出给候选路径生成部151。需要说明的是,深层学习使用多层神经网络(DNN:Deep Neural Network)。作为多层神经网络,例如有卷积神经网络(CNN:Convolutional Neural Network)。在候选路径生成部151中,根据车外环境识别部110的输出、位置传感器33的输出、以及经由车外通信部41从外部网络等接收到的信息等,生成车辆10能够行驶的候选路径。
相同物体识别部113根据由物体识别部111识别出的车外物体信息,对照相邻摄像头21、22至28的拍摄结果,抽出重合区域RF中的相同的物体(以下简称为相同物体)。
具体而言,例如,在图4中,示出了车辆10在交叉路口前停车,人P相对于车辆10的前进方向横跨车辆10前方的人行横道的例子。并且,相同物体识别部113例如在车辆10前方的重合区域RF1中,将设置在车辆前方的两个摄像头21、22的图像数据中包括的物体作为相同物体抽出。例如,在图4及后述的图6A、6B之例中,人P、人行横道71、路缘石72等被作为相同物体抽出。也就是说,相同物体识别部113的抽出处理通过对拍摄重合区域RF的两摄像头21、22的拍摄结果进行对照来进行。需要说明的是,相同物体并不限定于上述物体,也可以是其他车辆、标志牌等其他物体。
位置偏移检测部114判断重合区域中的相同物体的相互位置是否发生了偏移。在发生了位置偏移的情况下,输出使多个摄像头20同步的同步指示信号。例如,在图4之例中,将从由摄像头21拍摄重合区域RF而得到的图像中抽出的物体、与从由摄像头22拍摄重合区域RF而得到的图像中抽出的物体进行对照后,将相同物体抽出,并判断相同物体之间是否发生了位置偏移。位置偏移的判断方法没有特别限定,例如能够采用以下方法:在物体识别部111中,使相同物体中被识别为静止物体的物体彼此相互重叠,来确认其他相同物体是否存在位置偏移。在本实施方式中,示出了由物体识别部111、相同物体识别部113、以及位置偏移检测部114实现了相当于同步处理部的功能的例子。
(外部环境识别装置的工作情况)
接着,参照图5到图7来说明外部环境识别装置的工作情况。
在图5中,步骤S11至步骤S13示出了从由各摄像头20拍摄图像到由物体识别部111抽出相同物体为止的情况。
如图7所示,在步骤S11中,首先,从位置偏移检测部114向各摄像头21、22至28发送同步处理信号,执行同步处理。执行完同步处理后,各摄像头21、22至28便开始进行拍摄。各摄像头21、22至28根据自己的时钟信号,将拍摄结果发送给物体识别部111。在物体识别部111中,将从各摄像头21、22至28接收到的拍摄数据转换为图像数据后,检测图像数据中包括的物体。在图7中,为了使说明容易理解,在“P”字之后标注了摄像头的识别编号,在连字短横线后,对相同时刻的图像标注了相同的编号。例如,在图7中,P1-1表示摄像头21拍摄到的第一个图像,P1-2表示摄像头21拍摄到的第二个图像,P2-1表示摄像头22拍摄到的第一个图像。并且,w、x、y、z分别满足z=y+1=x+2=w+3的关系。
在步骤S12中,物体识别部111对各物体进行分类,并且推测各物体的位置。各物体的位置的推测方法没有特别限定,例如可以使用根据拍摄数据来复原三维空间的方法来进行推测。例如,还可以根据各摄像头21、22至28的安装位置来进行推测,也可以决定作为基准的物体,根据与作为该基准的物体之间的位置关系来进行推测。
在步骤S13中,由相同物体识别部113抽出重合区域RF内的相同物体。例如,图6A及图6B在上段左侧表示摄像头21的拍摄结果,在上段右侧表示摄像头22的拍摄结果。各个拍摄结果的假想线内侧的区域为重合区域RF1。在图6A以及图6B之例中,相同物体识别部113在各图的上段左右的两图像数据中,例如将人行横道71、正在穿过人行横道71的人P、在图像的后方一侧能够看到的L字形的路缘石72、以及停止线73识别为相同物体。此时,相同物体识别部113也可以参照时间顺序分前后的图像或者参照事先存储好的模板等,来确定相同物体中人行横道71、路缘石72、停止线73为静止物体,相同物体中人P为移动中的物体。
在下一步骤S14中,位置偏移检测部114检测由摄像头21拍摄到的重合区域RF的图像与由摄像头22拍摄到的重合区域RF的图像之间的位置偏移。图6A表示没有位置偏移时的图像例,图6B表示有了位置偏移时的图像例。位置偏移检测部114例如从摄像头21、22的两个拍摄图像确定作为相同物体且为静止物体的路缘石72前侧的角部72a,通过使它们相互重叠来进行两图像的对位,而通过观察角部72a以外的物体的重叠情况来检测两图像的位置偏移。结果,例如在图6A中检测出在所有相同物体都没有位置偏移。
回到图5,如果在步骤S14中未检测出有位置偏移,在下一步骤S15中就会判断为“否”,流程返回到上述步骤S11。
另一方面,在图6B中,检测出人P发生了图像模糊而存在位置偏移。当在位置偏移检测部114中检测出位置偏移了时,位置偏移检测部114便例如如图7所示,将表示发生了位置偏移的旗标立起来。在图7之例中,摄像头21的图像P1-w及摄像头28的图像P8-w为相同时刻的图像,但由于摄像头22的图像P2-x为时刻与摄像头21、28不同的图像,因此发生了位置偏移。结果位置偏移检测旗标就立起来了。
回到图5,如果在步骤S14中检测出有位置偏移在下一步骤S15中就会判断为“是”,位置偏移检测部114就会确认是否已实施完摄像头20的同步处理(步骤S16)。也就是说,位置偏移检测部114确认后述步骤S17中的同步处理是否已经执行完毕。
当在步骤S16中尚未实施摄像头20的同步处理的情况下(步骤S16为“否”的情况下),位置偏移检测部114进行让发生了位置偏移的摄像头20同步的同步处理(步骤S17)。例如,位置偏移检测部114通过对成为同步处理对象的摄像头20发送同步处理信号,来进行摄像头20的同步处理。如图7所示,这里的同步处理,既可以以所有的摄像头为对象进行同步处理,也可以已被确认出有了位置偏移的拍摄重合区域RF的摄像头20(在图6B之例中为摄像头21、22)进行同步处理。摄像头20的同步处理的具体方法能够使用以往公知的方法,因此在此省略其详细说明。当步骤S17中的同步处理结束时,流程返回至步骤S11。
另一方面,当在步骤S16中对像头20的同步处理已经实施完毕的情况下(在步骤S16中为“是”的情况下),运算装置100则发出通知,通知位置偏移并没有通过同步处理而被消除(步骤S18)。在位置偏移并没有通过摄像头20的同步处理而被消除的情况下,具有因来自外部的冲击等而出现“摄像头20的安装位置本身偏移”这样的物理位置偏移的可能性。故能够督促驾驶员等对状况进行确认。需要说明的是,步骤S18中的通知方法没有特别限定。虽然省略了图示,但例如有使用扬声器或蜂鸣器等使用警告音发出通知、使用警告灯发出通知、经由汽车导航等显示画面等而发出通知等方法。扬声器、蜂鸣器、警告灯、汽车导航为异常通知装置之一例。
返回到图1,以下简单地说明候选路径生成部151后段的块。
车辆举动推测部152根据车速传感器、加速度传感器、横摆率传感器等检测车辆举动的传感器类的输出,推测车辆的状态。车辆举动推测部152生成表示车辆的举动的车辆六轴模型。
乘员举动推测部153根据乘员状态传感器35的检测结果,特别地推测驾驶员的健康状态和情绪。作为健康状态例如有:健康、轻度疲劳、身体状况不佳、意识能力下降等。作为情绪例如有:愉快、普通、无聊、焦躁、不愉快等。
路径决定部154根据乘员举动推测部153的输出,决定车辆10应行驶的路径。在候选路径生成部151生成的路径为一条的情况下,路径决定部154将该路径作为车辆10应行驶的路径。在候选路径生成部151生成的路径有多条的情况下,会考虑着乘员举动推测部153的输出,例如,在多条候选路径中选择乘员(特别是驾驶员)觉得最舒适的路径,即选择不会让驾驶员有为了避开障碍物而过于慎重等拖拉感的路径。
车辆运动决定部155针对路径决定部154决定的行驶路径决定目标运动。所谓目标运动,是指如按照行驶路径行驶的转向及加减速。车辆运动决定部155参照车辆六轴模型,针对路径决定部154选择出的行驶路径运算车身的活动情况。
物理量计算部是计算用于达成目标运动的驱动力、制动力和转向量的计算部,并且由驱动力计算部161、制动力计算部162及转向量计算部163所构成。驱动力计算部161计算为了达成目标运动动力传动装置(发动机及变速器)应生成的目标驱动力;制动力计算部162计算为了达成目标运动制动装置应生成的目标制动力;转向量计算部163计算为了达成目标运动转向装置应生成的目标转向量。
周边设备动作设定部170根据车辆运动决定部155的输出,设定车灯或车门等车辆10的车身相关的装置的工作情况。需要说明的是,装置包括在汽车行驶时或驻停车时受控制的执行器或传感器等装置类。
〈运算装置的输出目的地〉
运算装置100的运算结果输出给控制单元50及车身系微机60。控制单元50由动力传动微机51、制动微机52以及转向微机53构成。具体而言,向动力传动微机51输入由驱动力计算部161计算出的与目标驱动力相关的信息;向制动微机52输入由制动力计算部162计算出的与目标制动力相关的信息;向转向微机53输入由转向量计算部163计算出的与目标转向量相关的信息;向车身系微机60输入由周边设备动作设定部170设定出的与车身相关的各装置的动作相关的信息。需要说明的是,转向微机53包括电动式动力转向系统(EPAS)用微机。
综上所述,本实施方式中的外部环境识别装置包括:多个摄像头20,其分别具有对车外环境进行拍摄的摄像部20a,并被布置成具有摄像部20a的拍摄范围的至少一部分彼此相互重合的重合区域RF;以及一个同步处理部,其根据各摄像头20的拍摄结果抽出重合区域RF中的相同物体(例如人P),在重合区域RF中的相同物体的相互位置偏移了的情况下进行使多个摄像头20同步的同步处理。
根据本实施方式,在外部环境识别装置中,在重合区域RF中的相同物体的相互位置已偏移了的情况下,进行使多个摄像头20同步的同步处理,因此能够配合着位置偏移的发生时刻来执行摄像头20的同步处理。在摄像头20的拍摄结果中未发生位置偏移的情况下,也就是说,在摄像头20彼此相互同步的状态正在持续的那段期间中,能够做到不执行同步处理。这样一来,与专利文献1那样周期性地执行同步处理的情况相比,能够节约用于进行同步处理的处理资源。由于对摄像头20进行同步处理,因此能够从摄像头20得到同步处理后的输出信号。也就是说,能够使进行用于识别车外环境的各种图像处理等之前的那一阶段的信号同步,因此能够降低图像处理等的处理负荷。
(其他实施方式)
在上述实施方式中,示出了使用摄像头20作为外部环境识别传感器的例子,但外部环境识别传感器不限定于摄像头20,也可以是其他的传感装置30。例如,作为外部环境识别传感器,可以在使用摄像头20上再加上使用雷达32,或者代替摄像头20使用雷达32。
在上述实施方式中,示出了从重合区域RF中抽出静止物体(例如路缘石72),通过使静止物体(例如路缘石72的角部72a)彼此相互重叠来检测相同物体(例如人物P)的相互位置已偏移了的例子,但相同物体的相互位置是否偏移了的判断方法并不限定于此。例如,由于摄像头20的安装位置是固定的,因此既可以根据摄像头20的安装位置让相互重合区域的位置关系直接重合,也可以根据物体间的物理距离进行判断。不过,通过确定静止物体并使其相互重叠,能够更准确地进行对位。
在上述实施方式中,示出了在车辆10停止在交叉路口时由外部环境识别装置进行同步处理的例子,但也可以在车辆10的行驶过程中执行与图5相同的流程(位置偏移检测及同步处理)。
也可以使用多个重合区域的图像将发生了位置偏移的摄像头20确定下来。具体而言,除了摄像头21、22的重合区域RF1之外,也在摄像头21、28的重合区域RF2、以及摄像头22、23的重合区域RF3中执行与上述实施方式相同的位置偏移检测处理。此时,如果在重合区域RF1中发生了如图6B所示的位置偏移的情况下,在重合区域RF2中也发生了同样的位置偏移,则能够确定为在摄像头20发生了位置偏移。像这样,通过将发生了位置偏移的摄像头确定下来,就能够仅对该摄像头执行同步处理,或者通知用户等。
-产业实用性-
这里所公开的技术作为识别自主移动体的外部环境的外部环境识别装置是有用的。
-符号说明-
10 车辆(自主移动体)
20 摄像头(外部环境识别传感器)
20a 摄像部(信息检测部)
RF 重合区域
Claims (3)
1.一种外部环境识别装置,其识别自主移动体的外部环境,其特征在于:所述外部环境识别装置包括多个外部环境识别传感器和一个同步处理部,
多个所述外部环境识别传感器中的每一个所述外部环境识别传感器分别具有检测所述自主移动体外部的物体的信息的信息检测部,多个所述外部环境识别传感器被布置成具有该信息检测部的检测范围的至少一部分彼此相互重合的重合区域,
所述同步处理部根据各所述外部环境识别传感器的检测结果抽出所述重合区域中的相同物体,在所述重合区域中的所述相同物体的相互位置偏移的情况下,所述同步处理部通过对发生了位置偏移的所述外部环境识别传感器发送同步处理信号,来进行使多个所述外部环境识别传感器同步的同步处理,
所述外部环境识别装置还包括异常通知装置,在所述同步处理部执行了所述同步处理之后所述相同物体的相互的位置偏移还没有被消除的情况下,所述异常通知装置将发出通知,通知所述外部环境识别传感器异常。
2.根据权利要求1所述的外部环境识别装置,其特征在于:
多个所述外部环境识别传感器包括被布置成具有所述重合区域的多个摄像头,
所述同步处理部从多个所述摄像头的重合区域的图像中抽出相同物体,并从所述相同物体中确定出静止物体,且使该静止物体彼此相互重叠,由此来判断所述相同物体的相互位置是否偏移了。
3.根据权利要求1所述的外部环境识别装置,其特征在于:
所述同步处理部根据对所述重合区域中的相同物体的抽出结果来判断所述相同物体的相互位置是否偏移了,对所述重合区域中的相同物体的抽出结果为在所述自主移动体的移动速度小于规定的阈值时检测出的。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-111369 | 2019-06-14 | ||
JP2019111369A JP2020205498A (ja) | 2019-06-14 | 2019-06-14 | 外部環境認識装置 |
PCT/JP2020/011261 WO2020250520A1 (ja) | 2019-06-14 | 2020-03-13 | 外部環境認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113875223A CN113875223A (zh) | 2021-12-31 |
CN113875223B true CN113875223B (zh) | 2024-02-06 |
Family
ID=73781762
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080038377.XA Active CN113875223B (zh) | 2019-06-14 | 2020-03-13 | 外部环境识别装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11961307B2 (zh) |
EP (1) | EP3982625B1 (zh) |
JP (1) | JP2020205498A (zh) |
CN (1) | CN113875223B (zh) |
WO (1) | WO2020250520A1 (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104424487A (zh) * | 2013-09-09 | 2015-03-18 | 富士重工业株式会社 | 车外环境识别装置 |
CN105340266A (zh) * | 2014-03-03 | 2016-02-17 | Smk株式会社 | 图像处理系统 |
CN106170828A (zh) * | 2014-04-24 | 2016-11-30 | 日立汽车系统株式会社 | 外界识别装置 |
CN109074651A (zh) * | 2016-02-12 | 2018-12-21 | 日立汽车系统株式会社 | 移动体的周围环境识别装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3965078B2 (ja) * | 2002-05-27 | 2007-08-22 | 富士重工業株式会社 | ステレオ式車外監視装置およびその制御方法 |
JP2005117554A (ja) | 2003-10-10 | 2005-04-28 | Nissan Motor Co Ltd | 車両周囲画像変換装置 |
US7868913B2 (en) | 2003-10-10 | 2011-01-11 | Nissan Motor Co., Ltd. | Apparatus for converting images of vehicle surroundings |
JP4748082B2 (ja) * | 2007-02-23 | 2011-08-17 | トヨタ自動車株式会社 | 車両用周辺監視装置及び車両用周辺監視方法 |
WO2011132364A1 (ja) * | 2010-04-19 | 2011-10-27 | パナソニック株式会社 | 立体画像撮影装置および立体画像撮影方法 |
FR2967324B1 (fr) * | 2010-11-05 | 2016-11-04 | Transvideo | Procede et dispositif de controle du dephasage entre cameras stereoscopiques |
JP5568458B2 (ja) | 2010-12-24 | 2014-08-06 | 京セラ株式会社 | ステレオカメラ装置 |
WO2013094115A1 (ja) * | 2011-12-19 | 2013-06-27 | 日本電気株式会社 | 時刻同期情報算出装置、時刻同期情報算出方法および時刻同期情報算出プログラム |
CN106686303A (zh) * | 2016-12-05 | 2017-05-17 | 上海小蚁科技有限公司 | 相机系统和用于控制多个相机的方法 |
US10798368B2 (en) * | 2018-03-13 | 2020-10-06 | Lyft, Inc. | Exposure coordination for multiple cameras |
JP7271215B2 (ja) * | 2019-02-18 | 2023-05-11 | キヤノン株式会社 | 同期制御装置、同期制御方法、及びプログラム |
-
2019
- 2019-06-14 JP JP2019111369A patent/JP2020205498A/ja active Pending
-
2020
- 2020-03-13 US US17/618,517 patent/US11961307B2/en active Active
- 2020-03-13 CN CN202080038377.XA patent/CN113875223B/zh active Active
- 2020-03-13 EP EP20821843.8A patent/EP3982625B1/en active Active
- 2020-03-13 WO PCT/JP2020/011261 patent/WO2020250520A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104424487A (zh) * | 2013-09-09 | 2015-03-18 | 富士重工业株式会社 | 车外环境识别装置 |
CN105340266A (zh) * | 2014-03-03 | 2016-02-17 | Smk株式会社 | 图像处理系统 |
CN106170828A (zh) * | 2014-04-24 | 2016-11-30 | 日立汽车系统株式会社 | 外界识别装置 |
CN109074651A (zh) * | 2016-02-12 | 2018-12-21 | 日立汽车系统株式会社 | 移动体的周围环境识别装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3982625B1 (en) | 2024-05-29 |
US11961307B2 (en) | 2024-04-16 |
EP3982625A1 (en) | 2022-04-13 |
WO2020250520A1 (ja) | 2020-12-17 |
US20220237920A1 (en) | 2022-07-28 |
CN113875223A (zh) | 2021-12-31 |
EP3982625A4 (en) | 2022-08-17 |
JP2020205498A (ja) | 2020-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20170008531A1 (en) | Driving assistant for vehicles | |
US11008002B2 (en) | Vehicle control device, vehicle control method, and program for collision avoidance | |
WO2019073920A1 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
CN112046481B (zh) | 自动驾驶装置和方法 | |
US11753002B2 (en) | Vehicular control system | |
JP2018063476A (ja) | 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム | |
WO2019150918A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び移動体 | |
JP7112255B2 (ja) | 車両データの時刻同期装置及び方法 | |
CN114537430A (zh) | 车辆控制装置、车辆控制方法及计算机可读取的存储介质 | |
US20220222936A1 (en) | Outside environment recognition device | |
US20220237921A1 (en) | Outside environment recognition device | |
CN113875223B (zh) | 外部环境识别装置 | |
JP7244562B2 (ja) | 移動体の制御装置及び制御方法並びに車両 | |
US11830254B2 (en) | Outside environment recognition device | |
EP4060643B1 (en) | Traffic signal recognition method and traffic signal recognition device | |
US12024161B2 (en) | Vehicular control system | |
US20220237899A1 (en) | Outside environment recognition device | |
US11983936B2 (en) | Data collection device, vehicle control device, data collection system, data collection method, and storage medium | |
CN111717201B (zh) | 车辆系统、车辆系统的控制方法及存储介质 | |
CN112172804B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
US20220410916A1 (en) | Vehicular driving assist system using forward viewing camera | |
CN117622205A (zh) | 车辆控制装置、车辆控制方法以及车辆控制用计算机程序 | |
CN115179864A (zh) | 移动体的控制装置及控制方法、存储介质以及车辆 | |
CN115214654A (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
CN116416585A (zh) | 使用来自二维图像的信息改进三维数据关联的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |