CN108027237B - 周边识别装置 - Google Patents

周边识别装置 Download PDF

Info

Publication number
CN108027237B
CN108027237B CN201680033003.2A CN201680033003A CN108027237B CN 108027237 B CN108027237 B CN 108027237B CN 201680033003 A CN201680033003 A CN 201680033003A CN 108027237 B CN108027237 B CN 108027237B
Authority
CN
China
Prior art keywords
distance
unit
short
recognition
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680033003.2A
Other languages
English (en)
Other versions
CN108027237A (zh
Inventor
菲利普·戈麦斯·卡巴雷罗
竹村雅幸
永崎健
村松彰二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Publication of CN108027237A publication Critical patent/CN108027237A/zh
Application granted granted Critical
Publication of CN108027237B publication Critical patent/CN108027237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/265—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network constructional aspects of navigation devices, e.g. housings, mountings, displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种能够抑制对从被远距离传感器或广角近距离传感器覆盖的区域中的一方移动至另一方的物体进行识别的物体识别处理的负荷、而且能够降低从被远距离传感器或广角近距离传感器覆盖的区域移动到交界区域的物体的不识别或误识别的比例的周边识别装置。周边识别装置具备：第1传感器部(11a)；第2传感器部(11b)；远距离物体识别部(13)，其根据基于由第1传感器部(11a)获取到的状况数据算出的三维远距离数据来进行远距离区域内存在的物体的识别；近距离物体识别部(14)，其根据基于由第2传感器部(11b)获取到的状况数据算出的三维广角近距离数据来进行广角且近距离区域内存在的物体的识别；以及反馈部(15)，其在远距离物体识别部(13)与近距离物体识别部(14)之间进行与物体有关的信息的传递。

Description

周边识别装置
技术领域
本发明涉及一种周边识别装置，尤其涉及一种适于对远距离检测用传感器部和广角且近距离检测用传感器部安装的周边识别装置。
背景技术
近年来，利用立体摄像机来检测立体物(三维物体)的影像处理装置得到使用。
所述影像处理装置在检测可疑人员的侵入或者其他异常的监视系统、支持汽车的安全驾驶的车载系统用的应用中加以使用。
在车载环境下，例如，为了满足用以检测位于前方的车辆、行人、物体的应用的必要条件，必须实现物体的检测和距离测量，事先找出安全地驾驶的方法。
在专利文献1揭示的影像处理装置中，使用多个摄像机来组合针对远距离和近距离的距离影像，由此检测摄像机到远距离区域和近距离区域内存在的对象物的距离，通过使用该组合而成的距离影像的立体物检测功能来削减硬件或软件的规模。
现有技术文献
专利文献
专利文献1：日本专利特开2012-103109号公报
发明内容
发明要解决的问题
然而，在对检测到的物体的类型(种类)进行识别的上述现有技术中，在对象物从被远距离区域摄像机覆盖的区域移动至被近距离区域摄像机覆盖的区域或者反过来从被近距离区域摄像机覆盖的区域移动至被远距离区域摄像机覆盖的区域的情况下，必须对进入该区域的候选物体进行完全的物体识别，导致物体识别处理的负荷增大。此外，通常，其交界区域的测量精度会降低，因此，存在从被远距离摄像机或近距离摄像机覆盖的区域移动到交界区域的物体的不识别或误识别的比例增加的问题。
本发明是鉴于所述问题而成，其目的在于提供一种能够抑制对从被远距离传感器或广角近距离传感器覆盖的区域中的一方移动至另一方的物体进行识别的物体识别处理的负荷、而且能够降低从被远距离传感器或广角近距离传感器覆盖的区域移动到交界区域的物体的不识别或误识别的比例的周边识别装置。
解决问题的技术手段
为了解决上述问题，本发明的周边识别装置的特征在于，具备：第1传感器部，其用以获取远距离区域的状况数据；第2传感器部，其具有角度比所述第1传感器部广的检测区域，而且用以获取该检测区域内的近距离区域的状况数据；远距离物体识别部，其根据基于由所述第1传感器部获取到的状况数据算出的三维远距离数据，来进行远距离区域内存在的物体的识别；近距离物体识别部，其根据基于由所述第2传感器部获取到的状况数据算出的三维广角近距离数据，来进行广角且近距离区域内存在的物体的识别；以及信息协作部，其在所述远距离物体识别部与所述近距离物体识别部之间进行与物体有关的信息的传递。
进而，本发明的周边识别装置的特征在于，具备：传感器部，其用以获取车辆外部的状况数据；以及物体识别部，其根据由所述传感器部获取到的状况数据来进行物体的检测及识别，所述物体识别部根据所述可识别区域内的识别结果来确定相对移动体，所述相对移动体从能够检测及识别物体的可识别区域相对移动到能够检测物体但无法识别的可检测区域。
发明的效果
根据本发明的周边识别装置，能够抑制对从被远距离用第1传感器部和广角且近距离用第2传感器部覆盖的区域中的一方移动至另一方的物体进行识别的物体识别处理的负荷，而且能够降低从被远距离用第1传感器部和广角且近距离用第2传感器部覆盖的区域中的一方(可识别区域)移动到交界区域(可检测区域)的物体的不识别或误识别的比例。
上述以外的课题、构成及效果将通过以下实施方式的说明来加以明确。
附图说明
图1为表示本发明的周边识别装置的第1实施方式的内部构成的框图。
图2为表示被图1所示的各摄像机覆盖的检测区域的俯视图。
图3为表示立体物映像的概要的图。
图4为表示装备有图1所示的周边识别装置的车辆处于十字路口的状况的图，(A)为其俯瞰图，(B)为表示车辆前方的情景的图。
图5为依序表示装备有图1所示的周边识别装置的车辆进入十字路口的状况的俯瞰图，(A)为表示行人包含在远距离可识别区域内的状况的图，(B)为表示行人包含在可检测区域内的状况的图，(C)为表示行人包含在近距离可识别区域内的状况的图。
图6为说明由图1所示的周边识别装置进行的物体识别处理的流程图。
图7为表示本发明的周边识别装置的第2实施方式的内部构成的框图。
图8为表示装备有图7所示的周边识别装置的车辆处于十字路口的状况的俯瞰图，(A)为表示两轮车包含在远距离可识别区域内的状况的图，(B)为表示两轮车包含在可检测区域内的状况的图。
图9为表示本发明的周边识别装置的第3实施方式的内部构成的框图。
图10为依序表示装备有图9所示的周边识别装置的车辆在干线公路上行驶的状况的俯瞰图，(A)为表示在超车道上行驶的车辆包含在近距离可识别区域内的状况的图，(B)为表示在超车道上行驶的车辆包含在可检测区域内的状况的图，(C)为表示在超车道上行驶的车辆包含在远距离可识别区域内的状况的图。
具体实施方式
下面，参考附图，对本发明的周边识别装置的实施方式进行说明。再者，下面是对通过配备由适于远距离检测的摄像机和适于广角且近距离检测的摄像机构成的一对车载摄像机的立体摄像机装置来构成远距离检测用第1传感器部和广角且近距离检测用第2传感器部的情况进行说明，但所述第1传感器部和所述第2传感器部当然也可通过例如由雷达或超声波传感器等构成的检测装置来构成。
＜第1实施方式＞
图1为表示本发明的周边识别装置的第1实施方式的内部构成的框图。
如图所示，本实施方式的周边识别装置1基本上具备：2台摄像机(传感器部)11a、11b，它们被设置成相同高度；物体识别部18，其具有三维距离影像生成部12、远距离物体识别部13、近距离物体识别部14及反馈部(信息协作部)15；以及控制应用处理部16。
为了获取车辆外部的状况数据，2台摄像机11a、11b例如朝向车辆的前方而被配置在该车辆的大致相同的位置，摄像机11a适于远距离检测(即，能以高精度获取远距离区域内存在的物体等的状况数据)，摄像机11b适于广角且近距离检测(即，具有比摄像机11a广的视野(检测区域)，能以高精度获取广角且近距离区域内存在的物体等的状况数据)(参考图2)。
三维距离影像生成部12作为如下三维数据生成部而发挥功能：根据由摄像机(第1传感器部)11a获得的状况数据来进行三维远距离数据的算出，而且根据由摄像机(第2传感器部)11b获得的状况数据来进行三维广角近距离数据的算出。
具体而言，三维距离影像生成部12使用从各摄像机11a、11b接收到的影像信号来进行立体匹配，制作图4的(B)所示的区域100d的针对远距离的三维距离影像和图4的(B)所示的区域100e的针对广角且近距离的三维距离影像。在该立体匹配中，针对相互比较的2个影像中的各自预先确定的单位影像而确定影像信号间的差为最小的单位影像。即，检测映现出相同对象物的区域。由此，构成针对远距离的三维距离影像和针对广角且近距离的三维距离影像。再者，三维距离影像是具有实际环境中的摄像机到对象物的距离的值的影像。此外，三维距离影像生成部12还制作图4的(B)所示的区域100d的针对远距离的影像(远距离影像)和图4的(B)所示的区域100e的针对广角且近距离的影像(近距离影像)。
远距离物体识别部13作为进行存在于作为第1区域的远距离区域内的物体的识别的第1物体识别部而发挥功能，根据由三维距离影像生成部12制作的针对远距离的三维距离影像和远距离影像(三维远距离数据)来识别影像中的立体物。然后，远距离物体识别部13将识别出的立体物的信息发送至反馈部15。
反馈部15作为在远距离物体识别部13与近距离物体识别部14之间进行与物体有关的信息的传递的信息协作部而发挥功能，此处，记录由远距离物体识别部13识别出的立体物的信息，而且将存储的立体物的信息发送至近距离物体识别部14。
此处，为了记录由远距离物体识别部13和近距离物体识别部14制作的物体识别信息，反馈部15可以具备图3所示那样的、至少表示立体物的种类以及三维物体在实际环境中的当前位置和速度的立体物映像15a。
近距离物体识别部14作为第2物体识别部而发挥功能，该第2物体识别部进行作为不同于所述第1区域的第2区域的广角且近距离区域内存在的物体的识别而且进行作为不同于所述第1区域及所述第2区域的第3区域的可检测区域(将于后文叙述)内存在的物体的检测，根据由三维距离影像生成部12制作的针对近距离的三维距离影像和近距离影像(三维广角近距离数据)来识别影像中的立体物。然后，近距离物体识别部14读出由反馈部15发送的已识别的立体物的信息。
控制应用处理部16根据由远距离物体识别部13和近距离物体识别部14识别出的立体物来确定由搭载有该周边识别装置1的车辆执行的控制应用(控制动作)。
接着，参考图2、图4～图6，对所述周边识别装置1作为用以监视车辆的周围的系统加以运用的情况进行更具体的说明。
图2展示了车辆V中搭载的各摄像机11a、11b的视野(检测区域100a、100b)。摄像机11a具有视野角度θa的检测区域100a，该检测区域100a的外侧的区域(与车辆V相距规定距离程度的区域)101a被设定为远距离“可识别区域”(第1区域)。此外，摄像机11b具有视野角度θb(＞θa)的检测区域100b，该检测区域100b的内侧的区域(车辆V到规定距离的区域)101b被设定为广角且近距离“可识别区域”(第2区域)，该检测区域100b的外侧的区域(与车辆V相距规定距离程度的区域)尤其是其中的所述远距离“可识别区域”101a的侧方的区域101c被设定为“可检测区域(也称为交界区域)”(第3区域)。
再者，在本说明书中，所谓“可识别”，意指能够获取物体(立体物)的种类(车辆、两轮车、自行车、行人、护栏、交通信号灯、电线杆等)、该物体的位置、该物体的速度等与物体有关的各种信息，所谓“可检测”，意指例如无法获取与物体(立体物)的种类有关的信息但能够获取该物体的位置、该物体的速度等信息。即，前文所述的“可检测区域”101c相较于广角且近距离“可识别区域”101b而言测量精度较低，因此，在“可检测区域”101c内，有可能无法识别物体。
图4展示了装备有图1所示的周边识别装置1的车辆V处于十字路口的状况。
图4的(A)为行人PA、行人PB及车辆VA处于周边识别装置1(的各摄像机11a、11b)的视野内的情况的俯瞰图，此处展示的是车辆VA处于远距离“可识别区域”101a内、行人PA处于广角且近距离“可识别区域”101b内、行人PB从远距离“可识别区域”101a移动而处于“可检测区域”101c内的状况。
此外，图4的(B)通过由各摄像机11a、11b获取到的影像来显示前文所述的状况，区域100d与被远距离“可识别区域”101a覆盖的区域相对应，区域100e与被广角且近距离“可识别区域”101b和“可检测区域”101c覆盖的区域相对应。再者，如上所述，区域100e的行人PA处于广角且近距离“可识别区域”内，因此能够识别为行人，但区域100e的行人PB处于“可检测区域”内，因此，仅靠从摄像机11b获得的信息有可能无法识别是否为行人。
图5依序展示了装备有图1所示的周边识别装置1的车辆V进入十字路口的状况。
如图5的(A)所示，随着车辆V接近十字路口，行人P1、P2(相对于车辆V而相对移动的物体即相对移动体)进入远距离“可识别区域”101a，因此，该行人P1、P2被远距离物体识别部13(按照后文叙述的图6所示的流程)识别，作为识别结果的立体物信息(与该立体物有关的信息)被记录至反馈部15。
然后，如图5的(B)所示，当车辆V朝十字路口继续移动时，行人P1、P2从远距离“可识别区域”101a移动而到达“可检测区域”101c。此处，近距离物体识别部14使用从反馈部15发送的立体物信息来推定由远距离物体识别部13记录的立体物的当前位置，并将该推定结果与后文叙述的图6所示的物体检测处理步骤S3的结果进行对照，从而算出行人P1、P2的立体物信息。
接着，如图5的(C)所示，当行人P1、P2从远距离“可识别区域”101a移动而到达广角且近距离“可识别区域”101b时，近距离物体识别部14使用从反馈部15发送的立体物信息和后文叙述的图6所示的物体检测处理步骤S3的结果来算出行人P1、P2的立体物信息。
图6为说明由图1所示的周边识别装置1进行的物体识别处理、尤其是由远距离物体识别部13及近距离物体识别部14各自执行的处理的流程图。
首先，在物体识别预处理步骤S1中，对由三维距离影像生成部12生成的对应的三维距离影像和区域影像进行处理。再者，该处理方法可以运用以往所知晓的方法，所以此处省略其详细说明。
然后，在反馈数据接收步骤S2中，若能够读入，则读出由反馈部15发送的立体物信息，而且，在物体检测处理步骤S3中，算出成为候选的立体物在实际环境中的位置。
接着，在物体数据存在确认步骤S4中，判断由反馈部15发送的立体物信息中是否有与成为候选的立体物有关的立体物信息，在判断没有的情况下，在处理类型确定步骤S5中根据成为候选的立体物的特性来确定应执行的物体识别处理的类型(种类)，在物体识别处理步骤S6中执行处理类型确定步骤S5中确定的识别处理，生成至少包含立体物的种类以及当前位置和速度的立体物信息。
另一方面，在物体数据存在确认步骤S4中，在判断由反馈部15发送的立体物信息中有与成为候选的立体物有关的立体物信息的情况下，在可识别测试步骤S7中判断成为候选的立体物是否处于“可识别区域”内，在判断处于“可识别区域”内的情况下，在物体信息更新步骤S9中使用从反馈部15发送的立体物信息和物体检测处理步骤S3的结果(立体物在实际环境中的位置)来生成立体物信息。
另一方面，在可识别测试步骤S7中，在判断成为候选的立体物不在“可识别区域”内的情况下，在当前位置推定步骤S8中算出在从反馈部15发送的信息中有信息的立体物的当前位置，并将该算出结果与物体检测处理步骤S3的结果(立体物在实际环境中的位置)进行对照，在物体信息更新步骤S9中使用从反馈部15发送的立体物信息和物体检测处理步骤S3的结果来生成立体物信息。
继而，在物体信息记录步骤S10中，将物体识别处理步骤S6或物体信息更新步骤S9中生成的立体物信息记录至反馈部15。
如此，根据本实施方式的周边识别装置1，具备第1物体识别部和第2物体识别部，所述第1物体识别部进行第1区域内存在的物体的识别，所述第2物体识别部进行不同于第1区域的第2区域内存在的物体的识别而且进行不同于第1区域及第2区域的第3区域内存在的物体的检测，并且，信息协作部(反馈部)在第1物体识别部与第2物体识别部之间进行与物体有关的信息的传递。具体而言，反馈部15在远距离物体识别部13与近距离物体识别部14之间进行与物体有关的信息的传递，所传递的信息中包含由远距离物体识别部13和近距离物体识别部14制作的物体识别信息，该传递的物体识别信息用于确定物体是否从被各摄像机(第1传感器部和第2传感器部)11a、11b覆盖的区域101a、101b(参考图2)中的一方移动到了另一方。因此，根据所传递的物体识别信息来识别物体，所以能够抑制远距离物体识别部13及近距离物体识别部14中的一方或双方(第1实施方式中为近距离物体识别部14)的处理负荷。
此外，由于由远距离物体识别部13和近距离物体识别部14制作的物体识别信息被记录至反馈部15，因此该物体识别信息用于识别从被各摄像机(第1传感器部和第2传感器部)11a、11b覆盖的区域101a、101b(参考图2，“可识别区域”)中的一方移动而存在于它们之间的区域101c(参考图2，“可检测区域”)内的物体。因此，能够降低从“可识别区域”移动而到达“可检测区域”的物体的不识别或误识别的比例。
即，通过这种本第1实施方式的周边识别装置1的构成及动作，在对象物(相对移动体)从远距离“可识别区域”移动而到达近距离“可识别区域”时，能够抑制近距离物体识别部14的负荷，而且能够降低从远距离“可识别区域”移动而到达“可检测区域”的对象物(相对移动体)的不识别或误识别的比例。
＜第2实施方式＞
图7为表示本发明的周边识别装置的第2实施方式的内部构成的框图。
相对于图1所示的第1实施方式的周边识别装置1而言，图7所示的本第2实施方式的周边识别装置1A的不同点仅仅在于具备物体行动预测部17A，其他构成大致相同。因而，对与第1实施方式的周边识别装置1相同的构成标注相同符号并省略其详细说明，下面，主要对作为不同点的物体行动预测部17A进行说明。
物体行动预测部17A根据从由远距离物体识别部13A及近距离物体识别部14A中的一方或双方生成的立体物信息(至少包含立体物的种类以及当前位置和速度)获得的对象物的特征来算出该对象物将来所遵循的实际环境中的路径的预测值。
控制应用处理部16A根据由远距离物体识别部13A和近距离物体识别部14A识别出的立体物连同由物体行动预测部17A预测出的物体的行动来确定由搭载有该周边识别装置1A的车辆执行的控制应用(控制动作)。
接着，参考图8，对所述周边识别装置1A作为用以监视车辆的周围的系统加以运用的情况进行更具体的说明。
图8展示了装备有图7所示的周边识别装置1A的车辆V处于十字路口、车辆V的驾驶员正要沿路径PT1右转的状况。
如图8的(A)所示，在该状况下，两轮车TV1(相对移动体)被远距离物体识别部13A识别，由此生成的立体物信息被物体行动预测部17A使用，以算出为了确定由该车辆V执行的控制应用而由控制应用处理部16A加以使用的立体物的路径PT2(图示例中为两轮车TV1在对向车道上直线前进的路径)。
此外，如图8的(B)所示，当两轮车TV1从远距离“可识别区域”101a移动而到达“可检测区域”101c时，近距离物体识别部14A使用从反馈部15A发送的立体物信息来算出两轮车TV1的立体物信息。继而，由此生成的立体物信息被物体行动预测部17A使用，以算出为了确定由该车辆V执行的控制应用而由控制应用处理部16A加以使用的立体物的路径PT3(图示例中为两轮车TV1进一步直线前进的路径)。
在本第2实施方式的周边识别装置1A中，与上述第1实施方式的周边识别装置1一样，也能降低从远距离“可识别区域”移动而到达“可检测区域”的对象物(相对移动体)的不识别或误识别的比例。
＜第3实施方式＞
图9为表示本发明的周边识别装置的第3实施方式的内部构成的框图。
相对于图1所示的第1实施方式的周边识别装置1而言，图9所示的本第3实施方式的周边识别装置1B的不同点在于远距离物体识别部13B与反馈部15B以及近距离物体识别部14B与反馈部15B双向进行信息的收发，其他构成大致相同。因而，对与第1实施方式的周边识别装置1相同的构成标注相同符号并省略其详细说明，下面，主要对该不同点进行说明。
具体而言，在本第3实施方式的周边识别装置1B中，近距离物体识别部14B将识别出的立体物的信息从反馈部15B中读出或者记录至反馈部15B，在根据由三维距离影像生成部12B制作的针对近距离的三维距离影像和近距离影像来识别立体物的处理中使用该信息，而且远距离物体识别部13B也将识别出的立体物的信息从反馈部15B中读出或者记录至反馈部15B，在根据由三维距离影像生成部12B制作的针对远距离的三维距离影像和远距离影像来识别立体物的处理中使用该信息。此外，反馈部15B记录由近距离物体识别部14B和远距离物体识别部13B识别出的立体物的信息，而且将存储的立体物信息发送至近距离物体识别部14B和远距离物体识别部13B。
接着，参考图10，对所述周边识别装置1B作为用以监视车辆的周围的系统加以运用的情况进行更具体的说明。
图10依序展示了装备有图9所示的周边识别装置1B的车辆V在干线公路上行驶的状况。
如图10的(A)所示，在车辆V1(相对移动体)在车辆V行驶的车道的相邻超车道上行驶的情况(车辆V1的速度比车辆V的速度快)下，车辆V1首先进入近距离“可识别区域”101b，因此，该车辆V1被近距离物体识别部14B(按照图6所示的流程)识别，作为识别结果的立体物信息被记录至反馈部15B。
然后，如图10的(B)所示，当车辆1继续朝前方移动而从近距离“可识别区域”101b移动而到达“可检测区域”101c时，近距离物体识别部14B使用从反馈部15B发送的立体物信息来推定由近距离物体识别部14B记录的立体物的当前位置，并将该推定结果与图6所示的物体检测处理步骤S3的结果进行对照，从而算出车辆V1的立体物信息。
接着，如图10的(C)所示，当车辆V1从近距离“可识别区域”101b移动而到达远距离“可识别区域”101a时，远距离物体识别部13B使用从反馈部15B发送的立体物信息和图6所示的物体检测处理步骤S3的结果来算出车辆V1的立体物信息。
再者，例如，在车辆V1的速度比车辆V的速度慢、车辆V1从远距离“可识别区域”101a移动并通过“可检测区域”101c而到达近距离“可识别区域”101b的情况下，以与上述第1实施方式相同的方式算出车辆V1的立体物信息(即，将由远距离物体识别部13B生成的立体物信息交给近距离物体识别部14B)。
在本第3实施方式的周边识别装置1B中，与上述第1实施方式的周边识别装置1一样，也能在对象物(相对移动体)从近距离“可识别区域”移动而到达远距离“可识别区域”时抑制远距离物体识别部13B的负荷，而且也能降低从近距离“可识别区域”移动而到达“可检测区域”的对象物(相对移动体)的不识别或误识别的比例。
再者，在上述第1～第3实施方式中，基本上是对如下情况进行的说明：对象物从远距离“可识别区域”移动并通过“可检测区域”而到达近距离“可识别区域”，由远距离物体识别部生成的立体物信息经由反馈部传递至近距离物体识别部的情况；以及，对象物从近距离“可识别区域”移动并通过“可检测区域”而到达远距离“可识别区域”，由近距离物体识别部生成的立体物信息经由反馈部传递至远距离物体识别部的情况。但是，在对象物从远距离“可识别区域”移动并通过“可检测区域”而再次进入远距离“可识别区域”的情况下，也可将由远距离物体识别部生成的立体物信息从反馈部再次输入至远距离物体识别部加以利用，在对象物从近距离“可识别区域”移动并通过“可检测区域”而再次进入近距离“可识别区域”的情况下，也可将由近距离物体识别部生成的立体物信息从反馈部再次输入至近距离物体识别部加以利用。此外，在对象物从远距离“可识别区域”移动而到达“可检测区域”的阶段，当然也能通过将由远距离物体识别部生成的立体物信息经由反馈部传递至近距离物体识别部来取得上述本发明的效果。
再者，本发明包含各种变形形态，并不限定于上述第1～第3实施方式。例如，上述第1～第3实施方式是为了以易于理解的方式说明本发明而作的详细说明，并非一定限定于具备说明过的所有构成。此外，可以将某一实施方式的构成的一部分替换为其他实施方式的构成，此外，也可以对某一实施方式的构成加入其他实施方式的构成。此外，可以对各实施方式的构成的一部分进行其他构成的追加、删除、替换。
再者，在上述实施方式中，对周边识别装置1、1A、1B有能够检测及识别物体的可识别区域和能够检测物体但无法识别的可检测区域的情况进行了说明。在一般的周边识别装置中，在物体存在于可识别区域内时会进行识别(或辨别)，但当该物体移动到了可检测区域时，便无法再进行识别。此处，物体的移动有可能是由车辆的移动引起、由物体的移动引起、由车辆及物体双方的移动引起。
这种相对移动体有时会从可识别区域暂时移动至可检测区域并再次移动至可识别区域，在相对移动体再次移动到可识别区域时重新进行识别处理，因此，有识别处理的负荷增大之虞和识别精度降低之虞。因此，在物体从可识别区域相对移动到可检测区域的情况下，若能利用可识别区域内的过去的识别结果，则能够谋求识别处理的负荷降低和识别精度提高。
即，作为周边识别装置，考虑如下构成，即，具备：传感器部，其用以获取车辆外部的状况数据；以及物体识别部，其根据由所述传感器部获取到的状况数据来进行物体的检测及识别，对于从能够检测及识别物体的可识别区域(第1区域或第2区域)相对移动到能够检测物体但无法识别的可检测区域(第3区域)的相对移动体，所述物体识别部根据所述可识别区域(第1区域或第2区域)内的识别结果来加以确定。该构成不限于像上述实施方式那样具有多个传感器部的周边识别装置，对于只有1个传感器部的周边识别装置也能加以运用。
此外，例如可通过利用集成电路进行设计等而以硬件来实现上述各构成、功能、处理部、处理单元等的一部分或全部。此外，也可通过由处理器解释并执行实现各功能的程序而以软件来实现上述各构成、功能等。实现各功能的程序、表格、文件等信息可以置于存储器、硬盘、SSD(Solid State Drive)等存储装置、或者IC卡、SD卡、DVD等记录介质中。
此外，关于控制线、信息线，展示了认为在说明上需要的线，在产品上未必展示了所有控制线、信息线。实际上，也可认为几乎所有构成都是相互连接的。
符号说明
1…周边识别装置、11a…摄像机(第1传感器部)、11b…摄像机(第2传感器部)、12…三维距离影像生成部、13…远距离物体识别部、14…近距离物体识别部、15…反馈部(信息协作部)、15a…立体物映像、16…控制应用处理部、100a…摄像机11a的检测区域、100b…摄像机11b的检测区域、101a…远距离可识别区域(第1区域)、101b…广角且近距离可识别区域(第2区域)、101c…可检测区域(第3区域)。

Claims (6)

1.一种周边识别装置，其特征在于，具备：
第1传感器部，其用以获取远距离区域的状况数据；
第2传感器部，其具有比所述第1传感器部广角的检测区域，而且用以获取该检测区域内的近距离区域的状况数据；
远距离物体识别部，其根据基于由所述第1传感器部获取到的状况数据算出的三维远距离数据，来进行远距离区域内存在的物体的识别；
近距离物体识别部，其根据基于由所述第2传感器部获取到的状况数据算出的三维广角近距离数据，来进行广角且近距离区域内存在的物体的识别；以及
信息协作部，其在所述远距离物体识别部与所述近距离物体识别部之间进行与物体有关的信息的传递，
所述信息协作部记录由所述近距离物体识别部和所述远距离物体识别部识别出的所述物体的信息，而且将存储的所述物体的信息发送至所述近距离物体识别部和所述远距离物体识别部，
所述远距离物体识别部或者所述近距离物体识别部使用由所述信息协作部发送的已识别的所述物体的信息，推定出当前的所述物体的位置，并将该推定结果与所述远距离物体识别部或者所述近距离物体识别部的当前的识别结果进行对照，算出与所述物体有关的信息。
2.根据权利要求1所述的周边识别装置，其特征在于，所述信息协作部具备立体物映像，所述立体物映像用以记录由所述远距离物体识别部和所述近距离物体识别部制作的物体识别信息，至少表示立体物的种类以及三维物体在实际环境中的当前位置和速度。
3.根据权利要求1所述的周边识别装置，其特征在于，所述信息协作部从所述远距离物体识别部向所述近距离物体识别部、或者从所述近距离物体识别部向所述远距离物体识别部进行与物体有关的信息的传递。
4.根据权利要求1所述的周边识别装置，其特征在于，
所述周边识别装置中的所述第1传感器部和所述第2传感器部由立体摄像机装置构成，所述立体摄像机装置由适于远距离下的检测和广角且近距离下的检测的一对摄像机构成，
该周边识别装置具备三维距离影像生成部，所述三维距离影像生成部使用从所述立体摄像机装置接收到的影像信号来进行立体匹配，制作针对远距离的三维距离影像和针对广角且近距离的三维距离影像。
5.根据权利要求1所述的周边识别装置，其特征在于，所述第1传感器部和所述第2传感器部搭载于车辆中。
6.根据权利要求5所述的周边识别装置，其特征在于，还具备控制应用处理部，所述控制应用处理部确定由搭载有所述第1传感器部和所述第2传感器部的所述车辆执行的控制动作。
CN201680033003.2A 2015-09-29 2016-08-05 周边识别装置 Active CN108027237B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-191331 2015-09-29
JP2015191331A JP6677474B2 (ja) 2015-09-29 2015-09-29 周辺認識装置
PCT/JP2016/073029 WO2017056724A1 (ja) 2015-09-29 2016-08-05 周辺認識装置

Publications (2)

Publication Number Publication Date
CN108027237A CN108027237A (zh) 2018-05-11
CN108027237B true CN108027237B (zh) 2020-11-03

Family

ID=58427429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680033003.2A Active CN108027237B (zh) 2015-09-29 2016-08-05 周边识别装置

Country Status (5)

Country Link
US (1) US10796167B2 (zh)
EP (1) EP3358296B1 (zh)
JP (1) JP6677474B2 (zh)
CN (1) CN108027237B (zh)
WO (1) WO2017056724A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3422285A4 (en) * 2016-02-22 2019-03-06 Ricoh Company, Ltd. IMAGE PROCESSING DEVICE, IMAGE CAPTURE DEVICE, MOBILE BODY APPARATUS CONTROL SYSTEM, IMAGE PROCESSING METHOD, AND PROGRAM
WO2019089591A1 (en) * 2017-10-30 2019-05-09 Mobileye Vision Technologies Ltd. Vehicle navigation based on human activity
JP7120835B2 (ja) * 2018-07-18 2022-08-17 トヨタ自動車株式会社 画像処理装置
JP2020013332A (ja) * 2018-07-18 2020-01-23 トヨタ自動車株式会社 画像認識装置
JP7253693B2 (ja) * 2018-10-18 2023-04-07 学校法人 芝浦工業大学 画像処理装置
JP7472816B2 (ja) * 2021-02-12 2024-04-23 トヨタ自動車株式会社 注意喚起装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1139596A (ja) * 1997-07-17 1999-02-12 Fuji Heavy Ind Ltd 車外監視装置
CN1937766A (zh) * 2005-09-20 2007-03-28 富士能株式会社 监视摄像机装置及监视摄像机系统
EP1835439A1 (en) * 2006-03-14 2007-09-19 MobilEye Technologies, Ltd. Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle
CN102625904A (zh) * 2010-11-10 2012-08-01 松下电器产业株式会社 立体图像处理装置、立体图像处理方法及程序

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3468428B2 (ja) * 1993-03-24 2003-11-17 富士重工業株式会社 車輌用距離検出装置
JPH11183172A (ja) * 1997-12-25 1999-07-09 Mitsubishi Heavy Ind Ltd 写真測量支援システム
JP2001033236A (ja) * 1999-07-23 2001-02-09 Mitsubishi Heavy Ind Ltd ステレオ画像計測装置およびステレオ画像計測方法
JP4593736B2 (ja) * 2000-07-14 2010-12-08 オリンパス株式会社 測距装置
US20050278088A1 (en) * 2004-05-29 2005-12-15 Craig Thorner Method and apparatus for collision avoidance and enhanced visibility in vehicles
CN101656840B (zh) * 2008-08-22 2011-09-28 原相科技股份有限公司 广角传感器阵列模块及其图像校正方法、操作方法与应用
JP5278819B2 (ja) * 2009-05-11 2013-09-04 株式会社リコー ステレオカメラ装置及びそれを用いた車外監視装置
JP5476960B2 (ja) * 2009-12-08 2014-04-23 トヨタ自動車株式会社 車両前方監視装置
JP5776173B2 (ja) * 2010-03-01 2015-09-09 株式会社リコー 撮像装置及び距離測定装置
CN102893126B (zh) * 2010-05-12 2016-01-20 莱卡地球系统公开股份有限公司 测量仪器
JP5617100B2 (ja) * 2011-02-08 2014-11-05 株式会社日立製作所 センサ統合システム及びセンサ統合方法
KR101824439B1 (ko) * 2011-02-16 2018-02-02 주식회사 스테레오피아 모바일 스테레오 카메라 장치 및 그 촬영방법
WO2014054752A1 (ja) * 2012-10-04 2014-04-10 アルプス電気株式会社 画像処理装置及び車両前方監視装置
JP6180968B2 (ja) * 2014-03-10 2017-08-16 日立オートモティブシステムズ株式会社 車両制御装置
EP2918972B1 (de) * 2014-03-14 2019-10-09 Leica Geosystems AG Verfahren und handhaltbares Entfernungsmessgerät zum Erzeugen eines Raummodells
JP6545997B2 (ja) * 2015-04-24 2019-07-17 日立オートモティブシステムズ株式会社 画像処理装置
CA3008378A1 (en) * 2015-12-17 2017-06-22 Nissan Motor Co., Ltd. Parking support method and device
EP3223034B1 (en) * 2016-03-16 2022-07-20 Ricoh Company, Ltd. Object detection apparatus and moveable apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1139596A (ja) * 1997-07-17 1999-02-12 Fuji Heavy Ind Ltd 車外監視装置
CN1937766A (zh) * 2005-09-20 2007-03-28 富士能株式会社 监视摄像机装置及监视摄像机系统
EP1835439A1 (en) * 2006-03-14 2007-09-19 MobilEye Technologies, Ltd. Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle
CN102625904A (zh) * 2010-11-10 2012-08-01 松下电器产业株式会社 立体图像处理装置、立体图像处理方法及程序

Also Published As

Publication number Publication date
EP3358296A1 (en) 2018-08-08
JP6677474B2 (ja) 2020-04-08
US20180197020A1 (en) 2018-07-12
EP3358296B1 (en) 2024-04-03
US10796167B2 (en) 2020-10-06
EP3358296A4 (en) 2019-08-14
WO2017056724A1 (ja) 2017-04-06
CN108027237A (zh) 2018-05-11
JP2017067535A (ja) 2017-04-06

Similar Documents

Publication Publication Date Title
CN108027237B (zh) 周边识别装置
US10713490B2 (en) Traffic monitoring and reporting system and method
US11003921B2 (en) Apparatus and method for distinguishing false target in vehicle and vehicle including the same
CN107251127B (zh) 车辆的行驶控制装置以及行驶控制方法
JP6747269B2 (ja) 物体認識装置
JP5938569B2 (ja) 方位情報を考慮する高度運転者支援システム、及びその動作方法
KR20180117207A (ko) 자동주행 차량을 위한 시나리오 인지 인식 시스템
JP2013225295A5 (zh)
JP2016148962A (ja) 物体検知装置
JP4901275B2 (ja) 走行誘導障害物検出装置および車両用制御装置
CN103373349A (zh) 自动泊车辅助系统的障碍物避碰装置及方法
US8160300B2 (en) Pedestrian detecting apparatus
KR20170085750A (ko) 차선을 변경하는 차량에 근거한 자율 주행 제어 방법 및 장치
CN112639811A (zh) 用于分析处理具有扩展对象识别的传感器数据的方法
CN115147587A (zh) 一种障碍物检测方法、装置及电子设备
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
JP4762830B2 (ja) 周辺監視システム
JP4575315B2 (ja) 物体検出装置及びその方法
KR20130006752A (ko) 차선 인식 장치 및 그 방법
US20140064562A1 (en) Approaching-object detector, approaching object detecting method, and recording medium storing its program
KR20150124355A (ko) 차량의 정밀 측위를 위한 노면 표시 검출 방법 및 그 시스템
JP6250120B1 (ja) 車線維持支援装置および車線維持支援方法
US11417115B2 (en) Obstacle recognition device
JP7379268B2 (ja) 画像処理装置
JP2018018215A (ja) 物体特徴点検知装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Ibaraki

Patentee after: Hitachi astemo Co.,Ltd.

Address before: Ibaraki

Patentee before: HITACHI AUTOMOTIVE SYSTEMS, Ltd.