CN110570452B - 物标识别装置 - Google Patents

物标识别装置 Download PDF

Info

Publication number
CN110570452B
CN110570452B CN201910480935.7A CN201910480935A CN110570452B CN 110570452 B CN110570452 B CN 110570452B CN 201910480935 A CN201910480935 A CN 201910480935A CN 110570452 B CN110570452 B CN 110570452B
Authority
CN
China
Prior art keywords
parallel
recognition
target object
target
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910480935.7A
Other languages
English (en)
Other versions
CN110570452A (zh
Inventor
吉浜勇树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN110570452A publication Critical patent/CN110570452A/zh
Application granted granted Critical
Publication of CN110570452B publication Critical patent/CN110570452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明适当地判定并行的物标的识别丢失。物标识别装置(200)具备:识别单元(210),能够识别多个物标;取得单元(220),取得与物标的行为有关的行为信息;并行判定单元(230),判定是否满足表示存在并行的第1物标(51)以及第2物标(52)这一情况的并行条件;识别判定单元(240),判定是否满足表示在第2时刻识别到的物标中存在第2物标这一情况的识别条件;识别数判定单元(250),判定是否满足表示在第2时刻识别到的物标的数量与第1时刻相比减少这一情况的识别数条件;以及并行物标丢失判定单元(260),在满足并行条件、识别条件以及识别数条件的情况下,判定为第1物标处于并行物标丢失状态。

Description

物标识别装置
技术领域
本发明涉及对车辆周边的物标进行识别的物标识别装置的技术领域。
背景技术
在这种装置中,执行对所识别到的物标的丢失(即,成为无法识别的状态)进行判定的处理。例如在专利文献1中公开了如下技术:对所追踪的移动体因遮挡物的存在而丢失的情况进行判定,并且基于丢失位置对之后在其他的场所映入的移动体是否是与以前识别到的移动体相同的移动体进行判定。在专利文献2中公开了如下技术:对追踪对象是静止的还是被隐藏的(即,成为被墙壁等遮挡的状态)进行识别。
专利文献1:日本特开2006-48338号公报
专利文献2:日本特开2004-258925号公报
当存在于识别范围的多个物标并行(即,并列地朝相同的方向移动)的情况下,物标彼此重叠,从而有可能产生识别为物标的数量暂时减少的状况。即,存在因并行而使得物标丢失的情况。然而,在上述的专利文献1以及2所记载的技术中,未对上述那样并行的物标的丢失有任何的考虑。因此,存在当产生并行的物标的丢失的情况下,无法正确地检测丢失的产生或者无法判定丢失的原因的担忧。在无法判定丢失的原因的情况下,例如也产生难以推断丢失的物标的位置或者推断出错误的位置这样的技术问题。
发明内容
本发明例如是鉴于上述问题点而提出的,其课题在于提供一种能够适当地判定并行的物标的识别丢失的物标识别装置。
在本发明所涉及的物标识别装置的一个方式中,具备:识别单元,其能够识别多个物标;取得单元,其取得与由上述识别单元在第1时刻识别到的上述物标的行为有关的行为信息;并行判定单元,其基于上述行为信息,判定是否满足表示在上述第1时刻识别到的上述物标中存在相互并行的第1物标以及第2物标这一情况的并行条件;识别判定单元,其判定是否满足表示在由上述识别单元在比第1时刻晚的第2时刻识别到的上述物标中存在上述第2物标这一情况的识别条件;识别数判定单元,其判定是否满足表示在上述第2时刻识别到的上述物标的数量相比在上述第1时刻识别到的上述物标的数量减少这一情况的识别数条件;以及并行物标丢失判定单元,当在上述第1时刻满足上述并行条件后,在上述第2时刻满足上述识别条件以及上述识别数条件的情况下,上述并行物标丢失判定单元判定为上述第1物标处于因该第1物标与上述第2物标重叠而无法由上述识别单元识别的并行物标丢失状态。
附图说明
图1是表示本实施方式所涉及的车辆的结构的框图。
图2是以时间序列表示并行物标的识别结果的映射。
图3是表示因并行物标彼此重叠而引起的识别丢失的具体例的图。
图4是表示本实施方式所涉及的物标识别装置的动作的流程的流程图。
图5是表示并行物标的判定方法的概念图。
图6是表示并行物标丢失时的位置推断方法的映射。
附图标记的说明
10...车辆;51...第1行人;52...第2行人;110...照相机;120...雷达;130...LIDER;140...车内传感器;200...物标识别装置;210...物标识别部;220...物标信息取得部;230...并行判定部;240...识别判定部;250...识别数判定部;260...并行丢失判定部;270...物标位置推断部;300...状况评价部;400...车辆控制部。
具体实施方式
以下,参照附图对物标识别装置的实施方式进行说明。
<装置结构>
首先,参照图1对搭载本实施方式所涉及的物标识别装置的车辆的整体结构进行说明。图1是表示本实施方式所涉及的车辆的结构的框图。
如图1所示,本实施方式所涉及的车辆10构成为具备照相机110、雷达120、LIDER(LIght Detection And Ranging:激光雷达)130、车内传感器140、物标识别装置200、状况评价部300、以及车辆控制部400。
照相机110配置于例如能够对车辆10的前方的图像进行拍摄的位置。雷达120以及LIDER130构成为例如能够对存在于车辆10的前方的障碍物(例如,行人等)进行检测。车内传感器140例如构成为包括车速传感器、加速度传感器、偏航率传感器等,并对表示车辆10的行驶状况的各种参数进行检测。照相机110、雷达120、LIDER130、以及车内传感器140的检测结果构成为分别向物标识别装置200输出。
物标识别装置200是能够对车辆10的各部的动作进行控制的控制器单元(例如,ECU:Electric Control Unit),在本实施方式中,特别是构成为能够对存在于车辆10的周边的物标进行识别,并输出与识别到的物标有关的各种信息。对于物标识别装置200而言,作为用于实现其功能的处理域或者物理上的处理电路,具备物标识别部210、物标信息取得部220、并行判定部230、识别判定部240、识别数判定部250、并行丢失判定部260、以及物标位置推断部270。
物标识别部210构成为能够使用照相机110的检测结果,执行对存在于拍摄图像内(换言之,车辆10的周边)的物标进行识别的处理。物标识别部210也可以除了照相机110之外,还使用雷达120以及LIDER130的检测结果,执行对物标进行识别的处理。此外,针对由物标识别部210进行的对物标的具体的识别方法,能够适当地采用现有的技术,因此这里省略详细的说明。物标识别部210是后述的附记中的“识别单元”的一个具体例子。
物标信息取得部220构成为能够根据物标识别部210的识别结果,取得与所识别到的物标有关的各种信息(例如,物标的位置、大小、速度、以及种类等)。另外,本实施方式所涉及的物标信息取得部220特别是构成为能够取得各物标的移动向量(即,表示移动的方向和速度的信息)、以及不同的两个物标间的距离。物标信息取得部220是后述的附记中的“取得单元”的一个具体例子。另外,由物标信息取得部220检测出的各种信息是后述的附记中的“行为信息”的一个具体例子。
并行判定部230构成为能够基于物标信息取得部220所取得的信息,判定在任意的第1时刻物标识别部210所识别到的物标之中,是否包含相互并行的物标(以下,适当地称为“并行物标”)。此外,并行物标是朝大体相同的方向以大体相同的速度移动的多个物标。并行物标典型而言是以两个物标形成一组,但也可以形成包含3个以上的物标的组。在后面对基于并行判定部230的具体的并行物标的判定方法进行详细叙述。并行判定部230的判定结果构成为向并行丢失判定部260输出。并行判定部230是后述的附记中的“并行判定单元”的一个具体例子。
识别判定部240基于物标信息取得部220所取得的信息,判定在比第1时刻(即,识别到并行物标的时刻)晚的第2时刻,并行物标所包含的至少一个物标是否被识别。即,判定在第1时刻被识别的并行物标中的至少一个物标是否在之后的第2时刻继续被识别(换言之,并行物标是否存在于照相机110的视角内)。识别判定部240的判定结果构成为向并行丢失判定部260输出。识别判定部240是后述的附记中的“识别判定单元”的一个具体例子。
识别数判定部250基于物标信息取得部220所取得的信息,判定在第2时刻(即,识别判定部240的判定时刻)识别到的物标的数量是否比在第1时刻(即,并行判定部230的判定时刻)识别到的物标的数量减少。即,判定识别到的物标的数量是否因时间经过而减少。此外,识别数判定部250用于判定的物标的数量可以是由物标识别部210识别到的全部的物标的数量,也可以是被判定作为并行物标的物标的数量。识别数判定部250还构成为能够对插进照相机110与被判定作为并行物标的物标之间的、作为遮挡物的其他物标的存在进行检测,并判定所识别到的物标的数量的减少是否是因为遮挡物的影响。识别数判定部250的判定结果构成为向并行丢失判定部260输出。识别数判定部250是后述的附记中的“识别数判定单元”的一个具体例子。
并行丢失判定部260基于并行判定部230、识别判定部240、以及识别数判定部250各自的判定结果,对被判定为并行物标的一个物标是否成为因与并行的其他物标重叠而无法被识别的状态(以下,适当地称为“并行物标丢失”)进行判定。在后面对基于并行丢失判定部260的具体的判定方法进行详细叙述。并行丢失判定部260也可以对成为了并行物标丢失的状态的物标赋予“并行物标丢失”等属性。并行丢失判定部260是后述的附记中的“并行物标丢失判定单元”的一个具体例子。
物标位置推断部270构成为能够在产生了并行物标丢失的情况下,推断成为了并行物标丢失的状态的物标的位置。在后面对基于物标位置推断部270的具体的位置推断方法进行详细叙述。物标位置推断部270是后述的附记中的“物标位置取得单元”的一个具体例子。
状况评价部300基于物体识别装置200的识别结果,决定应当如何控制车辆10的行驶。状况评价部300例如为了避免车辆10与识别到的物体的碰撞而决定车辆10的行驶路径、行驶速度、与碰撞避免控制(例如,自动制动控制)等有关的参数。在状况评价部300中被决定的参数构成为向车辆控制部400输出。
车辆控制部400基于从状况评价部300输入的参数,控制车辆10的各部。车辆控制部400例如控制车辆10的制动促动器(未图示)而执行车辆10的自动制动控制,或者控制车辆10的转向促动器(未图示)而执行车辆10的自动转向控制。
<并行物标识别时的技术问题点>
接下来,参照图2以及图3对在识别到并行物标的情况下有可能产生的技术问题点进行说明。图2是以时间序列表示并行物标的识别结果的映射。图3是表示因并行物标彼此重叠而引起的识别丢失的具体例的图。
如图2所示,假设在车辆10的照相机110的视角内,存在相互并行的第1行人51以及第2行人52。此外,第1行人51以及第2行人52在从照相机110观察时,从左进深侧朝向右近前侧沿着图中的虚线并列地移动。
在这样的例子中,因第1行人51与第2行人52的位置比较近,由此有可能产生从照相机110观察的第1行人51与第2行人52相互重叠,结果导致被识别为一个物标的状况。具体而言,有可能产生图3所示的状况。在该情况下,识别为所追踪的并行物标的一方突然消失。其结果是,在识别丢失的产生时,有可能产生将应当被识别为第2行人52的物标识别成第1行人51的状况。在该情况下,存在物标识别装置200误识别为第1行人51移动到第2行人52的位置的可能性。
另一方面,在识别丢失的产生后,若第1行人51与第2行人52的重叠被消除,则丢失了的第1行人51被正常识别。即,第1行人51与第2行人52作为独立的物标而被识别。在该情况下,物标识别装置200会识别为第1行人51突然出现在原来的位置。其结果是,会做出如下识别,即:直至识别丢失的消除紧前为止识别到的第1行人51(实际上为第2行人52)突然移动到照相机110侧(换言之,朝向车辆10移动)。
如上所述,若识别为物标朝向车辆10移动而来,则有可能判断为应当由状况判定部300执行碰撞避免控制,而由车辆控制部400执行自动制动。但是,实际上第1行人51并未向车辆10侧移动,而仅仅是朝向车辆10的右侧继续移动。这样,若产生并行物标的识别丢失,则导致在本来不应当执行碰撞避免控制那样的状况下,执行不必要的碰撞避免控制。本实施方式所涉及的物标识别装置200为了消除因这样的识别丢失所引起的技术问题点而执行后述的动作。
<动作说明>
参照图4对本实施方式所涉及的物标识别装置200的动作的流程进行说明。图4是表示本实施方式所涉及的物标识别装置的动作的流程的流程图。
如图4所示,在本实施方式所涉及的物标识别装置200进行动作时,首先物标识别部210对存在于照相机110的拍摄范围的物标进行识别(步骤S101)。接着,物标信息取得部220取得由物标识别部210识别到的物标的各种信息(步骤S102)。
之后,并行判定部230判定在由物标识别部210识别到的物标之中是否存在并行物标(步骤S103)。这里,参照图5对并行物标的具体的判定方法进行详细的说明。图5是表示并行物标的判定方法的概念图。
如图5所示,并行判定部230基于由物标信息取得部220取得的信息,判定是否存在彼此的距离在R以下的多个物标。更具体而言,并行判定部230判定在图中的虚线所示的半径R的圆中,是否存在2个以上的物标。此外,距离R是假定物标并行时的距离而预先设定的值,若物标间的距离在R以下,则能够判断为上述物标并行的可能性较高。在图5的例子中,第1行人51与第2行人52存在于半径R的圆中。
接着,并行判定部230对彼此的距离在R以下的多个物标的移动向量进行比较,判定其差量是否在规定的阈值Vr以下。即,判定物标是否正进行彼此相同的运动。在图5所示的例子中,判定第1行人51的移动向量V1与第2行人52的移动向量V2的差量是否在Vr以下即可。此外,移动向量V1以及V2能够通过对第1行人51以及第2行人52的过去的位置与当前的位置进行比较来取得。
当存在彼此的距离在R以下且移动向量之差在Vr以下的2个以上的物标的情况下,并行判定部230将上述物标判定为并行物标。此外,上述的判定方法终究是一个例子,只要能够对做出类似的动作的2个以上的物标的存在进行判定,则也可以利用其他的判定方法。例如,也可以使用物标的位置、相对距离、移动向量的朝向和大小、以及移动向量彼此所成的角度等多个信息(即,与物标的行为(换言之,动作)有关的多个信息)中的一个或者将该多个信息中的至少两个组合来进行判定。
回到图4,在由并行判定部230判定为不存在并行物标的情况下(步骤S103:否),省略以后的处理,并结束一系列的处理。这是因为若不存在并行物标,则不可能产生并行物标丢失。在该情况下,在规定期间后从步骤S101再次开始处理。另一方面,在判定为存在并行物标的情况下(步骤S103:是),识别判定部240在比识别到并行物标的存在的第1时刻靠后的第2时刻,也判定并行物标的至少一个是否存在于照相机110的视角内(步骤S104)。
当由识别判定部240判定为并行物标的至少一个不存在于照相机110的视角内的情况下(步骤S104:否),省略以后的处理,结束一系列的处理。这是因为在并行物标出现在视角外的情况下,不可能产生并行物标丢失(由于无法识别)。另一方面,在判定为并行物标的至少一个存在于照相机110的视角内的情况下(步骤S104:是),识别数判定部240判定在并行物标与照相机110之间是否为不存在遮挡物(即,妨碍对物标进行识别的物体)的状态(步骤S105)。
此外,遮挡物的有无能够根据可能成为遮挡物的物标是否在物标识别部210中被识别来判定。或者,遮挡物的有无也可以根据从并行物标到照相机110的距离是否小于阈值d来判定。这里的阈值d是用于判定并行物标与照相机110(换言之,车辆10)是否为近乎到其间没有供遮挡物插入的余地的状态的阈值。在从并行物标到照相机110的距离比阈值d小的情况下,判断为没有供遮挡物插入的余地,因此即使实际上不识别遮挡物,也能够判定遮挡物的有无(即,判定为不存在遮挡物)。
当由识别数判定部250判定为存在遮挡物的情况下(步骤S105:否),省略以后的处理,并结束一系列的处理。这是因为若存在遮挡物,则会产生由遮挡物引起的识别丢失,因此无法正确地判定行物标丢失。另一方面,在判定为不存在遮挡物的情况下(步骤S105:是),识别数判定部240进一步判定在第2时刻(即,识别判定部240的判定时刻)识别到的物标的数量是否比在第1时刻(即,并行判定部230的判定时刻)识别到的物标的数量少(步骤S106)。执行该判定以便判定是否产生了识别到的并行物标的并行物标丢失。
更具体而言,识别数判定部250对在第1时刻识别到的全部的物标的数量与在第2时刻识别到的全部的物标的数量进行比较,判定识别到的物标的数量是否减少。在该情况下,并行物标以外的物标的识别丢失也包含在判定中,但并行物标以外的物标突然产生识别丢失的可能性较低,因此不会给判定结果带来较大的负面影响。此外,在想要可靠地排除并行物标以外的物标的识别丢失的情况下,也可以仅着眼于并行物标,判定在第2时刻识别到的并行物标的数量是否比在第1时刻识别到的并行物标的数量少。例如,在识别判定部240中,在判定为识别到并行物标的一方,且判定为未识别到并行物标的另一方的情况下,能够判定为并行物标的数量减少。此外,当存在多个构成并行物标的物标组的情况下(即,存在多个并行组的情况下),只要针对其中每一个分别实施判定即可。
当判定为从第1时刻到第2时刻为止识别到的物标的数量未减少的情况下(步骤S106:否),省略以后的处理,并结束一系列的处理。这是因为在物标的数量未减少的情况下,能够判断为产生并行物标丢失的可能性非常低。另一方面,在判定为从第1时刻到第2时刻为止识别到的物标的数量减少的情况下(步骤S106:是),并行丢失判定部260判定为产生了并行物标丢失。即,当尽管判定为在第1时刻存在并行物标后,在第2时刻并行物标的至少一个存在于视角内,所识别到的物标的数量也还减少的情况下,判定为产生了并行物标丢失。例如,当在第1时刻识别到作为并行物标的第1行人51以及第2行人52后,在第2时刻仅识别到第2行人52而未识别到第1行人51的情况下,判定为第1行人51成为并行物标丢失状态(即,因与第2行人52重叠而变得无法被识别)。
若判定为产生了并行物标丢失,则物标位置推断部270推断产生了并行物标丢失的物标的位置(步骤S108)。这里,参照图6对产生了并行物标丢失的物标的位置推断方法进行详细的说明。图6是表示并行物标丢失时的位置推断方法的映射。
如图6所示,物标位置推断部270存储有并行物标的位置关系(相对位置)。而且,若产生并行物标丢失,则物标位置推断部270基于丢失紧前的位置关系,推断产生了并行物标丢失的物标的位置。具体而言,利用成为并行物标丢失状态的第1行人51与被正常识别的第2行人52之间的位置关系在并行物标丢失的产生前后不发生变化(即,继续并行)这一特性,推断出在从第2行人52的位置稍稍偏移的位置存在产生了并行物标丢失的第1行人51。
此外,在照相机110的识别结果中产生了并行物标丢失的情况下,在雷达120、LIDER130的识别结果中也有可能未产生并行物标丢失。因此,当在物标的识别中仅利用了照相机110的状况下产生了并行物标丢失时,也可以在照相机110的基础上或者取而代之地,使用雷达120、LIDER130来识别物标。在该情况下,能够基于雷达120、LIDER130的识别结果,推断产生了并行物标丢失的物标的位置。
<技术效果>
接下来,对通过本实施方式所涉及的物标识别装置200得到的技术效果进行说明。
如图1~6所示,在本实施方式所涉及的物标识别装置200中,当尽管在判定为存在并行物标后并行物标的至少一个存在于视角内,不存在遮挡物的状况下识别到的物标的数量也还是减少的情况下,判定为产生了并行物标丢失。这样,根据本实施方式所涉及的物标识别装置200,能够通过比较简单的方法,判定并行物标丢失的产生。即,既能够抑制装置的处理负荷,又能够适当地判定识别丢失的产生以及识别丢失的原因。
此外,对于由物标识别装置200识别到的物标的数量而言,原则上只要任一物标未从照相机110的视角脱离或者在照相机110与物标之间未插入遮挡物,就不会减少。由此,当尽管并行物标的至少一个连续存在于视角内,所识别到的物标的数量也还是减少的情况下,能够判定为产生了并行物标丢失(即,实际存在于视角内的物标的数量并未减少,但因并行物标的识别丢失而视为减少)。
<附记>
以下,对从以上说明的实施方式导出的发明的各种方式进行说明。
(附记1)
附记1所记载的物标识别装置具备:识别单元,其能够识别多个物标;取得单元,其取得与由上述识别单元在第1时刻识别到的上述物标的行为有关的行为信息;并行判定单元,其基于上述行为信息,判定是否满足表示在上述第1时刻识别到的上述物标中存在相互并行的第1物标以及第2物标这一情况的并行条件;识别判定单元,其判定是否满足表示在由上述识别单元在比第1时刻晚的第2时刻识别到的上述物标中存在上述第2物标这一情况的识别条件;识别数判定单元,其判定是否满足表示在上述第2时刻识别到的上述物标的数量相比第1时刻识别到的上述物标的数量减少这一情况的识别数条件;以及并行物标丢失判定单元,当在上述第1时刻满足上述并行条件后,在上述第2时刻满足上述识别条件以及上述识别数条件的情况下,上述并行物标丢失判定单元判定为上述第1物标处于因该第1物标与上述第2物标重叠而无法由上述识别单元识别的并行物标丢失状态。
根据附记1所记载的物标识别装置,在第1时刻识别到相互并行的第1物标以及第2物标后,在第2时刻识别到第2物标,且在第2时刻识别到的物标的数量与在第1时刻识别到的物标的数量相比减少的情况下,判定为第1物标处于并行物标丢失状态。即,当尽管持续识别到并行的物标中的一方,所识别到的物标的数量也还减少的情况下,判定为产生了由并行引起的识别丢失。这是因为能够判断为很难想到并行的物标中的仅第1物标突然消失,而因与第2物标重叠而暂时成为无法识别的状态的可能性较高。
根据上述的结构,能够适当地判定并行的物标的识别丢失。更具体而言,能够正确地判定识别丢失的产生以及识别丢失的原因。由此,例如能够避免因识别丢失而引起的物标的误识别,能够高精度地推断产生了识别丢失的物标的位置。其结果是,能够适当地执行基于物标的识别结果的控制(例如,碰撞避免控制等)。
(附记2)
在附记2所记载的物标识别装置中,在上述第2时刻未识别到上述第1物标而在上述第2时刻识别到上述第2物标的情况下,上述识别判定单元判定为满足上述识别条件。
根据附记2所记载的物标识别装置,能够判断为所识别到的物标的数量的减少是因无法识别第1物标而引起的(换言之,能够确认出不是因为第1物标以及第2物标以外的其他物标的识别结果的影响),因此能够更加正确地判定第1物标的并行物标丢失。
(附记3)
附记3所记载的物标识别装置还具备丢失物标位置取得单元,在判定为上述第1物标处于上述并行物标丢失状态的情况下,该丢失物标位置取得单元基于上述第2时刻下的上述第2物标的位置信息,取得上述第2时刻下的上述第1物标的位置信息。
根据附记3所记载的物标识别装置,利用产生了并行物标丢失的第1物标将继续与第2物标并行这一事实,能够正确地推断识别丢失后的第1物标位置。
(附记4)
附记4所记载的物标识别装置具备:识别单元,其能够对多个物标进行识别;取得单元,其取得与由上述识别单元在第1时刻识别到的上述物标的行为有关的行为信息;并行判定单元,其基于上述行为信息,判定是否满足表示在上述第1时刻识别到的上述物标中存在相互并行的多个并行物标这一情况的并行条件;识别判定单元,其判定是否满足表示在由上述识别单元在比第1时刻晚的第2时刻识别到的上述物标中存在上述多个并行物标的至少一个这一情况的识别条件;识别数判定单元,其判定是否满足表示在上述第2时刻识别到的上述并行物标的数量相比在上述第1时刻识别到的上述并行物标的数量减少这一情况的识别数条件;以及并行物标丢失判定单元,在上述第1时刻满足上述并行条件后,在上述第2时刻满足上述识别条件以及上述识别数条件的情况下,该并行物标丢失判定单元判定为上述多个并行物标中的第1物标处于因该第1物标与上述多个并行物标中的第2物标重叠而无法由上述识别单元识别的并行物标丢失状态。
根据附记4所记载的物标识别装置,在第1时刻识别到相互并行的多个并行物标后,在第2时刻识别到并行物标的至少一个、且在第2时刻识别到的并行物标的数量比在第1时刻识别到的并行物标的数量减少的情况下,判定为第1物标因与第2物标重叠而处于并行物标丢失状态。即,当尽管持续识别到并行的物标的至少一个,所识别到的并行物标的数量也还减少的情况下,判定为产生了由并行引起的识别丢失。根据这样的结构,能够适当地判定并行的物标的识别丢失。更具体而言,能够正确地判定识别丢失的产生以及识别丢失的原因。
本发明并不限定于上述的实施方式,能够在不违反从权利要求书以及说明书全体读出的发明的主旨或者思想的范围内适当地进行变更,伴随这种变更形成的物标识别装置也仍包含在本发明的技术范围内。

Claims (3)

1.一种物标识别装置,其特征在于,具备:
识别单元,其能够识别多个物标;
取得单元,其取得与由所述识别单元在第1时刻识别到的所述物标的行为有关的行为信息;
并行判定单元,其基于所述行为信息,判定是否满足表示在所述第1时刻识别到的所述物标中存在相互并行的第1物标以及第2物标这一情况的并行条件;
识别判定单元,其判定是否满足表示在由所述识别单元在比第1时刻晚的第2时刻识别到的所述物标中存在所述第2物标这一情况的识别条件;
识别数判定单元,其判定是否满足表示在所述第2时刻识别到的所述物标的数量相比在所述第1时刻识别到的所述物标的数量减少这一情况的识别数条件;以及
并行物标丢失判定单元,当在所述第1时刻满足所述并行条件后,在所述第2时刻满足所述识别条件以及所述识别数条件的情况下,所述并行物标丢失判定单元判定为所述第1物标处于因该第1物标与所述第2物标重叠而无法由所述识别单元识别的并行物标丢失状态。
2.根据权利要求1所述的物标识别装置,其特征在于,
在所述第2时刻未识别到所述第1物标,而在所述第2时刻识别到所述第2物标的情况下,所述识别判定单元判定为满足所述识别条件。
3.根据权利要求1或2所述的物标识别装置,其特征在于,
还具备丢失物标位置取得单元,在判定为所述第1物标处于所述并行物标丢失状态的情况下,所述丢失物标位置取得单元基于所述第2时刻下的所述第2物标的位置信息,取得所述第2时刻下的所述第1物标的位置信息。
CN201910480935.7A 2018-06-06 2019-06-04 物标识别装置 Active CN110570452B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-108668 2018-06-06
JP2018108668A JP6973302B2 (ja) 2018-06-06 2018-06-06 物標認識装置

Publications (2)

Publication Number Publication Date
CN110570452A CN110570452A (zh) 2019-12-13
CN110570452B true CN110570452B (zh) 2023-03-28

Family

ID=68651862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910480935.7A Active CN110570452B (zh) 2018-06-06 2019-06-04 物标识别装置

Country Status (4)

Country Link
US (1) US11055545B2 (zh)
JP (1) JP6973302B2 (zh)
CN (1) CN110570452B (zh)
DE (1) DE102019115352A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220414391A1 (en) * 2021-06-24 2022-12-29 Haier Us Appliance Solutions, Inc. Inventory management system in a refrigerator appliance

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101978694A (zh) * 2008-03-19 2011-02-16 三洋电机株式会社 图像处理装置和方法、驾驶支持系统、车辆
CN103679742A (zh) * 2012-09-06 2014-03-26 株式会社理光 对象跟踪方法和装置
JP2017052498A (ja) * 2015-09-11 2017-03-16 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59114681A (ja) * 1982-12-20 1984-07-02 Matsushita Electric Ind Co Ltd 形状認識方式
JP2841640B2 (ja) * 1990-02-28 1998-12-24 住友電気工業株式会社 交通流計測装置
US6118886A (en) * 1993-03-30 2000-09-12 The United States Of America As Represented By The United States Department Of Energy Automatic target recognition apparatus and method
JP4096757B2 (ja) 2003-02-25 2008-06-04 松下電工株式会社 画像追跡装置
JP4396436B2 (ja) * 2004-07-30 2010-01-13 トヨタ自動車株式会社 物標検出装置
JP4107273B2 (ja) 2004-08-04 2008-06-25 日産自動車株式会社 移動体検出装置
JP4522387B2 (ja) * 2006-03-31 2010-08-11 トヨタ自動車株式会社 画像認識装置
KR100951890B1 (ko) * 2008-01-25 2010-04-12 성균관대학교산학협력단 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법
JP2009288057A (ja) * 2008-05-29 2009-12-10 Horiba Ltd 形状計測装置
CN103459225B (zh) * 2011-04-08 2016-01-27 丰田自动车株式会社 驾驶支援系统
JP5724955B2 (ja) * 2012-06-22 2015-05-27 トヨタ自動車株式会社 物体検出装置、情報処理装置、物体検出方法
JP5806647B2 (ja) * 2012-07-12 2015-11-10 本田技研工業株式会社 物体認識装置
JP6020321B2 (ja) * 2013-04-11 2016-11-02 株式会社デンソー 物標検出装置及び車両制御システム
JP2015132553A (ja) * 2014-01-14 2015-07-23 トヨタ自動車株式会社 物体検出装置
JP6248778B2 (ja) * 2014-04-18 2017-12-20 株式会社デンソー 物標検出装置
JP6260482B2 (ja) * 2014-07-16 2018-01-17 株式会社デンソー 物標検出装置
JP6396714B2 (ja) * 2014-08-06 2018-09-26 株式会社デンソー 物体認識装置
JP6396838B2 (ja) * 2015-03-31 2018-09-26 株式会社デンソー 車両制御装置、及び車両制御方法
JP2017072914A (ja) * 2015-10-05 2017-04-13 トヨタ自動車株式会社 物体認識装置
JP6752024B2 (ja) * 2016-02-12 2020-09-09 日立オートモティブシステムズ株式会社 画像処理装置
JP6641633B2 (ja) * 2016-03-10 2020-02-05 スズキ株式会社 移動体検知システムおよびそのデータ整合性判定方法
JP6669090B2 (ja) * 2017-01-30 2020-03-18 株式会社デンソー 車両制御装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101978694A (zh) * 2008-03-19 2011-02-16 三洋电机株式会社 图像处理装置和方法、驾驶支持系统、车辆
CN103679742A (zh) * 2012-09-06 2014-03-26 株式会社理光 对象跟踪方法和装置
JP2017052498A (ja) * 2015-09-11 2017-03-16 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム

Also Published As

Publication number Publication date
US20190377960A1 (en) 2019-12-12
JP2019212107A (ja) 2019-12-12
JP6973302B2 (ja) 2021-11-24
DE102019115352A1 (de) 2019-12-12
US11055545B2 (en) 2021-07-06
CN110570452A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
US10922561B2 (en) Object recognition device and vehicle travel control system
CN107490794B (zh) 物体辨识处理装置、物体辨识处理方法及自动驾驶系统
CN107076848B (zh) 用于生成周围环境地图的方法,和驾驶员辅助系统
CN107209997B (zh) 车辆的行驶控制装置以及行驶控制方法
JP6614108B2 (ja) 車両制御装置、車両制御方法
US20190114491A1 (en) Vehicle control apparatus and vehicle control method
US20180361854A1 (en) Target determination apparatus and driving assistance system
US11789141B2 (en) Omnidirectional sensor fusion system and method and vehicle including the same
US11151395B2 (en) Roadside object detection device, roadside object detection method, and roadside object detection system
JP2007274037A (ja) 障害物認識方法及び障害物認識装置
US11756310B2 (en) Method and device for sensor data fusion for a vehicle
KR101628547B1 (ko) 주행 차선 확인 장치 및 방법
CN110570452B (zh) 物标识别装置
US10935644B2 (en) Axis misalignment determining apparatus
US11210955B2 (en) Collision avoidance assist apparatus
KR20170021638A (ko) 객체 인식/탐지 장치 및 객체 인식/탐지 방법
US11407390B2 (en) Vehicle control apparatus and vehicle control method
CN111295566B (zh) 物体识别装置及物体识别方法
JP2023079286A (ja) 自動運転システム
WO2020036039A1 (ja) ステレオカメラ装置
US7224445B2 (en) Vehicle external recognition system and related method
JP7412254B2 (ja) 物体認識装置および物体認識方法
US20140104078A1 (en) Other-vehicle detection device and other-vehicle detection method
KR20230162243A (ko) 차량 후방 충돌경고 제어방법 및 장치
CN112334944A (zh) 摄像机装置的标志识别方法及标志识别装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant