CN113826107A - 物体识别装置 - Google Patents

物体识别装置 Download PDF

Info

Publication number
CN113826107A
CN113826107A CN202080036066.XA CN202080036066A CN113826107A CN 113826107 A CN113826107 A CN 113826107A CN 202080036066 A CN202080036066 A CN 202080036066A CN 113826107 A CN113826107 A CN 113826107A
Authority
CN
China
Prior art keywords
recognition
unit
size
exposure amount
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080036066.XA
Other languages
English (en)
Inventor
远藤健
永崎健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Publication of CN113826107A publication Critical patent/CN113826107A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明以较短处理时间准确地识别物体。本发明的物体识别装置(10)具备曝光量决定部(101)、图像获取部(102)、光源检测部(103)、尺寸确定部(104)、识别候选提取部(105)以及识别处理部(106)。图像获取部(102)获取以第一曝光量(F101)拍摄到的第一曝光图像和以比第一曝光量(F101)少的第二曝光量(C101)拍摄到的第二曝光图像。识别候选提取部(105)根据光源检测部(103)所检测到的光源区域的位置以及尺寸确定部(104)所确定的物体的尺寸、从第二曝光图像中提取物体所存在的区域的候选即识别候选。识别处理部(106)对识别候选提取部(105)所提取到的识别候选实施与物体相关的识别处理。

Description

物体识别装置
技术领域
本发明涉及一种物体识别装置。
背景技术
为实现自动驾驶、防止交通事故，在行驶中的车辆中识别道路标识等物体、将基于该识别结果的限制信息用于对驾驶员的通知或者车辆的控制的物体识别技术受到业界较大关注。道路标识的种类多种多样，其中有设置于高速公路或施工地段等而文字部会发光的光电式标识。用于道路标识的识别的物体识别装置对于这样的光电式标识也须准确地加以识别。
关于光电式标识的识别，例如在专利文献1中有一种技术，其着眼于在以较短曝光时间拍摄作为光电式标识的一种的使用发光体的VMS标识时VMS标识的一部分缺损地被拍摄这一性质。专利文献1中揭示的物体识别装置从以第1曝光时间拍摄到的第1图像中检测拍摄到VMS标识的图像区域，而且以比第1曝光时间长、不会发生VMS标识的缺损的第2曝光时间拍摄第2图像，使用与从第1图像检测到的图像区域相对应的区域的第2图像来识别VMS标识的显示内容。
现有技术文献
专利文献
专利文献1：日本专利特开2014-153167号公报
发明内容
发明要解决的问题
在专利文献1的物体识别装置中，是根据第1图像的文字部出现缺损的信息来实施VMS标识的检测处理，因此无法准确地确定标识的大小。因此，在使用第2图像的VMS标识的识别处理中，须利用尺寸不一样的大量模板，从而存在识别所需的处理时间增加而且识别精度降低的问题。
鉴于这样的问题，本发明的目的在于提供一种能以较短处理时间准确地识别道路标识等物体的技术。
解决问题的技术手段
本发明的物体识别装置具备：曝光量决定部，其能够决定第一曝光量和比所述第一曝光量少的第二曝光量；图像获取部，其获取以所述第一曝光量拍摄到的第一曝光图像和以所述第二曝光量拍摄到的第二曝光图像；光源检测部，其从所述第一曝光图像中检测光源区域；尺寸确定部，其根据所述光源检测部所检测到的所述光源区域来确定识别对象物体的尺寸；识别候选提取部，其根据所述光源检测部所检测到的所述光源区域的位置以及所述尺寸确定部所确定的所述物体的尺寸，从所述第二曝光图像中提取所述物体所存在的区域的候选即识别候选；以及识别处理部，其对所述识别候选提取部所提取到的所述识别候选实施与所述物体相关的识别处理。
发明的效果
根据本发明，能以较短处理时间准确地识别物体。
附图说明
图1为表示本发明的第1实施方式的物体识别装置的构成的功能框图。
图2为表示用于说明本发明的第1实施方式的物体识别装置的动作的场景的图。
图3为表示本发明的第1实施方式的物体识别装置的处理的流程的流程图。
图4为表示第一曝光图像的例子的图。
图5为表示第二曝光图像的例子的图。
图6为表示识别候选的例子的图。
图7为表示本发明的第2实施方式的物体识别装置的构成的功能框图。
图8为表示本发明的第2实施方式的物体识别装置的处理的流程的流程图。
图9为表示尺寸信息的例子的图。
图10为表示本发明的第3实施方式的物体识别装置的构成的功能框图。
图11为表示本发明的第3实施方式的物体识别装置的处理的流程的流程图。
图12为表示亮度信息的例子的图。
图13为表示本发明的第4实施方式的物体识别装置的构成的功能框图。
图14为表示本发明的第4实施方式的物体识别装置的处理的流程的流程图。
图15为三维位置算出处理的流程图。
图16为物体位置预测处理的流程图。
图17为表示本发明的第5实施方式的物体识别装置的构成的功能框图。
图18为表示本发明的第5实施方式的物体识别装置的处理的流程的流程图。
图19为识别候选再提取处理的流程图。
图20为表示第二曝光图像以及扩大后的识别候选的例子的图。
图21为表示二值化处理后的识别候选以及投影直方图的例子的图。
具体实施方式
下面，对本发明的实施方式进行详细说明。
[第1实施方式]
图1为表示本发明的第1实施方式的物体识别装置的构成的功能框图。如图1所示，本实施方式的物体识别装置10与摄像装置20及车辆控制装置30连接，具备曝光量决定部101、图像获取部102、光源检测部103、尺寸确定部104、识别候选提取部105以及识别处理部106。物体识别装置10例如使用具有CPU等运算装置和ROM、RAM、闪存等存储装置的电脑来构成，通过在运算装置中执行存储装置中存储的控制程序而作为上述各功能块进行动作。再者，物体识别装置10所具有的功能的一部分或全部也可使用FPGA等硬件来构成。
摄像装置20是搭载于车辆中的摄像机，对该车辆周围例如前方的风景进行拍摄。以下，将搭载有摄像装置20的车辆称为“自身车辆”。摄像装置20例如将按规定帧率拍摄到的图像输出至物体识别装置10。从摄像装置20输出的图像在物体识别装置10中被输入至图像获取部102。
曝光量决定部101计算并决定摄像装置20拍摄图像时的曝光量，并输出至摄像装置20。曝光量决定部101所决定的所谓曝光量，是用于调整摄像装置20所拍摄的图像的亮度的物理量，例如有曝光时间、模拟增益值、镜头的F值等。
在本实施方式中，曝光量决定部101可针对摄像装置20而决定2种曝光量。图1中，将由曝光量决定部101决定的2种曝光量分别表示为第一曝光量F101、第二曝光量C101。此处，第一曝光量F101表示与第二曝光量C101相比、摄像装置20能够拍摄更亮的图像的曝光量。即，第一曝光量F101比第二曝光量C101多，反过来第二曝光量C101比第一曝光量F101少，这些曝光量由曝光量决定部101决定。
再者，在本实施方式中，对物体识别装置10视为识别对象的物体为光电式标识的情况的例子进行说明。所谓光电式标识，是具有在文字部等使用发光元件的发光部分的道路标识，例如设置在高速公路或施工地段等。在该情况下，曝光量决定部101根据在摄像装置20拍摄作为识别对象物体的光电式标识时光电式标识的发光部分的至少一部分发生像素饱和的曝光量来决定第一曝光量F101及第二曝光量C101。具体而言，例如将拍摄时与发光部分相对应的像素的一部分或全部发生饱和而亮度值表现出最大值这样的曝光量也就是发生过曝这样的曝光量决定为第一曝光量F101。此外，将与发光部分相对应的所有像素都不饱和而且其一部分或全部不缺损(欠曝)这样的曝光量决定为第二曝光量C101。这些曝光量例如能以路面的亮度为基准来算出。
再者，以下是对物体识别装置10视为识别对象的物体为光电式标识的情况进行说明，但也可将其他物体作为识别对象。例如，可以将具有制动灯等发光部分的先行车辆、具有前灯等发光部分的后续车辆、交通信号灯、各种光电公告板等具有高亮度发光部分的各种物体作为物体识别装置10的识别对象。
图像获取部102从摄像装置20获取在由曝光量决定部101决定的第一曝光量F101、第二曝光量C101下由摄像装置20分别拍摄到的2种图像。继而，将以第一曝光量F101拍摄到的图像作为第一曝光图像输出至光源检测部103，而且将以第二曝光量C101拍摄到的图像作为第二曝光图像输出至识别候选提取部105。
光源检测部103从由摄像装置20以第一曝光量F101拍摄而由图像获取部102获取到的第一曝光图像中检测与光电式标识的发光部分相对应的光源区域。此处，如前文所述，第一曝光量F101被设定为拍摄时发生像素饱和的曝光量，因此，可以将第一曝光图像中具有规定值以上的亮度值的像素的区域检测为光源区域。具体而言，例如利用霍夫变换、MSER(Maximally Stable Extremal Regions)等公知技术将存在于第一曝光图像中的圆形状、椭圆形状、矩形形状等区域从其他背景区域中分离出来。继而，判定分离出来的区域内是否存在规定数量以上的规定亮度以上的像素，在存在的情况下，将该区域检测为光源区域。当以如此方式检测到光源区域时，光源检测部103获取该光源区域的中心位置、宽度、高度等信息，并输出至尺寸确定部104。
尺寸确定部104根据光源检测部103所检测到的光源区域来确定物体识别装置10视为识别对象的物体的尺寸。具体而言，根据从光源检测部103输出的光源区域的中心位置、宽度、高度等各信息来推断包含发光部分的物体在图像上的大小，由此确定该物体的尺寸。此时，可根据作为识别对象的物体的种类将规定倍率分别运用于光源区域的宽度和高度，由此来确定该物体的尺寸。如前文所述，在作为识别对象的物体为光电式标识的情况下，发光部分与光电式标识整体之间的尺寸的关系性是已知的，因此，可以根据从第一曝光图像中检测到的光源区域的大小来容易且准确地确定图像中的光电式标识的尺寸。
识别候选提取部105根据光源检测部103所检测到的光源区域的位置和尺寸确定部104所确定的物体的尺寸、从由摄像装置20以第二曝光量C101拍摄而由图像获取部102获取到的第二曝光图像中提取该物体所存在的区域的候选即识别候选。具体而言，例如使用光源检测部103所检测到的光源区域的中心位置和尺寸确定部104所确定的图像上的物体的尺寸，将第二曝光图像上与它们相对应的区域提取为识别候选。此外，也能以光源检测部103所检测到的光源位置为中心，来设定通过对尺寸确定部104中计算出的尺寸乘以规定倍率而扩张后的扫描区域，针对该扫描区域而分别在横向、纵向上以规定间隔扫描尺寸确定部104中计算出的尺寸的框，将这时的各区域提取为识别候选。如此，识别候选提取部105可以从第二曝光图像中提取并输出任意数量的识别候选。
识别处理部106对识别候选提取部105从第二曝光图像中提取到的识别候选实施与作为识别对象的物体相关的规定的识别处理。此处，对识别候选实施用于识别该物体的类别、该物体上的显示内容的识别处理。在该识别处理中，例如在识别对象物体为光电式标识的情况下，可以进行使用光电式标识的模板图像的模板匹配处理，获取与相关性最高的模板图像联系起来的光电式标识的类别和显示内容作为识别结果。此外，也可通过使用基于拍摄识别对象物体得到的大量图像的机器学习的统计性方法来判定物体的类别和显示内容而作为识别结果加以获取。除此以外，只要能针对识别对象物体而获得恰当的识别结果，则可以使用任意处理方法来实施识别处理。
车辆控制装置30根据从物体识别装置10输出的物体的识别结果来实施自身车辆的控制。例如，在识别对象物体为光电式标识的情况下，可以将光电式标识所指示的交通规则内容显示在自身车辆中设置的显示器上而呈现给驾驶员，或者对自身车辆的行驶速度进行控制。
(动作例)
接着，以图2所示的场景下的动作为例，对以上说明过的本实施方式的物体识别装置10的动作进行说明。图2展示了在自身车辆的前方设置有光电式标识的场景。图2中，光电式标识T101是表示最高限速为时速100km的标识。
图3为表示本发明的第1实施方式的物体识别装置10的处理的流程的流程图。本实施方式的物体识别装置10搭载于车辆中，例如通过CPU等运算装置在每个规定的处理周期实施图3的流程图所示的处理。下面，按照该图3的流程图对图2的场景下的物体识别装置10的具体动作例进行说明。
物体识别装置10按照图3的流程图而依序实施第一曝光量算出处理(S101)、图像获取处理(S102)、光源检测处理(S103)、尺寸确定处理(S104)、第二曝光量算出处理(S105)、图像获取处理(S106)、识别候选提取处理(S107)、识别处理(S108)，由此来识别作为识别对象物体的光电式标识的类别和显示内容。下面，对各处理内容进行说明。
在步骤S101中，由曝光量决定部101算出第一曝光量F101。此处，如前文所述，算出摄像装置20的拍摄时作为识别对象物体的光电式标识的发光部分的至少一部分发生像素饱和的曝光量作为第一曝光量F101。
在步骤S102中，通过图像获取部102从摄像装置20获取摄像装置20以在步骤S101中决定的第一曝光量F101拍摄到的图像，作为第一曝光图像。
图4为表示步骤S102中获取的第一曝光图像的例子的图。图4所示的第一曝光图像T111中包含与图2的光电式标识T101相对应的图像区域T112。在该图像区域T112中的与光电式标识T101的发光部分相对应的图像区域T113内发生了像素饱和造成的过曝。
在步骤S103中，由光源检测部103从步骤S102中获取到的第一曝光图像中检测光源区域。此处，将图4的第一曝光图像T111中的图像区域T113检测为光源区域，计算其中心位置、宽度、高度等信息。
在步骤S104中，由尺寸确定部104根据步骤S103中检测到的光源区域来确定物体识别装置10视为识别对象的物体即光电式标识的尺寸。此处，例如对作为光源区域检测到的图像区域T113的高度和宽度分别乘以规定倍率，由此，根据光源区域来确定该物体的尺寸。再者，此时的倍率可以根据识别对象物体的种类预先设定好。
在步骤S105中，由曝光量决定部101算出第二曝光量C101。此处，如前文所述，算出摄像装置20的拍摄时作为识别对象物体的光电式标识的发光部分不发生像素饱和的曝光量作为第二曝光量C101。
在步骤S106中，由图像获取部102从摄像装置20获取摄像装置20以在步骤S105中决定的第二曝光量C101拍摄到的图像，作为第二曝光图像。
图5为表示步骤S106中获取的第二曝光图像的例子的图。图5所示的第二曝光图像T121中包含与图2的光电式标识T101相对应的图像区域T122。在该图像区域T122中的与光电式标识T101的发光部分相对应的图像区域T123内，不同于图4的图像区域T113，没有发生像素饱和造成的过曝。
在步骤S107中，由识别候选提取部105从步骤S106中获取到的第二曝光图像中提取用于实施识别处理的识别候选。此处，根据步骤S103中检测到的光源区域的中心位置和步骤S104中确定的光电式标识的尺寸(高度、宽度)来决定在第二曝光图像中提取为识别候选的区域。
图6为表示步骤S107中提取的识别候选的例子的图。图6所示的第二曝光图像T121与图5相同。在步骤S107的识别候选提取处理中，在该第二曝光图像T121中的与光电式标识T101相对应的图像区域T122的周围设定识别候选T132来加以提取。此处，识别候选T132的中心位置是根据步骤S103中检测到的光源区域的中心位置来设定。此外，识别候选T132的高度和宽度是根据步骤S104中确定的表示光电式标识的尺寸的高度和宽度来分别加以设定。
在步骤S108中，由识别处理部106实施针对步骤S107中提取到的识别候选的识别处理。此处，例如使用与提取到的识别候选相同大小的模板图像来进行前文所述的模板匹配处理，在多个模板图像中确定相关性最高的模板图像。由此，识别出作为识别候选T132提取到的图像区域是拍摄光电式标识T101得到的，而且识别出该光电式标识T101的类别为最高限速的道路标识、其显示内容显示的是最高速度为时速100km。
如以上所说明，在本实施方式的物体识别装置10中，针对光电式标识这样的具有高亮度发光部分的物体，从使用发光部分的至少一部分发生像素饱和的曝光量拍摄到的图像中推断该物体的大小而实施识别处理。由此，可以根据物体的大小来锁定用于识别处理的模板图像的尺寸，所以能削减处理时间。结果，即便是较短处理时间，也能准确地识别物体。
根据以上说明过的本发明的第1实施方式，取得以下作用效果。
(1)物体识别装置10具备曝光量决定部101、图像获取部102、光源检测部103、尺寸确定部104、识别候选提取部105以及识别处理部106。曝光量决定部101可以决定第一曝光量F101和比第一曝光量F101少的第二曝光量C101(步骤S101、S105)，图像获取部102获取以第一曝光量F101拍摄到的第一曝光图像T111和以第二曝光量C101拍摄到的第二曝光图像T121(步骤S102、S106)。光源检测部103从第一曝光图像T111中检测光源区域(图像区域T113)(步骤S103)。尺寸确定部104根据光源检测部103所检测到的光源区域来确定识别对象物体(光电式标识T101)的尺寸(步骤S104)。识别候选提取部105根据光源检测部103所检测到的光源区域的位置以及尺寸确定部104所确定的物体的尺寸，从第二曝光图像T121中提取物体所存在的区域的候选即识别候选T132(步骤S107)。识别处理部106对识别候选提取部105所提取到的识别候选T132实施与物体相关的识别处理(步骤S108)。因此，可以从摄像机的拍摄图像中提取与识别对象物体的尺寸相应的识别候选来实施识别处理，所以能以较短处理时间准确地识别物体。
(2)曝光量决定部101根据拍摄时识别对象物体的发光部分的至少一部分发生像素饱和的曝光量来决定第一曝光量F101及第二曝光量C101。具体而言，在步骤S101中，将摄像装置20的拍摄时该发光部分的至少一部分发生像素饱和的曝光量决定为第一曝光量F101，在步骤S105中，将摄像装置20的拍摄时该发光部分不发生像素饱和的曝光量决定为第二曝光量C101。因此，可以将适于拍摄易于检测光源区域的图像的曝光量决定为第一曝光量F101，而且将适于拍摄易于实施识别处理的图像的曝光量决定为第二曝光量C101。
[第2实施方式]
接着，对本发明的第2实施方式进行说明。图7为表示本发明的第2实施方式的物体识别装置的构成的功能框图。如图7所示，本实施方式的物体识别装置10A与图1中说明过的第1实施方式的物体识别装置10一样，与摄像装置20及车辆控制装置30连接。本实施方式的物体识别装置10A具备曝光量决定部201、图像获取部202、光源检测部203、尺寸确定部204、识别候选提取部205、识别处理部206以及尺寸信息存储部207。物体识别装置10A例如使用具有CPU等运算装置和ROM、RAM、闪存等存储装置的电脑来构成，通过在运算装置中执行存储装置中存储的控制程序而作为上述各功能块进行动作。再者，物体识别装置10A所具有的功能的一部分或全部也可使用FPGA等硬件来构成。
曝光量决定部201与图1的曝光量决定部101一样，算出控制摄像装置20的亮度的2种曝光量即第一曝光量F201及第二曝光量C201，并将算出的这些曝光量输出至摄像装置20。
图像获取部202与图1的图像获取部102一样，获取在曝光量决定部201所决定的第一曝光量F201及第二曝光量C201下由摄像装置20分别拍摄到的2种图像作为第一曝光图像及第二曝光图像。
光源检测部203从第一曝光图像中检测光源区域，并将检测结果输出至尺寸确定部204及识别候选提取部205。尺寸确定部204根据光源检测部203的输出所表示的光源区域的中心位置、宽度、高度等各信息来确定物体识别装置10A视为识别对象的物体的尺寸，并输出至识别候选提取部205。此时，光源检测部203通过参考尺寸信息存储部207中存储的尺寸信息来推断该物体在图像上的大小，从而确定尺寸。再者，尺寸信息存储部207中存储的尺寸信息的详情于后文叙述。
识别候选提取部205与图1的识别候选提取部105一样，根据光源检测部203所检测到的光源区域的位置和尺寸确定部204所确定的物体的尺寸，从第二曝光图像中提取识别候选。识别处理部206与图1的识别处理部106一样，对识别候选提取部205从第二曝光图像中提取到的识别候选实施识别处理，识别出该物体的类别、该物体上的显示内容。
尺寸信息存储部207存储有表示识别对象物体的发光部分与该物体的大小的关系性的尺寸信息。该尺寸信息例如可以针对物体的宽度和高度各方而以相对于发光部分的物体大小的倍率的形式来表示。但尺寸信息并不限定于物体的宽度和高度。例如，在以距中心位置的半径的形式来定义物体尺寸的情况下，可以将相对于半径的倍率作为尺寸信息存储在尺寸信息存储部207中。除此以外，只要是发光部分与物体大小的关系性相关的信息，则任何信息都能作为尺寸信息存储在尺寸信息存储部207中。
再者，在物体识别装置10A的收货地定下来的情况下，可在工厂的生产线等出厂前阶段内重写尺寸信息存储部207中存储的尺寸信息。例如，在为向日本国内出货的物体识别装置10A的情况下，针对日本国内配置的光电式标识等物体而将该物体的发光部分和大小相关的尺寸信息存储在尺寸信息存储部207中。另一方面，在为向其他地区出货的物体识别装置10A的情况下，存储与收货地相应的尺寸信息。
(动作例)
接着，对以上说明过的本实施方式的物体识别装置10A的动作例进行说明。图8为表示本发明的第2实施方式的物体识别装置10A的处理的流程的流程图。本实施方式的物体识别装置10A搭载于车辆中，例如通过CPU等运算装置在每个规定的处理周期实施图8的流程图所示的处理。下面，按照该图8的流程图对物体识别装置10A的具体动作例进行说明。
物体识别装置10A按照图8的流程图而依序实施第一曝光量算出处理(S201)、图像获取处理(S202)、光源检测处理(S203)、物体类别判定处理(S204)、物体尺寸计算处理(S205)、第二曝光量算出处理(S206)、图像获取处理(S207)、识别候选提取处理(S208)、识别处理(S209)，由此来识别作为识别对象物体的光电式标识的类别和显示内容。下面，对各处理内容进行说明。
在步骤S201～S203中，由曝光量决定部201、图像获取部202以及光源检测部203分别实施与图3的步骤S101～S103同样的处理。
在步骤S204中，由尺寸确定部104根据步骤S203中检测到的光源区域来决定在尺寸信息存储部207中存储的尺寸信息中参考哪一物体类别的尺寸信息。此处，例如根据光源区域的大小、亮度、颜色、形状等来判定符合在尺寸信息存储部207中按每一类别存储有尺寸信息的物体中的哪一类别的物体。在本动作例中，作为识别对象的物体为光电式标识，因此通过步骤S204的物体类别判定处理而获得物体类别为光电式标识这一结果。
在步骤S205中，由尺寸确定部104根据步骤S204的判定结果，参考尺寸信息存储部207中存储的尺寸信息来计算物体识别装置10A视为识别对象的物体的尺寸。此处，例如通过参考图9的表中展示的尺寸信息来计算物体的大小。
图9为表示尺寸信息存储部207中存储的尺寸信息的例子的图。在图9的尺寸信息中，按物体的每一类别而以表形式记载有对应于包含发光部分的物体的高度和宽度的倍率。具体而言，第2行记载有与道路标识相关的尺寸信息，第3行记载有与车辆相关的尺寸信息。
在本动作例中，在物体类别判定处理(S204)中，如上所述，获得了作为识别对象的物体的类别为光电式标识这一判定结果。因此，在步骤S205中，参考图9的尺寸信息中的道路标识的部分，由此得知对应于作为光源区域被检测的发光部分的宽度和高度的光电式标识的倍率均为1.2倍。因而，对光源检测处理(S203)中获取到的光源区域的宽度和高度分别乘以图9中记载的倍率，由此能确定拍摄图像中的光电式标识的尺寸。
在步骤S206～S209中，由曝光量决定部201、图像获取部202、识别候选提取部205以及识别处理部206分别实施与图3的步骤S105～S108同样的处理。
如以上所说明，在本实施方式的物体识别装置10A中，通过利用事先制作的与发光部分的大小的关系性，能够更准确地推断识别对象物体的大小。由此，能够更准确地选择实施识别处理的区域，从而能提高识别精度。
根据以上说明过的本发明的第2实施方式，除了第1实施方式中说明过的(1)、(2)的各作用效果以外，还取得以下(3)的作用效果。
(3)物体识别装置10A还具备尺寸信息存储部207，所述尺寸信息存储部207按物体的每一种类存储有表示物体的发光部分与物体大小的关系性的尺寸信息。尺寸确定部24根据光源检测部203所检测到的光源区域的尺寸来参考尺寸信息存储部207中存储的尺寸信息，从而确定物体的尺寸。因此，能更准确地推断识别对象物体的尺寸，所以能提高物体的识别精度。
[第3实施方式]
接着，对本发明的第3实施方式进行说明。图10为表示本发明的第3实施方式的物体识别装置的构成的功能框图。如图10所示，本实施方式的物体识别装置10B与图1中说明过的第1实施方式的物体识别装置10一样，与摄像装置20及车辆控制装置30连接。本实施方式的物体识别装置10B具备曝光量决定部301、图像获取部302、光源检测部303、尺寸确定部304、识别候选提取部305、识别处理部306、环境信息获取部307以及亮度信息存储部308。物体识别装置10B例如使用具有CPU等运算装置和ROM、RAM、闪存等存储装置的电脑来构成，通过在运算装置中执行存储装置中存储的控制程序而作为上述各功能块进行动作。另外，物体识别装置10B所具有的功能的一部分或全部也可使用FPGA等硬件来构成。
环境信息获取部307获取物体识别装置10B周边的环境信息，并输出至曝光量决定部301。此处，环境信息获取部307所获取的所谓环境信息，例如为物体识别装置10B正在动作的场所(国家、地区等)、时段等信息，相当于表示搭载有物体识别装置10B的自身车辆的行驶环境的信息。例如，环境信息获取部307与未图示的导航系统连接，可以通过从该导航系统获取场所、时段等信息来获取环境信息。导航系统例如接收GPS(Global PositioningSystem)信号，并将接收到的GPS信号所表示的位置与地图进行对照，由此能确定与自身的当前位置相对应的场所。此外，可以根据接收到的GPS信号来检测当前时刻而确定时段。再者，除此以外，环境信息获取部307也可以利用任意手段来获取环境信息。
亮度信息存储部308中存储有与识别对象物体的发光部分的亮度相关的亮度信息。该亮度信息中，例如按每一场所和时段而设定有发光部分的亮度。再者，亮度信息例如可以通过亮度[cd/m2]、照度[lx]等各种物理量来表示。
曝光量决定部301根据环境信息获取部307所获取到的环境信息来参考亮度信息存储部308中存储的亮度信息，从而决定第一曝光量F301及第二曝光量C301。具体而言，曝光量决定部301从亮度信息存储部308中存储的亮度信息中获取与环境信息获取部307所获取到的环境信息相对应的识别对象物体的发光部分的亮度。继而，根据获取到的发光部分的亮度来设定第一曝光量F301及第二曝光量C301。例如，以拍摄图像中的发光部分的像素值达到规定基准值以上的方式设定第一曝光量F301，而且以拍摄图像中的发光部分的像素值达到规定基准值以下的方式设定第二曝光量C301。再者，这些设定中的基准值可为同一值，也可为不同值。
图像获取部302与图1的图像获取部102一样，获取摄像装置20以曝光量决定部301所决定的第一曝光量F301及第二曝光量C301分别拍摄到的2种图像作为第一曝光图像及第二曝光图像。
光源检测部303与图1的光源检测部103一样，从第一曝光图像中检测光源区域，并将检测结果输出至尺寸确定部304及识别候选提取部305。尺寸确定部304与图1的尺寸确定部104一样，根据光源检测部303的输出所表示的光源区域的中心位置、宽度、高度等各信息来确定物体识别装置10B视为识别对象的物体的尺寸，并输出至识别候选提取部305。
识别候选提取部305与图1的识别候选提取部105一样，根据光源检测部303所检测到的光源区域的位置和尺寸确定部304所确定的物体的尺寸，从第二曝光图像中提取识别候选。识别处理部306与图1的识别处理部106一样，对识别候选提取部305从第二曝光图像中提取到的识别候选实施识别处理，识别出该物体的类别、该物体上的显示内容。
(动作例)
接着，对以上说明过的本实施方式的物体识别装置10B的动作例进行说明。下面，对自身车辆的行驶国为日本、当前时刻为20点的情况的例子进行说明。
图11为表示本发明的第3实施方式的物体识别装置10B的处理的流程的流程图。本实施方式的物体识别装置10B搭载于车辆中，例如通过CPU等运算装置而在每个规定的处理周期实施图11的流程图所示的处理。下面，按照该图11的流程图对物体识别装置10B的具体动作例进行说明。
物体识别装置10B按照图11的流程图而依序实施环境信息获取处理(S300)、第一曝光量设定处理(S301)、图像获取处理(S302)、光源检测处理(S303)、尺寸确定处理(S304)、第二曝光量设定处理(S305)、图像获取处理(S306)、识别候选提取处理(S307)、识别处理(S308)，由此来识别作为识别对象物体的光电式标识的类别和显示内容。下面，对各处理内容进行说明。
在步骤S300中，由环境信息获取部307获取物体识别装置10B周边的环境信息。此处，获取当前时刻以及自身车辆的行驶国等信息作为物体识别装置10B周边的环境信息。
在步骤S301中，由曝光量决定部301根据步骤S300中获取到的环境信息来参考亮度信息存储部308中存储的亮度信息，从而设定第一曝光量F301。此处，例如通过参考图12的表中展示的亮度信息来确定物体识别装置10B视为识别对象的物体即光电式标识的发光部分的亮度，从而设定与该亮度相应的第一曝光量F301。
图12为表示亮度信息存储部308中存储的亮度信息的例子的图。在图12的亮度信息中，按每一时段及行驶国而以表形式记载有光电式标识的发光部分的亮度。具体而言，表的各行对应于时段，各列对应于行驶国(日本、德国)，按它们的每一组合而存储有光电式标识的发光部分的亮度信息。例如，在行驶国为日本的情况下，展示了6点到9点这一时段内的光电式标识的发光部分的亮度为50[cd/m2]，9点到15点这一时段内的光电式标识的发光部分的亮度为100[cd/m2]，15点到19点这一时段内的光电式标识的发光部分的亮度为70[cd/m2]，19点到6点这一时段内的光电式标识的发光部分的亮度为60[cd/m2]。
在步骤S301的第一曝光量设定处理中，通过参考图12的亮度信息得知，在自身车辆的行驶国即日本、在当前时刻20点，光电式标识的发光部分的亮度为60[cd/m2]。因而，可以根据该亮度来设定拍摄时发生像素饱和的曝光量作为第一曝光量F301。
在步骤S302～S304中，由图像获取部302、光源检测部303以及尺寸确定部304分别实施与图3的步骤S102～S104同样的处理。
在步骤S305中，由曝光量决定部301根据步骤S300中获取到的环境信息来参考亮度信息存储部308中存储的亮度信息，从而设定第二曝光量C301。此处，与步骤S301一样，例如通过参考图12的表中展示的亮度信息来确定物体识别装置10B视为识别对象的物体即光电式标识的发光部分的亮度，从而设定与该亮度相应的第二曝光量C301。具体而言，当参考图12的亮度信息时，如前文所述，得知在自身车辆的行驶国即日本、在当前时刻20点，光电式标识的发光部分的亮度为60[cd/m2]。因而，可以根据该亮度来设定拍摄时不发生像素饱和的曝光量作为第二曝光量C301。
在步骤S306～S308中，由图像获取部302、识别候选提取部305以及识别处理部306分别实施与图3的步骤S106～S108同样的处理。
如以上所说明，在本实施方式的物体识别装置10B中，获取与当前的物体识别装置10B的周边环境相对应的发光部分的亮度相关的亮度信息，由此来适应性地改变拍摄时的曝光量。由此，对于像光电式标识的发光部分那样会根据场所和时段而出现亮度变化的物体，能够恰当地设定拍摄时的曝光量，从而能提高该物体的检测精度和识别精度。
根据以上说明过的本发明的第3实施方式，除了第1实施方式中说明过的(1)、(2)的各作用效果以外，还取得以下(4)、(5)的作用效果。
(4)物体识别装置10B还具备环境信息获取部307和亮度信息存储部308，所述环境信息获取部307获取物体识别装置10B周边的环境信息，所述亮度信息存储部308按每一环境存储有物体的发光部分的亮度信息。曝光量决定部301根据环境信息获取部307所获取到的环境信息来参考亮度信息存储部308中存储的亮度信息，从而决定第一曝光量F301及第二曝光量C301。因此，能够更恰当地设定拍摄时的曝光量，所以能提高物体的检测精度和识别精度。
(5)环境信息获取部307能够获取包含物体识别装置10B正在动作的场所及时段中的至少任一方的信息作为环境信息。因此，能可靠且容易地获取拍摄时的曝光量的设定所需的信息作为环境信息。
[第4实施方式]
接着，对本发明的第4实施方式进行说明。图13为表示本发明的第4实施方式的物体识别装置的构成的功能框图。如图13所示，本实施方式的物体识别装置10C与图1中说明过的第1实施方式的物体识别装置10一样，与摄像装置20及车辆控制装置30连接。本实施方式的物体识别装置10C具备曝光量决定部401、图像获取部402、光源检测部403、尺寸确定部404、识别候选提取部405、识别处理部406、三维位置算出部407以及行为信息获取部408。物体识别装置10C例如使用具有CPU等运算装置和ROM、RAM、闪存等存储装置的电脑来构成，通过在运算装置中执行存储装置中存储的控制程序而作为上述各功能块进行动作。再者，物体识别装置10C所具有的功能的一部分或全部也可使用FPGA等硬件来构成。
曝光量决定部401与图1的曝光量决定部101一样，算出控制摄像装置20的亮度的2种曝光量即第一曝光量F401及第二曝光量C401，并将算出的这些曝光量输出至摄像装置20。
图像获取部402与图1的图像获取部102一样，获取摄像装置20以曝光量决定部401所决定的第一曝光量F401及第二曝光量C401分别拍摄到的2种图像作为第一曝光图像及第二曝光图像。
光源检测部403从第一曝光图像中检测光源区域，并将检测结果输出至尺寸确定部404、识别候选提取部405以及三维位置算出部407。尺寸确定部404根据光源检测部403的输出所表示的光源区域的宽度、高度各信息来确定物体识别装置10C视为识别对象的物体的尺寸，并输出至识别候选提取部405及三维位置算出部407。
三维位置算出部407根据光源检测部403和尺寸确定部404的输出来算出识别对象物体的三维位置，并将算出的三维位置输出至识别候选提取部405。三维位置算出部407例如持有实际世界内的物体的实际尺寸信息、摄像装置20的光学参数相关的信息。此处，所谓光学参数，是焦距、像素的实际尺寸等与摄像装置20所具有的镜头和摄像元件相关的参数。
三维位置算出部407利用尺寸确定部404所输出的拍摄图像上的物体的尺寸信息和三维位置算出部407所持有的物体的实际尺寸信息以及光学参数来推断物体识别装置10C到物体的纵深方向的距离。继而，利用推断出的纵深方向的距离、光源检测部403所检测到的光源区域的中心位置、以及三维位置算出部407所持有的光学参数而针对与纵深方向正交的横向及纵向各方来推断相对于物体识别装置10C的物体位置。通过以如此方式针对纵深方向、横向以及纵向这各方向来推断以物体识别装置10C为基准的物体的位置，在三维位置算出部407中算出物体的三维位置。三维位置算出部407所算出的物体的三维位置被输出至识别候选提取部405。
行为信息获取部408获取与搭载有物体识别装置10C的移动体的行为相关的行为信息。具体而言，例如在移动体为车辆的情况下，可以经由该车辆内设置的CAN(ControllerArea Network)等网络来获取车辆的行驶速度、舵角、横摆率等信息作为车辆的行为信息。再者，行为信息获取部408也可获取其他信息作为行为信息。此外，也可经由CAN以外的网络来获取行为信息，也可通过其他方法来获取行为信息。只要是与搭载有物体识别装置10C的移动体的行为相关的信息，则行为信息获取部408可以将通过任意方法获取到的任意信息用作行为信息。
识别候选提取部405根据光源检测部403、尺寸确定部404、三维位置算出部407、行为信息获取部408的各输出而从第二曝光图像中提取识别候选。具体而言，首先根据行为信息获取部408所获取到的行为信息来算出摄像装置20拍摄第一曝光图像起到拍摄第二曝光图像为止的期间内的移动体的移动量。接着，对三维位置算出部407所算出的第一曝光图像的拍摄时间点上的物体的三维位置运用算出的移动量，由此来推断第二曝光图像的拍摄时间点上的物体的三维位置。最后，从第二曝光图像中提取在推断出的三维位置上与尺寸确定部204所确定的物体的尺寸相对应的区域，由此提取出识别候选。识别候选提取部405例如能以如此方式从第二曝光图像中提取与物体的三维位置相对应的识别候选。
识别处理部406与图1的识别处理部106一样，对识别候选提取部405从第二曝光图像中提取到的识别候选实施识别处理，识别出该物体的类别、该物体上的显示内容。
(动作例)
接着，对以上说明过的本实施方式的物体识别装置10C的动作例进行说明。下面，与第1实施方式中说明过的动作例一样，对以光电式标识为识别对象的情况下的动作例进行说明。
图14为表示本发明的第4实施方式的物体识别装置10C的处理的流程的流程图。本实施方式的物体识别装置10C搭载于车辆中，例如通过CPU等运算装置而在每个规定的处理周期实施图14的流程图所示的处理。下面，按照该图14的流程图对物体识别装置10C的具体动作例进行说明。
物体识别装置10C按照图14的流程图而依序实施第一曝光量算出处理(S400)、图像获取处理(S401)、光源检测处理(S402)、尺寸确定处理(S403)、三维位置算出处理(S404)、第二曝光量算出处理(S405)、图像获取处理(S406)、车辆信息获取处理(S407)、物体位置预测处理(S408)、识别候选提取处理(S409)、识别处理(S410)，由此来识别作为识别对象物体的光电式标识的类别和显示内容。下面，对各处理内容进行说明。
在步骤S400～S403中，由曝光量决定部401、图像获取部402、光源检测部403以及尺寸确定部404分别实施与图3的步骤S101～S104同样的处理。
在步骤S404中，由三维位置算出部407根据步骤S402中检测到的光源区域的位置和步骤S403中确定的识别对象物体的尺寸来算出物体的三维位置。此处，例如按照以下所说明的图15所示的处理流程来算出物体的三维位置。
图15为三维位置算出处理的流程图。在三维位置算出处理中，由三维位置算出部407依序实施纵深距离算出处理(S411)、横向距离算出处理(S412)、纵向距离算出处理(S413)，由此获取物体的三维位置信息。
在步骤S411的纵深距离算出处理中，使用以下式(1)来求纵深距离Z。
Z＝f/w*R/O ···(1)
式(1)中，f表示摄像装置20的焦距，w表示摄像装置20所具有的摄像元件的大小，R表示识别对象物体的实际尺寸，O表示步骤S403中确定的拍摄图像上的物体的大小。另外，只要为相同方向，则R和O可利用宽度方向、高度方向中的任一方向的大小。即，可将识别对象物体的实际宽度和拍摄图像上的宽度分别用作R、O，也可将识别对象物体的实际高度和拍摄图像上的高度分别用作R、O。
接着，在步骤S412的横向距离算出处理中，使用以下式(2)来求横向距离X。
X＝wx/f*Z*(cx－ox) ···(2)
式(2)中，wx表示摄像装置20所具有的摄像元件的横宽，f表示摄像装置20的焦距，Z表示步骤S411的纵深距离算出处理中通过式(1)求出的物体的纵深距离，cx表示步骤S402中检测到的光源区域在拍摄图像上的横向位置，ox表示拍摄图像的横向的中央位置。
接着，在步骤S413的纵向距离算出处理中，使用以下式(3)来求纵向距离Y。
Y＝wy/f*Z*(cy－oy) ···(3)
式(3)中，wy表示摄像装置20所具有的摄像元件的纵宽，f表示摄像装置20的焦距，Z表示步骤S411的纵深距离算出处理中通过式(1)求出的物体的纵深距离，cy表示步骤S402中检测到的光源区域在拍摄图像上的纵向位置，oy表示拍摄图像的纵向的中央位置。
在步骤S404的三维位置算出处理中，通过以上那样的计算来获取识别对象物体的三维位置。
在步骤S405～S406中，由曝光量决定部401及图像获取部402分别实施与图3的步骤S105～S106同样的处理。
在步骤S407中，由行为信息获取部408获取移动体的行为信息。此处，例如获取作为移动体的车辆的行驶速度、舵角、横摆率等信息作为行为信息。
在步骤S408中，由识别候选提取部405根据步骤S404中算出的物体的三维位置和步骤S407中获取到的行为信息来预测第二曝光图像上的物体位置。此处，例如按照以下所说明的图16所示的处理流程来预测物体的位置。
图16为物体位置预测处理的流程图。在物体位置预测处理中，由识别候选提取部405依序实施三维位置更新处理(S421)、图像投影处理(S422)，由此来预测物体的位置。
在步骤S421的三维位置更新处理中，使用步骤S407中获取到的行为信息将步骤S404中算出的物体的三维位置更新为第二曝光图像的拍摄时间点上的三维位置。即，步骤S407中算出的物体的三维位置是第一曝光图像的拍摄时间点上的物体的位置，因此，根据摄像装置20拍摄第一曝光图像起到拍摄第二曝光图像为止的期间内的移动体的移动量来更新物体的三维位置。具体而言，利用行为信息中包含的速度、舵角、横摆率等信息而针对纵深方向、横向、纵向各方来计算作为移动体的车辆的移动量。其后，从步骤S407中计算出的三维位置扣除车辆的移动量，由此更新为第二曝光图像的拍摄时间点上的三维位置。
在步骤S422的图像投影处理中，将步骤S421中更新后的物体的三维位置投影到第二曝光图像上，由此来预测第二曝光图像上的物体位置。
在步骤S408的物体位置预测处理中，通过以上那样的处理来预测第二曝光图像上的物体位置。
在步骤S409中，由识别候选提取部405根据步骤S408中预测的物体的位置，从第二曝光图像中提取用于实施识别处理的识别候选。此处，对步骤S422中求出的第二曝光图像上的物体位置运用步骤S403中确定的物体的尺寸(高度、宽度)，由此来决定在第二曝光图像中提取为识别候选的区域。此时，可考虑步骤S421中计算出的车辆的移动量以及物体的实际尺寸来决定提取为识别候选的区域的宽度和高度。
在步骤S410中，由识别处理部406对步骤S409中提取到的识别候选实施与图3的步骤S107同样的识别处理。
如以上所说明，在本实施方式的物体识别装置10C中，考虑摄像装置20拍摄第一曝光图像起到拍摄第二曝光图像为止的期间内的移动体的移动量来决定从第二曝光图像中提取为识别候选的区域。由此，在物体识别装置10C设置于移动体上的情况下也能高精度地提取识别候选，从而能提高识别性能。
根据以上说明过的本发明的第4实施方式，除了第1实施方式中说明过的(1)、(2)的各作用效果以外，还取得以下(6)的作用效果。
(6)物体识别装置10C还具备三维位置算出部407和行为信息获取部408，所述三维位置算出部407算出物体的三维位置，所述行为信息获取部408获取与搭载有物体识别装置10C的移动体的行为相关的行为信息。识别候选提取部405根据光源区域的位置、物体的尺寸、物体的三维位置以及行为信息来提取识别候选。因此，可以考虑移动体的移动量来决定识别候选，所以能提高物体的识别性能。
[第5实施方式]
接着，对本发明的第5实施方式进行说明。图17为表示本发明的第5实施方式的物体识别装置的构成的功能框图。如图17所示，本实施方式的物体识别装置10D与图1中说明过的第1实施方式的物体识别装置10一样，与摄像装置20及车辆控制装置30连接。本实施方式的物体识别装置10D具备曝光量决定部501、图像获取部502、光源检测部503、尺寸确定部504、识别候选提取部505、识别处理部506、环境信息获取部507、亮度信息存储部508以及识别候选修正部509。物体识别装置10D例如使用具有CPU等运算装置和ROM、RAM、闪存等存储装置的电脑来构成，通过在运算装置中执行存储装置中存储的控制程序而作为上述各功能块进行动作。另外，物体识别装置10D所具有的功能的一部分或全部也可使用FPGA等硬件来构成。
环境信息获取部507与第3实施方式中说明过的图10的环境信息获取部307一样，获取物体识别装置10D周边的环境信息，并输出至曝光量决定部501。亮度信息存储部508中与第3实施方式中说明过的图10的亮度信息存储部308一样，存储有与识别对象物体的发光部分的亮度相关的亮度信息。
曝光量决定部501与第3实施方式中说明过的图10的曝光量决定部301一样，根据环境信息获取部507所获取到的环境信息来参考亮度信息存储部508中存储的亮度信息，从而决定第一曝光量F501及第二曝光量C501。
图像获取部502与图1的图像获取部102一样，获取摄像装置20以曝光量决定部501所决定的第一曝光量F501及第二曝光量C501分别拍摄到的2种图像作为第一曝光图像及第二曝光图像。
光源检测部503与图1的光源检测部103一样，从第一曝光图像中检测光源区域，并将检测结果输出至尺寸确定部504及识别候选提取部505。尺寸确定部504与图1的尺寸确定部104一样，根据光源检测部503的输出所表示的光源区域的中心位置、宽度、高度等各信息来确定物体识别装置10D视为识别对象的物体的尺寸，并输出至识别候选提取部505。
识别候选提取部505与图1的识别候选提取部105一样，根据光源检测部503所检测到的光源区域的位置和尺寸确定部504所确定的物体的尺寸，从第二曝光图像中提取识别候选。
识别候选修正部509在第二曝光图像上对识别候选提取部505所提取到的识别候选的位置、尺寸及形状中的至少任一方进行修正，并提取修正后的识别候选而输出至识别处理部506。识别候选修正部509例如可以将识别候选提取部505在第二曝光图像内作为识别候选输出的区域暂时扩大，并根据扩大后的区域的亮度信息将该区域缩小，由此来修正识别候选的位置、尺寸、形状。具体而言，例如根据亮度信息存储部508中存储的亮度信息来推断第二曝光图像中的物体的发光部分的亮度，从扩大后的识别候选的区域内提取具有与推断出的发光部分的亮度类似的亮度值的各像素也就是与发光部分的亮度差不到规定阈值的各像素。继而，根据提取到的各像素的分布、例如以区域内的像素密度达到规定值以上的方式缩小识别候选的区域。如此，将区域缩小后的识别候选在第二曝光图像上的位置、尺寸及形状作为修正后的识别候选的位置、尺寸及形状，由此能进行识别候选的修正。
或者，也可将扩大后的区域的亮度信息二值化来进行识别候选的修正。例如，将与发光部分的亮度的差不到规定阈值的像素的亮度值设为255、将亮度差为阈值以上的像素的亮度值设为0，由此能实现亮度信息的二值化。在进行了这样的亮度信息的二值化的基础上针对纵向和横向来分别计算投影直方图，并进行各直方图的峰值检测，由此能决定修正后的识别候选的位置、尺寸及形状。进而，也能以统计性的机器学习的形式，按发光部分的每一亮度来学习能够推断对应于物体位置的回归系数的模型，根据利用亮度信息推断出的第二曝光图像中的物体的发光部分的亮度来切换要利用的模型，由此来决定修正后的识别候选的位置、尺寸及形状。除此以外，也可以使用任意方法在第二曝光图像上修正识别候选。
识别处理部506对识别候选修正部509在第二曝光图像上进行了修正的识别候选实施与图1的识别处理部106同样的识别处理，由此识别出该物体的类别、该物体上的显示内容。
(动作例)
接着，对以上说明过的本实施方式的物体识别装置10D的动作例进行说明。下面，与第1实施方式中说明过的动作例一样，对以光电式标识为识别对象的情况下的动作例进行说明。
图18为表示本发明的第5实施方式的物体识别装置10D的处理的流程的流程图。本实施方式的物体识别装置10D搭载于车辆中，例如通过CPU等运算装置在每个规定的处理周期实施图18的流程图所示的处理。下面，按照该图18的流程图对物体识别装置10D的具体动作例进行说明。
物体识别装置10D按照图18的流程图而依序实施环境信息获取处理(S500)、第一曝光量设定处理(S501)、图像获取处理(S502)、光源检测处理(S503)、尺寸确定处理(S504)、第二曝光量设定处理(S505)、图像获取处理(S506)、识别候选提取处理(S507)、识别候选扩大处理(S508)、发光部亮度推断处理(S509)、识别候选再提取处理(S510)、识别处理(S511)，由此来识别作为识别对象物体的光电式标识的类别和显示内容。下面，对各处理内容进行说明。
在步骤S500中，由环境信息获取部507与图11的步骤S300同样地获取物体识别装置10D周边的环境信息。
在步骤S501中，由曝光量决定部501与图11的步骤S301同样地根据步骤S500中获取到的环境信息来参考亮度信息存储部508中存储的亮度信息，从而设定第一曝光量F501。
在步骤S502～S504中，由图像获取部502、光源检测部503以及尺寸确定部504分别实施与图3的步骤S102～S104同样的处理。
在步骤S505中，由曝光量决定部501与图11的步骤S305同样地根据步骤S500中获取到的环境信息来参考亮度信息存储部508中存储的亮度信息，从而设定第二曝光量C501。
在步骤S506～S507中，由图像获取部502及识别候选提取部505分别实施与图3的步骤S106～S107同样的处理。
在步骤S508中，由识别候选修正部509在第二曝光图像上扩大步骤S507中提取到的识别候选。此处，例如对提取为识别候选的第二曝光图像的区域分别在宽度方向和高度方向上乘以规定倍率，由此来扩大识别候选。再者，与宽度方向和高度方向分别相乘的倍率可为相同值，也可设为不同值。
在步骤S509中，由识别候选修正部509参考亮度信息存储部508中存储的亮度信息来推断第二曝光图像中的物体的发光部分的亮度。此处，可以根据步骤S505中设定的第二曝光量C501来算出与亮度信息所表示的发光部分的亮度相对应的第二曝光图像的亮度值，由此推断出第二曝光图像中的发光部分的亮度。
在步骤S510中，由识别候选修正部509根据步骤S509中推断出的第二曝光图像中的发光部分的亮度来缩小步骤S508中扩大后的识别候选，由此来再设定识别候选。继而，再提取再设定好的识别候选作为修正后的识别候选。此处，例如按照以下所说明的图19所示的处理流程来再提取识别候选。
图19为识别候选再提取处理的流程图。在识别候选再提取处理中，由识别候选修正部509依序实施图像二值化处理(S520)、投影直方图计算(S521)、宽度推断处理(S522)、高度推断处理(S523)，由此来再提取识别候选。
再者，在以下的说明中，图20所示的第二曝光图像T501是在步骤S506中获取的，针对该第二曝光图像T501，在步骤S507中提取图像区域T502作为识别候选，而且在步骤S508中得到图像区域T503作为扩大后的识别候选。
在步骤S520的图像二值化处理中，根据步骤S509中推断出的发光部分的亮度将图20的图像区域T503内的各像素的亮度值二值化。具体而言，例如像前文所述那样将与发光部分的亮度的差不到规定阈值的像素的亮度值设定为255、将亮度差为阈值以上的像素的亮度值设定为0。
图21为表示二值化处理后的识别候选以及投影直方图的例子的图。图21中，二值化图像T511展示了对图20所示的扩大后的识别候选即图像区域T503的各像素进行二值化处理得到的结果。在该二值化图像T511中，通过二值化处理将亮度值设定成255的各像素以白色表示，将亮度值设定成0的各像素以黑色表示。以白色表示的各像素对应于作为识别对象物体的光电式标识的发光部分，以黑色表示的各像素对应于这以外的部分。
在步骤S521的投影直方图计算中，计算针对通过步骤S520的图像二值化处理得到的二值化图像T511的列方向及行方向的投影直方图。此处，将二值化图像T511中亮度值为255的像素的个数在列方向和行方向上分别相加，由此来计算投影直方图。
图21中，直方图T512是针对二值化图像T511的列方向计算出的投影直方图的例子，直方图T513是针对二值化图像T511的行方向计算出的投影直方图的例子。如这些直方图T512、T513所示，通过对二值化图像T511进行投影直方图计算，可以针对横向和纵向各方而获得在与发光部分相对应的位置上具有峰值的直方图。
在步骤S522的宽度推断处理中，根据通过步骤S521的投影直方图计算得到的直方图来推断修正后的识别候选的宽度。此处，利用针对二值化图像T511的列方向计算出的直方图T512也就是表现出横向的峰值位置的直方图T512来推断修正后的识别候选的宽度。具体而言，例如像图21所示那样分别获取在直方图T512中位于具有阈值T514以上的值的峰值部分的两端的上升点及下降点作为最小点P1及最大点P2。继而，将获取到的点P1、P2之间的列数推断为修正后的识别候选的宽度。
在步骤S523的高度推断处理中，根据通过步骤S521的投影直方图计算得到的直方图来推断修正后的识别候选的高度。此处，利用针对二值化图像T511的行方向计算出的直方图T513也就是表现出纵向的峰值位置的直方图T513来推断修正后的识别候选的高度。具体而言，例如像图21所示那样分别获取在直方图T513中位于具有阈值T515以上的值的峰值部分的两端的上升点及下降点作为最小点P3及最大点P4。继而，将获取到的点P3、P4之间的行数推断为修正后的识别候选的高度。
在步骤S510的识别候选再提取处理中，通过以上那样的处理来推断修正后的识别候选的宽度及高度。继而，以推断出的宽度和高度在第二曝光图像上再设定识别候选，由此来再提取识别候选。
在步骤S511中，由识别处理部506对步骤S510中再提取到的识别候选实施与图3的步骤S107同样的识别处理。
如以上所说明，在本实施方式的物体识别装置10D中，对第二曝光图像实施考虑了发光部分的亮度的图像处理，由此对从第二曝光图像中暂时提取到的识别候选进行修正。由此，在识别候选提取部505中难以从第二曝光图像中提取到恰当的识别候选的情况下也能维持较高的识别精度。
根据以上说明过的本发明的第5实施方式，除了第1实施方式中说明过的(1)、(2)的各作用效果以外，还取得以下(7)、(8)的作用效果。
(7)物体识别装置10D还具备识别候选修正部509，所述识别候选修正部509对识别候选提取部505所提取到的识别候选的位置、尺寸及形状中的至少任一方进行修正。识别处理部506对经识别候选修正部509修正后的识别候选实施识别处理。因此，可以对从第二曝光图像中暂时提取到的识别候选进行修正，所以能将物体的识别精度维持在高精度。
(8)识别候选修正部509将识别候选提取部505所提取到的识别候选扩大，根据扩大后的识别候选的亮度值的信息将识别候选缩小，由此来修正识别候选。具体而言，识别候选修正部509推断第二曝光图像中的物体的发光部分的亮度，根据在扩大后的识别候选内具有与发光部分的亮度类似的亮度值的像素的分布来缩小识别候选。因此，可以考虑第二曝光图像中的物体的发光部分的亮度来恰当地实施识别候选的修正。
再者，以上说明过的第1～第5各实施方式中记载的是以光电式标识为识别对象物体的例子，但也可将其他物体作为识别对象。例如，只要是以具有制动灯等发光部分的先行车辆、具有前灯等发光部分的后续车辆、交通信号灯、展示目的地的牌子、各种光电公告板等具有高亮度发光部分的物体为识别对象，则都能运用本发明。
以上说明过的实施方式和各种变化例只是一例，只要不损害发明的特征，本发明便不限定于这些内容。本发明可以在不脱离其宗旨的范围内进行各种变更，并不限定于上述实施方式和变形例。可以在本发明的范围内对本发明的构成和详情加入当事人能够理解的各种变更。
符号说明
10、10A、10B、10C、10D…物体识别装置
20…摄像装置
30…车辆控制装置
101、201、301、401、501…曝光量决定部
102、202、302、402、502…图像获取部
103、203、303、403、503…光源检测部
104、204、304、404、504…尺寸确定部
105、205、305、405、505…识别候选提取部
106、206、306、406、506…识别处理部
207…尺寸信息存储部
307、507…环境信息获取部
308、508…亮度信息存储部
407…三维位置算出部
408…行为信息获取部
509…识别候选修正部。

Claims (9)

1.一种物体识别装置，其特征在于，具备：
曝光量决定部，其能够决定第一曝光量和比所述第一曝光量少的第二曝光量；
图像获取部，其获取以所述第一曝光量拍摄到的第一曝光图像和以所述第二曝光量拍摄到的第二曝光图像；
光源检测部，其从所述第一曝光图像中检测光源区域；
尺寸确定部，其根据所述光源检测部所检测到的所述光源区域来确定识别对象物体的尺寸；
识别候选提取部，其根据所述光源检测部所检测到的所述光源区域的位置以及所述尺寸确定部所确定的所述物体的尺寸，从所述第二曝光图像中提取所述物体所存在的区域的候选即识别候选；以及
识别处理部，其对所述识别候选提取部所提取到的所述识别候选实施与所述物体相关的识别处理。
2.根据权利要求1所述的物体识别装置，其特征在于，
所述曝光量决定部根据拍摄时所述物体的发光部分的至少一部分发生像素饱和的曝光量来决定所述第一曝光量及所述第二曝光量。
3.根据权利要求1或2所述的物体识别装置，其特征在于，还具备：
环境信息获取部，其获取所述物体识别装置周边的环境信息；以及
亮度信息存储部，其按每一环境存储有所述物体的发光部分的亮度信息，
所述曝光量决定部根据所述环境信息获取部所获取到的所述环境信息来参考所述亮度信息存储部中存储的所述亮度信息，从而决定所述第一曝光量及所述第二曝光量。
4.根据权利要求3所述的物体识别装置，其特征在于，
所述环境信息获取部获取包含所述物体识别装置正在动作的场所及时段中的至少任一方的信息作为所述环境信息。
5.根据权利要求1或2所述的物体识别装置，其特征在于，还具备：
三维位置算出部，其算出所述物体的三维位置；以及
行为信息获取部，其获取与搭载有所述物体识别装置的移动体的行为相关的行为信息，
所述识别候选提取部根据所述光源区域的位置、所述物体的尺寸、所述物体的三维位置以及所述行为信息来提取所述识别候选。
6.根据权利要求1或2所述的物体识别装置，其特征在于，
还具备识别候选修正部，所述识别候选修正部对所述识别候选提取部所提取到的所述识别候选的位置、尺寸及形状中的至少任一方进行修正，
所述识别处理部对经所述识别候选修正部修正后的所述识别候选实施所述识别处理。
7.根据权利要求6所述的物体识别装置，其特征在于，
所述识别候选修正部将所述识别候选提取部所提取到的所述识别候选扩大，并根据扩大后的所述识别候选的亮度值的信息将所述识别候选缩小，由此来修正所述识别候选。
8.根据权利要求7所述的物体识别装置，其特征在于，
所述识别候选修正部推断所述第二曝光图像中的所述物体的发光部分的亮度，根据在扩大后的所述识别候选内具有与所述发光部分的亮度类似的亮度值的像素的分布来缩小所述识别候选。
9.根据权利要求1或2所述的物体识别装置，其特征在于，
还具备尺寸信息存储部，所述尺寸信息存储部按所述物体的每一种类存储有表示所述物体的发光部分与所述物体的大小的关系性的尺寸信息，
所述尺寸确定部根据所述光源检测部所检测到的所述光源区域的尺寸来参考所述尺寸信息存储部中存储的所述尺寸信息，从而确定所述物体的尺寸。
CN202080036066.XA 2019-05-23 2020-05-15 物体识别装置 Pending CN113826107A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-097048 2019-05-23
JP2019097048A JP7289723B2 (ja) 2019-05-23 2019-05-23 物体認識装置
PCT/JP2020/019399 WO2020235462A1 (ja) 2019-05-23 2020-05-15 物体認識装置

Publications (1)

Publication Number Publication Date
CN113826107A true CN113826107A (zh) 2021-12-21

Family

ID=73454030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080036066.XA Pending CN113826107A (zh) 2019-05-23 2020-05-15 物体识别装置

Country Status (4)

Country Link
EP (1) EP3975151A4 (zh)
JP (1) JP7289723B2 (zh)
CN (1) CN113826107A (zh)
WO (1) WO2020235462A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112511749A (zh) * 2020-11-30 2021-03-16 上海摩象网络科技有限公司 目标对象的自动曝光量控制方法、装置及电子设备
CN113179375A (zh) * 2021-06-09 2021-07-27 北京澎思科技有限公司 曝光处理方法、装置、电子设备、存储介质及程序产品
CN115546837B (zh) * 2022-10-16 2023-06-23 三峡大学 变电站进出综合管理系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013250A (zh) * 2006-01-30 2007-08-08 索尼株式会社 曝光控制装置和图像摄取装置
US20120327188A1 (en) * 2010-03-17 2012-12-27 Hitachi Automotive Systems, Ltd. Vehicle-Mounted Environment Recognition Apparatus and Vehicle-Mounted Environment Recognition System
JP2013040996A (ja) * 2011-08-11 2013-02-28 Nikon Corp 露出演算装置およびカメラ
CN104951745A (zh) * 2014-03-28 2015-09-30 富士重工业株式会社 车外环境识别装置
US20150371097A1 (en) * 2013-07-31 2015-12-24 Plk Technologies Co., Ltd. Image recognition system for vehicle for traffic sign board recognition
CN105825203A (zh) * 2016-03-30 2016-08-03 大连理工大学 基于点对匹配和几何结构匹配的地面箭头标志检测与识别方法
JP2016200977A (ja) * 2015-04-10 2016-12-01 日立オートモティブシステムズ株式会社 物体検出装置
CN106709412A (zh) * 2015-11-17 2017-05-24 腾讯科技（深圳）有限公司 交通标志检测方法和装置
WO2018008461A1 (ja) * 2016-07-05 2018-01-11 日立オートモティブシステムズ株式会社 画像処理装置
CN107688811A (zh) * 2017-09-12 2018-02-13 北京文安智能技术股份有限公司 车牌识别方法及装置
CN107852465A (zh) * 2015-07-17 2018-03-27 日立汽车系统株式会社 车载环境识别装置
CN109509362A (zh) * 2017-09-15 2019-03-22 株式会社东芝 信号识别装置、信号识别方法以及驾驶辅助系统
CN109598244A (zh) * 2018-12-07 2019-04-09 吉林大学 一种交通信号灯识别系统及其识别方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4253271B2 (ja) 2003-08-11 2009-04-08 株式会社日立製作所 画像処理システム及び車両制御システム
JP4253275B2 (ja) 2003-08-11 2009-04-08 株式会社日立製作所 車両制御システム
JP2014203114A (ja) 2013-04-01 2014-10-27 株式会社デンソー 物体認識装置
JP6317607B2 (ja) 2014-03-28 2018-04-25 株式会社Ｓｕｂａｒｕ 車外環境認識装置
JP6713938B2 (ja) 2017-01-30 2020-06-24 アルパイン株式会社 周辺状況把握支援システム
JP2019146012A (ja) 2018-02-20 2019-08-29 日立オートモティブシステムズ株式会社 撮像装置
CN110874921A (zh) 2018-08-31 2020-03-10 百度在线网络技术（北京）有限公司 智能路侧单元及其信息处理方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013250A (zh) * 2006-01-30 2007-08-08 索尼株式会社 曝光控制装置和图像摄取装置
US20120327188A1 (en) * 2010-03-17 2012-12-27 Hitachi Automotive Systems, Ltd. Vehicle-Mounted Environment Recognition Apparatus and Vehicle-Mounted Environment Recognition System
JP2013040996A (ja) * 2011-08-11 2013-02-28 Nikon Corp 露出演算装置およびカメラ
US20150371097A1 (en) * 2013-07-31 2015-12-24 Plk Technologies Co., Ltd. Image recognition system for vehicle for traffic sign board recognition
CN104951745A (zh) * 2014-03-28 2015-09-30 富士重工业株式会社 车外环境识别装置
JP2016200977A (ja) * 2015-04-10 2016-12-01 日立オートモティブシステムズ株式会社 物体検出装置
CN107852465A (zh) * 2015-07-17 2018-03-27 日立汽车系统株式会社 车载环境识别装置
CN106709412A (zh) * 2015-11-17 2017-05-24 腾讯科技（深圳）有限公司 交通标志检测方法和装置
CN105825203A (zh) * 2016-03-30 2016-08-03 大连理工大学 基于点对匹配和几何结构匹配的地面箭头标志检测与识别方法
WO2018008461A1 (ja) * 2016-07-05 2018-01-11 日立オートモティブシステムズ株式会社 画像処理装置
CN107688811A (zh) * 2017-09-12 2018-02-13 北京文安智能技术股份有限公司 车牌识别方法及装置
CN109509362A (zh) * 2017-09-15 2019-03-22 株式会社东芝 信号识别装置、信号识别方法以及驾驶辅助系统
CN109598244A (zh) * 2018-12-07 2019-04-09 吉林大学 一种交通信号灯识别系统及其识别方法

Also Published As

Publication number Publication date
EP3975151A1 (en) 2022-03-30
WO2020235462A1 (ja) 2020-11-26
JP7289723B2 (ja) 2023-06-12
JP2020191010A (ja) 2020-11-26
EP3975151A4 (en) 2023-01-25

Similar Documents

Publication Publication Date Title
CN113826107A (zh) 物体识别装置
US7957559B2 (en) Apparatus and system for recognizing environment surrounding vehicle
US8175806B2 (en) Car navigation system
US8135175B2 (en) Vehicle, image processing system image processing method, image processing program, method for configuring image processing system, and server
JP4725391B2 (ja) 車両用視程測定装置、及び運転支援装置
US20150227800A1 (en) Marking line detection system and marking line detection method
US20150294163A1 (en) Image processing device
EP2960829A2 (en) Lane boundary estimation device and lane boundary estimation method
US9619895B2 (en) Image processing method of vehicle camera and image processing apparatus using the same
RU2628553C1 (ru) Устройство вычисления собственной позиции и способ вычисления собственной позиции
KR102052833B1 (ko) 영상 추적을 이용한 차량 속도 검출 장치 및 방법
JP2009017157A (ja) 画像処理装置および方法、並びに、プログラム
JP2009298344A (ja) 車両灯火判定装置及びプログラム
US20150379334A1 (en) Object recognition apparatus
JP5353531B2 (ja) 車両灯火認識装置及びプログラム
WO2019138827A1 (ja) 物体認識装置
CN111402610B (zh) 一种识别红绿灯亮灯状态的方法、装置、设备及存储介质
US20180278862A1 (en) Image generating apparatus, image generating method, and recording medium having the program stored thereon
JP2007272785A (ja) 画像処理式車両検出装置及び画像処理式車両検出方法
JP5473836B2 (ja) 駐車検出装置、駐車検出方法および駐車検出プログラム
WO2019013253A1 (ja) 検出装置
JP7142131B1 (ja) 車線検出装置、車線検出方法および車線検出プログラム
JP2019053462A (ja) ランドマーク選定方法及びランドマーク選定装置
JP2007245970A (ja) 車両用照明装置
JP2006172064A (ja) 物体追跡装置、および方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination