CN104517099A - 滤波装置和环境识别系统 - Google Patents

滤波装置和环境识别系统 Download PDF

Info

Publication number
CN104517099A
CN104517099A CN201410503755.3A CN201410503755A CN104517099A CN 104517099 A CN104517099 A CN 104517099A CN 201410503755 A CN201410503755 A CN 201410503755A CN 104517099 A CN104517099 A CN 104517099A
Authority
CN
China
Prior art keywords
evaluation
estimate
value
range
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410503755.3A
Other languages
English (en)
Other versions
CN104517099B (zh
Inventor
小野宏行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Publication of CN104517099A publication Critical patent/CN104517099A/zh
Application granted granted Critical
Publication of CN104517099B publication Critical patent/CN104517099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees

Abstract

根据本发明的滤波装置和环境识别系统,通过对评价函数的评价值进行恰当地评价,可有效消除本来应无效的差值。本发明的滤波装置具备:评价值导出部(160),对于相互具有关联性的一对图像,导出表示从一个图像(基准图像)任意提取的区块(基准区块)与从另一个图像(比较图像)提取的多个区块(比较区块)的相关性的多个评价值;评价范围设定部(162),将多个评价值中相关性最高的评价值作为一个边界而设定评价值的评价范围;差值判定部(164),基于多个评价值和评价范围判定相关性最高的评价值作为差值是否有效。

Description

滤波装置和环境识别系统
技术领域
本发明涉及求出多个比较对象中的对象物的差值(视差)时,判定该差值是否有效的滤波装置和环境识别系统。
背景技术
以往,检测位于本车辆的前方的车辆等特定物,以避免与前行车辆的碰撞(碰撞避免控制),或以使本车辆与前行车辆的车距保持在安全距离的方式进行控制(巡航控制)的技术已被人所知(例如,专利文献1)。
在这样的碰撞避免控制、巡航控制中,为了得到位于本车辆前方的对象物与本车辆的相对距离,例如使用视角不同的两个摄像装置,分别从其中获取图像数据,利用图案匹配导出视差,所谓图案匹配是从基于另一个图像数据的图像(以下,称为比较图像)中检索与基于从一个图像数据的图像(以下,称为基准图像)任意提取的区块相关性高的区块。然后,参照摄像装置的设置位置和/或焦距等拍摄参数,使用通过三角测量法进行的所谓立体视觉法,根据被导出的视差求出对象物相对于摄像装置的相对距离,变换为相对距离加上水平距离和高度的三维位置信息。然后,使用该三维位置信息进行各种识别处理。其中,“水平”表示画面横向,后述的“垂直”表示画面纵向。
在上述图案匹配中,在比较图像上一边使区块沿水平方向移动一边计算与基准图像的区块的相关性,将相关性最高的区块在比较图像上的坐标与基准图像的区块的坐标的差分(差值)设为视差。然而,在水平方向持续出现相同的图案的情况下,即使比较图像上的区块的位置不同,各自的区块的相关性也难以产生差别,因此存在导出错误的视差的可能性。
因此,已知有如下的技术,即在图案匹配中的评价函数,例如对基准图像和比较图像各自的区块内相当于相同位置的像素彼此的亮度的差分进行累加的SAD(Sum of Absolute Difference)中,如果其评价值的最小值(相关性成为最高的值)满足预定的条件,例如为预定的固定值以下,则将该区块的视差设为有效(例如,专利文献2)。另外,还公开了求出基准图像和比较图像的区块周围的像素的亮度的平均值,基于从区块内的亮度减去该平均值的结果而导出评价值的平均值差分匹配(例如,专利文献3)。根据这样的评价函数,能够减少基准图像与比较图像的图像偏差和/或低频噪音的影响。
现有技术文献
专利文献
专利文献1:日本专利第3349060号公报
专利文献2:日本专利第3348939号公报
专利文献3:日本专利第3917285号公报
发明内容
然而,如专利文献2那样将评价值的最小值与固定值进行比较的技术中,难以确定能够在各种环境下评价有无相关性的明确的固定值。另外,在专利文献3那样的平均值差分匹配中,即使在相同的环境下的图像彼此也根据摄像装置的拍摄状态,例如摄像装置前方的前挡风玻璃模糊状态和/或周围环境的亮度,而评价值的差别也变得很大。因此,无法有效排除本来应无效的视差(差值)。
本发明鉴于这样的问题,其目的在于提供一种通过对评价函数的评价值进行恰当地评价而能有效排除本来应无效的差值的滤波装置和环境识别系统。
为了解决上述课题,本发明的滤波装置的特征在于,具备:评价值导出部,对于相互具有关联性的一对比较对象,导出表示从一个比较对象任意提取的提取部位与从另一个比较对象提取的多个提取部位的相关性的多个评价值;评价范围设定部,将所述多个评价值中相关性最高的评价值作为一个边界而设定评价值的评价范围;差值判定部,基于多个评价值和评价范围判定相关性最高的评价值作为差值是否有效。
如果评价范围中所含的评价值相对于全部多个评价值的比率为预定的阈值以上,则差值判定部可以判定相关性最高的评价值作为差值无效。
如果将评价范围的另一个边界作为一边,由该评价范围中所含的评价值形成的多边形的面积为预定的阈值以上,则差值判定部可以判定相关性最高的评价值作为差值无效。
评价范围设定部可以根据相关性最高的评价值而使评价范围不同。
比较对象可以为图像,提取部位可以是由图像中的一个或者多个像素构成的区块。
评价范围设定部可以根据图像的预定范围内的像素的亮度的平均值而使评价范围不同。
为了解决上述课题,本发明的环境识别系统的特征在于,具备:摄像装置,生成相互具有关联性的一对图像;评价值导出部,对于生成的一对图像,导出表示从一个图像任意地提取的区块与从另一个图像提取的多个区块的相关性的多个评价值;评价范围设定部,将多个评价值中相关性最高的评价值作为一个边界而设定评价值的评价范围;差值判定部,基于多个评价值和评价范围判定相关性最高的评价值作为视差是否有效。
根据本发明,通过对评价函数的评价值进行恰当地评价,能够有效排除本来应无效的差值。
附图说明
图1是表示环境识别系统的连接关系的框图。
图2是表示车外环境识别装置的大致功能的功能框图。
图3是对平均值差分匹配的动作进行说明的说明图。
图4是例示了基准图像和比较图像的说明图。
图5是表示任意的3个区域中的评价值的发展变化的说明图。
图6是用于说明判定评价值的处理的说明图。
图7是用于说明判定评价值的其他的处理的说明图。
符号说明
100  环境识别系统
110  摄像装置
120  车外环境识别装置(滤波装置)
160  评价值导出部
162  评价范围设定部
164  差值判定部
200  基准图像
204  基准区块
210 比较图像
214  比较区块
具体实施方式
以下,参照附图,对本发明的优选的实施方式进行详细说明。所述实施方式所示的尺寸、材料、其他具体的数值等仅是用来使发明容易理解的例示,除了特别声明的情况之外,并不限定本发明。应予说明,在本说明书和附图中,对于实际上具有相同的功能、构成的要素,标记相同的符号而省略重复说明,并且与本发明没有直接关系的要素省略图示。
近年来,搭载了碰撞防止功能的车辆逐渐被普及,所谓碰撞防止功能是指通过搭载于车辆的车载照相机拍摄本车辆的前方的道路环境,基于图像(比较对象)内的颜色信息和/或位置信息,确定前行车辆等的对象物,避免本车辆与被确定的对象物之间的碰撞,将本车辆与前行车辆之间的车距保持在安全的距离(ACC:Adaptive Cruise Control,自适应巡航控制)。
在所述碰撞防止功能中,为了得到位于本车辆前方的对象物与本车辆的相对距离,例如使用视角不同的两个摄像装置,对从两个摄像装置分别取得的一对比较对象即基准图像和比较图像进行比较,使用所谓的图案匹配提取相关性高的区块(提取部位)。然而,在图像上的水平方向持续出现相同的图案的情况下,即使比较图像上的区块的位置不同,各自的区块的相关性也难以产生差别,因此存在导出错误的视差(差值)的可能性。因此,在本实施方式中,其目的在于,基于图案匹配的评价函数中的评价值的发展变化、即评价值的最小值(相关性成为最高的值)附近的发展变化,来判定该最小值作为视差是否有效,可有效排除本来应无效的视差。其中,区块表示由图像中的一个或者多个图像构成的部位。以下,说明用于实现这样的目的的环境识别系统,详细描述作为其具体的构成要素的设置于车外环境识别装置的滤波装置。
(环境识别系统100)
图1是表示环境识别系统100的连接关系的框图。环境识别系统100构成为包含设置于本车辆1内的摄像装置110、车外环境识别装置120和车辆控制装置(ECU:Engine Control Unit,发动机控制单元)130。
摄像装置110构成为包含CCD(Charge-Coupled Device:电荷耦合器件)和/或CMOS(Complementary Metal-Oxide Semiconductor:互补金属氧化物半导体)等摄像元件,能够拍摄与本车辆1的前方相当的环境,并生成由3个色相(R(红)、G(绿)、B(蓝))构成的彩色图像和/或单色图像。其中,采用利用摄像装置110拍摄的彩色图像作为亮度图像,与后述的距离图像进行区别。
另外,就摄像装置110而言,在本车辆1的行进方向侧,两个摄像装置110以各自的光轴大致平行的方式在大致水平方向上分离而配置。摄像装置110例如按照1/60秒的帧(60fps)连续生成对本车辆1的前方的检测区域中存在的对象物进行拍摄而得到的图像数据。其中,识别的对象物不仅包括车辆、行人、信号灯、道路(前行路)、护栏、建筑物之类的独立存在的立体物,还包括尾灯或闪烁警示灯、信号灯的各亮灯部分等能够确定为立体物的一部分的物体。以下的实施方式中的各功能部以如此的图像数据的更新作为契机按帧进行各处理。
车外环境识别装置120分别从两个摄像装置110取得图像数据,使用所谓的图案匹配导出视差,将被导出的视差信息(相当于后述的相对距离)与图像数据对应而生成距离图像。对于图案匹配,在后面进行详细描述。另外,车外环境识别装置120使用基于亮度图像的亮度,以及包含基于距离图像的与本车辆1之间的相对距离的实际空间中的三维位置信息,将亮度相等的且三维位置信息相近的区块彼此作为对象物而群组化,确定出本车辆1前方的检测区域中的对象物是否与哪个特定物对应。
车外环境识别装置120一旦确定了特定物,则一边追踪该特定物(例如,前行车辆),一边导出特定物的相对速度等,进行特定物与本车辆1碰撞的可能性是否高的判定。其中,当判定为碰撞的可能性高时,车外环境识别装置120将该情况通过设置于驾驶员的前方的显示器122向驾驶员进行警告显示(报告),并且对车辆控制装置130输出表示该情况的信息。
车辆控制装置130通过方向盘132、加速踏板134、制动踏板136接受驾驶员的操作输入,并传送到转向机构142、驱动机构144、制动机构146,从而控制本车辆1。另外,车辆控制装置130依照车外环境识别装置120的指示,控制驱动机构144、制动机构146。
以下,对车外环境识别装置120的构成进行详细描述。此处对本实施方式中特征性的求出滤波装置中的对象物的视差的处理进行详细说明,对与本实施方式的特征无关的构成省略说明。
(车外环境识别装置120)
图2是表示车外环境识别装置120的大致功能的功能框图。如图2所示,车外环境识别装置120构成为包含I/F部150、数据存储部152和中央控制部154。
I/F部150是用于进行与摄像装置110和/或车辆控制装置130的双向的信息交换的接口。数据存储部152由RAM、闪存、HDD等构成,存储以下所示的各功能部的处理所需的各种信息,另外,临时存储从摄像装置110接收到的图像数据。
中央控制部154由包括中央处理装置(CPU)、储存有程序等的ROM、作为工作区域的RAM等的半导体集成电路构成,通过系统总线156,控制I/F部150、数据存储部152等。另外,在本实施方式中,中央控制部154还作为评价值导出部160、评价范围设定部162、差值判定部164发挥功能。另外,评价值导出部160、评价范围设定部162以及差值判定部164还作为滤波装置发挥功能。以下,对图案匹配处理的详细动作进行说明。
(图案匹配处理)
评价值导出部160分别从两个摄像装置110取得图像数据,针对基于取得的两个图像数据且相互具有关联性的一对图像,导出多个评价值,所述多个评价值表示从成为基准的一个图像(基准图像)任意提取的区块与从作为比较对象的另一个图像(比较图像)提取的多个区块之间的相关性。
作为该图案匹配,在一对图像之间,考虑以任意的区块单元比较亮度(Y色差信号)。例如有获取亮度的差值的SAD、将差值平方而使用的SSD(Sumof Squared intensity Difference)和/或获取从各像素的亮度减去平均值而得到的分散值的相似度的NCC(Normalized Cross Correlation)等方法。其中,此处是举出SAD作为例子进行说明。另外,在本实施方式中,求出基准图像和比较图像的区块周围的像素的亮度的平均值,并基于区块内的亮度减去各自的平均值而得到的结果来进行导出评价值的平均值差分匹配。以下,说明平均值差分匹配的动作。
图3是说明平均值差分匹配的动作的说明图。首先,评价值导出部160如图3(a)所示,从基准图像200,例如提取由水平4个像素×垂直4个像素的像素202的排列表示的区块(以下,称为基准区块)204。然后,在以下的处理中,依次提取基准区块204,按照每个提取出的基准区块204导出视差。其中,虽然将基准区块204设定为水平4个像素×垂直4个像素,但基准区块204内的像素数量可以任意设定。
在所述基准区块204中,不重叠相邻的基准区块204彼此的像素。另外,在本实施方式中,由于使基准区块204彼此相邻,因此例如对于投射到检测区域(例如水平600个像素×垂直180个像素)的全部的像素202,依次提取水平150×垂直45=6750个区块作为基准区块204。
但是,如上所述,在本实施方式中由于采用了平均值差分匹配,因此如图3(b)所示,评价值导出部160基于下述数学式1,求出以基准区块204为中心的由基准区块204的周围的水平8个像素×垂直8个像素表示的区域206内的像素202的亮度Rb(i,j)的平均值Ab。
Ab=ΣRb(i,j)/64…(数学式1)
其中,i是由1~8表示的区域206内的水平像素位置,j是由1~8表示的区域206内的垂直像素位置。另外,在区域206未被收入到基准图像200的情况下(因端部而区域206缺失的情况),省略未被收入的部分而求出平均值Ab。
然后,评价值导出部160如下述数学式2那样,从基准区块204内的像素202的亮度Eb(i,j)减去上述平均值Ab,导出平均值差值亮度EEb(i,j)。
EEb(i,j)=Eb(i,j)-Ab…(数学式2)
其中,i是由1~4表示的基准区块204内的水平像素位置,j是由1~4表示的基准区块204内的垂直像素位置。
接着,评价值导出部160如图3(c)所示从比较图像210,例如提取由水平4个像素×垂直4个像素的像素212的排列表示的区块(以下,称为比较区块)214。其中,针对一个基准区块204,依次提取多个比较区块214,导出分别表示与基准区块204的相关性的评价值。
由于所述比较区块214例如在水平方向上每1个像素地移动而被提取,因此相邻的比较区块214彼此的像素重叠。在本实施方式中,对于一个基准区块204,从与基准区块204相当的位置216在水平方向的左右提取合计128个比较区块214。因此,提取范围(探索范围)变成水平(128+3=)131个像素×垂直4个像素。与基准区块204相当的位置216和提取范围的位置关系根据基准图像200与比较图像210的视差的出现形式而设定。
但是,如上所述,由于在本实施方式中采用了平均值差分匹配,因此与基准区块204同样,评价值导出部160基于下述数学式3求出以比较区块214为中心的由比较区块214的周围的水平8个像素×垂直8个像素表示的区域内的像素的亮度Rc(i,j)的平均值Ac。
Ac=ΣRc(i,j)/64…(数学式3)
其中,i是由1~8表示的区域内的水平像素位置,j是由1~8表示的区域内的垂直像素位置。
然后,评价值导出部160如下述数学式4那样,从比较区块214内的像素的亮度Ec(i,j)减去上述平均值Ac,导出平均值差值亮度EEc(i,j)。
EEc(i,j)=Ec(i,j)-Ac…(数学式4)
其中,i是由1~4表示的比较区块214内的水平像素位置,j是由1~4表示的比较区块214内的垂直像素位置。
接下来,评价值导出部160如下述数学式5所示,从基准区块204的各像素202的平均值差值亮度EEb(i,j),减去与比较区块214内的相同的位置相当的各像素212的平均值差值亮度EEc(i,j),将其累加导出评价值S。
S=Σ(EEb(i,j)-EEc(i,j))…(数学式5)
这样被导出的多个评价值S越小,即差值越小,相关性越高。因此,针对一个基准区块204的与比较区块214之间的多个(这里是128个)评价值中,最小的评价值(最小值)的位置成为表示视差的一端的位置的候补。
当评价值导出部160在针对任意的基准区块204的评价值的最小值被导出时,使与其最小值相当的比较区块214的坐标与基准区块204(相当于基准区块204的位置216)的坐标的差值作为视差而存储到数据存储部152的预定的区域中。因此,在数据存储部152,存储有水平150×垂直45=6750的基准区块204的视差。
由于上述平均值差分匹配是仅以图像的高频成分为匹配的对象,具有与高通滤波器等价的作用,因此能够去除低频噪音。另外,即使对于基准图像200与比较图像210之间的亮度的轻微的平衡失衡的影响、照相机和/或模拟电路部件的老化所导致的增益变化的影响,视差的确定精度也高,能够提高视差的导出精度。
图4是例示了基准图像200和比较图像210的说明图。其中,从视角不同的两个摄像装置110取得的一对图像中,将图4(a)所示的来自位于右侧的摄像装置110的图像设定位基准图像200,将图4(b)所示的来自位于左侧的摄像装置110的图像设定为比较图像210。
当评价值导出部160基于基准图像200和比较图像210而导出评价值时,例如在图4(a)所示的区域220中,卡车的侧端产生边缘,易于进行图案匹配,能够容易地导出视差。
另一方面,如图4(a)所示的区域222的人行横道的白线那样,在水平方向持续相同的图案的情况下,即使比较图像210上的区块的位置不同,各自的区块的相关性也难以产生差别,因此存在导出错误的视差的可能性。另外,同样地,图4(a)所示的区域224的空白之类的背景那样,在水平方向具有类似的特征的区域中,区块的相关性也难以产生差别,存在导出错误的视差的可能性。
另外,在产生遮挡的情况下也同样产生无法确定视差的状况。
图5是表示上述3个区域220、222、224中的评价值的发展变化的说明图,将区域220中的任意的基准区块204的例子示于图5(a),将区域222中的任意的基准区块204的例子示于图5(b),将区域224中的任意的基准区块204的例子示于图5(c)。另外,在图5(a)、(b)、(c)中,横轴表示比较区块214的水平位置,纵轴表示评价值。其中,表示评价值越小相关性越高。
在图5(a)中,由于区域220中被比较的区块彼此具有特点,所以评价值小的部分局部地突出,明显地出现最小值。另一方面,在图5(b)和图5(c)中,虽然出现了与图案匹配相当的评价值的最小值,但最小值的附近出现了同等水平的评价值。
因此,在本实施方式中,着眼于图案匹配的评价值的发展变化,即评价值的最小值(相关性成为最高的值)附近的发展变化的形状,来判定其最小值是否作为视差有效。具体而言,如果最小值的附近没有出现其他的评价值,则判定其最小值作为视差有效,如果最小值的附近出现其他的评价值,判定为无效。以下,详细描述其处理。
图6是用于说明判定评价值的处理的说明图。图6(a)~(c)与图5(a)~(c)对应。评价范围设定部162将多个(这里是128个)评价值中的最小值(相关性成为最高的评价值)作为一个边界,在评价值大的一方(相关性低的一方)设定评价值的评价范围。其中,假设将评价范围的大小作为固定值如图6(a)~(c)所示那样设定评价范围。在图6(a)~(c)中,将评价范围的一个边界作为最小值,因此能够理解根据评价值的发展变化而评价范围的位置不同。
差值判定部164基于多个评价值和评价范围来判定相关性最高的评价值作为视差是否有效。例如,差值判定部164基于评价范围中所含的评价值相对于全部多个评价值的比率来判定相关性最高的评价值作为视差是否有效。
具体而言,在评价值的最小值由Min表示,评价范围的大小由W表示的情况下,计算评价值K满足下述数学式6的数N。
K<(Min+W)…(数学式6)
然后,若计算的数N为预定的阈值以上,则最小值为视差的依赖度视为较低,判定其最小值作为视差无效。其中,预定的阈值由将预定的比率(例如20%)乘以比较区块214的数量即128而确定。
另外,代替评价范围中所含有的评价值的比率,差值判定部164也可以基于将评价范围的另一个边界作为一边由评价范围中所含有的评价值形成的多边形的面积来判定相关性最高的评价值作为视差是否有效。
图7是用于说明判定评价值的其他的处理的说明图。图7与图6(b)对应。评价范围设定部162是将多个(这里是128个)评价值中的评价范围所包含的相邻的评价值彼此用线连接,再连接与评价范围中评价值的最小值不同的边界,在图7中形成用阴影线表示的多边形。然后,如果其多边形的面积为预定的阈值以上,则判定相关性最高的评价值作为视差无效。根据这样的面积也能够判定最小值附近的评价值的发展变化。
另外,上述中,虽然假设评价范围的大小为固定值,但评价范围设定部162也能够恰当地变更评价范围。例如,评价范围设定部162根据基准图像200或者比较图像210的预定范围内的像素的亮度的平均值而使评价范围不同。其中,预定范围可以设定为整个图像、预先确定的位置中的预定大小的范围、比较图像210的提取范围等各种范围。
具体而言,当评价范围设定部162在预定范围内的像素的亮度的平均值低时设定评价范围较小,当平均值高时设定评价范围较大。这是由于整体上亮度低的状况,例如傍晚或深夜时,图像上的亮度值整体上变低,因而评价值的最小值附近变得平缓,若固定评价范围,则不经意地排除的视差增加。
另外,评价范围设定部162可以根据相关性最高的评价值而使评价范围不同。例如,在评价值的最小值用Min表示,评价值的最大值用Max表示,评价值的比例用Scale表示,计数用Gain(任意值)表示的情况下,基于下述的数学式7或数学式8设定评价范围的大小W。
W=Min×Gain/Scale…(数学式7)
W=(Max-Min)×Gain/Scale…(数学式8)
通过所述数学式7或者数学式8而确定评价范围的大小W,由此能够设定与评价值的最小值和/或比例对应的评价范围,能够恰当地判定评价值发展变化的形状。
如上所述,在本实施方式中,通过将以最小值为基准相对地进行位移的评价范围,而不是以固定值作为判定基准,从而即使亮度由于摄像装置110前方的前挡风玻璃的模糊状态和/或周围环境的亮度而发生改变,也能够排除本来应无效的视差。
另外,通过将其评价对象不仅设定为评价值的最小值,而且设定为最小值附近的多个点(发展变化本身),从而能够从评价值的发展变化的形状的整体判定评价值的趋势。如此,能够可靠地排除可在局部判定为评价值小的部分不突出的本来应无效的视差。
另外,还提供了使计算机作为上述的滤波装置和/或环境识别系统发挥功能的程序或记录了该程序的可由计算机读取的软盘、光盘、ROM、CD、DVD、BD等存储介质。其中,程序是指采用任意语言或记录方法而记录的数据处理单元。
以上,参照附图,对本发明的优选的实施方式进行了说明,但本发明当然也不限定于所述实施方式。应了解的是,若本领域的技术人员在权利要求书所记载的范围内,能够显而易见地想到各种变更例或修改例,这些变更例或修改例当然也属于本发明的技术范围。
例如,在上述的实施方式中,作为比较对象,举出了使用视角不同的两个摄像装置110同时拍摄的一对图像的例子进行说明,但并不限于上述情况,对于相互具有关联性的一对图像也能够广泛应用。作为这样的相互具有关联性的一对图像,例如可考虑作为所谓光流的处理对象的用一个摄像装置(单眼照相机)在不同时刻拍摄且按时间序列输出的两个图像,和/或作为所谓模板匹配的处理对象的被拍摄的图像与预先准备的图像的组合等。另外,上述的实施方式中,作为差值,举出了视角不同的两个摄像装置110中同时拍摄的一对图像中的“视差”进行说明,但并不限于上述情况,差值是相互具有关联性的一对图像中的基准区块的差值等对应的提取部位彼此之间的差值即可。
另外,上述的实施方式中,虽然将亮度图像设定为比较对象,根据亮度图像的亮度导出评价值,但并不限于上述情况,可以将除亮度以外的信息、例如由远红外线照相机得到的热分布,或由激光雷达或毫米波雷达得到的反射强度的分布等作为比较对象,基于这些导出评价值。该情况也与上述同样,差值是对应的提取部位彼此的差值即可。
产业上的可利用性
本发明能够利用在求出多个图像中的对象物的差值(视差)时,判定其差值是否有效的滤波装置和环境识别系统。

Claims (7)

1.一种滤波装置,其特征在于,具备:
评价值导出部,对于相互具有关联性的一对比较对象,导出表示从一个比较对象任意提取的提取部位与从另一个比较对象提取的多个提取部位的相关性的多个评价值;
评价范围设定部,将所述多个评价值中相关性最高的评价值作为一个边界而设定评价值的评价范围;
差值判定部,基于所述多个评价值和所述评价范围判定所述相关性最高的评价值作为差值是否有效。
2.根据权利要求1所述的滤波装置,其特征在于,
如果所述评价范围中所含的评价值相对于全部所述多个评价值的比率为预定的阈值以上,则所述差值判定部判定所述相关性最高的评价值作为差值无效。
3.根据权利要求1所述的滤波装置,其特征在于,
如果将所述评价范围的另一个边界作为一边,由该评价范围中所含的评价值形成的多边形的面积为预定的阈值以上,则所述差值判定部判定所述相关性最高的评价值作为差值无效。
4.根据权利要求1至3中任一项所述的滤波装置,其特征在于,
所述评价范围设定部根据所述相关性最高的评价值而使所述评价范围不同。
5.根据权利要求1至3中任一项所述的滤波装置,其特征在于,
所述比较对象为图像,所述提取部位为由该图像中的一个或者多个像素构成的区块。
6.根据权利要求5所述的滤波装置,其特征在于,
所述评价范围设定部根据所述图像的预定范围内的像素的亮度的平均值而使所述评价范围不同。
7.一种环境识别系统,其特征在于,具备:
摄像装置,生成相互具有关联性的一对图像;
评价值导出部,对于生成的一对图像,导出表示从一个图像任意地提取的区块与从另一个图像提取的多个区块的相关性的多个评价值;
评价范围设定部,将所述多个评价值中相关性最高的评价值作为一个边界而设定评价值的评价范围;
差值判定部,基于所述多个评价值和所述评价范围判定所述相关性最高的评价值作为视差是否有效。
CN201410503755.3A 2013-09-30 2014-09-26 滤波装置和环境识别系统 Active CN104517099B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-205390 2013-09-30
JP2013205390A JP5955291B2 (ja) 2013-09-30 2013-09-30 フィルタリング装置および環境認識システム

Publications (2)

Publication Number Publication Date
CN104517099A true CN104517099A (zh) 2015-04-15
CN104517099B CN104517099B (zh) 2018-02-13

Family

ID=52673279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410503755.3A Active CN104517099B (zh) 2013-09-30 2014-09-26 滤波装置和环境识别系统

Country Status (4)

Country Link
US (1) US9524645B2 (zh)
JP (1) JP5955291B2 (zh)
CN (1) CN104517099B (zh)
DE (1) DE102014113359B4 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5890816B2 (ja) * 2013-09-30 2016-03-22 富士重工業株式会社 フィルタリング装置および環境認識システム
JP6653300B2 (ja) * 2017-09-15 2020-02-26 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP6891792B2 (ja) * 2017-12-15 2021-06-18 富士通株式会社 測定プログラム、測定装置および測定方法
US10661795B1 (en) * 2018-12-20 2020-05-26 Verizon Patent And Licensing Inc. Collision detection platform
JP7448633B2 (ja) 2020-03-05 2024-03-12 ファナック株式会社 複数のカメラにて撮像された画像に基づいて物体の表面の位置情報を生成する三次元測定装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102774341A (zh) * 2011-05-12 2012-11-14 富士重工业株式会社 环境识别装置及环境识别方法
CN102855774A (zh) * 2011-06-27 2013-01-02 歌乐株式会社 车辆周围监视装置
CN103294991A (zh) * 2012-02-28 2013-09-11 富士重工业株式会社 车外环境识别装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0786349A (ja) * 1993-09-16 1995-03-31 Fujitsu Ltd 電子ビームを用いた検査装置
JP3348939B2 (ja) 1993-11-26 2002-11-20 富士重工業株式会社 車輌用距離検出装置
JP3349060B2 (ja) 1997-04-04 2002-11-20 富士重工業株式会社 車外監視装置
JP3917285B2 (ja) 1998-02-18 2007-05-23 富士重工業株式会社 ステレオ画像処理装置
JP2001116513A (ja) * 1999-10-18 2001-04-27 Toyota Central Res & Dev Lab Inc 距離画像算出装置
JP4204818B2 (ja) * 2002-07-19 2009-01-07 富士重工業株式会社 画像処理装置
JP4856611B2 (ja) 2007-10-29 2012-01-18 富士重工業株式会社 物体検出装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102774341A (zh) * 2011-05-12 2012-11-14 富士重工业株式会社 环境识别装置及环境识别方法
CN102855774A (zh) * 2011-06-27 2013-01-02 歌乐株式会社 车辆周围监视装置
CN103294991A (zh) * 2012-02-28 2013-09-11 富士重工业株式会社 车外环境识别装置

Also Published As

Publication number Publication date
DE102014113359A1 (de) 2015-04-02
US9524645B2 (en) 2016-12-20
JP5955291B2 (ja) 2016-07-20
JP2015069566A (ja) 2015-04-13
CN104517099B (zh) 2018-02-13
DE102014113359B4 (de) 2022-12-01
US20150091714A1 (en) 2015-04-02

Similar Documents

Publication Publication Date Title
JP4832227B2 (ja) 物体検出装置および物体検出方法
EP2928178B1 (en) On-board control device
JP5293815B2 (ja) 画像処理装置、画像処理方法、及び画像処理用プログラム
JP5886809B2 (ja) 車外環境認識装置
US9349070B2 (en) Vehicle external environment recognition device
US9971946B2 (en) Traveling road surface detection device and traveling road surface detection method
JP7206583B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
JP6457278B2 (ja) 物体検出装置及び物体検出方法
CN104517099A (zh) 滤波装置和环境识别系统
CN106467105A (zh) 车道线识别装置
JP2020095622A (ja) 画像処理装置および画像処理方法
CN104512334A (zh) 滤波装置
JP6591188B2 (ja) 車外環境認識装置
JP6701905B2 (ja) 検出装置、視差値導出装置、物体認識装置、機器制御システム、およびプログラム
JP6174960B2 (ja) 車外環境認識装置
JP4788399B2 (ja) 歩行者検出方法、装置、およびプログラム
JP2019114150A (ja) 車外環境認識装置
KR100976142B1 (ko) 차량검출방법
CN104517098B (zh) 滤波装置及环境识别系统
JP6273156B2 (ja) 歩行者認識装置
CN109017775A (zh) 车外环境识别装置及车外环境识别方法
WO2020008787A1 (ja) カメラ装置の標識認識方法及び標識認識装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Subaru Co.

Address before: Tokyo, Japan

Applicant before: Fuji Heavy Industries, Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant