CN106560837A - 物体识别装置以及烟雾判定方法 - Google Patents

物体识别装置以及烟雾判定方法 Download PDF

Info

Publication number
CN106560837A
CN106560837A CN201610590187.4A CN201610590187A CN106560837A CN 106560837 A CN106560837 A CN 106560837A CN 201610590187 A CN201610590187 A CN 201610590187A CN 106560837 A CN106560837 A CN 106560837A
Authority
CN
China
Prior art keywords
departure
smog
section
image
end position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610590187.4A
Other languages
English (en)
Other versions
CN106560837B (zh
Inventor
西岛征和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN106560837A publication Critical patent/CN106560837A/zh
Application granted granted Critical
Publication of CN106560837B publication Critical patent/CN106560837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Regulating Braking Force (AREA)
  • Image Processing (AREA)

Abstract

一种物体识别装置以及烟雾判定方法。本发明的课题在于适当地判定拍摄图像中的烟雾的存在。物体识别装置(1)具备:获取单元(21),获取由立体相机(10)拍摄到的多个图像(P);段提取单元(22),从多个图像中计算视差,将图像横向上的每一定宽度中视差处于预定范围内的集合提取为段(S);目标物提取单元(23),提取在图像横向以及图像进深方向上连结的段作为目标物(Tg);计算单元(24),算出构成目标物的各段的上端位置的偏差量(σu)以及高度幅度的偏差量(σh);以及判定单元(25),在上端位置的偏差量以及高度幅度的偏差量中的至少一方超过预定阈值的情况下,判定为目标物是烟雾。

Description

物体识别装置以及烟雾判定方法
技术领域
本发明涉及使用搭载于例如汽车等车辆的立体相机的拍摄图像的物体识别装置以及烟雾判定方法的技术领域。
背景技术
作为这种装置,已知有通过对拍摄图像实施各种处理而识别拍摄图像内的烟雾的装置。例如,在专利文献1中提出了将对拍摄图像进行处理而检测出的物体中的、视差的偏差大的物体判定为烟雾的装置。在专利文献2及专利文献3中提出了在物体的图像边缘强度弱的情况下判定为烟雾的装置。在专利文献4中提出了将物体或者对物体进行分割而得的区域的按时间序列的尺寸变化大的判定为烟雾的装置。
现有技术文献
专利文献1:日本特开2013-203337号公报
专利文献2:日本特开2012-118698号公报
专利文献3:日本特开2015-069381号公报
专利文献4:日本特开2013-206328号公报
发明内容
发明要解决的问题
在作为立体视差计算方法之一的SGM(Semi Global Matching:半全局匹配)中,通过参照周围的视差,即便对于图像边缘少(换言之,图像边缘强度弱)的像素和/或区域也能够计算视差。因此,在SGM中,能够算出利用现有的基于边缘的技术无法计算的、平坦的墙壁和/或栏杆等的视差。
然而,通过SGM之类的立体视差计算方法而检测出的图像边缘强度弱的物体,根据专利文献2及专利文献3的技术有可能会被误判定为烟雾。另外,在SGM中,由于在图像边缘强度弱的区域中通过参照周围的视差来求取视差,因此视差的偏差容易变大。因此,根据专利文献1的技术也有可能会被误判定为烟雾。这样,在想要利用作为立体视差计算方法之一的SGM来识别物体的情况下,产生对于图像边缘强度弱的物体无法正确地进行其是否为烟雾的判定这一技术方面的问题点。
另一方面,在专利文献4所记载的技术中,由于利用按时间序列的尺寸的变化,因此会产生为了判定而需要某程度的时间、而且判定所需的处理也变得高度复杂化这一技术方面的问题点。
本发明是鉴于上述问题点而提出的,其课题在于提供一种能够适当地判定拍摄图像中的烟雾的存在的物体识别装置以及烟雾判定方法。
用于解决课题的技术方案
为了解决上述课题,本发明的物体识别装置具备:获取单元,获取由立体相机拍摄到的多个图像;段提取单元,从所述多个图像中计算视差,将图像横向上的每一定宽度中视差处于预定范围内的集合提取为段;目标物提取单元,提取在所述图像横向以及图像进深方向上连结的所述段作为目标物;计算单元,算出构成所述目标物的各段的上端位置的偏差量以及高度幅度的偏差量;以及判定单元,在所述上端位置的偏差量以及所述高度幅度的偏差量中的至少一方超过预定阈值的情况下,判定为所述目标物为烟雾。
根据本发明的物体识别装置,在构成目标物的各段的上端位置的偏差量以及高度幅度的偏差量中的至少一方超过预定阈值的情况下,判定为该目标物为烟雾,因此,即使对于图像边缘强度弱的目标物也能够适当地判定其是否为烟雾。
为了解决上述课题,本发明的烟雾判定方法具备:获取工序,获取由立体相机拍摄到的多个图像;段提取工序,从所述多个图像中计算视差,将图像横向上的每一定宽度中视差处于预定范围内的集合提取为段;目标物提取工序,提取在所述图像横向以及图像进深方向上连结的所述段作为目标物;计算工序,算出构成所述目标物的各段的上端位置的偏差量以及高度幅度的偏差量;以及判定工序,在所述上端位置的偏差量以及所述高度幅度的偏差量中的至少一方为规定值以上的情况下,判定为所述目标物为烟雾。
根据本发明所涉及的烟雾判定方法,与上述的本发明所涉及的物体识别装置相同,即使对于图像边缘强度弱的目标物也能够适当地判定其是否为烟雾。
根据接下来要说明的用于进行实施的方式,使得本发明的作用及其它优点变得明显。
附图说明
图1是示出第1实施方式所涉及的物体识别装置的主要部分的框图。
图2是示出第1实施方式所涉及的烟雾判定处理的流程的流程图。
图3是示出包含连续构造物的拍摄图像的一例的图。
图4是示出与连续构造物对应的目标物的示意图。
图5是示出包含烟雾的拍摄图像的一例的图。
图6是示出与烟雾对应的目标物的示意图。
图7是示出段信息统计值的计算方法的示意图。
图8是示出与连续构造物对应的目标物的上端位置偏差量的一例的曲线图。
图9是示出与烟雾对应的目标物的上端位置偏差量的一例的曲线图。
图10是示出与连续构造物对应的目标物的高度幅度偏差量的一例的曲线图。
图11是示出与烟雾对应的目标物的高度幅度偏差量的一例的曲线图。
图12是示出第2实施方式所涉及的烟雾判定处理的流程的流程图。
附图标记的说明
1物体识别装置;10立体相机;11左相机;12右相机;11a、12a透镜;11b、12b拍摄元件;13相机CPU;14图像输出部;20立体图像识别装置;21图像获取部;22段提取部;23目标物提取部;24偏差计算部;25烟雾判定部;100连续构造物;200烟雾;P拍摄图像;S段;Tg目标物;u上端位置;h高度幅度;σu上端位置偏差量;σh高度幅度偏差量
具体实施方式
基于附图对本发明的物体识别装置以及烟雾判定方法所涉及的实施方式进行说明。
<第1实施方式>
对第1实施方式所涉及的物体识别装置以及烟雾判定方法进行说明。
(物体识别装置的构成)
首先,参照图1对第1实施方式所涉及的物体识别装置的构成进行说明。图1是示出第1实施方式所涉及的物体识别装置的主要部分的框图。
在图1中,物体识别装置1搭载于汽车等车辆,构成为对存在于该车辆周围的物体进行识别(换言之,检测)的装置。如下文所述那样,物体识别装置1利用拍摄图像的视差来进行物体识别,但也可以构成为能够一同使用基于图案匹配的物体识别。物体识别装置1构成为具备立体相机10以及立体图像识别装置20。
立体相机10构成为具备:左相机11,其具有透镜11a以及拍摄元件11b;右相机12,其具有透镜12a以及拍摄元件12b;相机CPU(Central Processing Unit:中央处理单元)13;以及图像输出部14。
拍摄元件11b及12b由CCD(Charge Coupled Device:电荷耦合元件)等构成。相机CPU13对左相机11以及右相机12各自的露出等进行控制。另外,相机CPU13经由作为输出接口的图像输出部14而将拍摄元件11b及12b的拍摄图像作为图像信号发送至立体图像识别装置20。
此处,构成立体相机10的左相机11以及右相机12配置于能够对想要利用物体识别装置1来识别物体的区域进行拍摄的位置。例如,立体相机10配置于能够隔着前窗玻璃对车辆的前方区域(即,与驾驶者的视野相当的区域)进行拍摄的位置。此外,在想要识别车辆的侧方和/或后方的物体的情况下,只要将立体相机10配置于能够对这些区域进行拍摄的位置即可。另外,若配置多个立体相机10,则能够对多个区域进行物体识别。
立体图像识别装置20构成为具备:图像获取部21、段提取部22、目标物提取部23、偏差计算部24以及烟雾判定部25。图像获取部21、段提取部22、目标物提取部23、偏差计算部24以及烟雾判定部25具有通过立体图像识别装置20所具备的CPU(未图示)执行在ROM(未图示)中存储的计算机程序而被实现的功能。此外,图像获取部21、段提取部22、目标物提取部23、偏差计算部24以及烟雾判定部25分别是“获取单元”、“段提取单元”、“目标物提取单元”、“计算单元”、“判定单元”的一个具体例。
立体图像识别装置20构成为将烟雾判定处理的结果(即,识别出的物体是否为烟雾)输出。烟雾判定处理的结果被用于车辆的预防碰撞安全系统(pre-crash safetysystem)等。
(烟雾判定处理)
接下来,参照图2对基于上述物体识别装置1的烟雾判定处理进行说明。图2是示出第1实施方式所涉及的烟雾判定处理的流程的流程图。此外,在车辆的点火开关接通的期间,图2所示的烟雾判定处理的例程按预定周期被反复执行。
在图2中,在第1实施方式所涉及的基于物体识别装置1的烟雾判定处理中,首先进行拍摄图像的获取(步骤S101)。具体而言,将由立体相机10的右相机11以及左相机12拍摄到的图像经由相机CPU13以及图像输出部14作为图像数据而输入至立体图像识别装置20的图像获取部21。在图像获取部21中,按预定周期获取一对图像数据(即,右相机11的图像数据以及左相机12的图像数据)。图像获取部21将所获取的一对图像数据输出至段提取部22。
在段提取部22中,根据一对图像数据,算出视差(步骤S102)。根据一对图像数据的相关性,视差被计算为各对应的像素或者像素块的视差值。视差值是作为一对图像数据间的偏差量而计算出的值,且是根据距拍摄图像中的物体的距离而变动的值。具体而言,在距物体的距离近的情况下,视差值被计算为比较大的值。另一方面,在距物体的距离远的情况下,视差值被计算为比较小的值。此外,为了计算视差值,只要使用作为立体视差计算方法之一的SGM即可。在此后的处理中,使用根据一对图像数据得到的、一个视察图像数据(即,具有视差信息的图像数据)。
当对视差进行计算时,在段提取部22中,进一步进行段S的提取(步骤S103)。段S是视差值处于预定范围内的像素或者像素块的集合,按图像横向的一定宽度被提取。此外,此处的“预定范围”是指为了判定是否为视差接近为基本可视为相同的程度的状态而预先设定的范围。另外,“一定宽度”是作为被提取的段的宽度而预先设定的值,具体而言,是基于拍摄图像的像素数和/或想要检测的物体的大小等各种条件而设定的。
为了提取段S,使用在横向上按一定宽度将拍摄图像划分为细长条的箱(与段的提取单位相当的虚拟的区域)。存在于与该箱对应的区域内、视差值处于预定范围内且图像横向位置接近的视差集合(即具有视差信息的像素的集合)被投票至该箱中。此外,投票至各箱的视差集合具有与图像的高度方向相关的位置信息,投票后也持续保持与高度方向相关的位置信息。若投票结束,则在纵向(即高度方向)上对各箱进行扫描,提取各箱内的在高度方向上连结的视差集合作为段S。
根据上述的投票处理,与各箱对应的像素中的、视差值处于预定范围内且在横向上连结的视差集合被提取多个(例如M个),这些提取出的多个视差集合中的、在纵向上也连结的多个(例如N个)视差集合被提取为段。此外,从一个箱中能够提取多个段S。段提取部22的段提取结果被输出至目标物提取部23。
在目标物提取部23中,在图像横向及进深方向(即距离方向)上连结的段S作为与拍摄图像中的物体相当的目标物Tg被提取(步骤S104)。此外,此处的“进深方向”是指根据计算出的视差而定义的方向。图像数据本身仅具有纵向及横向的信息(即二维的数据),但通过算出视差,还能够具有进深方向的新信息。以下,参照图3至图6,针对被提取的目标物Tg具体地进行说明。
图3是示出包含连续构造物的拍摄图像的一例。拍摄图像P1中包含连续构造物(例如,栏杆和/或墙壁等)。此处的连续构造物100尤其具有如下特征:具有平坦的表面,图像边缘的强度弱。这种连续构造物100的视差难以利用基于边缘的视差计算方法来进行计算。然而,若利用SGM,即使在图像边缘的强度弱的区域中,也能够通过参照周围的视差值来适当地算出视差。因而,即使对于如拍摄图像P1中的连续构造物100那样的图像边缘的强度弱的物体,也能够提取出目标物Tg。
图4是示出与连续构造物100对应的目标物Tg1的示意图。与连续构造物100对应的目标物Tg1被提取为多个段S在图像横向及进深方向上连结的目标物。此外,由于连续构造物100为接近矩形的形状,因此,与连续构造物100对应的目标物Tg1被提取为段S规则地连结的目标物。
图5是示出包含烟雾的拍摄图像的一例的图。拍摄图像P2中包含烟雾200。烟雾200在其特性上与图3的连续构造物100同样,也是图像边缘的强度弱。然而,若利用上述的SGM,对于烟雾200也能够提取出目标物Tg。
图6是示出与烟雾200对应的目标物的示意图。与烟雾200对应的目标物Tg2被提取为多个段S在图像横向及进深方向上连结的目标物。此外,由于烟雾200不像连续构造物100那样具有明确的形状,因此,与图4所示的对应于连续构造物的目标物Tg1相比,与烟雾200对应的目标物Tg2成为变形的形状。
返回到图2,若提取出目标物Tg,则在目标物提取部23中进一步算出段信息统计值(步骤S105)。此外,“段信息统计值”是指针对构成目标物Tg的多个段S而计算出的统计的值,至少包括构成目标物Tg的段S的数量、各段S的上端位置以及高度幅度。此外,“高度幅度”是指从段S的上端位置至下端位置为止的长度。以下,参照图7对段信息统计值进行具体说明。图7是示出段信息统计值的计算方法的示意图。
如图7所示,提取出由5个段S1~S5构成的目标物Tg3。在该情况下,作为段信息统计值,分别计算出段数量n(此处为“5”)、段S1~S5的上端位置u1~u5、以及段S1~S5的高度幅度h1~h5。计算出的段数量n、段S的上端位置u1~u5、以及段S的高度幅度h1~h5的各个值被输出至偏差计算部24。
再次返回到图2,在偏差计算部24中,首先判定段数量n是否为预定阈值A以上(步骤S106)。在段数量n不为预定阈值A以上的情况下(步骤S106:否),省略此后的处理,使烟雾判定所涉及的一系列处理结束。
阈值A是用于判定段S的数量是否多达下述的段S的上端位置的偏差量以及高度幅度的偏差量具有统计意义的程度的阈值。例如,在段数量n为“1”、“2”程度的小的值的情况下,段S的上端位置的偏差量以及高度幅度的偏差量不具有统计意义。因而,也有可能对利用这些偏差量的烟雾判定的结果造成不良影响。阈值A为了将这样段数量n极小的事例排除而预先设定。此外,阈值A是“预定数量”的一个具体例。
在段数量n为阈值A以上的情况下(步骤S106:是),在偏差计算部24中,算出作为构成目标物Tg的各段S的上端位置u的偏差量的上端位置偏差量σu,并判定其是否大于预定阈值B(步骤S107)。此外,关于上端位置偏差量σu的计算,由于能够利用现有的方法,因此将此处的详细说明省略。在判定为段S的上端位置偏差量σu大于阈值B的情况下(步骤S107:是),将目标物Tg判定为烟雾200(步骤S109)。
阈值B是用于判定构成目标物Tg的各段S的上端位置u是否偏差为能够判定为烟雾200的程度的阈值。相比较地观察图4与图6可知,图4所示的与连续构造物100对应的目标物Tg1成为段S的上端位置u以直线状对齐的状态,图6所示的与烟雾200对应的目标物Tg2的段S的上端位置u偏差较大。这样,段S的上端位置u根据目标物Tg是与连续构造物100对应、或者是与烟雾200对应而明确显示出不同的倾向。因此,通过段S的上端位置偏差量σu与阈值B的比较,能够判定目标物Tg是否为烟雾200。此外,阈值B是“预定阈值”的一个具体例。
以下,参照图8及图9对利用上端位置偏差量σu的判定方法进行具体说明。此处,图8是示出与连续构造物100对应的目标物Tg1的上端位置偏差量σu的一例的曲线图。另外,图9是示出与烟雾200对应的目标物Tg2的上端位置偏差量σu的一例的曲线图。此外,图8及图9中示出的上端位置偏差量σu的值只不过是表示连续构造物100与烟雾200的倾向的不同的一个例子而已,并不是与图4及图6中示出的目标物Tg1及Tg2严格对应的值。
如图8所示,虽然与连续构造物100对应的目标物Tg1的上端位置偏差量σu根据图像横向位置而多少有所变动,但却以较低的值稳定。而且,特别是目标物Tg1的上端位置偏差量σu不会超过阈值B。在这种情况下,目标物Tg1不被判定为烟雾200。
如图9所示,与烟雾200对应的目标物Tg2的上端位置偏差量σu根据图像横向位置而较大地变动。而且,特别是目标物Tg2的上端位置偏差量σu几乎在所有位置处都超过阈值B。在这种情况下,目标物Tg2被判定为烟雾200。
此外,在判定为烟雾200时,也可以考虑上端位置偏差量σu超过阈值B的次数。具体而言,可以是上端位置偏差量σu仅1次超过阈值B就判定为烟雾200,还可以是在上端位置偏差量σu超过阈值B的次数为2次以上的预定次数的情况下判定为烟雾200。或者,也可以在上端位置偏差量σu超过阈值B的次数相对于整体达到预定的比例以上的情况下判定为烟雾200。
再次返回到图2,在判定为段S的上端位置偏差量σu为阈值B以下的情况下(步骤S107:否),在偏差计算部24中,算出作为构成目标物Tg的各段S的高度幅度h的偏差量的高度幅度偏差量σh,并判定其是否大于预定阈值C(步骤S108)。此外,关于高度幅度偏差量σh的计算,由于能够利用现有的方法,因此将此处的详细说明省略。在判定为段S的高度幅度偏差量σh大于阈值C的情况下(步骤S108:是),将目标物Tg判定为烟雾200(步骤S109)。即,即便在根据段S的上端位置偏差量σu与阈值B的关系而未判定为烟雾200的情况下,有时也会根据段S的高度幅度偏差量σh与阈值C的关系而判定为烟雾200。
阈值C是用于判定构成目标物Tg的各段S的高度幅度h是否偏差为能够判定为烟雾200的程度的阈值。比较地观察图4与图6可知,图4所示的与连续构造物100对应的目标物Tg1的段S的高度幅度基本恒定,图6所示的与烟雾200对应的目标物Tg2的段S的高度幅度h的偏差较大。这样,段S的高度幅度h根据目标物Tg是与连续构造物100对应、或者是与烟雾200对应而明确显示出不同的倾向。因此,通过段S的高度幅度偏差量σh与阈值C的比较,能够判定目标物Tg是否为烟雾200。此外,阈值C与上述的阈值B同样,是“预定阈值”的一个具体例。不过,阈值B与阈值C无需彼此为相同的值,也可以设定为互不相同的值(即,分别作为与上端位置偏差量σu以及高度幅度偏差量σh的各个对应的值)。
以下,参照图10及图11对利用了高度幅度偏差量σh的判定方法进行具体说明。此处,图10是示出与连续构造物100对应的目标物Tg1的高度幅度偏差量σh的一例的曲线图。另外,图11是示出与烟雾200对应的目标物Tg2的高度幅度偏差量σh的一例的曲线图。此外,图10及图11中示出的高度幅度偏差量σh的值只不过是表示连续构造物100与烟雾200的倾向的不同的一个例子而已,并不是与图4及图6中示出的目标物Tg1及Tg2严格对应的值。
如图10所示,虽然与连续构造物100对应的目标物Tg1的高度幅度偏差量σh根据图像横向位置而多少有所变动,但以较低的值稳定。而且,特别是目标物Tg1的高度幅度偏差量σh不会超过阈值C。在这种情况下,目标物Tg1不被判定为烟雾200。
如图11所示,与烟雾200对应的目标物Tg2的高度幅度偏差量σh根据图像横向位置而较大地变动。而且,特别是目标物Tg2的高度幅度偏差量σh几乎在所有位置处都超过阈值C。在这种情况下,目标物Tg2被判定为烟雾200。
此外,在判定为烟雾200时,可以与上述的上端位置偏差量σu的情况同样地,也考虑高度幅度偏差量σh超过阈值C的次数。具体而言,可以是即便高度幅度偏差量σh仅1次超过阈值C也可以判定为烟雾200,还可以是在高度幅度偏差量σh超过阈值C的次数为2次以上的预定次数的情况下判定为烟雾200。或者,可以在高度幅度偏差量σh超过阈值C的次数相对于整体达到预定的比例以上的情况下判定为烟雾200。
再次返回到图2,在判定为段S的高度幅度偏差量σh为阈值C以下的情况下(步骤S108:否),将目标物Tg判定为连续构造物100(步骤S110)。这样,在本实施方式所涉及的烟雾判定处理中,在判定为段S的上端位置偏差量σu以及高度幅度偏差量σh中的至少一方大于预定阈值(即阈值B或者阈值C)的情况下,将目标物Tg判定为烟雾200,在其它情况下,将目标物Tg判定为连续构造物100。
此外,在上述实施方式中,在进行了与段S的上端位置偏差量σu相关的判定之后,进行与段S的高度幅度偏差量σh相关的判定,但是,也可以将这些判定处理(即图2的步骤S107及S108)的前后次序相互颠倒地进行。假设在进行了与段S的高度幅度偏差量σh相关的判定之后再进行与段S的上端位置偏差量σu相关的判定的情况下,判定结果也不变化。
(发明的效果)
根据本实施方式所涉及的物体识别装置1,通过上述烟雾判定处理,能够适当地判定所提取的目标物Tg是烟雾200、还是连续构造物100。
此处,烟雾200与连续构造物100尤其具有进行图像处理的情况下的图像边缘强度弱这一共同的特性。因此,仅根据图像边缘的强度难以正确地区别烟雾200与连续构造物100。
然而,在本实施方式中,如上所述,基于段S的上端位置偏差量σu以及高度幅度偏差量σh而判定目标物Tg是否为烟雾200。因此,能够正确地判定目标物Tg是否为烟雾200。换言之,能够防止将与烟雾200对应的目标物Tg判定为连续构造物100、或者将与连续构造物100对应的目标物Tg判定为烟雾200。
如果利用物体识别装置1的判定结果,则能够使例如车辆的预防碰撞安全系统适当地工作。具体而言,在判定为识别出的目标物Tg为连续构造物100的情况下,在产生了与连续构造物100碰撞的危险性时,制动器自动地工作。在该情况下,车辆与连续构造物100的碰撞被可靠地避免。另一方面,在识别出的目标物Tg为烟雾200的情况下,制动器在上述时刻不工作。这样,能够防止由于对无需避免碰撞的烟雾使制动器自动地工作而使得车辆不必要地减速。
<第2实施方式>
接下来,对第2实施方式所涉及的物体识别装置以及烟雾判定方法进行说明。此外,第2实施方式与上述的第1实施方式相比,只有一部分的动作不同,其它动作及装置构成大致相同。因此,以下对与第1实施方式不同的部分进行详细说明,并适当地将针对重复的部分的说明省略。
(烟雾判定处理)
参照图12对第2实施方式所涉及的烟雾判定处理进行说明。图12是示出第2实施方式所涉及的烟雾判定处理的流程的流程图。此外,图12所示的烟雾判定处理的例程在车辆的点火开关接通的期间按预定周期被反复执行。
在图12中,在第2实施方式所涉及的基于物体识别装置1的烟雾判定处理中,首先利用图像获取部21获取由立体相机10拍摄到的一对图像数据(步骤S201)。图像获取部21将所获取的一对图像数据输出至段提取部22。
在段提取部22中,根据一对图像数据来计算视差(步骤S202)。当计算视差时,在段提取部22中进一步进行段S的提取(步骤S203)。将基于段提取部22的段提取结果输出至目标物提取部23。
在目标物提取部23中,在图像横向以及进深方向上连结的段S被提取为与拍摄图像中的物体相当的目标物Tg(步骤S204)。若提取出目标物Tg,则在目标物提取部23中进一步算出段信息统计值(步骤S205)。此处的段信息统计值也与第1实施方式同样地,至少包括构成目标物Tg的段数量n、各段S的上端位置u以及高度幅度h。计算出的段数量n、各段S的上端位置u以及高度幅度h被输出至偏差计算部24。
在偏差计算部24中,首先判定段数量n是否为预定阈值A以上(步骤S206)。在段数量n不为预定阈值A以上的情况下(步骤S206:否),将此后的处理省略,使烟雾判定所涉及的一系列的处理结束。
在段数量n为阈值A以上的情况下(步骤S206:是),在偏差计算部24中,算出构成目标物Tg的各段S的上端位置偏差量σu,并判定其是否大于预定阈值B(步骤S207)。此外,第2实施方式所涉及的阈值B是“第1阈值”的一个具体例。
在第2实施方式中,特别是在判定为段S的上端位置偏差量σu为阈值B以下的情况下(步骤S207:否),判定为目标物Tg是连续构造物100(步骤S210)。即,在第2实施方式中,仅根据段S的上端位置偏差量σu与阈值B的关系便能够判定为目标物Tg不是烟雾200。
在判定为段S的上端位置偏差量σu大于阈值B的情况下(步骤S107:是),在偏差计算部24中,算出构成目标物Tg的各段S的高度幅度偏差量σh,并判定其是否大于预定阈值C(步骤S208)。此外,第2实施方式所涉及的阈值C是“第2阈值”的一个具体例。
在判定为段S的高度幅度偏差量σh为阈值C以下的情况下(步骤S208:否),判定为目标物Tg为连续构造物100(步骤S210)。根据至此为止的处理可知,在第2实施方式所涉及的烟雾判定处理中,在判定为段S的上端位置偏差量σu以及高度幅度偏差量σh中的至少一方不大于预定阈值的情况下,目标物Tg被判定为连续构造物100。
另一方面,在判定为段S的高度幅度偏差量σh大于阈值C的情况下(步骤S208:是),目标物Tg被判定为烟雾200(步骤S209)。这样,在第2实施方式中,在段S的上端位置偏差量σu以及段S的高度幅度偏差量σh这双方大于预定阈值的情况下,目标物Tg被判定为烟雾200。
此外,在上述实施方式中,在进行了与段S的上端位置偏差量σu相关的判定之后,进行与段S的高度幅度偏差量σh相关的判定,但是,也可以将这些判定处理(即图12的步骤S207及S208)的前后次序相互颠倒地进行。假设在进行了与段S的高度幅度偏差量σh相关的判定之后再进行与段S的上端位置偏差量σu相关的判定的情况下,判定结果也不变化。
此外,在未特别说明的情况下,图12中的步骤S201至步骤S210的各处理与图2中的步骤S101至步骤S110的各处理相同。
(发明的效果)
在第2实施方式所涉及的物体识别装置1中,如上所述,在段S的上端位置偏差量σu以及高度幅度偏差量σh这双方大于预定阈值的情况下,将目标物Tg判定为烟雾200。因此,在仅段S的上端位置偏差量σu以及高度幅度偏差量σh中的任一方大于预定阈值的情况下,不将目标物Tg判定为烟雾200,与第1实施方式相比,会难以将目标物Tg判定为烟雾200。
在车辆的预防碰撞安全系统中利用物体识别装置1的判定结果的情况下,即使将应当判定为烟雾200的目标物Tg错误地判定为连续构造物100,也仅仅是使车辆的制动器在不适当的时刻工作而已。然而,若将应当判定为连续构造物100的目标物Tg错误地判定为烟雾200,由于制动器不自动地工作,因此,有可能产生车辆与连续构造物100的碰撞。这样,在预防碰撞安全系统中,优选地,优先避免会将连续构造物100误判定为烟雾200的事态。
与此相对,在第2实施方式中,在将目标物Tg判定为烟雾的情况下,要求段S的上端位置偏差量σu以及段S的高度幅度偏差量σh这双方大于预定阈值。由此,能够更可靠地防止会将应当判定为连续构造物100的目标物Tg错误地判定为烟雾200。
本发明并不局限于上述实施方式,在不违背从权利要求书以及整个说明书中能领会的发明的主旨或思想的范围内能够适当地变更,伴随有这种变更的物体识别装置以及烟雾判定方法也包含于本发明的技术范围内。

Claims (4)

1.一种物体识别装置,其特征在于,具备:
获取单元,获取由立体相机拍摄到的多个图像;
段提取单元,从所述多个图像中计算视差,将图像横向上的每一定宽度中视差处于预定范围内的集合提取为段;
目标物提取单元,提取在所述图像横向以及图像进深方向上连结的所述段作为目标物;
计算单元,算出构成所述目标物的各段的上端位置的偏差量以及高度幅度的偏差量;以及
判定单元,在所述上端位置的偏差量以及所述高度幅度的偏差量中的至少一方超过预定阈值的情况下,判定为所述目标物为烟雾。
2.根据权利要求1所述的物体识别装置,其特征在于,
在所述上端位置的偏差量超过作为所述预定阈值的第1阈值、且所述高度幅度的偏差量超过作为所述预定阈值的第2阈值的情况下,所述判定单元判定为所述目标物为烟雾。
3.根据权利要求1或2所述的物体识别装置,其特征在于,
在构成所述目标物的所述段的数量为预定数量以上的情况下,所述计算单元算出所述上端位置的偏差量以及所述高度幅度的偏差量。
4.一种烟雾判定方法,其特征在于,具备:
获取工序,获取由立体相机拍摄到的多个图像;
段提取工序,从所述多个图像中计算视差,将图像横向上的每一定宽度中视差处于预定范围内的集合提取为段;
目标物提取工序,提取在所述图像横向以及图像进深方向上连结的所述段作为目标物;
计算工序,算出构成所述目标物的各段的上端位置的偏差量以及高度幅度的偏差量;以及
判定工序,在所述上端位置的偏差量以及所述高度幅度的偏差量中的至少一方超过预定阈值的情况下,判定为所述目标物为烟雾。
CN201610590187.4A 2015-10-02 2016-07-25 物体识别装置以及烟雾判定方法 Active CN106560837B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-196817 2015-10-02
JP2015196817A JP6299720B2 (ja) 2015-10-02 2015-10-02 物体認識装置及び煙判定方法

Publications (2)

Publication Number Publication Date
CN106560837A true CN106560837A (zh) 2017-04-12
CN106560837B CN106560837B (zh) 2019-07-26

Family

ID=58355576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610590187.4A Active CN106560837B (zh) 2015-10-02 2016-07-25 物体识别装置以及烟雾判定方法

Country Status (4)

Country Link
US (1) US10102628B2 (zh)
JP (1) JP6299720B2 (zh)
CN (1) CN106560837B (zh)
DE (1) DE102016216500A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112639803A (zh) * 2018-08-21 2021-04-09 西门子能源环球有限责任两合公司 用于识别设施处的物体的方法和组件

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2667338C1 (ru) * 2015-07-27 2018-09-18 Ниссан Мотор Ко., Лтд. Способ обнаружения объектов и устройство обнаружения объектов
US10204418B2 (en) * 2016-09-07 2019-02-12 Nokia Technologies Oy Method and apparatus for facilitating stereo vision through the use of multi-layer shifting
JP2021125541A (ja) * 2020-02-04 2021-08-30 キオクシア株式会社 処理装置および処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140029790A1 (en) * 2010-09-28 2014-01-30 Institut Francais Des Et Technologies Des Transports De L'amenagement Method and device for detecting fog at night
CN104508722A (zh) * 2012-07-27 2015-04-08 歌乐株式会社 车载用周围环境识别装置
CN104508727A (zh) * 2012-07-27 2015-04-08 日产自动车株式会社 三维物体检测装置和三维物体检测方法
CN104512333A (zh) * 2013-09-27 2015-04-15 富士重工业株式会社 车外环境识别装置
CN104517118A (zh) * 2013-09-27 2015-04-15 富士重工业株式会社 车外环境识别装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2675687A1 (en) * 2007-01-16 2008-07-24 Utc Fire & Security Corporation System and method for video detection of smoke and flame
JP2012118698A (ja) 2010-11-30 2012-06-21 Fuji Heavy Ind Ltd 画像処理装置
JP5600332B2 (ja) * 2012-03-29 2014-10-01 富士重工業株式会社 運転支援装置
JP2013206328A (ja) * 2012-03-29 2013-10-07 Fuji Heavy Ind Ltd 物体検出装置
DE102012213125A1 (de) * 2012-07-26 2014-01-30 Robert Bosch Gmbh Brandüberwachungssystem

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140029790A1 (en) * 2010-09-28 2014-01-30 Institut Francais Des Et Technologies Des Transports De L'amenagement Method and device for detecting fog at night
CN104508722A (zh) * 2012-07-27 2015-04-08 歌乐株式会社 车载用周围环境识别装置
CN104508727A (zh) * 2012-07-27 2015-04-08 日产自动车株式会社 三维物体检测装置和三维物体检测方法
CN104512333A (zh) * 2013-09-27 2015-04-15 富士重工业株式会社 车外环境识别装置
CN104517118A (zh) * 2013-09-27 2015-04-15 富士重工业株式会社 车外环境识别装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112639803A (zh) * 2018-08-21 2021-04-09 西门子能源环球有限责任两合公司 用于识别设施处的物体的方法和组件
US11989870B2 (en) 2018-08-21 2024-05-21 Siemens Energy Global GmbH & Co. KG Method and assembly for detecting objects on systems
CN112639803B (zh) * 2018-08-21 2024-06-11 西门子能源环球有限责任两合公司 用于识别设施处的物体的方法和组件

Also Published As

Publication number Publication date
CN106560837B (zh) 2019-07-26
US20170098298A1 (en) 2017-04-06
JP6299720B2 (ja) 2018-03-28
US10102628B2 (en) 2018-10-16
JP2017068789A (ja) 2017-04-06
DE102016216500A1 (de) 2017-04-06

Similar Documents

Publication Publication Date Title
US11093763B2 (en) Onboard environment recognition device
CN106560837A (zh) 物体识别装置以及烟雾判定方法
US9846823B2 (en) Traffic lane boundary line extraction apparatus and method of extracting traffic lane boundary line
JP6158779B2 (ja) 画像処理装置
KR101961571B1 (ko) 복수의 물체 검출 수단을 사용한 물체 인식 장치
US9697421B2 (en) Stereoscopic camera apparatus
JP6786279B2 (ja) 画像処理装置
CN108009522B (zh) 一种道路检测方法、装置及终端
US9990549B2 (en) Complex marking determining device and complex marking determining method
JP4848312B2 (ja) 身長推定装置および身長推定方法
EP3082068A1 (en) Traveling road surface detection device and traveling road surface detection method
EP2993621B1 (en) Method and apparatus for detecting shielding against object
CN107787496B (zh) 消失点修正装置及方法
US9508000B2 (en) Object recognition apparatus
WO2014002692A1 (ja) ステレオカメラ
CN111149131A (zh) 区划线识别装置
KR20180098945A (ko) 고정형 단일 카메라를 이용한 차량 속도 감지 방법 및 장치
US10489928B2 (en) Image processing system for inspecting object distance and dimensions using a hand-held camera with a collimated laser
JP2006234682A (ja) 対象物判定装置
US20210089818A1 (en) Deposit detection device and deposit detection method
JP5786793B2 (ja) 車両検出装置
KR101371875B1 (ko) 스테레오 비전을 이용한 차량검출과 차간거리 산출 방법 및 그 장치
KR100976142B1 (ko) 차량검출방법
KR101882271B1 (ko) 비정형 라인 길이측정시스템
JP4096932B2 (ja) 車両用衝突時間推定装置及び車両用衝突時間推定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant