CN102997900B - 外界识别方法、装置以及车辆系统 - Google Patents

外界识别方法、装置以及车辆系统 Download PDF

Info

Publication number
CN102997900B
CN102997900B CN201210278896.0A CN201210278896A CN102997900B CN 102997900 B CN102997900 B CN 102997900B CN 201210278896 A CN201210278896 A CN 201210278896A CN 102997900 B CN102997900 B CN 102997900B
Authority
CN
China
Prior art keywords
mentioned
vehicle
area
rectangle
recognizer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210278896.0A
Other languages
English (en)
Other versions
CN102997900A (zh
Inventor
中村克行
吉永智明
守永光利
绪方健人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN102997900A publication Critical patent/CN102997900A/zh
Application granted granted Critical
Publication of CN102997900B publication Critical patent/CN102997900B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及外界识别方法、装置以及车辆系统。与到物体为止的距离无关地良好地进行车辆等的物体检测。对本车周边的拍摄图像进行解析的外界识别装置（100）具备：处理区域设定部（101），对表示附近的图像的第一区域以及表示远方的图像的第二区域进行设定；第一物体检测部（104），在设定的第一区域中通过第一识别器（103）进行物体检测；第二物体检测部（104），在设定的第二区域中通过第二识别器（106）还考虑背景图案而进行物体检测；矩形修正部（107），对检测的物体矩形进行修正；以及碰撞预测时间计算部（108），基于检测的物体矩形计算到碰撞为止的预测时间。

Description

外界识别方法、装置以及车辆系统
技术领域
本发明涉及一种使用图像传感器来识别外界的技术，特别是涉及与到物体的距离无关地检测物体的技术。
背景技术
为了减少交通事故导致的死伤者数，正在进行未然地防止事故的预防安全系统的开发。预防安全系统是在产生事故的可能性较高的状况下工作的系统，例如如下的防撞安全系统等被实用化：在产生了与本车前方的先行车碰撞的可能性时，通过警报督促驾驶员注意，在成为不能够避免碰撞的状况时，通过自动制动器减少成员的被害。
作为检测本车前方的先行车的方法，已知如下方法：通过车载摄像机拍摄本车前方，从所拍摄的图像中识别车辆的形状图案即车辆图案。例如在专利文献1中，公开了通过捕捉车辆两端的边缘来检测车辆的方法。然而，车辆的形状根据距离而不同，因此与远方附近无关地使用相同处理时不能够实现较高的检测精度。例如，在远方分辨率降低，因此不能够捕捉识别力较高的特征，检测精度降低。对于这种课题，提出根据距离、接近状态而改变处理内容的方式（参照专利文献2、3）。
专利文献1：日本特开2005-156199号公报
专利文献2：日本特开2007-072665号公报
专利文献3：日本特开平10-143799号公报
根据专利文献2，通过背景差分法等对成为行驶障碍的物体候补进行检测，使用相对于检测的物体候补按照距离不同定义的模板，能够对该物体是什么进行辨别。然而，存在在第一物体候补检测中遗漏的情况下，能够辨别物体这样的课题。
根据专利文献3，根据通过音响摄像机检测的车辆的相对速度，切换车辆追踪用的模板，由此能够提高追踪性能。然而，存在对于初期检测不能够使性能提高这样的课题。
发明内容
本发明是鉴于上述课题而进行的，其目的在于提供与距离无关而良好地进行物体检测的外界识别方法、装置以及使用该装置的车辆系统。
为了实现上述目的，在本发明中提供一种外界识别方法，使用对拍摄的图像进行解析并检测物体的外界识别装置进行外界识别，其中，外界识别装置在图像内设定用于物体检测的第一区域以及第二区域，在设定的第二区域中进行物体检测时，使用物体图案和该物体图案的背景图案这两种图案进行物体检测。
此外，为了实现上述目的，在本发明中提供一种外界识别装置，对拍摄的图像进行解析并检测物体，其中，具备：处理区域设定部，在图像内设定用于物体检测的第一区域以及第二区域；以及第一、第二物体检测部，在设定的第一区域以及第二区域中分别进行物体检测；当第一物体检测部进行物体检测时，仅使用物体图案，当第二物体检测部进行物体检测时，使用物体图案以及该物体图案的背景图案这两种图案。
并且，为了实现上述目的，在本发明中提供一种车辆系统，具备对本车周边的拍摄图像进行解析而检测车辆的外界识别装置，在该车辆系统中，外界识别装置具备处理部和存储部，存储部存储第一识别器和第二识别器，处理部在图像内设定用于车辆检测的第一区域以及比第一区域更靠远方的第二区域，在第一区域中使用第一识别器来捕捉车辆图案而进行车辆的车辆矩形的检测，在第二区域中使用第二识别器来捕捉车辆图案和该车辆图案的背景图案而进行车辆的车辆矩形的检测，对在第二区域中检测到的车辆矩形进行修正，基于使用第一识别器检测的车辆矩形、或使用第二识别器检测且修正的车辆矩形，计算表示何时将与本车发生碰撞的碰撞预测时间。
发明的效果：
根据本发明，能够与到物体的距离无关，而良好地进行物体检测。
附图说明
图1A是用于说明各实施例的物体检测的图。
图1B是用于说明各实施例的外界识别装置的框图。
图2是第一实施例的外界识别装置的构成例的框图。
图3是第一实施例的处理区域设定部的说明图。
图4A是第一实施例的第一车辆检测部的说明图。
图4B是第一实施例的第一识别器的说明图。
图5A是第一实施例的第二车辆检测部的说明图。
图5B是第一实施例的第二识别器的说明图。
图5C是第一实施例的矩形修正部的说明图。
图6是表示第一实施例的外界识别装置的处理流程图的图。
图7是第二实施例的外界识别装置的框图。
图8A是第二实施例的处理区域设定部的说明图。
图8B是第二实施例的处理区域设定部的说明图。
图9是第二实施例的处理区域设定部的他的说明图。
图10是第三实施例的车辆系统的框图。
符号的说明：
8、9 处理区域
10 车辆前方图像
11、12 物体
13、15 背面图案
14 背景图案
30 图像
100、200、700、1003 外界识别装置
101、201、702 处理区域设定部
102 第一物体检测部
104 物体检测部
105 第二物体检测部
202 第一车辆检测部
103、203 第一识别器
204 车辆检测部
205 第二车辆检测部
106、206 第二识别器
107、207 矩形修正部
108、208 碰撞预测时间计算部
301 消失点
302 假想平面
303 第一区域
304 第二区域
701 车线检测部
801、802 车线
901 预测进路
1000 摄像机
1001 扬声器
1002 行驶控制装置
1004 I/O
1005 存储器
1006 CPU
1007 碰撞危险度判断部。
具体实施方式
以下，根据附图对本发明的实施例进行说明。在以下的说明中，作为成为检测对象的物体，例示车辆、特别是本车前方的先行车的车辆进行说明，但不限定于此，也可以是歩行者等。
使用图1A、图1B，对具备本发明实施例的物体检测构件的外界识别装置进行说明。
图1A是由车载摄像机拍摄的车辆前方图像10的例子。该车辆前方图像10中的序号8、9是进行物体检测的图像处理的处理区域，由二维图像图案构成。在图1A的车辆前方图像10的处理区域8、9中，成为检测对象的物体11、12为车辆，检测对象的物体图案成为表示车辆的背面形状的车辆图案，即车辆的背面图案13、15。如图所示那样，在车辆前方图像10中，附近的物体11的背面图案15清楚，远方的物体12的背面图案13不清楚。在物体的背面图案不清楚的情况下，难以提取识别力较高的特征，物体检测的性能变低。
另外，在图1A中，处理区域9的序号14表示远方的物体12的背景图案。在本说明书中，所谓背景图案，意味着在用于物体检测的处理区域中，成为检测对象的物体图案即背面图案13以外的图案。因此，所谓背面图案14表示处理区域9中的物体12的背面图案13以外的图像图案。
因此，在各实施例的外界识别装置中，按照距离准备多个识别器，通过对它们进行切换，由此提高所有距离上的物体检测性能。具体地说，在附近、使用以检测对象的物体图案为中心的识别器来进行物体检测，在远方、使用包括物体和背景图案双方的识别器来进行物体检测。其理由如以下所述。即，在物体图案不清楚的远方，同时采用背景图案而增加物体以外的信息量的情况能够提高检测率。此外，在物体图案清楚的附近，不包括背景图案的情况能够减少误检测。此外，在各实施例的外界识别装置中，预先对这些特性的不同识别器进行定义，通过根据附近、远方来适当地切换识别器，能够与距离无关地良好地进行物体检测。
图1B是表示各实施例的外界识别装置的基本构成的一个例子的图。该图所示的外界识别装置100包括：在图像中设定处理区域的处理区域设定部101、第一物体检测部102、第二物体检测部105以及碰撞预测时间计算部108。并且，第一物体检测部102包括第一识别器103和物体检测部104，第二物体检测部105包括第二识别器106、物体检测部104和矩形修正部107。
在以下说明的各实施例中，作为物体11、12以先行的四轮车辆为例进行说明，但不限定于此。例如，对于二轮车以及歩行者等也能够通过同样的构件来良好地进行检测。
【实施例1】
图2是表示第一实施例的外界识别装置200的一个例子的框图。该图所示的外界识别装置200具备处理区域设定部201、第一车辆检测部202、第二车辆检测部205以及碰撞预测时间计算部208。然后，第一车辆检测部202具备第一识别器203和车辆检测部204，第二车辆检测部205具备第二识别器206、车辆检测部204以及矩形修正部207。上述各部分可以由硬件构成，也可以由软件构成。此外，也可以是将硬件和软件组合的模块。在通过软件实现外界识别装置200的情况下，如之后对车辆系统进行例示说明的那样，外界识别装置200当然能够包括通常计算机的作为处理部的中央处理部（Central Processing Unit:CPU）、作为存储部的存储器以及输入输出部（Input Output Unit:I/O）等。
使用图3，对本实施例的外界识别装置200的处理区域设定部201的处理流程进行说明。首先，在图像30中，基于消失点301和摄像机参数确定假想平面302。基于确定的假想平面302，对表示附近区域的第一区域303以及表示远方区域的第二区域304进行设定。例如，通过将图像30中的附近区域的开始地点假设为ND[m]地点而取得图像上的下端位置B1，并对表示区域的位置和大小的参数（X1，W1，H1）进行规定，由此设定第一区域303。同样，通过将远方区域的开始地点假设为FD[m]地点而取得图像上的下端位置B2，并对表示区域的位置和大小的参数（X2，W2，H2）进行规定，由此设定第二区域304。本实施例的外界识别装置200对于如此求得的每个处理区域，进行后述的车辆检测。
使用图4A、图4B，对本实施例的图2的第一车辆检测部202的处理流程进行说明。
如图4A所示那样，第一车辆检测部202改变图像30内的扫描框401的位置和尺寸，并且对表示附近区域的第一区域303内进行光栅扫描41，而进行附近区域的车辆检测。扫描方法并不局限于光栅扫描41，也可以使用螺旋扫描、根据重要度进行插补扫描等、其他扫描方法。
图4B是用于说明图3的第一车辆检测部202内的第一识别器203的功能的图。如图4B所示那样，第一识别器203用于矩形状的扫描框401所示的图像部分区域402，对扫描目标是否为车辆进行识别。第一识别器203包括捕捉车辆的形状即车辆的背面图案的T个弱识别器403、总和部404以及符号函数405。第一识别器203的识别处理如式（1）那样表示。
数式1
H 1 ( x ) = sign ( Σ t = 1 T α 1 t h 1 t ( x ) ) - - - ( 1 )
在此，x为图像部分区域402，H1（x）为第一识别器，ht（x）为弱识别器，αt为弱识别器ht（x）的加权系数。即，第一识别器203由T个的各弱识别器的带加权投票构成。sign（）为符号函数，右边括弧内如果为正值则返回+1、如果为负值则返回-1。右边括弧内的弱识别器ht（x）能够如式（2）那样表示。
数式2
h t ( x ) = + 1 if f t ( x ) > θ t - 1 otherwise - - - ( 2 )
在此，ft（x）为第t个特征量，θ为阈值。特征量使用Haar-like特征（区域之间的亮度平均的差分）、HoG（Histograms of Oriented Gradients）特征等即可。此外，也可以使用其他特征量，也可以使用将不同特征量组合的共起特征量。上述特征量选择、加权系数的学习使用AdaBoost（Adaptive Boosting）、Random forest等学习方法即可。
接下来，使用图5A、5B、5C，对本实施例的第二车辆检测部205的处理流程进行说明。第二识别器205的识别功能的基本流程与图4A、图4B所示的第一车辆检测部202相同，因此以下仅说明不同之处。
如图5A所示那样，第二车辆检测部205在改变图像30内的矩形状的扫描框501的位置和尺寸的同时、对作为远方区域的第二区域304内进行光栅扫描，而进行车辆检测。
图5B是表示第二车辆检测部205内的第二识别器206的内部构成的一个例子的图。在图5B中，对矩形状的扫描框501所示的图像部分区域502应用第二识别器206。与第一识别器203不同，第二识别器206对作为车辆形状的车辆图案和背景图案的这两种图案进行检测。具体地说，第二识别器206包括多个对道路面上的大体的车辆形状即车辆图案进行捕捉的弱识别器503，即使在分辨率较低的远方也能够实现正确的车辆检测。
使用图5C对第二车辆检测部205内的矩形修正部207的处理内容进行说明。矩形修正部207为，在第二车辆检测部205中，对车辆检测部204输出的车辆矩形进行修正。具体地说，矩形修正部207使用在学习时为已知的背景、车辆比率，将包括背景图案的车辆矩形502向不包括背景图案的车辆矩形504进行修正。在本实施例的外观识别装置200中，在如下所述的碰撞预测时间计算部208中需要正确的车辆宽度，因此根据由矩形修正部207得到的车辆矩形504来进行车辆宽度的修正是较重要的。
图3的碰撞预测时间计算部208，使用第一车辆检测部202或者第二车辆检测部205输出的车辆矩形，计算碰撞预测时间（TTC:Time ToCollision）。首先，基于所得到的车辆矩形，推断与本车之间的相对距离z。例如，使用焦距f、图像上的车辆宽度Wi以及实车宽度Wt而如以下那样求出。
数式3
z = f W t W i - - - ( 3 )
或者，也可以使用焦距f、图像上的车辆高Hi以及摄像机设置高Ht而如以下那样求出。
数式4
z = f H t H i - - - ( 4 )
基于如此求出的相对距离z和相对速度vz（z的微分），能够如下式那样求出TTC。
数式5
TTC = z vz - - - ( 5 )
图6是表示本实施例的外界识别装置200的处理流程的图。在通过软件来实现外界识别装置200的情况下，这些处理的主体为上述外界识别装置200的处理部即CPU。
在图6中，首先在输入图像中设定第一区域303以及第二区域304（S6001）。然后，判断处理区域是否为第一区域303（S6002），如果是第一区域，则使用第一识别器203、通过车辆检测部204来检测车辆（S6003）。如果处理区域为第二区域，则使用第二识别器206、通过车辆检测部204检测车辆（S6004）。在第二区域中所检测到的车辆包含背景图案，因此通过矩形修正部207使用已知的背景、车辆比率进行矩形修正（S6005）。最后，通过碰撞预测时间计算部208计算碰撞预测时间（S6006），并输出计算结果（S6007）。
以上，在说明了的第一实施例中，通过切换第一识别器203和第二识别器206而进行车辆检测，能够得到以下的效果。即，在分辨率较高的附近区域，能够将车辆本身的图像图案最大限地活用，因此能够抑制误检测并且能够实现较高的检测率。此外，在分辨率较低的远方区域中，通过使用车辆和车辆以外的图案这两种图案来提高信息量，由此能够大幅度地提高检测率。此外，通过限定区域、并进行与其分别相适应的车辆检测，能够减少处理负荷。
【实施例2】
接下来，对第二实施例的外界识别装置进行说明。对于第二实施例的外界识别装置的构成要素之中、与第一实施例的外界识别装置的构成要素相同的构成要素赋予相同的符号而省略说明。
图7是表示第二实施例的外界识别装置700的一个例子的框图。该图所示的外界识别装置700具备车线检测部701、处理区域设定部702、第一车辆检测部202、第一识别器203、车辆检测部204、第二车辆检测部205、第二识别器206、矩形修正部207以及碰撞预测时间计算部208。该外界识别装置700、特别是其车线检测部701、处理区域设定部702也可以通过硬件构成、也可以通过软件构成。
首先，使用图8A对本实施例的车线检测部701以及处理区域设定部702的处理流程进行说明。车线检测部701利用道路面上的白线、黄线的直线性来检测车线801。直线性例如使用哈夫变换来判断即可，但也可以使用其它方法来判断直线性。然后，基于车线检测部701输出的车线801，设定表示附近区域的第一区域303以及表示远方区域的第二区域304。
处理区域设定部702的处理区域设定方法与实施例1相同，例如通过将附近区域的开始地点假设为ND[m]地点而求出图像上的下端位置B1，并对表示区域的位置和大小的参数（X1，W1，H1）进行规定，由此设定第一区域303。同样，通过将远方区域的开始地点假设为FD[m]地点而求出图像上的下端位置B2，并对表示区域的位置和大小的参数（X2，W2，H2）进行规定，由此设定第二区域304。当然，附近、远方的地点设定不限定于上述例子。对于如此求出的每个处理区域，通过车辆检测部204进行车辆检测。
图8B是转弯的车线检测部701以及处理区域设定部702的处理流程。在转弯的情况下，车线检测部701使用一般化哈夫变换而检测弯曲了的车线802即可。当然，也可以在使附近的直线延伸的同时检测车线，也可以使用其它方法进行车线检测。
图9是使用了横摆角的处理区域设定部702的处理流程的例子。通过使用横摆角能够求出本车的预测进路901。基于该预测进路，与上述同样地对表示附近的第一区域303以及表示远方的第二区域304进行设定。另外，在处理区域设定部702中使用的横摆角，使用利用本车内的传感器而检测的横摆角即可。
以上，在说明了的第二实施例中，通过基于车线检测结果来设定处理区域，由此仅进行行驶所需要的区域的探索，能够减少计算量。此外，通过使用横摆角来设定处理区域，能够以特别重要的本车的预测进路附近为中心进行探索，能够减少计算量。
【实施例3】
以下，作为第三实施例，说明应用于车辆系统的实施例。对于本实施例的外界识别装置的构成要素之中、与实施例1的外界识别装置的构成要素相同的构成要素赋予相同的符号而省略说明。
图10是实施例3的车辆系统。本实施例的车辆系统具备：拍摄车辆前方的摄像机1000；设置在车辆室内的扬声器1001；控制车辆行驶的行驶控制装置1002；以及识别车辆外界的车辆用外界识别装置1003。摄像机1000并不局限于单眼摄像机，也可以使用音响摄像机。此外，车辆用外界识别装置1003具备：进行数据等的输入输出的输入输出接口I/O 1004；存储器1005；执行各种计算的处理部即CPU1006。CPU1006搭载有进行外界识别的功能，具备在上述实施例中说明了的处理区域设定部201、第一车辆检测部202、第二车辆检测部205、车辆检测部204、矩形修正部207、碰撞预测时间计算部208以及危险度判断部1007。此外，作为存储部的存储器1005存储用于进行车辆检测的第一识别器203和第二识别器204。
对CPU1006的外界识别的流程进行说明。首先，处理区域设定部201在从摄像机1000输入的图像中设定第一区域以及第二区域。车辆检测部204对第一区域的图像，使用存储器1005所存储的第一识别器203来检测车辆。此外，车辆检测部204对第二区域的图像，使用存储器1005所存储的第二识别器205来检测车辆。矩形修正部207使用已知的背景、车辆比率进行矩形修正。碰撞预测时间计算部208计算碰撞预测时间。
最后，碰撞危险度判断部1007基于预先设定的基准，根据碰撞预测时间计算部208计算的碰撞预测时间来判断危险度。在由碰撞危险度判断部1007判断为危险的情况下，扬声器1001通过警告音、声音等发送警报。在判断为更危险的情况下，行驶控制装置1002使制动器工作，由此避免碰撞。
在以上说明了的实施例3中，能够实现通过外界识别装置计算碰撞预测时间、在判断为危险的时刻鸣响警报的碰撞警告系统，能够进行驾驶员的运转支援。此外，能够实现通过外界识别装置计算碰撞预测时间、在判断为极其危险的时刻使制动器工作的防碰撞系统，能够进行驾驶员的运转支援以及碰撞时的被害减少。
另外，本发明不限定于上述各实施方式，在不脱离本发明主旨的范围内能够进行各种变更。例如，上述实施例为了对本发明进行容易理解的说明而进行了详细说明，但不限定于具备说明的全部构成。此外，能够将某个实施例的构成的一部分置换为其它实施例的构成，此外能够在某个实施例的构成中增加其它实施例的构成。此外，对于各实施例的构成的一部分能够进行其它构成的追加、削除、置换。
此外，上述各构成、功能、处理部、处理构件等的一部分或者全部，例如也可以通过集成电路进行设计等，由此通过硬件实现。此外，以通过实现功能的软件来实现各构成、功能等的情况为主进行了说明，但实现各功能的程序、数据、文件等信息，不仅是存储器，也能够预先存储于硬盘、SSD（Solid State Drive）等的记录装置或者IC卡、SD卡、DVD等记录介质，还能够根据需要经由无线网络等下载、安装。

Claims (14)

1.一种外界识别方法，使用对拍摄的图像进行解析并检测物体的外界识别装置进行外界识别，其特征在于，
上述外界识别装置，
在上述图像内设定用于物体检测的第一区域以及第二区域，
在设定的上述第二区域中进行物体检测时，使用物体图案和该物体图案的背景图案这两种图案进行物体检测，
上述第一区域是比上述第二区域近的区域，
上述外界识别装置，
当上述第一区域中进行物体检测时，仅使用物体图案进行物体检测。
2.如权利要求1记载的外界识别方法，其特征在于，
上述外界识别装置，
将包括在上述第二区域检测到的上述背景图案的物体矩形，修正为不包括该背景图案的物体矩形。
3.如权利要求2记载的外界识别方法，其特征在于，
上述外界识别装置，
使用在上述第一区域中检测的物体矩形或者上述修正后的物体矩形，计算表示何时将与该矩形物体所对应的物体发生碰撞的预测时间。
4.如权利要求3记载的外界识别方法，其特征在于，
上述物体为车辆，
上述外界识别装置，
根据在上述第一区域中检测的物体矩形或者上述修正后的物体矩形，生成上述车辆的车辆宽度，基于上述车辆宽度计算上述预测时间。
5.一种外界识别装置，对拍摄的图像进行解析并检测物体，其特征在于，
具备：
处理区域设定部，在上述图像内设定用于物体检测的第一区域以及第二区域；和
第一、第二物体检测部，在设定的上述第一区域以及上述第二区域中分别进行物体检测，
在上述第一物体检测部进行物体检测时，仅使用物体图案，在上述第二物体检测部进行物体检测时，使用物体图案以及该物体图案的背景图案的这两种图案。
6.如权利要求5记载的外界识别装置，其特征在于，
上述物体为车辆，
上述第一区域是比上述第二区域近的区域。
7.如权利要求6记载的外界识别装置，其特征在于，
上述第一物体检测部和上述第二物体检测部分别包括第一识别器和第二识别器，
上述第一识别器由捕捉上述车辆的背面图案的多个弱识别器构成，上述第二识别器由捕捉上述车辆的背面图案和背景图案的多个弱识别器构成。
8.如权利要求7记载的外界识别装置，其特征在于，
上述第二物体检测部包括矩形修正部，
该矩形修正部将包含有在上述第二区域中检测到的上述背景图案的物体矩形修正为不包括该背景图案的物体矩形。
9.如权利要求8记载的外界识别装置，其特征在于，
还具备碰撞预测时间计算部，该碰撞预测时间计算部使用上述第一物体检测部检测的物体矩形或者由上述矩形修正部进行了修正的上述修正后的物体矩形，计算表示何时将与该矩形物体所对应的物体发生碰撞的预测时间。
10.如权利要求9记载的外界识别装置，其特征在于，
上述碰撞预测时间计算部，
使用上述第一物体检测部检测的物体矩形或者由上述矩形修正部进行了修正的上述修正后的物体矩形，生成上述车辆的车辆宽度，并基于上述车辆宽度计算上述预测时间。
11.一种车辆系统，具备对本车周边的拍摄图像进行解析而检测车辆的外界识别装置，其特征在于，
上述外界识别装置具备处理部和存储部，
上述存储部存储第一识别器和第二识别器，
上述处理部，
在上述图像内设定用于车辆检测的第一区域以及比上述第一区域靠远方的第二区域，
在上述第一区域中，使用上述第一识别器来捕捉车辆图案，以进行上述车辆的车辆矩形的检测，
在上述第二区域中，使用上述第二识别器来捕捉车辆图案和该车辆图案的背景图案，以进行上述车辆的车辆矩形的检测，
对在上述第二区域中检测的上述车辆矩形进行修正，
基于使用上述第一识别器检测的上述车辆矩形、或者使用上述第二识别器检测且修正的上述车辆矩形，计算表示何时将与本车发生碰撞的碰撞预测时间。
12.如权利要求11记载的车辆系统，其特征在于，
上述处理部，
通过检测上述图像中的车线，设定上述第一区域以及上述第二区域。
13.如权利要求11记载的车辆系统，其特征在于，
上述处理部，
基于横摆角设定上述第一区域以及上述第二区域。
14.如权利要求11记载的车辆系统，其特征在于，
上述处理部，
根据上述碰撞预测时间对本车与上述车辆碰撞的碰撞危险度进行计算，
根据计算的上述碰撞危险度进行用于避免本车的碰撞的控制。
CN201210278896.0A 2011-09-15 2012-08-07 外界识别方法、装置以及车辆系统 Expired - Fee Related CN102997900B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011201660A JP5690688B2 (ja) 2011-09-15 2011-09-15 外界認識方法，装置，および車両システム
JP201660/2011 2011-09-15

Publications (2)

Publication Number Publication Date
CN102997900A CN102997900A (zh) 2013-03-27
CN102997900B true CN102997900B (zh) 2015-05-13

Family

ID=47076006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210278896.0A Expired - Fee Related CN102997900B (zh) 2011-09-15 2012-08-07 外界识别方法、装置以及车辆系统

Country Status (4)

Country Link
US (1) US20130073194A1 (zh)
EP (1) EP2570963A3 (zh)
JP (1) JP5690688B2 (zh)
CN (1) CN102997900B (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246896B (zh) * 2013-05-24 2016-02-10 成都方米科技有限公司 一种鲁棒性车辆实时检测与跟踪方法
KR20150044690A (ko) * 2013-10-17 2015-04-27 현대모비스 주식회사 Can 신호를 이용한 관심 영역 설정 장치 및 그 방법
JP6412934B2 (ja) * 2014-05-28 2018-10-24 京セラ株式会社 物体検出装置、物体検出装置を設置した車両およびプログラム
KR101551215B1 (ko) * 2014-05-28 2015-09-18 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
DE112014006876T5 (de) * 2014-08-21 2017-05-18 Mitsubishi Electric Corporation Fahrassistenzvorrichtung, Fahrassistenzverfahren und Programm
JP6379967B2 (ja) * 2014-10-09 2018-08-29 株式会社デンソー 画像生成装置および画像生成方法
GB201818058D0 (en) 2015-05-18 2018-12-19 Mobileye Vision Technologies Ltd Safety system for a vehicle to detect and warn of a potential collision
US9581457B1 (en) 2015-12-03 2017-02-28 At&T Intellectual Property I, L.P. System and method for displaying points of interest on a heads-up display
US9889859B2 (en) * 2015-12-21 2018-02-13 Intel Corporation Dynamic sensor range in advanced driver assistance systems
JP6660751B2 (ja) 2016-02-04 2020-03-11 日立オートモティブシステムズ株式会社 撮像装置
WO2017163606A1 (ja) * 2016-03-23 2017-09-28 日立オートモティブシステムズ株式会社 物体認識装置
JP6713349B2 (ja) * 2016-05-31 2020-06-24 クラリオン株式会社 画像処理装置、外界認識装置
CN106203381B (zh) * 2016-07-20 2019-05-31 北京奇虎科技有限公司 一种行车中障碍物检测方法与装置
US10248872B2 (en) 2016-10-19 2019-04-02 Texas Instruments Incorporated Estimation of time to collision in a computer vision system
CN107909037B (zh) * 2017-11-16 2021-06-29 百度在线网络技术（北京）有限公司 信息输出方法和装置
CN108242183B (zh) * 2018-02-06 2019-12-10 淮阴工学院 基于运动目标标记框宽度特性的交通冲突检测方法及装置
FR3077547A1 (fr) * 2018-02-08 2019-08-09 Renault S.A.S Systeme et procede de detection d'un risque de collision entre un vehicule automobile et un objet secondaire situe sur les voies de circulation adjacentes audit vehicule lors d'un changement de voie
KR102139590B1 (ko) * 2018-02-27 2020-07-30 주식회사 만도 교차로에서의 차량 자동 긴급 제동 시스템 및 방법
US20220114807A1 (en) * 2018-07-30 2022-04-14 Optimum Semiconductor Technologies Inc. Object detection using multiple neural networks trained for different image fields
JP2020154384A (ja) * 2019-03-18 2020-09-24 いすゞ自動車株式会社 衝突確率算出装置、衝突確率算出システムおよび衝突確率算出方法
CN110647801A (zh) * 2019-08-06 2020-01-03 北京汽车集团有限公司 设置感兴趣区域的方法、装置、存储介质及电子设备
JP7161981B2 (ja) * 2019-09-24 2022-10-27 Kddi株式会社 対象追跡手段の切り替えが可能な対象追跡プログラム、装置及び方法
JP7446756B2 (ja) 2019-10-02 2024-03-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6932758B2 (ja) * 2019-10-29 2021-09-08 三菱電機インフォメーションシステムズ株式会社 物体検出装置、物体検出方法、物体検出プログラム、学習装置、学習方法及び学習プログラム
JP7359735B2 (ja) * 2020-04-06 2023-10-11 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
CN113317782B (zh) * 2021-04-20 2022-03-22 港湾之星健康生物(深圳)有限公司 多模个性化监测的方法
CN115415181B (zh) * 2022-07-28 2024-04-23 中国电子科技集团公司第二十九研究所 一种沉头铆钉凸轮式筛选工具及使用方法
WO2024056205A1 (de) * 2022-09-13 2024-03-21 Sew-Eurodrive Gmbh & Co. Kg Verfahren zur detektion eines objekts durch ein mobiles system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101447082A (zh) * 2008-12-05 2009-06-03 华中科技大学 一种运动目标实时检测方法
CN101477628A (zh) * 2009-01-06 2009-07-08 青岛海信电子产业控股股份有限公司 车辆阴影去除方法和装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783403B2 (en) * 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7359782B2 (en) * 1994-05-23 2008-04-15 Automotive Technologies International, Inc. Vehicular impact reactive system and method
JP3757500B2 (ja) 1996-11-13 2006-03-22 日産自動車株式会社 先行車追従装置
JP4414054B2 (ja) * 2000-03-27 2010-02-10 本田技研工業株式会社 物体認識装置
JP3671825B2 (ja) * 2000-09-22 2005-07-13 日産自動車株式会社 車間距離推定装置
US6859705B2 (en) * 2001-09-21 2005-02-22 Ford Global Technologies, Llc Method for operating a pre-crash sensing system with object classifier in a vehicle having a countermeasure system
US7124027B1 (en) * 2002-07-11 2006-10-17 Yazaki North America, Inc. Vehicular collision avoidance system
JP2003203298A (ja) * 2002-12-11 2003-07-18 Honda Motor Co Ltd 走行区分線認識装置を備えた自動走行車両
JP4123138B2 (ja) 2003-11-21 2008-07-23 株式会社日立製作所 車両検知方法及び車両検知装置
US7702425B2 (en) * 2004-06-07 2010-04-20 Ford Global Technologies Object classification system for a vehicle
US7466860B2 (en) * 2004-08-27 2008-12-16 Sarnoff Corporation Method and apparatus for classifying an object
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
JP2007072665A (ja) * 2005-09-06 2007-03-22 Fujitsu Ten Ltd 物体判別装置、物体判別方法および物体判別プログラム
US7724962B2 (en) * 2006-07-07 2010-05-25 Siemens Corporation Context adaptive approach in vehicle detection under various visibility conditions
JP4985142B2 (ja) * 2007-06-26 2012-07-25 株式会社日本自動車部品総合研究所 画像認識装置および画像認識装置の画像認識処理方法
JP5283967B2 (ja) * 2008-05-14 2013-09-04 日立オートモティブシステムズ株式会社 車載用物体検知装置
US8385599B2 (en) * 2008-10-10 2013-02-26 Sri International System and method of detecting objects
US8395529B2 (en) * 2009-04-02 2013-03-12 GM Global Technology Operations LLC Traffic infrastructure indicator on head-up display
US8350724B2 (en) * 2009-04-02 2013-01-08 GM Global Technology Operations LLC Rear parking assist on full rear-window head-up display
US8564502B2 (en) * 2009-04-02 2013-10-22 GM Global Technology Operations LLC Distortion and perspective correction of vector projection display
US8330673B2 (en) * 2009-04-02 2012-12-11 GM Global Technology Operations LLC Scan loop optimization of vector projection display
US8344894B2 (en) * 2009-04-02 2013-01-01 GM Global Technology Operations LLC Driver drowsy alert on full-windshield head-up display
US8427395B2 (en) * 2009-04-02 2013-04-23 GM Global Technology Operations LLC Full-windshield hud enhancement: pixelated field of view limited architecture
US8547298B2 (en) * 2009-04-02 2013-10-01 GM Global Technology Operations LLC Continuation of exterior view on interior pillars and surfaces
US8358224B2 (en) * 2009-04-02 2013-01-22 GM Global Technology Operations LLC Point of interest location marking on full windshield head-up display
US8269652B2 (en) * 2009-04-02 2012-09-18 GM Global Technology Operations LLC Vehicle-to-vehicle communicator on full-windshield head-up display
US7924146B2 (en) * 2009-04-02 2011-04-12 GM Global Technology Operations LLC Daytime pedestrian detection on full-windscreen head-up display
US8384531B2 (en) * 2009-04-02 2013-02-26 GM Global Technology Operations LLC Recommended following distance on full-windshield head-up display
US8482486B2 (en) * 2009-04-02 2013-07-09 GM Global Technology Operations LLC Rear view mirror on full-windshield head-up display
US8072686B2 (en) * 2009-04-02 2011-12-06 GM Global Technology Operations LLC UV laser beamlett on full-windshield head-up display
US8317329B2 (en) * 2009-04-02 2012-11-27 GM Global Technology Operations LLC Infotainment display on full-windshield head-up display
US8384532B2 (en) * 2009-04-02 2013-02-26 GM Global Technology Operations LLC Lane of travel on windshield head-up display
US8164543B2 (en) * 2009-05-18 2012-04-24 GM Global Technology Operations LLC Night vision on full windshield head-up display
US9429943B2 (en) * 2012-03-05 2016-08-30 Florida A&M University Artificial intelligence valet systems and methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101447082A (zh) * 2008-12-05 2009-06-03 华中科技大学 一种运动目标实时检测方法
CN101477628A (zh) * 2009-01-06 2009-07-08 青岛海信电子产业控股股份有限公司 车辆阴影去除方法和装置

Also Published As

Publication number Publication date
US20130073194A1 (en) 2013-03-21
CN102997900A (zh) 2013-03-27
EP2570963A2 (en) 2013-03-20
JP5690688B2 (ja) 2015-03-25
EP2570963A3 (en) 2014-09-03
JP2013061919A (ja) 2013-04-04

Similar Documents

Publication Publication Date Title
CN102997900B (zh) 外界识别方法、装置以及车辆系统
KR102441085B1 (ko) 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
WO2017138286A1 (ja) 移動体の周囲環境認識装置
CN107341454B (zh) 一种场景中障碍物的检测方法及装置、电子设备
WO2016129403A1 (ja) 物体検知装置
US9047518B2 (en) Method for the detection and tracking of lane markings
CN111103594A (zh) 车辆中区分虚假目标的装置和方法及包括其的车辆
KR102058001B1 (ko) 차선 보정 시스템, 차선 보정 장치 및 이의 차선 보정 방법
US8452054B2 (en) Obstacle detection procedure for motor vehicle
JP5894201B2 (ja) 境界線認識装置
CN108027237B (zh) 周边识别装置
KR101687094B1 (ko) 교통 표지판 인식 장치 및 교통 표지판 인식 방법
CN115147587A (zh) 一种障碍物检测方法、装置及电子设备
KR20160081190A (ko) 카메라를 이용한 보행자 인식 방법 및 그 기록 매체
JP2005090974A (ja) 先行車認識装置
Musleh et al. Real-time pedestrian recognition in urban environments
JP7379268B2 (ja) 画像処理装置
WO2018105246A1 (ja) 画像センサ
WO2023127000A1 (ja) 認識システム及び物体認識方法
KR20190088154A (ko) 진입 금지 차선 주행 경보 방법 및 그 장치
Wu et al. Image processing techniques for lane-related information extraction and multi-vehicle detection in intelligent highway vehicles
KR102039814B1 (ko) 측후방 차량 검출 방법 및 그 장치
Choi et al. In and out vision-based driver-interactive assistance system
CN116022167A (zh) 障碍物识别方法、装置、电子设备和存储介质
Cao Image Processing for Collision Avoidance in Intelligent Vehicle Systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150513