CN104956400B - 移动对象识别器、车辆及识别移动对象的方法 - Google Patents

移动对象识别器、车辆及识别移动对象的方法 Download PDF

Info

Publication number
CN104956400B
CN104956400B CN201380060106.4A CN201380060106A CN104956400B CN 104956400 B CN104956400 B CN 104956400B CN 201380060106 A CN201380060106 A CN 201380060106A CN 104956400 B CN104956400 B CN 104956400B
Authority
CN
China
Prior art keywords
frame
change
picture frame
tracked
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380060106.4A
Other languages
English (en)
Other versions
CN104956400A (zh
Inventor
关海克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN104956400A publication Critical patent/CN104956400A/zh
Application granted granted Critical
Publication of CN104956400B publication Critical patent/CN104956400B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

一种移动对象识别器包括：图像输入器，用于从立体相机连续地接收立体图像信号，并且输出立体图像；亮度图像生成器，用于连续地存储输出的立体图像的图像中的至少一个的帧，并且生成亮度图像帧；差异图像生成器，用于计算被输出到所述亮度图像生成器的立体图像的图像之间的差异，并且生成差异图像帧；对象识别器，用于至少根据所述亮度图像帧来识别对象；跟踪处理器，用于通过从在特定时间处识别出的图像帧之后的图像帧获取的亮度图像帧，对在特定时间处从图像帧识别出的对象进行跟踪；以及变化检测器，用于从与所述亮度图像帧同步的差异图像帧检测被跟踪的对象的状态上的变化。

Description

移动对象识别器、车辆及识别移动对象的方法
相关申请的交叉引用
本申请基于并且要求于2012年11月19日提交的日本专利申请No.2012-252932和于2013年7月29日提交的日本专利申请No.2013-156774的优先权，上述申请的全部内容通过引用方式并入到本文中。
技术领域
本发明涉及移动对象识别器、用于移动对象识别的程序和集成了移动对象识别器的车辆。
背景技术
已经开发出了移动对象识别器来识别诸如前面的行人、车辆之类的对象的速度和运动上的变化，并且发现危险情况(例如行人突然跃入、另一车辆并入)，来警告其驾驶员以避免发生危险。
例如，存在用于移动对象识别的这样的技术，即根据在二维图像帧和相机的焦距之间的移动对象的尺寸上的变化，来发现到前面的移动对象的距离上的变化。然而，这种技术无法准确地测量到移动对象的距离或准确地检测对象的移动上的变化。
鉴于上述问题，例如日本专利申请公开No.2000-266539公开了一种车辆间距离测量单元，用于计算与利用立体相机获取的立体图像之间的差异，来生成差异图像或范围图像。该差异图像是指其像素值是差异值的图像。
该测量单元被配置为根据差异图像来检测前面的车辆，找到车辆边缘的移动矢量，并且根据移动矢量的大小和方向来计算车辆间距离和距离上的变化。
该测量单元单独根据差异图像来识别移动对象，并且通过以框或窗口为单位的图像匹配来获得差异图像。有鉴于此，其具有的一个缺陷在于差异图像的空间分辨率低。例如，其无法准确地检测到前面的具有非平面后部的车辆的距离。
发明内容
本发明意在提供能够改善识别移动对象和检测对象的移动上的变化的准确性的移动对象识别器、用于移动对象识别的程序和集成了这样的移动对象识别器的车辆。
根据本发明的一个方面，一种移动对象识别器包括：图像输入器，从立体相机连续地接收立体图像信号，并且输出立体图像；亮度图像生成器，被配置为连续地存储从所述图像输入器输出的立体图像的图像中的至少一个的帧，并且生成亮度图像帧；差异图像生成器，被配置为计算从所述图像输入器输出到所述亮度图像生成器的立体图像的图像之间的差异，并且生成差异图像帧；对象识别器，被配置为至少根据所述亮度图像帧来识别对象；跟踪处理器，被配置为通过从在特定时间处识别出的图像帧之后的图像帧获取的亮度图像帧，对由所述对象识别器在特定时间从图像帧识别出的对象进行跟踪；以及变化检测器，被配置为从与所述亮度图像帧同步的差异图像帧检测被跟踪的对象的状态上的变化。
附图说明
参考附图并根据以下的详细描述，本发明的特征、实施例和优点将变得显而易见。
图1示意性地示出了根据本发明一个实施例的集成了移动对象识别器的车辆；
图2示出了图1中所示的立体相机和移动对象识别器的硬件配置；
图3是图2中的移动对象识别器的功能的框图；
图4示出了立体相机的结构和差异之间的关系；
图5A到5C通过示例分别示出了由左侧透镜系统捕获的立体图像中的一个图像、由右侧透镜系统捕获的立体图像中的另一个图像、以及根据立体图像生成的差异图像；
图6示出了根据差异图像帧创建的差异的水平直方图的示例；
图7示意性地示出了道路区域和移动对象之间的关系；
图8示意性地示出了亮度图像上的矩形框；
图9A到9F通过示例示出了矩形框的分区样式以及如何使用分区样式来找到矩形框的特征量；
图10示出了对象识别器的多层级的结构；
图11示出了被识别出的候选区域；
图12示出了被识别出的候选区域和道路区域之间的关系；
图13示出了包括要被跟踪的对象的图像；
图14示出了图13中的包含对象的图像的下一帧；
图15示出了用于对象识别的与亮度图像帧相对应的差异图像帧；
图16示出了用于对象识别的与亮度图像帧相对应的差异图像帧；以及
图17是移动对象识别器的操作的流程图。
具体实施方式
在下文中，将参照附图详细描述移动对象识别器的一个实施例。在适用时，在各个附图中将使用相同的附图标记来指代相同或相似的部分。图1示意性地示出了根据本实施例的集成了移动对象识别器的车辆1的外部。
在图1中，车辆1包括位于车辆本体上的用于跟踪目标移动对象S的移动对象识别器2和警告单元3。
图2是车载立体相机和移动对象识别器2的硬件配置的框图。如图2所示，移动对象识别器2包括用于处理来自立体相机的信号的电路，并且该电路能够被包括在立体相机中。立体相机包括左右两个透镜系统1a、1b，作为图像传感器的左右两个CMOS(互补金属氧化物半导体)2a、2b，CDS电路3a、3b，以及A/D转换器4a、4b。
来自对象的光被经由透镜系统1a、1b成像在CMOS 2a、2b上。CMOS 2a、2b将光学图像转换为电子信号，并将该电子信号作为模拟图像数据输出到左右CDS(相关双采样)电路3a、3b。
CDS电路3a、3b从(从CMOS 2a、2b输出的)模拟图像数据移除噪声分量，并将该图像数据输出到A/D转换器4a、4b。A/D转换器4a、4b将模拟图像数据转换为数字图像数据，并且将其输出到图像处理电路5a、5b。
通过从由CPU 7控制的定时信号生成器6输出的定时信号来控制CMOS 2a、2b，CDS电路3a、3b，A/D转换器4a、4b。CPU 7还控制图像处理电路5a、5b、在下文中描述的压缩/解压缩电路和存储卡。
图像处理电路5a、5b执行各种图像处理，例如Y、Cr、Cb转换，白平衡校正，对比度校正，边缘增强以及对在SDRAM(同步DRAM)中临时存储的图像数据的颜色转换。
白平衡校正是要调整图像信息的颜色密度，而对比度校正是要调整图像信息的对比度。边缘增强正是要调整图像信息的锐度，而颜色转换是要调整图像信息的色泽。
图像信息要被进行信号处理和图像处理，并且被经由压缩/解压缩电路9存储在存储卡10中。压缩/解压缩电路9压缩来自图像处理电路5a、5b的数字图像数据，并且将其输出到存储卡10，以及解压缩从存储卡10读取的图像信息，并且将其输出到图像处理电路5a、5b。
CPU 17通过用于移动对象识别的计算机可读程序来计算各种数据。CPU 7集成了存储程序的ROM(只读存储器)11、工作区域以及具有数据存储区域并且被经由总线与ROM和工作区域连接的RAM(随机存取存储器)12。通过操作单元13的操纵，移动对象识别器2执行其功能。
参照图3，描述了移动对象识别器的CPU 7的处理。立体相机的CMOS 2a、2b，CDS电路3a、3b以及A/D转换器4a、4b用作图像输出，从该图像输出连续地输出立体图像信号。
图像处理电路5a、5b用作图像输入器20来接收从图像输出输出的立体图像信号并输出立体图像，以及用作亮度图像生成器21来连续存储从图像输出输出的立体图像中的至少一个图像的帧并且基于立体图像的图像之一的每一个帧来生成亮度图像帧。
在ROM 11中存储的程序被加载到CPU 7上。CPU 7用作差异图像生成器22来计算从图像输入器20输出到亮度图像生成器21的立体图像的图像之间的差异，并且生成差异图像帧。
此外，CPU 7用作对象识别器23来根据来自亮度图像生成器21的亮度图像帧和来自差异图像生成器22的差异图像帧识别对象，用作跟踪处理器来通过各个图像帧跟踪被识别出的对象，以及用作变化检测器25来根据差异图像帧计算对象的移动上的变化。
将变化检测器25的检测结果连续输出到警告单元3的屏幕。警告单元3被配置为根据对象的状态，并且例如通过在屏幕上显示符号或文字作为对另一个车辆并入、行人跃入的警告，来向驾驶员发出警告。可以用声音发出警告。
对象识别器23包括候选区域识别器23a来从差异图像帧识别对象的候选区域，并且包括对象确定器23b来根据差异图像帧和亮度图像帧来确定要被跟踪的目标对象。
跟踪处理器24在当前的亮度图像帧中跟踪由对象识别器根据上一个图像帧的亮度图像帧和差异图像帧确定的目标对象。或者，其能够被配置为跟踪通过在特定时间之后获取的亮度图像帧根据在特定时间获取的图像帧的亮度图像帧和差异图像帧来确定的目标对象。
变化检测器25包括距离计算器25a来计算对象相对于车辆1的在前后方向上的变化量，并且包括运动计算器25b来计算对象相对于车辆1的在横向方向上的变化量。前后方向上的变化量包括前后方向上的距离上的变化和速度或加速度上的变化。同时，横向方向上的变化量包括横向方向上的距离上的变化和速度或加速度上的变化。前后方向上的速度上的变化对应于例如前面的车辆快速地加速同时车辆1以恒定速度驾驶的情况。横向方向上的速度上的变化对应于例如前面的车辆改变车道的情况。
现在转向图4，其示出了对象S和利用立体相机捕获的图像之间的关系。如图所示，通过透镜系统1a、1b将对象S的成像点O成像在CMOS 2a、2b的成像平面上。
通过Δ＝Δ1+Δ2来获取Δ，其中Δ1、Δ2是从成像中心的偏移量。在图4中，f是透镜系统1a、1b的焦距，D是透镜系统1a、1b的光轴之间的距离或基线长，Z是从立体相机到移动对象S的距离。通过成像点O的成像位置来确定偏移量Δ1、Δ2。这里，符号Δ还指代差异值和平均差异值。
可以通过公式Z＝D*(f/Δ)来获取到移动对象S的距离Z。差异图像生成器22通过Δ＝Δ1+Δ2来计算每一个像素的差异Δ，而距离计算器25a通过公式Z＝D*(f/Δ)来计算到对象S的成像点的距离Z。
在图4中，在CMOS 2a、2b上形成对象S的图像S'。假定透镜系统1a、1b的光轴与水平或横向方向平行，并且左右图像的像素线并不相对于水平光轴在纵向上偏移。或者，透镜系统1a、1b的光轴能够与纵向平行。
图5A、5B分别示出了在CMOS 2a、2b上形成的对象S的立体图像的左侧图像G1和右侧图像G2，而图5C示出了从立体图像获取的差异图像。由于存在差异，在CMOS 2a、2b上的不同位置处形成图像G1和G2，并且所述图像G1和G3被临时存储在例如RAM 12的存储区域中。
从同时捕获的图像G1、G2、亮度图像和差异图像(即连续图像帧)生成亮度图像帧和差异图像帧，并生成与差异图像帧同步的亮度图像帧。亮度图像帧中的图像上的坐标一对一地对应于差异图像帧中的图像上的坐标。
例如以以下方式来获取差异图像。
首先描述图5A中的当高度为y1、y2的横向线跨域对象S'(S1')和道路区域R0时的差异。例如，高度为y1的横向线上的像素的差异值被设置为“…,5,4,…,12,…,4,…,1,1,…”。差异值“12,12,…,”表示对象S'(S1')，而差异值“1,1,…”表示道路区域R0。
具体而言，y1处的横向线上的像素处的差异值12表示作为图1中的车辆1的前面大约10米的对象S的车辆，而差异值1表示比前面的车辆离车辆1更远的道路区域。
此外，例如高度为y2的横向线上的像素的差异值被设置为“…,25,25,…,24,…,24,25…,”。这表示道路区域R0比前面的车辆更接近于车辆1。为了创建差异图像，两个图像G1、G2均被划分为框Ir，如图5A、5B中所示。当它们之间的差异最小时，它们相应的框Ir被假定为彼此匹配，来找到差异值。通过实验找到框Ir的尺寸的最优值并且在设置之前将其调整为最优值。
例如，具有1280×960像素的图像G1、G2被划分为5×5的框Ir，并且对左侧图像G1和右侧图像G2的框Ir进行框匹配。y1线上的左侧图像G1的框Ir处于相对于原始坐标(0，0)的坐标(x1，y1)处，也就是说，处于对象S的图像S1'的左侧和左侧白部分上的前向景象的边缘处。例如该框Ir的亮度值的总和被设置为Ir(x1，y1)。同时，从位置(0，y1)向位置(x1+Δ，y1)移动右侧图像G2的框Ir。在(0，y1)处的框Ir的亮度值的总和是Ir(0，y1)，而在(x1+Δ，y1)处的其亮度值的总和为Ir(x1+Δ，y1)。左侧图像G1的框Ir位于对象图像S1'的边缘处，其左半部分为暗，并且其右半部分为亮。同时，右侧图像G2的框Ir位于(0，y1)处，并且整体为暗。因此，图像G1、G2的框Ir的总和Ir(x1，y1)和Ir(0，y1)上的差较大，从而并不确定这两个框彼此匹配。
在图像G2的框Ir从(0，y1)移动到(x1+Δ，y1)的同时，按顺序计算框Ir的总和Ir(x1，y1)和Ir(0，y1)上的差。从而，当图像G2的框Ir位于位置(x1+Δ，y1)处时，差变为最小，并且框Ir被确定为匹配。随后从框找到差异Δ。例如由于框Ir处于对象图像S1'的边缘处，因此差异Δ为12。
随后，框Ir被从y1横向线向y2横向线移动，并且被在X方向上在两个横向线上移动以进行框匹配。在对象图像S1'的边缘处顺序地获得差异Δ。此外，当框Ir位于左侧图像G1上的白线标记的边缘处时，在y2横向线上从(0，y2)向((x1+Δ，y2)移动右侧图像G2的框Ir。在(0，y2)处的框Ir的亮度值的总和是Ir(0，y2)，而在(x1+Δ，y2)处其亮度值的总和为Ir(x1+Δ，y2)。左侧图像G1的框Ir位于白线标记的边缘处，其左半部分为暗，并且其右半部分为亮。同时，右侧图像G2的框Ir位于(0，y2)处，并且整体为暗。因此，图像G1、G2的框Ir的总和Ir(x1，y1)和Ir(0，y2)上的差较大，从而并不确定这两个框彼此匹配。
在图像G2的框Ir从(0，y2)移动到(x1+Δ，y2)的同时，计算框Ir的总和Ir(x1，y2)和Ir(0，y2)上的差。当图像G2的框Ir位于位置(x1+Δ，y2)处时，差变为最小，并且两个框Ir被确定为匹配。随后从框找到差异Δ。例如当框Ir处于白线标记的边缘处时，差异Δ为24或25。框Ir可以在与白线标记不同的y2横向线上的位置处匹配。从而获得如图5C中所示的差异图像。在差异图像中，利用大的亮度值来表示具有大的差异值的部分，而利用小的亮度值来表示具有小的差异值的部分。在框Ir匹配处的具有高对比度的图像部分中，存在大量的点，从而在边缘处亮点的数量较大。
候选区域识别器23a从差异图像帧中识别移动对象S'的候选区域。在道路上呈现车辆或人作为移动对象，从而可以通过在图像上识别道路区域R0来识别其候选区域。
因此，候选区域识别器23a根据由差异图像生成器22获取的差异图像来创建水平差异直方图，如图6中所示。图6示出了具有差异值Δ的像素的数量的频率的分布。横轴示出了差异Δ的幅度，并且纵轴示出了差异图像的高度y。在图中，像素的数量对应于高度为y的差异图像的单个线(例如y2横向线)的差异值的直方图值H(Δ，y)。在图6中的垂直方向上绘制直方图值H(Δ，y)，并且直方图值H(Δ，y)表示像素的数量。
由于线上的像素具有相同的差异值Δy，因此在道路区域R0中高度为y的一个横向线的差异直方图在差异值Δy处具有峰值。换言之，在道路区域R0中，高度为y的横向线的差异值Δy为恒定，并且此线上的像素的数量最大。
当与车辆1的距离小时道路区域R0的差异值Δy大，当距离大时道路区域R0的差异值Δy小。差异值Δy从道路区域R0中的y2横向线向y1横向线逐渐减小。因此，连接多个像素的峰值在与道路区域R0对应的图6的水平差异直方图的部分中总体上形成了直线St。因此能够通过检测直线St来指明道路区域R0。此外，随着差异值Δy的减小，与道路区域R0不同的区域中的像素的数量减小。因此，在图6中还绘制了其他区域的直方图值H(Δ，y)。例如，图5A、5B中的道路区域R0的y1线的差异值Δy1为1。其像素的数量小于与道路区域R0不同的背景区域的像素的数量。因此，绘制了与道路区域R0无关的直方图值H(Δ，y)。
通过已知的霍夫变换(Hough Transformation)来找到直线St。直线St上的像素被在水平差异直方图上检测到，并且被映射在差异图像帧中。也就是说，图6中的直线St上的像素相关于差异图像帧中的道路区域中的那些像素。
能够通过找到与道路区域R0相对应的像素并且在像素之间插入每个点来创建道路区域R0。图7示出了图像中的道路区域R0。能够通过识别路肩或白线标记来从亮度图像帧而不是差异图像帧识别出道路区域.。
道路区域R0用于找到对象的候选区域。作为车辆或人的要被追踪的对象S与道路区域R0重叠。在图7中，作为对象S(S1'，S2'，S3')的车辆与道路区域R0重叠。对象S(SS，SS'，SS”)并不与道路区域R0重叠，从而它们被确定作为非目标对象S。
对象确定器23b基于由亮度图像生成器21生成的亮度图像帧来确定要被跟踪的对象S。通过机器学习，事先从目标对象S上的学习数据来创建对象识别词典。根据目标对象S的类型，需要创建不同的目标识别词典。
为了识别车辆，例如，需要创建用于识别作为目标的车辆的词典，同时为了识别行人，需要创建用于识别作为目标的行人的词典。因此，创建了针对每个目标对象的词典。
为了识别目标对象S，在亮度图像G(G1或G2)中设置矩形框BR1，如图8中所示。通过亮度图像G中的框BR1的大小和位置来确定框BR1的左上角和右下角的坐标(Xs，Ys)、(Xe，Ye)。从大到小按顺序地选择块BR1的大小。
根据本实施例，矩形框BR1被标准化，从而用于生成大尺寸框BR1到小尺寸框BR2的处理时间并不改变。可能的是，紧邻在车辆1前面出现的移动对象较少，因此需要大尺寸框BR1的候选的数量较少，而需要小尺寸框BR1的候选的数量较大。需要注意的是，在图5A、5B中，矩形框BR2对应于对象S1'。
在亮度图像中，大尺寸框BR1的数量较小。因此，可以通过按照从大尺寸框BR1到小尺寸框BR2的顺序搜索目标对象，来在更短的时间内检测目标对象。此外，当输出检测到的较大的对象S时，可感测到的速度增加。
例如，在亮度图像G(G1，G2)中，在通过箭头Arx、Ary来指示的方向上扫描大尺寸框BR1'，随后扫描比框BR1'小的框BR1，搜索要被跟踪的对象。
例如，候选区域识别器23a计算框BR2中的作为候选区域的黑白矩阵区域的特征量。图9A到9D示出了用于获取车辆的特征量的典型的分区样式的四个示例。在图9A中，框BR2被水平地划分为矩形区域，白色区域BR3和黑色区域BR4。在图9B中，框BR2被垂直地划分为白色区域BR3和黑色区域BR4。在图9C中，框BR3被水平地划分为三个矩形区域，在两个白色区域BR3之间放置黑色区域BR4。在图9D中，框BR2被划分为四个矩形区域，对角地布置白色区域BR3和黑色区域BR4。
在框BR2上叠加白黑区域BR3、BR4，以在区域BR3、BR4中找到像素的亮度值的总和。随后，与白色区域BR3对应的框BR2和与黑色区域BR4相对应的框BR2之间的亮度值的总和之差被找到作为特征量ht(x)。
在下文中，通过示例来描述框BR2的特征量的计算。例如，框BR2对应于图5A中的对象S1'。对象S1'大致为矩形，底部车辆本体为白色，顶部中的窗口显现为黑色。使用图9B中的分区样式来计算框BR2的特征量。在图9E中，框BR2的顶半部分的像素的亮度值为Br＝0(黑色)，而框BR2的底半部分的像素的亮度值为Wa＝255(白色)。在这种情况下，与黑色区域BR4相对应的框BR2的部分中的亮度值的总和为ΣBr，而与白色区域BR3相对应的框BR2的部分中的亮度值的总和为ΣWa。ΣBr为具有亮度值Br的像素的数量与亮度值Br的乘积，并且ΣBr＝0。同样，Σwa为具有亮度值Wa的像素的数量与亮度值Wa＝255的乘积。因此，特征量ht(x)＝ΣWa–ΣBr远远大于0。
此外，使用图9A中的分区样式来计算图5A中的对象S1'的特征量。如图9F中所示，例如，与白色区域BR3相对应的框BR2的左半部分的亮度值的总和为Σ(Wa+Br)。同样，与黑色区域BR4相对应的框BR2的右半部分的亮度值的总和为Σ(Br+Wa)。在图9F中，框BR3的亮度值是对称的，并且特征量ht(x)＝0。如上所示，使用图9A到9D中的白黑区域BR3、BR4的尺寸和样式计算特征量ht(x)，并且根据特征量ht(x)来计算评估值ft(x)。
通过以下公式并且考虑权重系数αt来计算评估值ft(x)。
其中，t是特征量的数量，并且T是特征量的总量。
评估函数包括特征量ft(x)和权重系数αt。事先通过机器学习来计算权重系数。也就是说，收集并且学习目标对象上的学习数据，来找到特征量和权重系数。
如图10中所示，由具有层级和每一层级中的评估函数(1)的对象识别器来执行目标对象的识别。如果评估函数的值小于预设的阈值，则确定框并不是对象，并且放弃框BR1的评估。在每一个层级(从11到n1；n是正整数)中，计算评估值。在最后的层级中被确定为并非非对象的框BR1被确定作为候选区域。
通过事先对对象和非对象进行机器学习来获取每一个层级中的特征量ht(x)、权重系数αt和评估值ft(x)的阈值。未示出的识别词典存储在框的两侧相交的四个角的左上角处的特征量ht(x)、权重系数αt和相交的坐标值，在白色或黑色区域的两侧相交的四个角的左上角处的框的垂直和水平宽度或尺寸、相交的坐标值、白色和黑色区域的尺寸以及评估值的阈值。例如，为了大致确定框是否具有车辆的特征，使用图9A到9D中的分区样式来计算评估值ft(x)，并且比较计算出的评估值和阈值。设置权重系数αt，从而层级越高，则权重系数αt越小。
利用图9A中的分区样式，图5A中的对象S1'的评估值ft(x)为零。相应地，在层级11中，对象S1'被确定为非对象，并且放弃其评估。接下来，使用图9B中的分区样式。图5A中的对象S1'的评估值ft(x)大于阈值，从而候选区域识别器23a继续到层级21。在层级21中，使用更大量的分区样式来评估评估值ft(x)。随着评估值ft(x)超过了阈值，框被确定作为候选区域，并且识别器23a继续到接下来的层级31。通过重复这样的操作，提取出候选区域。在最后的层级n1处，并未被确定作为非对象的框BR2被确定作为候选区域。
可能存在这样的情形，其中所确定的候选区域并不与道路区域R0重叠。有鉴于此，道路区域R0的权重被设置为1，并且其他区域的权重被设置为零。当候选区域的权重都为零时，并不执行对象识别，这是因为对象S并不与道路区域R0重叠。当在候选区域中任何权重都为1时，执行对象识别。这里，首选确定候选区域，并且随后确定候选区域是否与道路区域R0重叠，但操作的顺序可以反转。
图11到图12示出了通过帧FR1到FR6指示的识别出的候选区域的一个示例。在图12中，帧FR1、FR3、FR6与道路区域R0重叠，对它们进行对象识别。帧FR2、FR4和FR5并不与道路区域R0重叠并且权重都为零，因此不对它们进行对象识别。不对非重叠的框执行对象识别能够减小识别中的错误并且缩短处理时间。
利用获得的对象识别的准确性，无需获取候选区域，并且要对整个图像帧进行对象识别。因此，确定要被跟踪的目标对象，如图13中所示。为它们给出相同的代码FR1、FR3、FR6作为帧。
随后，跟踪处理器24跟踪由对象识别器23识别出的对象FR1、FR3、FR6，并且找到图14中的下一帧中要被跟踪的对象FR1'、FR3'和FR6'。
例如，使用对象FR1、FR3和FR6作为初始目标对象的模板，在亮度图像G的下一帧中提取和跟踪与对象FR1、FR3和FR6最类似的候选区域FR1'、FR3'和FR6'。
具体地，搜索与对象FR1、FR3和FR6最类似的对象FR1'、FR3'和FR6'，同时从左上角对亮度图像G的每个像素扫描候选区域FR1'、FR3'和FR6'。
可以在图像帧之间改变对象的尺寸。也就是说，目标对象可以接近或者移动离开车辆1或者在图像帧中转动，并且其尺寸随时间改变。因此，在搜索目标对象的同时，可以通过系数M来改变候选区域FR1'、FR3'和FR6'的尺寸。
使用对象FR1、FR3和FR6以及候选区域FR1'、FR3'和FR6'的亮度直方图，根据图像的特征量来计算对象FR1、FR3和FR6与候选区域FR1'、FR3'以及FR6'之间的相似度。
例如，假定对象FR1的亮度直方图为q＝[q1,q2,…,qn]。q1,q2,…,qn是从亮度级别1到n的像素的数量。而且，假定区域FR1'的亮度直方图为p＝[p1,p2,…,pn]。标准化区域FR1'的所有像素来获取直方图以最小化来自尺寸变化的影响。p1,p2,…,pn是从亮度级别1到n的像素的数量。
例如，通过以下公式来计算对象FR1和候选区域FR1'之间的相似度Sim：
在图14中具有最大相似度Sim的候选区域FR1'、FR3'和FR6'是跟踪的结果。
距离计算器25a根据来自跟踪处理器24的跟踪结果来在每一个图像帧中的对象上找到距离信息和位置信息。基于亮度图像帧中的被跟踪的位置来计算到差异图像帧中到对象的平均距离。
图15和16分别示出了与亮度图像帧相对应的用于对象识别和用于跟踪的差异图像帧。通过帧FRA1、FRA3、FRA6、FRA1'、FRA3'和FRA6'来指示差异图像帧中的对象的位置。帧FRA1、FRA3和FRA6是差异图像帧中的要被跟踪的对象，而帧FRA1'、FRA3'和FRA6'是接下来的亮度图像帧中的跟踪结果。
随后，计算从亮度图像帧中识别出的帧或者候选区域FRA1、FRA3和FRA6的平均差异值Δ，来找到从目标对象到立体相机的距离。如从图4中显而易见的，通过以下公式来表达从对象到立体相机的距离Z和差异之间的关系。
Δ:f＝D:Z (3)
通过将对象的差异值的总和除以用于计算总和的差异值的数量来获得平均差异值Δ。
通过以下公式来计算距离Z。
Z＝D*f/Δ (4)
类似地，获得从立体相机到候选区域FRA1'、FRA3'和FRA6'的距离。也就是说，找到在跟踪之前和之后的在图像帧中到对象的距离ZA、ZC、ZE、ZA'、ZC'和ZE'。运动计算器25b计算到对象的距离上的变化和对象的横向变化。距离计算器25a获取到被跟踪的对象的距离ZA、ZC、ZE和ZA'、ZC'、ZE'的差ΔZA、ΔZC、ΔZE。
ΔZA＝ZA'-ZA
ΔZC＝ZC'-ZC
ΔZE＝ZE'-ZE
如从图4中显而易见的，通过以下公式来表达图像上的像素的横向坐标x和实际空间中的那些X。
X:Z＝x:f (5)
从上述公式(5)获取以下公式：
X＝x*Z/f (6)
通过公式(6)，获得在跟踪之前和之后的移动对象的中心的横向位置XA、XC、XE、XA'、XC和XE'。车辆在先前和当前图像帧之间的横向位置上的变化表示车辆已经横向移动。
通过以下公式来计算移动对象的中心的移动量ΔXA、ΔXC和ΔXE：
ΔXA＝XA'-XA
ΔXC＝XC'-XC
ΔXE＝XE'-XE
随后，根据到对象的距离上的变化和对象的横向变化来找到移动对象的状态上的变化。如果距离上的变化ΔZA、ΔZC和ΔZE为正值，则前面的车辆已经加速或者车辆1已经减速。如果值为零，则在距离上没有变化。如果改变为负值，则前面的车辆已经制动。
通过以下公式，基于图像帧之间的距离上的变化，来计算与车辆1相关的目标移动对象的速度V的加速度VZA、VZC和VZE：
VZA＝ΔZA/Δt
VZC＝ΔZC/Δt
VZE＝ΔZE/Δt
其中，ΔZA、ΔZC和ΔZE是在跟踪前和跟踪后到目标对象S1'、S2'和S3'的距离上的差。
加速度的大值表示前面的车辆已经突然制动或加速。通过以下公式来计算图像帧之间的目标对象S1'、S2'、S3'的横向位置的加速度VXA、VXC和VXE。
VXA＝ΔXA/Δt
VXC＝ΔXC/Δt
VXE＝ΔXE/Δt
其中，ΔXA、ΔXC、ΔXE是在跟踪前和跟踪后与目标对象S1'、S2'和S3'的原始横向点之差。
如果加速度为大值，则前面的车辆的或行人的运动上的变化较为剧烈。例如，已经出现了车辆的车道的改变或车辆的并入或人的跃入。在这样的情况下，需要向车辆1的驾驶员进行警告。有鉴于此，识别结果输出器26将对象的距离和速度上的变化的结果输出到警告单元3。
接下来，参照图17的流程图来描述移动对象识别器2的操作。在步骤S1中，CPU 7从立体相机连续地接收立体图像信号，并且输出立体图像。
在步骤S2中，CPU 7存储立体图像中的至少一个图像的帧作为亮度图像并且生成亮度图像帧。
在步骤S3中，CPU 7计算与亮度图像帧的输出同步地输出的立体图像的图像之间的差异，并且生成差异图像帧。
在步骤S4中，CPU 7从在步骤S2中获取的亮度图像帧和在步骤S3中获取的差异图像帧中识别对象。步骤S4包括步骤S41和步骤S42，在步骤S41中从差异图像帧来识别对象的候选区域，而在步骤S42中确定要被跟踪的目标对象。
在步骤S5中，CPU 7通过从当前和后续的图像帧中获取的亮度图像帧来跟踪在上一个图像帧中识别出的对象。
在步骤S6中，CPU 7计算与亮度图像帧同步的差异图像帧中的被跟踪的对象的状态上的变化。
步骤S6包括步骤S61和步骤S62，在步骤S61中计算到目标对象的距离，而在步骤S62中，计算前后方向上的到对象的距离上的变化的速度和对象的横向运动上的变化的速度。
在步骤S7中，CPU 7将在步骤S6中检测到的对象的运动的结果从识别结果输出器26输出到警告单元3，并且在步骤S8中将其显示在警告单元3的屏幕上。模块化用于执行上述操作的CPU 7的电路。
根据本实施例，通过使用差异图像帧和亮度图像帧，移动对象识别器能够更高准确度地识别作为车辆的目标对象。此外，通过从差异图像帧检测对象的运动上的变化，能够更准确地计算从当前的车辆到目标对象的距离、该距离上的变化和该目标对象的状态上的变化。
归纳起来，移动对象识别器2首先从亮度图像G识别作为车辆或人的移动对象，并且使用亮度图像帧通过以下的亮度图像G来对其进行跟踪。
随后从与亮度图像帧同步的差异图像帧计算被跟踪的对象的区域中的平均差异值Δ。从平均差异值Δ计算到移动对象的距离。
从每一个图像帧中的到对象的距离来计算到目标对象的距离上的变化量。从图像帧之间的时间间隔和图像帧之间的目标距离上的变化来计算目标距离上的变化的速度。从而，能够识别移动对象的状态上的变化。
而且，从跟踪结果找到了亮度图像中的对象的横向运动量。从而，能够基于立体相机的成像位置来计算实际空间中的其运动量。
此外，在上述实施例中，由于作为车辆的移动对象正处在道路上，因此要被跟踪的目标对象被限制到道路区域上的目标S，以提高识别出对象的准确性。至少能够从亮度图像帧中来识别对象。
以上的实施例描述了移动对象识别器被集成在汽车中的示例。然而，本发明并不受限于这样的示例。其可以被安装在其他类型的车辆中，例如轮船、飞机和自动机。此外，以上的实施例已经描述了使用移动对象识别器以用于警告单元。或者，其能够被应用于车辆控制器来控制车辆相对于移动对象的驾驶，例如制动控制或自动转向。
尽管已经以示例性的实施例描述了本发明，但本发明不限于此。应当理解的是，本领域技术人员能够对所描述的实施例进行各种修改和变更而不脱离由所附权利要求限定的本发明的范围。

Claims (12)

1.一种移动对象识别器，被集成在车辆中，用于对当前车辆的前面的被跟踪的对象进行跟踪，所述移动对象识别器包括：
图像输入器，用于从立体相机连续地接收立体图像信号，并且输出立体图像；
亮度图像生成器，被配置为连续地存储从所述图像输入器输出的立体图像的图像中的至少一个图像的帧，并且生成亮度图像帧；
差异图像生成器，被配置为计算从所述图像输入器输出到所述亮度图像生成器的所述立体图像的图像之间的差异，并且生成差异图像帧；
对象识别器，被配置为至少从所述亮度图像帧来识别对象；
跟踪处理器，被配置为通过从在特定时间处识别出的图像帧之后的图像帧获取的亮度图像帧，对由所述对象识别器在所述特定时间处从图像帧识别出的对象进行跟踪；以及
变化检测器，被配置为从与所述亮度图像帧同步的所述差异图像帧来检测被跟踪的对象的状态上的变化；
所述被跟踪的对象为，位于集成了所述移动对象识别器的当前车辆的前面的车辆；
其中，所述变化检测器被配置为：基于所述差异图像帧，来确定从所确定的距离到在前后方向和横向方向上的被跟踪的对象的距离上的变化，并且基于所确定的在前后方向和横向方向上的距离上的变化，来确定在前后方向和横向方向上的被跟踪的对象的距离上的变化的速度；其中，在前后方向上的被跟踪的对象的距离上的变化的速度对应于位于当前车辆的前面的车辆加速同时当前车辆以恒定速度行驶的情况，而在横向方向上的被跟踪的对象的距离上的变化的速度对应于位于当前车辆的前面的车辆改变车道的情况。
2.如权利要求1所述的移动对象识别器，其中
所述跟踪处理器被配置为在当前的亮度图像帧中跟踪由所述对象识别器在上一个亮度图像帧中确定的所述对象，并且在改变所述上一个亮度图像帧中确定的对象的尺寸的同时，在所述当前的亮度图像帧中搜索要被跟踪的对象。
3.如权利要求2所述的移动对象识别器，其中
所述跟踪处理器被配置为在所述当前的亮度图像帧中改变与在所述上一个亮度图像帧中确定的所述对象相对应的区域的尺寸，并且根据用于搜索要被跟踪的对象的区域的尺寸来标准化所述区域中的像素的亮度。
4.如权利要求3所述的移动对象识别器，其中
所述变化检测器被配置为根据与所述对象对应的所述区域的平均差异值，计算在前后方向上到所述对象的距离的变化速度和所述对象横向运动的变化速度。
5.如权利要求1至4中的任一项所述的移动对象识别器，其中
所述变化检测器被配置为基于所述对象在先前和当前的亮度图像帧中的中心位置上的变化，检测所述被跟踪的对象的状态上的变化。
6.一种车辆，包括
车辆本体，包括如权利要求1所述的移动对象识别器，
识别结果输出器，用于输出所述变化检测器的检测结果，以及
控制器，用于接收所述检测结果，并且控制所述车辆本体相对于所述对象的运动。
7.一种车辆，包括
如权利要求1所述的移动对象识别器，
识别结果输出器，用于输出所述变化检测器的检测结果；以及
警告单元，用于在接收到所述检测结果时发出警告。
8.一种识别移动对象的方法，用于对当前车辆的前面的被跟踪的对象进行跟踪，所述识别移动对象的方法包括：
从立体相机连续地接收立体图像信号，并且输出立体图像；
连续地存储所输出的立体图像的图像中的至少一个图像的图像帧，并且生成亮度图像帧；
计算所述输出的立体图像的图像之间的差异，并且生成差异图像帧；
至少从所述亮度图像帧来识别对象；
通过从在特定时间处的图像帧之后的图像帧获取的亮度图像帧，对在特定时间处从图像帧识别出的对象进行跟踪；以及
从与所述亮度图像帧同步的所述差异图像帧检测被跟踪的对象的状态上的变化；
所述被跟踪的对象为位于当前车辆的前面的车辆；
其中，基于所述差异图像帧，来确定从所确定的距离到在前后方向和横向方向上的被跟踪的对象的距离上的变化，并且基于所确定的在前后方向和横向方向上的距离上的变化，来确定在前后方向和横向方向上的被跟踪的对象的距离上的变化的速度；其中，在前后方向上的被跟踪的对象的距离上的变化的速度对应于位于当前车辆的前面的车辆加速同时当前车辆以恒定速度行驶的情况，而在横向方向上的被跟踪的对象的距离上的变化的速度对应于位于当前车辆的前面的车辆改变车道的情况。
9.如权利要求8所述的方法，还包括
在当前的亮度图像帧中跟踪在上一个亮度图像帧中确定的所述对象，并且在改变在所述上一个亮度图像帧中确定的对象的尺寸的同时在当前的亮度图像帧中搜索要被跟踪的对象。
10.如权利要求9所述的方法，还包括
在当前的亮度图像帧中改变与在所述上一个亮度图像帧中确定的所述对象相对应的区域的尺寸，并且根据用于搜索要被跟踪的对象的区域的尺寸来标准化所述区域中的像素的亮度。
11.如权利要求10所述的方法，还包括
根据与所述对象对应的区域的平均差异值，计算在前后方向上到所述对象的距离的变化速度和所述对象横向运动的变化速度。
12.如权利要求8至11中的任一项所述的方法，还包括
基于所述对象在先前和当前的亮度图像帧中的中心位置上的变化，检测所述被跟踪的对象的状态上的变化。
CN201380060106.4A 2012-11-19 2013-10-30 移动对象识别器、车辆及识别移动对象的方法 Active CN104956400B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2012252932 2012-11-19
JP2012-252932 2012-11-19
JP2013-156774 2013-07-29
JP2013156774A JP2014115978A (ja) 2012-11-19 2013-07-29 移動物体認識装置及びこれを用いた報知装置及びその移動物体認識装置に用いる移動物体認識用プログラム及び移動物体認識装置を備えた移動体
PCT/JP2013/080057 WO2014077170A1 (en) 2012-11-19 2013-10-30 Moving object recognizer

Publications (2)

Publication Number Publication Date
CN104956400A CN104956400A (zh) 2015-09-30
CN104956400B true CN104956400B (zh) 2018-02-06

Family

ID=50731084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380060106.4A Active CN104956400B (zh) 2012-11-19 2013-10-30 移动对象识别器、车辆及识别移动对象的方法

Country Status (6)

Country Link
US (1) US9607400B2 (zh)
EP (1) EP2920761A4 (zh)
JP (1) JP2014115978A (zh)
KR (1) KR102027405B1 (zh)
CN (1) CN104956400B (zh)
WO (1) WO2014077170A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6417886B2 (ja) 2013-12-12 2018-11-07 株式会社リコー 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム
JP6589313B2 (ja) * 2014-04-11 2019-10-16 株式会社リコー 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
KR101579098B1 (ko) * 2014-05-23 2015-12-21 엘지전자 주식회사 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
CN105335955B (zh) * 2014-07-17 2018-04-10 株式会社理光 对象检测方法和对象检测装置
KR102310286B1 (ko) * 2014-11-07 2021-10-07 현대모비스 주식회사 특정물체 감지 장치 및 특정물체 감지 방법
JP6156400B2 (ja) * 2015-02-09 2017-07-05 トヨタ自動車株式会社 走行路面検出装置及び走行路面検出方法
US10318798B2 (en) * 2015-07-10 2019-06-11 Booz Allen Hamilton Inc. Device and method for detecting non-visible content in a non-contact manner
JP2017134612A (ja) * 2016-01-27 2017-08-03 富士通株式会社 映像生成装置、映像表示方法、及びプログラム
WO2017130639A1 (ja) 2016-01-28 2017-08-03 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
EP3410416B1 (en) 2016-01-28 2021-08-04 Ricoh Company, Ltd. Image processing device, imaging device, mobile entity apparatus control system, image processing method, and program
WO2017158958A1 (ja) 2016-03-15 2017-09-21 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
KR101966655B1 (ko) * 2016-09-30 2019-04-09 주식회사 피엘케이 테크놀로지 광학 흐름 분석을 이용한 차량 충돌 경보 금지 방법
CN114296093A (zh) 2016-11-29 2022-04-08 布莱克莫尔传感器和分析有限责任公司 用于以点云数据集合对对象进行分类的方法和系统
US11624828B2 (en) 2016-11-30 2023-04-11 Blackmore Sensors & Analytics, Llc Method and system for adaptive scanning with optical ranging systems
WO2018102188A1 (en) 2016-11-30 2018-06-07 Blackmore Sensors and Analytics Inc. Method and system for automatic real-time adaptive scanning with optical ranging systems
CN113985427A (zh) 2016-11-30 2022-01-28 布莱克莫尔传感器和分析有限责任公司 对光学啁啾距离检测进行多普勒检测和校正的方法和系统
EP3590763A1 (en) * 2017-01-20 2020-01-08 Koito Manufacturing Co., Ltd. Vehicle lamp control system
US10422880B2 (en) 2017-02-03 2019-09-24 Blackmore Sensors and Analytics Inc. Method and system for doppler detection and doppler correction of optical phase-encoded range detection
CN107240118B (zh) * 2017-05-19 2020-10-09 成都信息工程大学 一种基于rgb颜色直方图的判别式跟踪方法
US10401495B2 (en) 2017-07-10 2019-09-03 Blackmore Sensors and Analytics Inc. Method and system for time separated quadrature detection of doppler effects in optical range measurements
DE112019000383T5 (de) * 2018-03-07 2020-11-12 Robert Bosch Gesellschaft mit beschränkter Haftung Odometriesystem und Verfahren zum Verfolgen von Ampelanlagen
CN108401140A (zh) * 2018-04-07 2018-08-14 深圳供电局有限公司 一种基于多层视觉处理的智能视频监控系统和方法
WO2019209727A1 (en) 2018-04-23 2019-10-31 Blackmore Sensors and Analytics Inc. Method and system for controlling autonomous vehicle using coherent range doppler optical sensors
JP7115180B2 (ja) * 2018-09-21 2022-08-09 トヨタ自動車株式会社 画像処理システムおよび画像処理方法
CN111415520A (zh) * 2018-12-18 2020-07-14 北京航迹科技有限公司 处理交通目标的系统和方法
JP7148384B2 (ja) * 2018-12-21 2022-10-05 ルネサスエレクトロニクス株式会社 半導体装置、画像処理方法およびプログラム
US11822010B2 (en) 2019-01-04 2023-11-21 Blackmore Sensors & Analytics, Llc LIDAR system
JP7176478B2 (ja) * 2019-06-14 2022-11-22 トヨタ自動車株式会社 画像認識装置
CN110244772B (zh) * 2019-06-18 2021-12-03 中国科学院上海微系统与信息技术研究所 移动机器人的领航跟随系统和领航跟随控制方法
US11836933B2 (en) * 2019-07-18 2023-12-05 Toyota Motor Europe Method for calculating information relative to a relative speed between an object and a camera
JP7418177B2 (ja) * 2019-10-11 2024-01-19 株式会社Subaru 画像処理装置
KR102401480B1 (ko) * 2021-04-27 2022-05-25 주식회사 실리콘큐브 카메라 각도 변경을 자동 보정하는 무인 주차 관리 시스템 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000266539A (ja) * 1999-03-15 2000-09-29 Nissan Motor Co Ltd 車間距離計測装置
CN101179710A (zh) * 2007-11-30 2008-05-14 浙江工业大学 铁路道口智能视频监控装置
CN101216885A (zh) * 2008-01-04 2008-07-09 中山大学 一种基于视频的行人人脸检测与跟踪算法
JP2010286926A (ja) * 2009-06-09 2010-12-24 Konica Minolta Holdings Inc 周辺監視装置
CN102016921A (zh) * 2008-08-01 2011-04-13 丰田自动车株式会社 图像处理装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091793A (ja) * 1996-09-13 1998-04-10 Oki Electric Ind Co Ltd オプティカルフロー算出方法及び装置
JPH10255071A (ja) * 1997-03-10 1998-09-25 Iwane Kenkyusho:Kk 画像処理システム
JP3904988B2 (ja) 2002-06-27 2007-04-11 株式会社東芝 画像処理装置およびその方法
JP4239834B2 (ja) * 2004-01-27 2009-03-18 株式会社デンソー 物体検出装置
US7248968B2 (en) * 2004-10-29 2007-07-24 Deere & Company Obstacle detection using stereo vision
JP2006134035A (ja) * 2004-11-05 2006-05-25 Fuji Heavy Ind Ltd 移動物体検出装置および移動物体検出方法
JP2009140023A (ja) * 2007-12-03 2009-06-25 Mazda Motor Corp 車両用障害物検出装置
EP2219133B1 (en) * 2009-02-17 2011-10-05 Autoliv Development AB A method and system of automatically detecting objects in front of a motor vehicle
EP2246806B1 (en) * 2009-04-29 2014-04-02 Autoliv Development AB Vision method and system for automatically detecting objects in front of a motor vehicle
JP2011221613A (ja) * 2010-04-05 2011-11-04 Toyota Motor Corp 物体認識装置
JP5693994B2 (ja) * 2011-02-16 2015-04-01 富士重工業株式会社 車両検出装置
KR20120119144A (ko) * 2011-04-20 2012-10-30 주식회사 레이스전자 카메라 기반 지능형 관리 장치 및 방법
JP2013093013A (ja) * 2011-10-06 2013-05-16 Ricoh Co Ltd 画像処理装置、車両
EP2669845A3 (en) 2012-06-01 2014-11-19 Ricoh Company, Ltd. Target recognition system, target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program
JP2014026396A (ja) 2012-07-25 2014-02-06 Ricoh Co Ltd 移動面境界線認識装置、移動面境界線認識装置を備えた移動体、移動面境界線認識方法及び移動面境界線認識用プログラム
JP6270102B2 (ja) 2012-10-10 2018-01-31 株式会社リコー 移動面境界線認識装置、これを用いた移動体機器制御システム、移動面境界線認識方法及び移動面境界線認識用プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000266539A (ja) * 1999-03-15 2000-09-29 Nissan Motor Co Ltd 車間距離計測装置
CN101179710A (zh) * 2007-11-30 2008-05-14 浙江工业大学 铁路道口智能视频监控装置
CN101216885A (zh) * 2008-01-04 2008-07-09 中山大学 一种基于视频的行人人脸检测与跟踪算法
CN102016921A (zh) * 2008-08-01 2011-04-13 丰田自动车株式会社 图像处理装置
JP2010286926A (ja) * 2009-06-09 2010-12-24 Konica Minolta Holdings Inc 周辺監視装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Object Tracking：A survey;Alper Yilmaz et al;《ACM Computing Surveys》;20061231;第38卷(第4期);第1-45页 *
Real-time vehicle detection and tracking using stereo vision and multi-view adaboost;T. Kowsari et al;《2011 14th International IEEE Conference on Intelligent Transportation Systems》;20111005;第1255-1260页 *
基于双目视觉的运动目标检测与跟踪;胡明合;《中国优秀硕士学位论文全文数据库 信息科技辑》;20110915;第I138-1187 *

Also Published As

Publication number Publication date
US20150243043A1 (en) 2015-08-27
EP2920761A1 (en) 2015-09-23
US9607400B2 (en) 2017-03-28
KR102027405B1 (ko) 2019-10-02
WO2014077170A1 (en) 2014-05-22
KR20150080569A (ko) 2015-07-09
CN104956400A (zh) 2015-09-30
JP2014115978A (ja) 2014-06-26
EP2920761A4 (en) 2016-04-27

Similar Documents

Publication Publication Date Title
CN104956400B (zh) 移动对象识别器、车辆及识别移动对象的方法
Nabati et al. Rrpn: Radar region proposal network for object detection in autonomous vehicles
US8548226B2 (en) Stereo image processing device and method
JP4756044B2 (ja) 自動車シート上の対象物を検出するための装置
CN107463890B (zh) 一种基于单目前视相机的前车检测与跟踪方法
WO2015104898A1 (ja) 車両用外界認識装置
WO2018123642A1 (ja) ステレオカメラ
CN105551020B (zh) 一种检测目标物尺寸的方法及装置
JP6743882B2 (ja) 画像処理装置、機器制御システム、撮像装置、画像処理方法及びプログラム
EP2940656A1 (en) Vehicle periphery monitoring device
CN104918033A (zh) 图像处理装置和图像处理方法
KR20150074544A (ko) 차량 검출 방법
CN111507327A (zh) 一种目标检测方法及装置
JP2008262333A (ja) 路面判別装置および路面判別方法
CN110717445A (zh) 一种用于自动驾驶的前车距离跟踪系统与方法
US20070223785A1 (en) Image processor and method
CN104471436B (zh) 用于计算对象的成像比例的变化的方法和设备
JP6458577B2 (ja) 画像測距装置
JP2005156199A (ja) 車両検知方法及び車両検知装置
JP3516118B2 (ja) 物体認識方法および物体認識装置
US20230237809A1 (en) Image processing device of person detection system
JP5020920B2 (ja) 歩行者検出装置及びプログラム
JP2005062910A (ja) 画像認識装置
JP5170058B2 (ja) 物体検出装置
EP3168779A1 (en) Method for identifying an incoming vehicle and corresponding system

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant