CN102288165A - 移动距离检测装置和移动距离检测方法 - Google Patents

移动距离检测装置和移动距离检测方法 Download PDF

Info

Publication number
CN102288165A
CN102288165A CN2011101699772A CN201110169977A CN102288165A CN 102288165 A CN102288165 A CN 102288165A CN 2011101699772 A CN2011101699772 A CN 2011101699772A CN 201110169977 A CN201110169977 A CN 201110169977A CN 102288165 A CN102288165 A CN 102288165A
Authority
CN
China
Prior art keywords
dimensional object
displacement
difference waveform
play amount
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011101699772A
Other languages
English (en)
Other versions
CN102288165B (zh
Inventor
土谷千加夫
古性裕之
田中慎也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN102288165A publication Critical patent/CN102288165A/zh
Application granted granted Critical
Publication of CN102288165B publication Critical patent/CN102288165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

本发明涉及移动距离检测装置和移动距离检测方法。所述移动距离检测装置包括：摄像单元，其拍摄图像；配准单元，其在鸟瞰图像上对所述摄像单元在不同时刻拍摄到的图像进行位置配准；以及立体物体检测单元，其基于在不同时刻拍摄到的、由所述配准单元进行了配准的图像数据之间的差异图像数据来检测立体物体。所述立体物体检测单元计数分别表示所述差异图像数据上的给定差异、并且排列在当将预定区域的图像转换成鸟瞰图像时所述立体物体倾斜的方向上的像素的数量，然后产生所计数的像素的频率分布以生成差异波形，并且基于所述差异波形的时间变化来计算所述立体物体的移动距离。

Description

移动距离检测装置和移动距离检测方法
技术领域
本发明涉及基于在不同时刻拍摄到的图像来检测移动距离的移动距离检测装置和移动距离检测方法。
背景技术
如日本特开2008-219063(专利文献1)所示，迄今为止已公开了车辆周边监视装置，该车辆周边监视装置被配置为检测车辆周围的立体物体(solid object)并且检测该立体物体是静止还是正在移动。该车辆周边监视装置被配置为将在不同时刻拍摄到的两个图像转换成鸟瞰图像，并且对这两个鸟瞰图像进行配准。然后，该车辆周边监视装置获取配准后的两个图像之间的差异，并且检测差异部分作为立体物体。此外，该车辆周边监视装置检测该差异部分中离本车辆最近的点作为该立体物体与地面相接触的接地点，并基于该接地点的位置变化来检测该立体物体是静止还是正在移动。
这里，已知在将所拍摄到的图像转换成鸟瞰图像时立体物体会倾斜。由于这种倾斜，专利文献1所公开的车辆周边监视装置在检测立体物体的移动距离时不能实现非常高的检测准确度。具体地，由于专利文献1所公开的车辆周边监视装置检测接地点，因此为了获得移动距离，该装置基于接地点的移动量来计算移动距离。然而，如果移动前被检测作为接地点的点和移动后被检测作为接地点的点不是立体物体上的同一点，则由此计算出的移动距离不正确。更具体地，例如，可能出现以下情况：移动前被检测作为接地点的点是另一车辆的轮胎下端，而移动后被检测作为接地点的点是该车辆的保险杠。在这种情况下，不是基于车辆的同一位置来计算移动距离，并且由此计算出的移动距离不正确。
本发明的目的是提供能够提高移动距离计算准确度的移动距离检测装置和移动距离检测方法。
发明内容
根据本发明的实施例，提供了一种移动距离检测装置，包括：摄像单元，被配置为拍摄预定区域的图像；配准单元，被配置为在通过利用所述摄像单元在不同时刻摄像所获得的所述预定区域的图像之间，在鸟瞰图像上进行位置配准；以及立体物体检测单元，其基于在不同时刻拍摄到的、由所述配准单元进行了配准的图像数据之间的差异图像数据来检测立体物体。这里，所述立体物体检测单元计数分别表示所述差异图像数据上的给定差异、并且排列在当将所述预定区域的图像转换成所述鸟瞰图像时所述立体物体倾斜的方向上的像素的数量，并产生所计数的像素的频率分布以生成差异波形。然后，所述立体物体检测单元基于所述差异波形的时间变化来计算所述立体物体的移动距离。
附图说明
图1是根据本实施例的移动距离检测装置的示意结构图，其示出移动距离检测装置安装在车辆上的例子。
图2是示出图1所示的车辆的行驶状态的顶视图。
图3是示出图1所示的计算器的详细内容的框图。
图4A和4B是示出由图3所示的配准单元进行的处理的概要的顶视图；图4A示出车辆的移动状态；以及图4B示出配准的概要。
图5是示出由图3所示的立体物体检测单元生成差异波形的方面的示意图。
图6是示出由图3所示的立体物体检测单元划分成的小区域的图。
图7是示出由图3所示的立体物体检测单元获得的直方图的示例的图。
图8是示出由图3所示的立体物体检测单元进行加权的图。
图9是示出由图3所示的拖尾检测单元进行的处理和由该单元进行处理以计算差异波形的图。
图10是示出由图3所示的立体物体检测单元获得的直方图的另一示例的图。
图11是示出根据本实施例的移动距离检测方法的流程图，其示出前半部分处理。
图12是示出根据本实施例的移动距离检测方法的流程图，其示出后半部分处理。
具体实施方式
以下将参考附图来说明根据本发明的实施例。图1是根据本实施例的移动距离检测装置1的示意结构图，其示出移动距离检测装置1安装在车辆V上的例子。如图1所示，移动距离检测装置1包括摄像机(作为摄像单元和摄像部件的例子)10、车速传感器20和计算器30。
图1所示的摄像机10安装在车辆V的后部高度为h的位置处，以使得光轴相对于水平线向下形成角度θ。摄像机10被配置为从该位置对预定区域摄像。车速传感器20被配置为检测车辆V的行驶速度，并且根据通过使用例如设置在车轮上以检测车轮转数的车轮速度传感器所检测到的车轮速度来计算该行驶速度。计算器30被配置为计算位于车辆后方的立体物体的移动距离和移动速度。
图2是示出图1所示的车辆V的行驶状态的顶视图。如图2所示，摄像机10按预定视角Ma对车辆后方摄像。此时，摄像机10能够对摄像机10的视角内本车辆V正在行驶的车道以及左右相邻车道进行摄像。
图3是示出图1所示的计算器30的详细内容的框图。注意，为了明确连接关系，图3还示出了摄像机10和车速传感器20。
如图3所示，计算器30包括视点转换单元(视点转换部件)31、配准单元(配准部件)32和立体物体检测单元(立体物体检测部件)33。
视点转换单元31被配置为输入由摄像机10拍摄到的预定区域的图像数据，并且进行视点转换以将所输入的图像数据转换成鸟瞰图像的鸟瞰图像数据。鸟瞰图像是例如从自上方垂直向下观看的虚拟摄像机观看到的图像。例如，日本特开2008-219063公开了进行这种视点转换。
配准单元32被配置为顺次输入通过利用视点转换单元31进行视点转换所获得的鸟瞰图像数据，并且对所输入的不同时刻的鸟瞰图像数据进行位置配准。图4A和4B是示出由图3所示的配准单元32进行的处理的概要的顶视图；图4A示出车辆V的移动状态；以及图4B示出配准的概要。
如图4A所示，假定本车辆V在当前时刻位于V1，并且在片刻以前的时刻位于V2。同时，假定其它车辆V位于本车辆V后方并且与本车辆V并行行驶。这里，假定其它车辆V在当前时刻位于V3，并且在片刻以前的时刻位于V4。此外，假定本车辆V在该片刻内移动了距离d。这里，片刻以前的时刻可以是在当前时刻之前预定时间段(诸如一个控制周期等)的时刻，或者是在当前时刻之前任意时间段的时刻。
在这种状态下，当前时刻的鸟瞰图像(当前图像)PBt如图4B所示。在该鸟瞰图像PBt中，绘制在路面上的白色线为矩形，由此表示从上方相对准确地观看到的状态。另一方面，其它车辆V3是倾斜的。同样，在片刻以前的时刻的鸟瞰图像(过去图像)PBt-1中，绘制在路面上的白色线为矩形，由此表示从上方相对准确地观看到的状态。另一方面，其它车辆V4是倾斜的。
配准单元32在数据上对上述的鸟瞰图像PBt和PBt-1进行配准。这里，配准单元32使片刻以前的时刻的鸟瞰图像PBt-1偏移，以使该鸟瞰图像PBt-1的位置与当前时刻的鸟瞰图像PBt的位置重合。图像偏移量d’是与图4A所示的移动距离d相对应的量，移动距离d是基于来自车速传感器20的信号和从片刻以前的时刻到当前时刻的时间段所确定的。
同时，在配准之后，配准单元32找出鸟瞰图像PBt和PBt-1之间的差异，以生成差异图像PDt的数据。这里，可以通过求出鸟瞰图像PBt和PBt-1的像素值之间的差的绝对值来定义差异图像PDt的像素值；或者，为了应对照明环境的变化，可以将差异图像PDt的像素值的定义为在该绝对值超过预定阈值时等于“1”并在该绝对值不超过预定阈值时等于“0”。
再次参考图3。立体物体检测单元33基于如图4B所示的差异图像PDt的数据检测立体物体。在这种情况下，立体物体检测单元33还计算立体物体在实际空间中的移动距离。在计算移动距离时，立体物体计算单元33首先生成差异波形。
在生成差异波形时，立体物体检测单元33在差异图像PDt中设置检测区域。具体地，如图2所示，本实施例中的检测区域A1和A2为设置在本车辆V的侧后方的矩形形状。这里，根据本实施例的移动距离检测装置1的目的在于针对在本车辆改变车道时可能碰撞的其它车辆计算移动距离。由于该原因，检测区域A1和A2设置在本车辆V的侧后方。
上述的检测区域A1和A2可以是基于相对于本车辆V的相对位置而设置的，或者是基于白色线的位置而设置的。当基于白色线的位置来设置检测区域时，移动距离检测装置1可以利用例如现有的白色线识别技术。此外，立体物体检测单元33识别所设置的检测区域A1和A2的靠近本车辆V的边(在行驶方向上的边)作为接地线L1和L2。通常，接地线指立体物体接触地面的线。然而，在本实施例中，接地线的定义如上所述，而不是指接触地面的线。同样在这种情况下，根据本实施例的接地线和根据其它车辆V的实际位置获得的接地线之间的差异不会太大。因此，不存在实际问题。
图5是示出由图3所示的立体物体检测单元33生成差异波形的方面的示意图。如图5所示，立体物体检测单元33通过使用差异图像PDt中与检测区域A1和A2相对应的部分来生成差异波形DWt。在这种情况下，立体物体检测单元33生成在立体物体由于视点转换而倾斜的倾斜方向上的差异波形DWt。注意，为了简便，仅使用检测区域A1来解释图5所示的例子。
更具体地，首先，立体物体检测单元33在差异图像PDt的数据上定义在立体物体的倾斜方向上的线La。然后，立体物体检测单元33计数线La上表示给定差异的差异像素DP的数量。这里，当将差异图像PDt的像素值定义为鸟瞰图像PBt和PBt-1的像素值之间的差的绝对值时，表示给定差异的差异像素DP是差异图像PDt中像素值超过预定阈值的像素。可选地，当将差异图像PDt的像素值表示为“0”或“1”时，差异像素DP是差异图像PDt中像素值为“1”的像素。
在计数差异像素DP的数量之后，立体物体检测单元33求出线La和接地线L1之间的交点CP。然后，立体物体检测单元33将交点CP与计数值相关联，基于交点CP的位置确定横轴上的位置、即在沿着图5的纸面垂直方向的轴上的位置，并且基于计数值确定纵轴上的位置、即在沿着图5的纸面水平方向的轴上的位置。
同样，立体物体检测单元33定义在立体物体的倾斜方向上的线Lb，计数差异像素DP的数量，基于交点CP的位置确定横轴上的位置，并且基于计数值(差异像素DP的数量)确定纵轴上的位置。立体物体检测单元33顺次重复上述过程，并且产生频率分布以生成差异波形DWt。
这里，如图5所示，在立体物体的倾斜方向上的线La和线Lb与检测区域A1重叠的距离彼此不同。由于该原因，如果检测区域A1充满了差异像素DP，则线La上的差异像素的数量大于线Lb上的差异像素的数量。因此，当基于差异像素DP的计数值确定纵轴上的位置时，立体物体检测单元33基于在立体物体的倾斜方向上的线La和Lb与检测区域A1重叠的距离来进行标准化。更具体地，在图5中，线La上有6个差异像素DP并且线Lb上有5个差异像素DP。因此，为了基于图5中的计数值确定纵轴上的位置，立体物体检测单元33通过例如将计数值除以重叠距离来进行标准化。这样，与在立体物体的倾斜方向上的线La和Lb相对应的差异波形DWt的值彼此大致相等。
在生成了差异波形DWt之后，立体物体检测单元33通过与片刻以前的时刻的差异波形DWt-1进行比较来计算移动距离。具体地，立体物体检测单元3基于差异波形DWt和DWt-1的时间变化来计算移动距离。
更具体地，立体物体检测单元33将差异波形DWt划分成多个小区域DWt1～DWtn。n是大于等于2的任意整数。图6是示出由图3所示的立体物体检测单元33划分成的小区域DWt1～DWtn的图。如图6所示，例如，小区域DWt1～DWtn被划分成彼此重叠。例如，小区域DWt1与小区域DWt2重叠，并且小区域DWt2与小区域DWt3重叠。
随后，立体物体检测单元33针对各个小区域DWt1～DWtn获得偏移量、即获得差异波形在横轴方向上的移动量。这里，获得作为片刻以前的时刻的差异波形DWt-1和当前时刻的差异波形DWt之间的差、即横轴方向上的距离的偏移量。在这种情况下，立体物体检测单元33针对各个小区域DWt1～DWtn判断以下的横轴方向上的位置，该横轴方向上的位置使片刻以前的时刻的差异波形DWt-1在横轴方向上移动到此时相对于当前时刻的差异波形DWt的误差最小。然后，立体物体检测单元33获得差异波形DWt-1的原始位置和使误差最小的位置之间的横轴方向上的移动量作为偏移量。之后，立体物体检测单元33通过计数针对各个小区域DWt1～DWtn获得的偏移量来产生直方图。
图7是示出由图3所示的立体物体检测单元33获得的直方图的示例的图。如图7所示，为了使各个小区域DWt1～DWtn和片刻以前的时刻的差异波形DWt-1之间的误差最小，在表示移动量的偏移量之间存在一些波动。由于该原因，立体物体检测单元33将包含这种波动的偏移量制成直方图，并然后通过使用该直方图来计算移动距离。在这种情况下，立体物体检测单元33通过使用该直方图的局部最大值来计算立体物体的移动距离。具体地，在图7所示的例子中，立体物体检测单元33计算移动距离τ*。移动距离τ*是其它车辆V相对于本车辆V的相对距离。因此，为了计算绝对移动距离，立体物体检测单元33基于由此获得的移动距离τ*和来自车速传感器20的信号来计算绝对移动距离。
这里，为了产生直方图，优选地，立体物体检测单元33向多个小区域DWt1～DWtn分别分配权重，并且在根据这些权重计数针对各小区域DWt1～DWtn获得的偏移量时产生直方图。图8是示出由图3所示的立体物体检测单元33进行加权的图。
如图8所示，小区域DWm呈平坦状。m是大于等于1且小于等于n-1的整数。具体地，在小区域DWm中，示出给定差异的像素的数量的最大计数值和最小计数值之间相差小。立体物体检测单元33减小小区域DWm的权重。这是因为，平坦的小区域DWm无任何特征，并因此增大计算偏移量的误差的风险高。
另一方面，小区域DWm+k呈起伏状。k是小于等于n-m的整数。具体地，在小区域DWm+k中，示出给定差异的像素的数量的最大计数值和最小计数值之间相差大。立体物体检测单元33增大小区域DWm+k的权重，这是因为起伏的小区域DWm+k具有特征，并因此极有可能使得可以准确计算偏移量。通过如上所述分配权重，可以提高移动距离的计算准确度。
这里，在上述实施例中，为了提高移动距离的计算准确度而将差异波形DWt划分成多个小区域Dwt1～DWtn。然而，本发明不仅限于该结构，并且当不要求高的移动距离计算准确度，不必总是将差异波形DWt划分成多个小区域Dwt1～DWtn。在这种情况下，立体物体检测单元33基于差异波形DWt和差异波形DWt-1之间误差最小时差异波形DWt的偏移量来计算移动距离。即，获得片刻以前的时刻的差异波形DWt-1和当前时刻的差异波形DWt之间的偏移量的方法不仅限于上述内容。
再次参考图3。计算器30还包括拖尾检测单元(拖尾检测部件)34。拖尾检测单元34被配置为通过使用由摄像机10拍摄到的图像的数据来检测拖尾的发生区域。
图9是示出由图3所示的拖尾检测单元34进行的处理和由该单元进行处理以计算差异波形DWt的图。首先，假定将所拍摄到的包含拖尾S的图像P的数据输入至拖尾检测区域34。在这种情况下，拖尾检测区域34从所拍摄到的图像P检测拖尾S。
尽管存在各种检测拖尾S的方法，但在例如一般的CCD(电荷耦合器件)摄像机的情况下，在图像中拖尾S仅从光源向下延伸。因此，在本实施例中，搜索从图像的下侧向上的亮度值大于等于预定值且在垂直方向上连续的区域，并且指定该区域作为拖尾S的发生区域。
同时，拖尾检测单元34通过将发生拖尾S的位置处的像素值定义为“1”并将其它位置处的像素值定义为“0”来生成拖尾图像SP的数据。在生成该数据之后，拖尾检测单元34将拖尾图像SP的数据发送至视点转换单元31。
当输入了拖尾图像SP的数据时，视点转换单元31进行视点转换以将该数据转换成鸟瞰图像的数据。这样，视点转换单元31生成拖尾鸟瞰图像SBt的数据。在生成该数据之后，视点转换单元31将拖尾鸟瞰图像SBt的数据发送至配准单元32。同时，视点转换单元31将片刻以前的时刻的拖尾鸟瞰图像SBt-1的数据发送至配准单元32。
配准单元32在数据上对拖尾鸟瞰图像SBt和SBt-1进行配准。该配准的具体过程与在数据上对鸟瞰图像PBt和PBt-1进行配准的情况相同。同时，在该配准之后，配准单元32计算各个拖尾鸟瞰图像SBt和SBt-1中的拖尾S发生区域的逻辑和。这样，配准单元32生成掩模图像MP的数据。在生成该数据之后，配准单元32将掩模图像MP的数据发送至立体物体检测单元33。
立体物体检测单元33针对掩模图像MP中与拖尾S的发生区域相对应的位置，将频率分布的计数值设置为等于0。具体地，当生成如图9所示的差异波形DWt时，立体物体检测单元33将由于拖尾S所引起的计数值SC设置为等于0，由此生成校正后的差异波形DWt’。
此外，在本实施例中，立体物体检测单元33获得车辆V(摄像机10)的移动速度，并且通过使用由此获得的移动速度求出静止物体的偏移量。在求出静止物体的偏移量之后，立体物体检测单元33在忽略直方图的局部最大值中与该静止物体相对应的偏移量的情况下，计算出立体物体的移动距离。
图10是示出由图3所示的立体物体检测单元33获得的直方图的另一示例的图。当在摄像机10的视角内除其它车辆V以外还存在静止物体时，在所获得的直方图中出现两个局部最大值τ1和τ2。在这种情况下，这两个局部最大值τ1和τ2之一表示静止物体的偏移量。因此，立体物体检测单元33通过使用移动速度求出静止物体的偏移量，并通过忽略与该偏移量相对应的局部最大值而采用另一局部最大值来计算立体物体的移动距离。
这里，如果在忽略了与静止物体相对应的偏移量之后仍存在多个局部最大值，则可认为在摄像机10的视角内存在两个或更多个其它车辆V。然而，在检测区域A1和A2内存在两个或更多个其它车辆V非常少见。因此，在这种情况下，立体物体检测单元33中止移动距离的计算。
接着，将说明根据实施例的移动距离检测方法。图11和图12是示出根据实施例的移动距离检测方法的流程图。如图11所示，首先，计算器30输入所拍摄到的图像P的数据，并且通过使用拖尾检测单元34生成拖尾图像SP(S1)。随后，视点转换单元31通过使用来自摄像机10的所拍摄到的图像P的数据生成鸟瞰图像PBt的数据，并且通过使用拖尾图像SP的数据生成拖尾鸟瞰图像SBt的数据(S2)。
之后，配准单元32对鸟瞰图像PBt的数据和片刻以前的时刻的鸟瞰图像PBt-1的数据进行配准，并且对拖尾鸟瞰图像SBt的数据和片刻以前的时刻的拖尾鸟瞰图像SBt-1的数据进行配准(S3)。
在配准之后，配准单元32生成差异图像PDt的数据并且生成掩模图像MP的数据(S4)。然后，立体物体检测单元33通过使用差异图像PDt的数据和片刻以前的时刻的差异图像PDt-1的数据生成差异波形DWt(S5)。在生成差异波形之后，立体物体检测单元33将差异波形DWt中与拖尾S的发生区域相对应的计数值设置为0，由此抑制拖尾S的影响(S6)。
随后，立体物体检测单元33判断差异波形DWt的峰值是否大于等于预定值(S7)。这里，如果差异波形DWt的峰值不是大于等于预定值，则可认为几乎不存在差异，因而在所拍摄到的图像P中不存在立体物体。因此，如果立体物体检测单元33判断为差异波形DWt的峰值不是大于等于预定值(S7中为“否”)，则立体物体检测单元33判断为不存在立体物体、即不存在其它车辆(图12中的S16)。然后，图11和图12所示的处理结束。
另一方面，如果立体物体检测单元33判断为差异波形DWt的峰值大于等于预定值(S7中为“是”)，则立体物体检测单元33判断为存在立体物体，并且将差异波形DWt划分成多个小区域DWt1～DWtn(S8)。随后，立体物体检测单元33向多个小区域DWt1～DWtn分别分配权重(S9)。之后，立体物体检测单元33计算多个小区域DWt1～DWtn各自的偏移量(S10)，并且生成考虑到这些权重的直方图(S11)。
然后，立体物体检测单元33基于该直方图，计算表示立体物体相对于本车辆V的移动距离的相对移动距离(S12)。接着，立体物体检测单元33通过使用该相对移动距离来计算立体物体的绝对移动速度(S13)。此时，立体物体检测单元33通过对相对移动距离进行时间微分来计算相对移动速度，并且通过与车速传感器20检测到的本车辆的速度相加来计算绝对移动速度。
之后，立体物体检测单元33判断立体物体的绝对移动速度是否大于等于10km/h以及立体物体相对于本车辆V的相对移动速度是否小于等于+60km/h(S14)。如果满足了这两个条件(S14中为“是”)，则立体物体检测单元33判断为立体物体是其它车辆V(S15)。然后，图11和图12所示的处理结束。另一方面，如果不满足这两个条件中的任一条件(S14中为“否”)，则立体物体检测单元33判断为不存在其它车辆(S16)。之后，图11和图12所示的处理结束。
注意，在本实施例中将检测区域A1和A2定义为本车辆V的侧后方，从而关注于判断在本车辆V改变车道时是否存在碰撞风险。为此执行步骤S14的处理。例如，假定根据本实施例的系统在高速公路上运行，如果立体物体的速度低于10km/h，则由于该立体物体在本车辆改变车道时位于本车辆V后方很远的位置处，因此存在其它车辆V不会造成任何问题。同样，如果立体物体相对于本车辆V的相对移动速度高于+60km/h，即如果立体物体正在以比本车辆V的速度快+60km/h的速度移动，则由于该立体物体在本车辆改变车道时在本车辆V的前方移动，因此不会存在问题。由于该原因，还可以说，设置步骤S14是为了判断在车道改变时可能造成问题的其它车辆V。
此外，在步骤S14中，通过判断立体物体的绝对移动速度是否大于等于10km/h以及立体物体相对于本车辆V的相对移动速度是否小于等于+60km/h，实现了以下效果。具体地，例如可能存在以下情况：由于摄像机10的安装误差而将静止物体的绝对移动速度误检测为几km/h。因此，可以通过判断物体的绝对移动速度是否大于等于10km/h来降低将静止物体判断为其它车辆V的风险。同时，可能存在以下情况：由于噪声而将立体物体相对于本车辆V的相对速度误检测为大于等于+60km/h。因此，可以通过判断相对速度是否小于等于+60km/h来降低由于噪声而引起的误检测的风险。
此外，代替步骤S14中的处理，还可以判断绝对移动速度是否小于等于0km/h。同时，本实施例关注于判断在本车辆V改变车道时是否存在碰撞的风险。因此，当在步骤S15中检测到其它车辆V时，可以向本车辆的驾驶员发出警告或者在给定显示装置上显示警告等。
如上所述，根据实施例的移动距离检测装置1和移动距离检测方法，通过计数差异图像PDt的数据中在立体物体由于视点转换而倾斜的方向上的、表现出给定差异的像素的数量并使用所计数出的像素数量产生频率分布，来生成差异波形DWt。这里，差异图像PDt的数据中表现出给定差异的像素表示在不同时刻拍摄到的图像之间变化了的像素。换言之，这些像素表示立体物体存在的位置。因此，在立体物体存在的位置处，通过计数在立体物体的倾斜方向上的像素的数量并然后产生频率分布来生成差异波形DWt。具体地，由于计数在立体物体的倾斜方向上的像素的数量，因此通过使用与立体物体的高度方向有关的信息来生成差异波形DWt。此外，基于包含与高度方向有关的信息的差异波形DWt的时间变化来计算立体物体的移动距离。因此，与仅关注单个点的移动的情况相比较，由于时间变化前的检测位置和时间变化后的检测位置是考虑到与高度方向有关的信息所指定的，因此这些位置在立体物体上极有可能是同一位置。由于基于同一位置的时间变化来计算移动距离，因此可以提高移动距离的计算准确度。
此外，将差异波形DWt中与拖尾S的发生区域相对应的部分的频率分布的计数值设置为等于0。这样，除去了差异波形DWt中由于拖尾S所产生的波形区域。因此，可以避免将拖尾S误识别为立体物体的麻烦。
此外，基于使不同时刻生成的差异波形DWt之间误差最小时差异波形DWt的偏移量来计算立体物体的移动距离。因此，通过使用该波形的一维信息的偏移量来计算移动距离。因而，可以抑制计算移动距离的计算成本。
此外，将在不同时刻生成的差异波形DWt划分成多个小区域DWt1～DWtn。通过如上所述将差异波形DWt划分成多个小区域DWt1～DWtn，可以获得表示立体物体的各个位置的多个波形。同时，针对各个小区域DWt1～DWtn获得用于使各个波形之间误差最小的偏移量。然后，通过计数针对各个小区域DWt1～DWtn所获得的偏移量以产生直方图来计算立体物体的移动距离。因此，针对立体物体的各个位置获得偏移量，并通过使用多个偏移量来获得移动距离。因而，可以提高移动距离的计算准确度。
同时，对多个小区域DWt1～DWtn分别分配权重。然后，根据权重计数针对各小区域DWt1～DWtn所获得的偏移量，从而产生直方图。因此，通过增大特征区域的权重并减小非特征区域的权重，可以更加适当地计算移动距离。因此，可以进一步提高移动距离的计算准确度。
此外，对于差异波形DWt的各个小区域DWt1～DWtn，随着表示给定差异的像素的数量的最大计数值和最小计数值之间相差越大，权重越大。结果，对于最大值和最小值之间相差大的特征起伏区域，增大权重，而对于起伏小的平坦区域，减小权重。这里，就形状而言，与平坦区域相比，在起伏区域中更容易获得准确的偏移量。因此，可以通过对最大值和最小值之间相差较大的区域分配较大的权重来进一步提高移动距离的计算准确度。
同时，通过计数针对各小区域DWt1～DWtn求出的偏移量获得直方图，并通过使用该直方图中的局部最大值来计算立体物体的移动距离。因此，即使偏移量存在波动，仍可以通过使用局部最大值来更加准确地计算移动距离。
此外，针对静止物体获得偏移量并忽略该偏移量。因此，可以避免由于静止物体所引起的立体物体的移动距离的计算准确度下降的麻烦。
同时，如果在忽略了与静止物体相对应的偏移量之后仍存在多个局部最大值，则中止立体物体的移动距离的计算。因此，可通过反映多个局部最大值来避免错误计算移动距离的麻烦。
尽管已经参考本实施例说明了本发明，但应当理解，本发明不仅限于上述实施例，并且可以在不背离本发明的范围的情况下进行各种变形。
例如，在上述实施例中，基于来自车速传感器20的信号来判断本车辆V的车速。然而，本发明不仅限于该结构，并且可以通过使用在不同时刻拍摄到的多个图像来估计该速度。在这种情况下，无需设置车速传感器。因而，可以简化结构。
根据上述实施例，将在当前时刻拍摄到的图像和在片刻以前的时刻拍摄到的图像转换成鸟瞰图像，并且通过对转换成的鸟瞰图像进行配准来生成差异图像PDt。然后，通过沿着倾斜方向、即沿着立体物体由于将所拍摄到的图像转换成鸟瞰图像而倾斜的方向对所生成的差异图像PDt进行评价来生成差异波形DWt。然而，本发明不仅限于该结构。例如，可以按以下方式生成差异波形DWt：仅将片刻以前的时刻的图像转换成鸟瞰图像；在对转换成的鸟瞰图进行了配准之后，将该转化成的鸟瞰图像再次转换成原始拍摄到的图像；生成该图像和当前时刻的图像之间的差异图像；并且沿着与倾斜方向相对应的方向、即沿着通过将该倾斜方向转换成所拍摄到的图像中的原始方向所获得的方向，对所生成的差异图像进行评价。换言之，不一定要显式地生成实际的鸟瞰图像，只要可以进行以下处理即可：对当前时刻的图像和片刻以前的时刻的图像进行配准，通过使用配准后的两个图像之间的差异生成差异图像PDt，并且沿着当将差异图像PDt转换成鸟瞰图像时立体物体倾斜的方向对该差异图像PDt进行评价。
本申请基于(2010年6月21日在日本提交的)在先日本专利申请2010-140319。在此通过引用包含要求其优先权的日本专利申请2010-140319的全部内容，从而进行保护以免于翻译错误或遗漏部分。

Claims (19)

1.一种移动距离检测装置，包括：
摄像单元，被配置为拍摄预定区域的图像；
配准单元，被配置为在鸟瞰图像上对由所述摄像单元在不同时刻拍摄到的所述预定区域的图像进行位置配准；以及
立体物体检测单元，被配置为基于在不同时刻拍摄到的、由所述配准单元进行了配准的图像的数据之间的差异图像数据来检测立体物体，其中
所述立体物体检测单元计数分别表示所述差异图像数据上的给定差异、并且排列在当将所述预定区域的图像转换成鸟瞰图像时所述立体物体倾斜的方向上的像素的数量，然后产生所计数的像素的频率分布以生成差异波形，并且基于所述差异波形的时间变化计算所述立体物体的移动距离。
2.根据权利要求1所述的移动距离检测装置，其特征在于，还包括：
视点转换单元，被配置为进行视点转换以将由所述摄像单元拍摄到的所述预定区域的图像转换成鸟瞰图像，其中
所述配准单元进行位置配准，以使由所述视点转换单元进行视点转换之后的不同时刻的鸟瞰图像数据的位置彼此重合，以及
基于由所述配准单元进行了配准的不同时刻的鸟瞰图像数据的差异图像数据，所述立体物体检测单元检测所述立体物体，计数分别表示该差异图像数据上的给定差异、并且排列在所述立体物体由于所述视点转换单元进行视点转换而倾斜的方向上的像素的数量，然后产生所计数的像素的频率分布以生成所述差异波形，并且基于所述差异波形的时间变化来计算所述立体物体的移动距离。
3.根据权利要求2所述的移动距离检测装置，其特征在于，还包括：
拖尾检测单元，被配置为从由所述摄像单元拍摄到的图像中的任何图像检测拖尾的发生区域，其中
所述立体物体检测单元将所述差异波形中的、位于由所述拖尾检测单元检测到的拖尾的发生区域内的位置的所述频率分布的计数值设置为等于0。
4.根据权利要求2所述的移动距离检测装置，其特征在于，
所述立体物体检测单元通过使用所述差异波形以最小的误差与在不同时刻生成的另一差异波形重叠时该差异波形的偏移量来计算所述立体物体的移动距离。
5.根据权利要求4所述的移动距离检测装置，其特征在于，
所述立体物体检测单元将在不同时刻生成的差异波形分别划分成多个区域，针对所述多个区域分别计算各所述差异波形以最小的误差与另一所述差异波形重叠时各所述差异波形的偏移量，通过计数针对所述多个区域分别计算出的偏移量来产生直方图，并由此计算所述立体物体的移动距离。
6.根据权利要求5所述的移动距离检测装置，其特征在于，
所述立体物体检测单元向所述多个区域分别分配权重，并且根据所述权重计数针对所述多个区域分别计算出的偏移量以产生所述直方图。
7.根据权利要求6所述的移动距离检测装置，其特征在于，
针对所述差异波形的各个区域，表示给定差异的像素的数量的最大计数值和最小计数值之间相差越大，所述立体物体检测单元分配的权重越大。
8.根据权利要求5所述的移动距离检测装置，其特征在于，
所述立体物体检测单元通过使用通过计数针对所述多个区域分别计算出的偏移量所获得的直方图的局部最大值来计算所述立体物体的移动距离。
9.根据权利要求8所述的移动距离检测装置，其特征在于，
所述立体物体检测单元求出所述摄像单元的移动速度以通过使用所求出的移动速度来计算静止物体的偏移量，并且通过在通过计数针对所述多个区域分别计算出的偏移量所获得的直方图的局部最大值中忽略静止物体的偏移量来计算所述立体物体的移动距离。
10.根据权利要求9所述的移动距离检测装置，其特征在于，
如果即使在忽略了静止物体的偏移量之后仍存在多个局部最大值，则所述立体物体检测单元中止计算所述立体物体的移动距离。
11.一种移动距离检测方法，包括：
进行视点转换，以将由被配置为拍摄预定区域的图像的摄像单元拍摄到的所述预定区域的图像转换成鸟瞰图像；
对所述视点转换之后的不同时刻的鸟瞰图像数据进行位置配准；以及
基于配准后的鸟瞰图像数据之间的差异图像数据检测立体物体，其中
所述基于配准后的鸟瞰图像数据之间的差异图像数据检测立体物体包括：计数分别表示所述差异图像数据上的给定差异、并且排列在所述立体物体由于所述视点转换而倾斜的方向上的像素的数量；产生所计数的像素的频率分布以生成差异波形；并且基于所述差异波形的时间变化计算所述立体物体的移动距离。
12.根据权利要求11所述的移动距离检测方法，其特征在于，还包括：
从由所述摄像单元拍摄到的图像中的任何图像检测拖尾的发生区域，其中
所述基于配准后的鸟瞰图像数据之间的差异图像数据检测立体物体还包括：将所述差异波形中的、位于所述拖尾的发生区域内的位置的所述频率分布的计数值设置为等于0。
13.根据权利要求11所述的移动距离检测方法，其特征在于，
基于所述差异波形的时间变化计算所述立体物体的移动距离包括：通过使用所述差异波形以最小的误差与在不同时刻生成的另一差异波形重叠时该差异波形的偏移量来计算所述立体物体的移动距离。
14.根据权利要求13所述的移动距离检测方法，其特征在于，
通过使用所述差异波形以最小的误差与在不同时刻生成的另一差异波形重叠时该差异波形的偏移量来计算所述立体物体的移动距离包括：
将在不同时刻生成的差异波形分别划分成多个区域；
针对所述多个区域分别计算各所述差异波形以最小的误差与另一所述差异波形重叠时各所述差异波形的偏移量；以及
通过计数针对所述多个区域分别计算出的偏移量来产生直方图以计算所述立体物体的移动距离。
15.根据权利要求14所述的移动距离检测方法，其特征在于，
通过计数针对所述多个区域分别计算出的偏移量来产生直方图以计算所述立体物体的移动距离包括：
向所述多个区域分别分配权重；以及
根据所述权重计数针对所述多个区域分别计算出的偏移量，以产生所述直方图。
16.根据权利要求15所述的移动距离检测方法，其特征在于，
向所述多个区域分别分配权重包括：针对所述差异波形的各个区域，表示给定差异的像素的数量的最大计数值和最小计数值之间相差越大，分配的权重越大。
17.根据权利要求14所述的移动距离检测方法，其特征在于，
通过计数针对所述多个区域分别计算出的偏移量来产生直方图以计算所述立体物体的移动距离包括：通过使用通过计数针对所述多个区域分别计算出的偏移量所获得的直方图的局部最大值来计算所述立体物体的移动距离。
18.根据权利要求17所述的移动距离检测方法，其特征在于，
通过使用通过计数针对所述多个区域分别计算出的偏移量所获得的直方图的局部最大值来计算所述立体物体的移动距离包括：
求出所述摄像单元的移动速度以通过使用所求出的移动速度来计算静止物体的偏移量；以及
通过在通过计数针对所述多个区域分别计算出的偏移量所获得的直方图的局部最大值中忽略静止物体的偏移量来计算所述立体物体的移动距离。
19.根据权利要求18所述的移动距离检测方法，其特征在于，
通过使用通过计数针对所述多个区域分别计算出的偏移量所获得的直方图的局部最大值来计算所述立体物体的移动距离还包括：如果即使在忽略了静止物体的偏移量之后仍存在多个局部最大值，则中止计算所述立体物体的移动距离。
CN2011101699772A 2010-06-21 2011-06-21 移动距离检测装置和移动距离检测方法 Active CN102288165B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010140319A JP5251927B2 (ja) 2010-06-21 2010-06-21 移動距離検出装置及び移動距離検出方法
JP2010-140319 2010-06-21

Publications (2)

Publication Number Publication Date
CN102288165A true CN102288165A (zh) 2011-12-21
CN102288165B CN102288165B (zh) 2013-09-25

Family

ID=44510633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101699772A Active CN102288165B (zh) 2010-06-21 2011-06-21 移动距离检测装置和移动距离检测方法

Country Status (4)

Country Link
US (1) US8854456B2 (zh)
EP (1) EP2400315B1 (zh)
JP (1) JP5251927B2 (zh)
CN (1) CN102288165B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104002730A (zh) * 2013-02-27 2014-08-27 阿尔派株式会社 立体物检测装置、驾驶支援装置以及立体物检测方法
CN104094311A (zh) * 2012-03-02 2014-10-08 日产自动车株式会社 立体物检测装置
CN104115201A (zh) * 2012-02-23 2014-10-22 日产自动车株式会社 立体物检测装置
CN104115186A (zh) * 2012-02-23 2014-10-22 日产自动车株式会社 立体物检测装置
CN104115203A (zh) * 2012-03-01 2014-10-22 日产自动车株式会社 立体物检测装置
CN104508725A (zh) * 2012-07-27 2015-04-08 日产自动车株式会社 三维物体检测装置和三维物体检测方法
CN104509100A (zh) * 2012-07-27 2015-04-08 日产自动车株式会社 三维物体检测装置以及三维物体检测方法
CN104508723A (zh) * 2012-07-27 2015-04-08 歌乐株式会社 图像处理装置
CN104508726A (zh) * 2012-07-27 2015-04-08 日产自动车株式会社 三维物体检测装置和三维物体检测方法
CN104685866A (zh) * 2012-07-27 2015-06-03 歌乐株式会社 三维物体检测装置以及三维物体检测方法
WO2015139588A1 (en) * 2014-03-17 2015-09-24 Tencent Technology (Shenzhen) Company Limited Fault tolerant method and apparatus for tempo sound and user operation
CN106461779A (zh) * 2014-04-22 2017-02-22 法雷奥开关和传感器有限责任公司 用于检测机动车辆的超声波传感器的阻挡状态的方法，超声波传感器设备和机动车辆
CN107924192A (zh) * 2015-07-24 2018-04-17 日产自动车株式会社 自身位置推定装置及自身位置推定方法
CN112014822A (zh) * 2020-08-28 2020-12-01 北京川速微波科技有限公司 车载雷达测量数据识别方法、装置、介质和电子装置
CN112748671A (zh) * 2020-12-28 2021-05-04 京东数科海益信息科技有限公司 配送车厢、配送装置、配送物品的状态控制方法及装置

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5830876B2 (ja) * 2011-02-18 2015-12-09 富士通株式会社 距離算出プログラム、距離算出方法及び距離算出装置
US9740943B2 (en) * 2011-12-19 2017-08-22 Nissan Motor Co., Ltd. Three-dimensional object detection device
WO2013121911A1 (ja) * 2012-02-16 2013-08-22 日産自動車株式会社 立体物検出装置及び立体物検出方法
JP5794379B2 (ja) * 2012-02-22 2015-10-14 日産自動車株式会社 立体物検出装置及び立体物検出方法
JP5938940B2 (ja) * 2012-02-24 2016-06-22 日産自動車株式会社 立体物検出装置
JP5804180B2 (ja) * 2012-03-01 2015-11-04 日産自動車株式会社 立体物検出装置
US9830519B2 (en) 2012-03-01 2017-11-28 Nissan Motor Co., Ltd. Three-dimensional object detection device
WO2013129355A1 (ja) * 2012-03-01 2013-09-06 日産自動車株式会社 立体物検出装置
JP5783319B2 (ja) * 2012-03-02 2015-09-24 日産自動車株式会社 立体物検出装置及び立体物検出方法
US9754172B2 (en) 2012-03-02 2017-09-05 Nissan Motor Co., Ltd. Three-dimenisional object detection device
JP5668891B2 (ja) * 2012-03-02 2015-02-12 日産自動車株式会社 立体物検出装置
JP5915728B2 (ja) * 2012-03-02 2016-05-11 日産自動車株式会社 立体物検出装置
JP5790867B2 (ja) * 2012-03-02 2015-10-07 日産自動車株式会社 立体物検出装置
JP5817913B2 (ja) * 2012-03-06 2015-11-18 日産自動車株式会社 立体物検出装置及び立体物検出方法
US9141870B2 (en) 2012-04-16 2015-09-22 Nissan Motor Co., Ltd. Three-dimensional object detection device and three-dimensional object detection method
WO2014017602A1 (ja) * 2012-07-27 2014-01-30 日産自動車株式会社 立体物検出装置および立体物検出方法
WO2014017603A1 (ja) * 2012-07-27 2014-01-30 日産自動車株式会社 立体物検出装置および立体物検出方法
WO2014017518A1 (ja) * 2012-07-27 2014-01-30 日産自動車株式会社 立体物検出装置及び立体物検出方法
JP6011110B2 (ja) * 2012-07-27 2016-10-19 日産自動車株式会社 立体物検出装置および立体物検出方法
EP2879115B1 (en) 2012-07-27 2018-09-05 Nissan Motor Co., Ltd Three-dimensional object detection device
RU2571368C1 (ru) * 2012-07-27 2015-12-20 Ниссан Мотор Ко., Лтд. Устройство обнаружения трехмерных объектов, способ обнаружения трехмерных объектов
US9589193B2 (en) 2012-07-27 2017-03-07 Nissan Motor Co., Ltd Three-dimensional object detection device and three-dimensional object detection method
WO2014017318A1 (ja) * 2012-07-27 2014-01-30 日産自動車株式会社 立体物検出装置、立体物検出方法及び異物検出装置
CN104509102B (zh) * 2012-07-27 2017-12-29 日产自动车株式会社 三维物体检测装置和异物检测装置
JP5695000B2 (ja) * 2012-08-13 2015-04-01 本田技研工業株式会社 車両周辺監視装置
JP6328369B2 (ja) 2012-11-27 2018-05-23 クラリオン株式会社 車載用制御装置
KR101896718B1 (ko) * 2012-12-12 2018-09-07 현대자동차주식회사 이동 센서를 이용한 차량 주변 감지시스템 및 방법
JP6179249B2 (ja) * 2013-08-01 2017-08-16 日産自動車株式会社 車両検出装置
CN105136120A (zh) * 2015-08-24 2015-12-09 陈建武 物体位移图像检测系统及方法
US10336326B2 (en) * 2016-06-24 2019-07-02 Ford Global Technologies, Llc Lane detection systems and methods
JP2018105754A (ja) * 2016-12-27 2018-07-05 富士通株式会社 距離算出プログラム、流量測定プログラム、方法および装置
JP7327992B2 (ja) * 2019-05-10 2023-08-16 フォルシアクラリオン・エレクトロニクス株式会社 立体物検出装置、及び立体物検出方法
CN111914287B (zh) * 2020-06-17 2023-03-31 西安交通大学 一种轨迹隐私保护的改进dtw度量方法、存储设备及设备
CN115423695A (zh) * 2022-07-15 2022-12-02 清华大学 一种用于城市预测任务的街景图像采样方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007300559A (ja) * 2006-05-02 2007-11-15 Alpine Electronics Inc 車両周辺画像提供装置及び車両周辺画像における影補正方法
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP2009093332A (ja) * 2007-10-05 2009-04-30 Nissan Motor Co Ltd 車両周辺画像処理装置及び車両周辺状況提示方法
JP2010109451A (ja) * 2008-10-28 2010-05-13 Panasonic Corp 車両周囲監視装置及び車両周囲監視方法
JP2010128939A (ja) * 2008-11-28 2010-06-10 Aisin Seiki Co Ltd 鳥瞰画像生成装置
US20100149333A1 (en) * 2008-12-15 2010-06-17 Sanyo Electric Co., Ltd. Obstacle sensing apparatus

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6430303B1 (en) * 1993-03-31 2002-08-06 Fujitsu Limited Image processing apparatus
US5889878A (en) * 1994-07-29 1999-03-30 Kabushiki Kaisha Toshiba Moving object image pickup apparatus
JP3568621B2 (ja) * 1995-04-20 2004-09-22 株式会社日立製作所 地図表示装置
JP3419968B2 (ja) * 1995-09-12 2003-06-23 株式会社東芝 画像認識装置及び方法
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
JP4207717B2 (ja) * 2003-08-26 2009-01-14 株式会社日立製作所 個人認証装置
JP2006218019A (ja) * 2005-02-09 2006-08-24 Canon Inc 血管画像取得装置、生体画像取得装置、およびこれを用いた個人認証システム
JP4696991B2 (ja) * 2006-03-22 2011-06-08 日産自動車株式会社 動き検出方法および動き検出装置
US7728879B2 (en) * 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
US20080298642A1 (en) * 2006-11-03 2008-12-04 Snowflake Technologies Corporation Method and apparatus for extraction and matching of biometric detail
JP2010522379A (ja) * 2007-03-21 2010-07-01 ルミダイム インコーポレイテッド 局所的に不変である特徴に基づく生体認証
US8503728B2 (en) * 2007-10-30 2013-08-06 Nec Corporation Road marking image processing device, road marking image processing method, and program
JP5057936B2 (ja) * 2007-11-09 2012-10-24 アルパイン株式会社 鳥瞰画像生成装置および方法
JP4956452B2 (ja) * 2008-01-25 2012-06-20 富士重工業株式会社 車両用環境認識装置
JP5253017B2 (ja) * 2008-07-03 2013-07-31 アルパイン株式会社 周辺監視装置、障害物検出方法及びコンピュータプログラム
US8229178B2 (en) * 2008-08-19 2012-07-24 The Hong Kong Polytechnic University Method and apparatus for personal identification using palmprint and palm vein
JP2010140319A (ja) 2008-12-12 2010-06-24 Hitachi Ltd 半導体装置
TW201044284A (en) * 2009-06-09 2010-12-16 Egis Technology Inc Image sensing device adapted to flat surface design
TW201103787A (en) * 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007300559A (ja) * 2006-05-02 2007-11-15 Alpine Electronics Inc 車両周辺画像提供装置及び車両周辺画像における影補正方法
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP2009093332A (ja) * 2007-10-05 2009-04-30 Nissan Motor Co Ltd 車両周辺画像処理装置及び車両周辺状況提示方法
JP2010109451A (ja) * 2008-10-28 2010-05-13 Panasonic Corp 車両周囲監視装置及び車両周囲監視方法
JP2010128939A (ja) * 2008-11-28 2010-06-10 Aisin Seiki Co Ltd 鳥瞰画像生成装置
US20100149333A1 (en) * 2008-12-15 2010-06-17 Sanyo Electric Co., Ltd. Obstacle sensing apparatus

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9558556B2 (en) 2012-02-23 2017-01-31 Nissan Motor Co., Ltd. Three-dimensional object detection device
CN104115201A (zh) * 2012-02-23 2014-10-22 日产自动车株式会社 立体物检测装置
CN104115186A (zh) * 2012-02-23 2014-10-22 日产自动车株式会社 立体物检测装置
US9783127B2 (en) 2012-02-23 2017-10-10 Nissan Motor Co., Ltd. Three-dimensional object detection device
CN104115203A (zh) * 2012-03-01 2014-10-22 日产自动车株式会社 立体物检测装置
CN104094311A (zh) * 2012-03-02 2014-10-08 日产自动车株式会社 立体物检测装置
CN104094311B (zh) * 2012-03-02 2017-05-31 日产自动车株式会社 立体物检测装置
CN104508723B (zh) * 2012-07-27 2016-10-12 歌乐株式会社 图像处理装置
CN104685866B (zh) * 2012-07-27 2018-12-14 歌乐株式会社 三维物体检测装置以及三维物体检测方法
CN104685866A (zh) * 2012-07-27 2015-06-03 歌乐株式会社 三维物体检测装置以及三维物体检测方法
CN104508726A (zh) * 2012-07-27 2015-04-08 日产自动车株式会社 三维物体检测装置和三维物体检测方法
CN104509100B (zh) * 2012-07-27 2016-06-15 日产自动车株式会社 三维物体检测装置以及三维物体检测方法
US9862320B2 (en) 2012-07-27 2018-01-09 Nissan Motor Co., Ltd. Three-dimensional object detection device, and three-dimensional object detection method
CN104508723A (zh) * 2012-07-27 2015-04-08 歌乐株式会社 图像处理装置
US9569675B2 (en) 2012-07-27 2017-02-14 Nissan Motor Co., Ltd. Three-dimensional object detection device, and three-dimensional object detection method
CN104508725A (zh) * 2012-07-27 2015-04-08 日产自动车株式会社 三维物体检测装置和三维物体检测方法
CN104509100A (zh) * 2012-07-27 2015-04-08 日产自动车株式会社 三维物体检测装置以及三维物体检测方法
CN104002730A (zh) * 2013-02-27 2014-08-27 阿尔派株式会社 立体物检测装置、驾驶支援装置以及立体物检测方法
WO2015139588A1 (en) * 2014-03-17 2015-09-24 Tencent Technology (Shenzhen) Company Limited Fault tolerant method and apparatus for tempo sound and user operation
CN106461779A (zh) * 2014-04-22 2017-02-22 法雷奥开关和传感器有限责任公司 用于检测机动车辆的超声波传感器的阻挡状态的方法，超声波传感器设备和机动车辆
CN107924192A (zh) * 2015-07-24 2018-04-17 日产自动车株式会社 自身位置推定装置及自身位置推定方法
CN107924192B (zh) * 2015-07-24 2019-03-19 日产自动车株式会社 自身位置推定装置及自身位置推定方法
CN112014822A (zh) * 2020-08-28 2020-12-01 北京川速微波科技有限公司 车载雷达测量数据识别方法、装置、介质和电子装置
CN112014822B (zh) * 2020-08-28 2024-04-09 北京川速微波科技有限公司 车载雷达测量数据识别方法、装置、介质和电子装置
CN112748671A (zh) * 2020-12-28 2021-05-04 京东数科海益信息科技有限公司 配送车厢、配送装置、配送物品的状态控制方法及装置

Also Published As

Publication number Publication date
EP2400315A1 (en) 2011-12-28
EP2400315B1 (en) 2013-10-30
JP5251927B2 (ja) 2013-07-31
CN102288165B (zh) 2013-09-25
JP2012003662A (ja) 2012-01-05
US8854456B2 (en) 2014-10-07
US20110310245A1 (en) 2011-12-22

Similar Documents

Publication Publication Date Title
CN102288165B (zh) 移动距离检测装置和移动距离检测方法
EP2819090B1 (en) Three-dimensional object detection device
JP6126094B2 (ja) 車載用画像認識装置
JP5776795B2 (ja) 立体物検出装置
JP2014225220A (ja) 移動面情報検出装置、及びこれを用いた移動体機器制御システム並びに移動面情報検出用プログラム
CN102834853B (zh) 车辆周围监测装置、车辆周围监测方法及车辆装置
EP2821958A1 (en) Three-dimensional object detection device
JP6315308B2 (ja) 制御用対象物識別装置、移動体機器制御システム及び制御用対象物認識用プログラム
RU2635280C2 (ru) Устройство обнаружения трехмерных объектов
EP2819115B1 (en) Three-dimensional object detection device
JP2013186663A (ja) 横断歩道認識装置および横断歩道認識方法
CN104094311A (zh) 立体物检测装置
EP2821981A1 (en) Three-dimensional object detection device
JP2016206801A (ja) 物体検出装置、移動体機器制御システム及び物体検出用プログラム
JP2014130429A (ja) 撮像装置及び立体物領域検出用プログラム
JP2009241636A (ja) 運転支援システム
JP5950193B2 (ja) 視差値演算装置及びこれを備えた視差値演算システム、移動面領域認識システム、視差値演算方法、並びに、視差値演算用プログラム
WO2013129095A1 (ja) 立体物検出装置及び立体物検出方法
JP5724570B2 (ja) 走行支援装置及び走行支援方法
JP5938940B2 (ja) 立体物検出装置
WO2021250934A1 (ja) 画像処理装置および画像処理方法
JPWO2013132970A1 (ja) 立体物検出装置及び立体物検出方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant