CN101014975A - 物体检测装置 - Google Patents

物体检测装置 Download PDF

Info

Publication number
CN101014975A
CN101014975A CNA2005800304294A CN200580030429A CN101014975A CN 101014975 A CN101014975 A CN 101014975A CN A2005800304294 A CNA2005800304294 A CN A2005800304294A CN 200580030429 A CN200580030429 A CN 200580030429A CN 101014975 A CN101014975 A CN 101014975A
Authority
CN
China
Prior art keywords
image
brightness
candidate
zone
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800304294A
Other languages
English (en)
Other versions
CN101014975B (zh
Inventor
气贺泽征二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101014975A publication Critical patent/CN101014975A/zh
Application granted granted Critical
Publication of CN101014975B publication Critical patent/CN101014975B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

物体检测装置包括:计算图像中的亮度变化的亮度变化计算部(103)、使用从多个图像测量的三维信息检测立体物的立体物检测部(105)、参照立体物检测结果和亮度变化算出结果提取移动物体候补区域和停止物体候补区域的物体候补提取部(106)、判定候补区域是否为物体的物体判定部(107)。从而,物体检测装置参照作为立体物被检测到的区域内的亮度变化,判定所检测到的立体物是否为移动物体或停止物体。因此,不使用背景差分处理即可精确检测到图像中的停止物体。

Description

物体检测装置
技术领域
本发明涉及从监视空间拍摄的图像中进行图像识别以检测物体的物体检测装置。
背景技术
作为检测图像中的物体的现有技术,已知的有帧间差分或背景差分的方法。例如,图10所示的由框图构成的物体检测装置中,摄像装置(カメラ)1011拍摄物体和背景,A/D转换部1012将从摄像装置1011得到的图像的模拟信号转换为数字信号。
现输入图像蓄积部1013蓄积从A/D转换部1012传输的现在的图像,即现图像输入。前输入图像蓄积部1014蓄积从现输入图像蓄积部1013传输的现输入图像之前的帧的图像、即前输入图像。背景更新部1015根据预定的背景更新步骤更新背景。背景图像蓄积部1016蓄积背景更新部1015中作成的背景图像。
时间差分二值化部1017计算从现输入图像蓄积部1013传输的现输入图像和从前输入图像蓄积部1014传输的前输入图像之差,即进行差分处理。时间差分二值化部1017使用预定的阈值,将进行差分处理的图像信号二值化为1或0。背景差分二值化部1018进行从现输入图像蓄积部1013传输的现输入图像和从背景图像蓄积部1016传输的背景图像的差分处理。背景差分二值化部1018使用预定的阈值,将进行差分处理的图像信号二值化为1或0。
移动物体区域图像提取部1019仅提取所有图像区域中移动物体所占的区域。移动物体区域图像蓄积部1020二值化移动物体区域提取部1019的图像并保存二值图像。停止物体区域图像提取部1021仅提取所有图像区域中停止物体所占的区域。停止物体区域图像蓄积部1022二值化停止物体区域提取部1021的图像并保存二值图像。
检测结果判定部1023,基于从移动物体区域图像蓄积部1020传输的移动物体区域图像,和从停止物体区域图像蓄积部1022传输的停止物体区域图像,判定所检测到的停止物体是否有误。停止物体区域判定图像蓄积部1024蓄积将检测结果判定部1023的判定结果附加到停止物体区域而获得的为图像数据的二维图像。最后,事件检测部1025接受检测结果判定部1023的判定结果,并按照预定的步骤而检测摄像装置1011的拍摄范围内的事件。
像这样,在现有技术中,通过帧间差分和背景差分的组合,将移动物体和停止物体两者都检测出。现有技术根据检测到的结果仅更新没有物体存在的区域的背景图像。该现有技术公开于特开2002-150295号公报(第2-8页、图1)。
但是,现有的物体检测方法中,使用背景差分检测停止物体。因此,如果物体检测结果错误则不能正确地更新背景,有对之后的检测结果会产生不良影响的问题。
发明内容
本发明在上述背景下得到。本发明的目的为提供不使用背景差分即可精确检测停止物体的物体检测装置。
本发明的一方式为物体检测装置。该物体检测装置包括:拍摄预定的监视空间的多个摄像部,存储由多个摄像部拍摄的多个图像中的至少一个图像的图像存储部,计算所存储的过去的图像和现在的图像的亮度变化量的亮度变化计算部,根据由多个摄像部拍摄的多个图像计算三维信息的三维信息计算部,基于由三维信息计算部计算的三维信息检测监视空间内的立体物的立体物检测部,基于与由立体物检测部检测到的物体相对应的图像区域中的亮度变化,将亮度变化大的物体作为移动物体候补而提取,并将亮度变化小的物体作为停止物体候补而提取的物体候补提取部。
本发明的另一方式为物体检测系统。该物体检测系统包括:上述的物体检测装置,以及存储物体检测装置检测到物体时的图像和检测到的物体的参数信息的至少之一的存储装置。
本发明的又一方式为物体检测方法。该物体检测方法包括:通过多个摄像部拍摄预定的监视空间,存储由多个摄像部拍摄的多个图像中的至少一个图像,计算所存储的过去的图像和现在的图像的亮度变化量,根据由多个摄像部拍摄的图像计算三维信息,基于三维信息检测监视空间内的物体,基于与所检测到的物体相对应的图像区域的亮度变化,将亮度变化大的物体作为移动物体候补而提取,将亮度变化小的部分作为停止物体候补而提取。
像下面说明的那样,本发明还具有的其他方式。因此,本发明的公开意在提供本发明的部分方式,而不是对于发明的范围和本发明的权利要求作任何限制。
附图说明
图1为本发明第1实施方式中物体检测装置的框图。
图2为说明本发明第1实施方式中立体图像处理中三维信息测量方法的图。
图3为说明本发明第1实施方式中图像相似性的评价方法的图。
图4为说明本发明第1实施方式中立体物的检测方法的图。
图5为说明本发明第1实施方式中标号处理的图。
图6为说明本发明第1实施方式中物体候补提取方法的图。
图7为本发明第2实施方式中物体检测装置的框图。
图8为本发明第3实施方式中物体检测装置的框图。
图9为本发明第4实施方式中物体检测系统的框图。
图10为现有的物体检测装置的框图。
附图标记说明
101  摄像部
102  图像存储部
103  亮度变化计算部
104  三维信息计算部
105  立体物检测部
106  物体候补提取部
107  物体判定部
108  位置变化计算部
109  物体检测部
301  左图像
302  右图像
303、304  块
305  检索范围
401  物体
402  基准时刻的三维信息
403  现在的三维信息
501  立体物区域
502  标号
503  标号结果
601  移动物体
602  停止物体
603  物体信息
604  差分信息
605  移动物体候补
606  停止物体候补
701  物体分割部
702  物体候补提取部
801  候补区域存储部
802  候补区域整合部
901  物体检测装置
902  存储装置
具体实施方式
下面详细说明本发明。但是,下面的详细说明以及附图都不对本发明做出限定。取而代之的是,本发明的范围由权利要求予以界定。
本发明的物体检测装置包括:拍摄预定的监视空间的多个摄像部,存储多个摄像部拍摄的多个图像中的至少一个图像的图像存储部,计算所存储的过去的图像和现在的图像的亮度变化量的亮度变化计算部,根据多个摄像部拍摄的多个图像计算三维信息的三维信息计算部,根据三维信息计算部算出的三维信息检测监视空间中的立体物的立体物检测部,基于与立体物检测部所检测到的物体相对应的图像区域中的亮度变化,将亮度变化大的物体作为移动物体候补而提取,并将亮度变化小的物体作为停止物体候补而提取的物体候补提取部。通过该结构可以不使用背景差分处理而精确的检测停止物体。
该物体检测装置包括:当物体候补区域大于预定的阈值时,判定物体候补区域为物品的物体判定部,仅计算被判定为移动物体的物体的位置变化的位置变化计算部,仅检测出进行预定动作的物体的物体检测部。该结构更加适合于物体检测。
该物体检测装置包括:将与根据三维信息检测到的物体相对应的图像区域分割为亮度变化大的部分和亮度变化小的部分的物体分割部。通过该结构可以分离移动物体和停止物体,从而可以精确检测到移动物体。
该物体检测装置包括:存储停止物体候补的区域的候补区域存储部,整合在连续的预定时间期间存储的停止物体候补的区域以产生整合区域的候补区域整合部,当整合区域的尺寸大于预定的阈值时,将整合区域作为停止物体检测出的物体判定部。通过该结构可以容易地捕捉到停止物体的特征,并精确检测停止物体。
本发明的物体检测系统包括:上述的物体检测装置,存储物体检测装置检测到物体时的图像以及检测到的物体的参数信息(specification information)的至少之一的存储装置。通过该结构可以检测到进行预定动作的物体,并存储该物体的信息。
本发明的物体检测方法包括通过多个摄像部拍摄预定的监视空间,存储由多个摄像部拍摄的多个图像中的至少一个图像,计算存储的过去的图像和现在的图像的亮度的变化量,根据由多个摄像部所拍摄的图像计算三维信息,根据三维信息检测监视空间中的物体,基于与检测到的物体相对应的图像区域的亮度变化,将亮度变化大的物体作为移动物体候补而提取,将亮度变化小的物体作为停止物体候补而提取。通过该方法可以不需要使用背景差分处理即可以精确检出测停止物体。
该物体检测方法包括:当物体候补的区域大于预定的阈值时,将物体候补的区域作为物体检测出,仅计算被判定为移动物体的物体的位置变化,仅检测进行预定动作的物体。通过该方法更适合检测物体。
该物体检测方法包括:将与基于三维信息检测到的物相对应的图像区域分割为亮度变化大的部分和亮度变化小的部分,检测出移动物体候补和停止物体候补。通过该方法可以分离移动物体和停止物体,并精确检测到移动物体。
该物体检测方法包括存储停止物体候补的区域,整合连续的预定时间期间存储的停止物体候补的区域以产生整合区域,以及当整合区域的尺寸大于预定的阈值时,将整合区域作为停止物体检测出。通过该方法可以捕捉到停止物体的特征并精确检测到停止物体。
如上所述,本发明提供不使用背景差分处理即可检测到停止物体的技术。
下面参照附图说明本发明的实施方式的物体检测装置。
图1所示为本发明的第1实施方式的物体检测装置。
图1中,本发明的实施方式的物体检测装置包括:拍摄预定的空间的多个摄像部101,存储由多个摄像部101所拍摄的多个图像中的至少一个图像的图像存储部102,计算并得出图像存储部102所存储的过去的图像和现在的图像的亮度变化量的亮度变化计算部103,根据多个摄像部101所拍摄的多个图像计算三维信息的三维信息计算部104,基于由三维信息计算部104计算的三维信息检测监视空间中的立体物的立体物检测部105,基于由立体物检测部105检测的物体的信息和由亮度变化计算部103计算的亮度变化量,提取移动物体候补和停止物体(静态物体)候补的物体候补提取部106,当由物体候补提取部106提取的候补区域大于预定的阈值时,判定候补区域为物体的物体判定部107,仅计算被判定为移动物体的物体的位置变化的位置变化计算部108和仅检测出进行预定的动作的物体的物体检测部109。
图1中,摄像部101由包括CCD等成像元件的摄像装置构成。而且,由多个摄像部101构成立体摄像装置(stereoscopic camera)。与图像处理相关的各种要素由计算机构成。各模块的功能亦可通过软件实现。计算机可以装备于摄像装置中。
下面说明如此构成的物体检测装置的操作。
首先,多个摄像部101拍摄预定的拍摄空间,图像存储部102依次存储图像。存储的图像可为由多个摄像部101获得的多个图像中的至少一个图像。而且,亮度变化计算部103计算图像存储部102所存储的过去的图像和现在的图像的亮度变化量。例如亮度的差分值Diff(X,Y)可作为亮度变化量,而计算出。将过去的图像设为IMG0(X,Y),将现在的图像设为IMG1(X,Y),则差分值Diff(X,Y)由下式表示。
Diff(X,Y)=IMG1(X,Y)-IMG0(X,Y)
其中,亮度变化量以像素为单位而算出。可选择地,也可以通过将多个像素的区域作为一个单位而算出亮度变化量。还可以使用归一化校对值(normalized correction value)而不用差分。
差分值Diff(X,Y)与预定的阈值DTH相比较。
Diff(X,Y)≥DTH
如果满足上式,则认为该像素(pixel in question)有差分。而将差分信息SBN(X,Y)设定如下。
SBN(X,Y)=1
否则,如下设定差分信息SBN(X,Y)。
SBN(X,Y)=0
然后,三维信息计算部104根据由多个摄像部101获得的多个图像,通过立体图像处理,从而算出三维信息。
此处,通过立体图像处理而测量三维信息的方法使用图2进行说明。图2中表示实空间坐标系的坐标使用x,y,z,表示摄像装置坐标系的坐标使用X,Y。为了区别两台摄像部,左摄像装置的摄像平面上的坐标使用XL,YL,右摄像装置的摄像平面上的坐标使用XR,YR。x轴、XL轴和XR轴彼此平行,并且y轴、YL轴和YR轴彼此平行。而且z轴与两台摄像部的光轴平行。实空间坐标系的原点O设定在左摄像装置的投影中心和右摄像装置的投影中心的中点上。投影中心之间的距离由2a表示。投影中心和图像平面之间的距离(焦距)用f表示。
设若实空间内的点p(x,y,z)分别在左图像平面上的点PL(XL,YL)、右图像平面上的点PR(XR,YR)成像。基于立体图像处理的三维测量以图像平面之一(此处为左图像平面)为基准。该基准图像平面上的点PL所对应的点可以在另一个图像平面找到。然后,基于三角测量的原理求得点p的空间坐标(x,y,z)。此处,由于两台摄像装置的光轴彼此平行地安装在同一平面上,因此满足YR=YL。
图像平面上的坐标和实空间上的坐标之间的关系如下式。
x=a(XL+XR)/(XL-XR)
y=2aYL/(XL-XR)
z=2af/(XL-XR)
此处,d=XL-XR,称为视差(parallax)。
因此获得下式。
XL=(x+a)f/z
XR=(x-a)f/z
YL=YR=yf/z
因此,下面的关系为真。
XL>XR并且YL=YR
这表示,一个图像平面上的一点PL对应于另一个图像平面上的点PR,点PR与点PL存在于同一扫描线上,并且点PR存在于XL>XR的范围内。因此,可以通过检查沿着可能存在对应点的直线(同一扫描线)的小区域中的图像的相似性,而找到一个图像平面上的一点所对应的另一个图像平面的点。
下面说明相似性的评价方法。例如参照图3说明的,实吉等人著的《使用三维图像辨认技术的驾驶辅助系统》(日本汽车工程师学会,技术论文发表的学报,924,pp.169-172(1992-10))中记载的方法。该方法使用左图像作为基准,左图像301分割为块303。块303为分割单元,块303的尺寸为n×m像素。在该方法中,检索各被分割的块在右图像302中的相应的区域,并求得视差d。该方法中,使用下式作为相似度评价式以确定相应区域。
C=∑|Li-Ri|
其中,Li、Ri分别表示各左块303、右块304中的第i个像素的亮度。在检索范围305中,通过一次按一个像素移动右块304计算相似度评价值C。相似度评价值C为最小的位置确定为对应区域。该相似度评价在左图像301的每个块中进行。通过该方法可以求得左图像301的所有块的三维信息。三维信息包括视差或使用上述的等式变换而获得的距离z。
如上所述,通过立体图像处理测量监视空间的三维信息。另外,作为通过立体图像处理的三维测量方法除上述的方法之外,还提出了其他不同的方法。本发明不限于上述的三维测量方法。
立体物检测部105基于由三维信息计算部104算出的三维信息检测出监视空间中的立体物。立体物检测方法为,例如,比较基准时刻的三维信息和现在的三维信息而将有变化的部分作为立体物而检测出。参照图4说明立体物的检测方法。
基准时刻的三维信息402设为Z0(X,Y)。作为基准时刻的三维信息402,选择当没有立体物存在的状态的时刻的信息。在之后的时刻在摄像空间内出现物体401,设三维信息403变为Z1(X,Y)。在此时,与物体401相对应的区域中三维信息变化。计算出该变化量。如果变化量大于预定的阈值ZTH,则认为物体已经出现。即如果满足下式,判定在坐标(X,Y)的位置出现立体物。
Z0(X,Y)-Z 1(X,Y)≥ZTH
如果判定立体物出现,则物体信息OBJ(X,Y)如下设定。
OBJ(X,Y)=1
否则,物体信息OBJ(X,Y)如下设定。
OBJ(X,Y)=0
而且,对判定为立体物的区域进行标号处理,立体物被检测为块。下面参照图5说明标号处理。
标号处理使用上下左右四个方向的近旁相邻的区域(亦可使用包含斜方向的八个方向的近旁相邻区域)。当相邻的区域为立体物区域501时,相同的标号502分配到该区域。对全图像进行标号处理。通过该方法,立体物区域的各块分配相同的标号。如标号结果503所示,各立体物区域作为块被检测出。即,OBJ(X,Y)=1,并且分配相同标号的区域被视为一个块。
物体候补提取部106基于由立体物检测部105检测到的物体相对应的图像区域的亮度变化,提取移动物体候补和停止物体候补。物体候补提取部106将亮度变化大的物体作为移动物体候补而提取,将亮度变化小的物体作为停止物体候补而提取。参照图6说明候补区域的计算方法的一例。在该例中,在拍摄空间内混有移动物体601和停止物体602,并且检测出这些物体。
物体候补提取部106计算由立体物检测部105检测到的立体物的各块中包含的“具有差分的像素数S1”和“不具有差分的像素数S0”。此处,在一个立体物的区域中,物体信息603为OBJ(X,Y)=1,并且被分配相同的标号。像素数S1为在一个立体物的区域内,作为SBN(X,Y)具有下述值的像素数。SBN(X,Y)为差分信息604,其通过亮度变化计算部103算出。
SBN(X,Y)=1
而且,像素数S1为在一个立体物的区域中,作为SBN(X,Y)具有下述的值的像素数。
SBN(X,Y)=0
当下式关系为真时,该物体为移动物体候补605。
S1>S0
当下式关系为真时,该物体为停止物体候补606。
S1<S0
物体判定部107在由物体候补提取部106提取的物体候补区域比预定的尺寸大时,判定物体候补区域为物体。物体判定部107对满足OBJ(X,Y)=1并且被分配给相同标号的区域的像素数进行计数。该像素数为物体候补的尺寸。当该像素数大于预定的阈值RTH时,物体判定部107判定物体候补区域为物体。此处,对应于作为物体被检测出的对象的种类而确定预定的阈值RTH。
位置变化计算部108仅计算被判定为移动物体的物体的位置变化。
位置变化计算部108对于被物体判定部107判定为移动物体的物体进行计算处理。位置变化计算部108求出从在过去的时刻检测到的移动物体的位置到现在的位置的变化。作为位置变化算出方法,有例如计算移动物体区域的重心位置的变化的方法。
位置变化计算部108计算在过去的时刻检测到的全部的移动物体区域的重心位置,以及现在检测到的全部的移动物体区域的重心位置。位置变化计算部108判定在过去的时刻检测到的各物体的重心位置移动到了为最接近的位置处的现在重心位置。或者,设若某物体的现在的重心位置不被判定为是从过去的重心位置移动而来的。这种情况下,认为该物体为新出现的物体。此后,计算出该物体的位置变化。设若位置计算部108不能判定物体从过去的重心位置所移动到的现在的位置。这种情况下,认为该物体消失,中止该物体的位置变化的计算。
最后,物体检测部109仅检测出进行预定动作的物体。例如,在检测到在图像中的预定区域内移动的物体的情况下,物体检测部109参照由位置变化计算部108计算的物体的位置变化。当某物体的重心位置在过去的时刻在所预定的区域外,并且该物体的现在的重心位置移动到预定的区域时,物体检测部109检测到该物体。
从而,本发明的第1实施方式的物体检测装置基于三维信息检测到立体物,通过帧间差分计算亮度变化,并判定立体物是为移动物体或停止物体(静止物体)。因此即使不使用背景差分处理,也可精确检测到停止物体。
下面,图7所示为本发明的第2实施方式的物体检测装置。
图7中,摄像部101、图像存储部102、亮度变化计算部103、三维信息计算部104、立体物检测部105、物体判定部107、位置变化计算部108和物体检测部109与第1实施方式相同。图7的物体检测装置进一步包括物体分割部701和物体候补提取部702。物体分割部701将由立体物检测部105检测到的物体所对应的图像区域分割为亮度变化大的部分和亮度变化小的部分。物体候补提取部702将由物体分割部701所分割的各区域作为移动物体候补或停止物体候补而提取。
下面说明如此构成的物体检测装置的操作。
首先,摄像部101、图像存储部102、亮度变化计算部103、三维信息计算部104和立体物检测部105进行与第1实施方式相同的操作,计算出差分信息SBN(X,Y)和物体信息OBJ(X,Y)。
物体分割部701将由立体物检测部105检测出的物体所对应的图像区域分割为亮度变化大的部分和亮度变化小的部分。物体分割部701提取满足下式的坐标(X,Y)作为在物体区域内亮度变化大的部分。
OBJ(X,Y)=1并且SBN(X,Y)=1
当满足上式时,如下设定物体亮度变化信息K(X,Y)。
K(X,Y)=1
另一方面,提取满足下式的坐标作为物体区域内的亮度变化小的部分。
OBJ(X,Y)=1并且SBN(X,Y)=0
当满足上式时,如下设定物体亮度变化信息K(X,Y)。
K(X,Y)=2
物体候补提取部702基于物体亮度变化信息K(X,Y),从物体区域提取移动物体候补区域和停止物体区域。
此时,对于物体亮度变化信息K(X,Y)进行标号处理。而且,移动物体候补区域和停止物体区域的各区域被提取作为块。即移动物体候补为满足K(X,Y)=1并且被分配给相同的标号的区域。这样的区域被提取作为移动物体候补。停止物体候补为满足K(X,Y)=0并且被分配给相同的标号的区域。这样的区域被提取作为停止物体候补。
而且,物体判定部107、位置变化计算部108、物体检测部109进行与第1实施方式相同的操作以检测物体。
以如上方式,本发明第2实施方式的物体检测装置基于三维信息检测到立体物的区域,并且按照亮度差分的有无而分割立体物的区域,这样,可以分离移动物体和停止物体,并精确地检测到移动物体。
下面图8所示为本发明第3实施方式的物体检测装置。
图8中,摄像部101、图像存储部102、亮度变化计算部103、三维信息计算部104、立体物检测部105、物体候补提取部106、物体判定部107、位置变化计算部108和物体检测部109与第1实施方式相同。图8的物体检测装置进一步包括:存储由物体候补提取部106提取的物体候补区域的候补区域存储部801,和整合在连续的预定时间(时刻)期间存储在候补区域存储部801的候补区域的候补区域整合部802。
下面说明以上构成的物体检测装置的操作。
首先,摄像部101、图像存储部102、亮度变化计算部103、三维信息计算部104、立体物检测部105和物体候补提取部106进行与第1实施方式相同的操作,分别提取移动物体区域和停止物体区域。
候补区域存储部801存储由物体候补提取部106提取的物体候补区域。
候补区域整合部802通过整合在连续的预定时间期间存储在候补区域存储部801中的停止物体的信息,以产生整合候补区域。
作为整合停止物体的信息的方法,有例如区域相加的方法。设在连续的预定时间期间,提取候补区域的处理进行“N次”。在这种情况下,产生的停止物体区域信息的数目为“N”。该“N”个区域信息相加。
候补区域整合部802计算“N个”停止物体区域信息中的各坐标(X,Y)的判定次数M。判定次数M为表示各坐标被判定为在停止物体区域的次数。当次数M大于预定的阈值MTH时,候补区域整合部802将该坐标(X,Y)作为停止物体区域输出。当次数M小于阈值MTH时,候补区域整合部802不将该坐标(X,Y)作为物体区域。
还有,候补区域整合部802不处理移动物体区域,而原样输出从物体候补提取部106输出的区域信息。候补区域整合部802将该处理结果作为最终的整合候补区域输出。
而且,物体判定部107、位置变化计算部108和物体检测部109进行与第1实施方式相同的操作,检测出物体。
上述的本发明第3实施方式的物体检测装置通过相加候补区域信息,而精确检测不易显现特性的停止物体。
下面图9所示为本发明第4实施方式的物体检测系统。
图9中,本实施方式的物体检测系统包括:与第1到第3实施方式任意之一的实施方式进行相同操作的物体检测装置901,和当物体检测装置901检测到物体时存储物体的信息的存储装置902。
物体检测装置901执行与第1实施方式相同的操作,仅检测出进行预定动作的物体。
当物体检测装置901检测到物体时,存储装置902存储该时刻的图像以及检测到的物体的参数信息至少之一。存储装置902存储的该时刻的图像为从摄像部101输出的图像。存储装置902存储的物体的参数信息为由物体检测部109检测到的物体的区域信息。
上述的本发明第4实施方式的物体检测系统可以检测到进行预定动作的物体,并存储该物体的信息。
以上虽然说明了可能的本发明的最佳实施方式,但是应理解可以对这些实施方式进行各种不同的变形,并且所附的权利要求的范围包含在本发明的真实的精神和范围内的各种变形。
工业适用性
如上所述,根据本发明的物体检测装置具有不使用背景差分处理即可精确检测到停止物体的效果,例如作为从拍摄监视空间的图像中检测物体的图像辨认装置是有用的。

Claims (9)

1.一种物体检测装置,其特征在于,包括:
拍摄预定的监视空间的多个摄像部,
存储由所述多个摄像部拍摄的多个图像中的至少一个图像的图像存储部,
计算所存储的过去的图像和现在的图像的亮度变化量的亮度变化计算部,
根据由所述多个摄像部拍摄的多个图像计算三维信息的三维信息计算部,
基于由所述三维信息计算部计算的三维信息检测监视空间内的立体物的立体物检测部,以及
基于与由所述立体物检测部检测到的物体相对应的图像区域中的亮度变化,将亮度变化大的物体作为移动物体候补而提取,并将亮度变化小的物体作为停止物体候补而提取的物体候补提取部。
2.根据权利要求1所述的物体检测装置,其特征在于包括:
当所述物体候补的区域大于预定的阈值时,判定所述物体候补的区域为物体的物体判定部,
仅计算被判定为移动物体的物体的位置变化的位置变化计算部,以及
仅检测出进行预定动作的物体的物体检测部。
3.根据权利要求1所述的物体检测装置,其特征在于包括:
将与基于所述三维信息检测到的物体相对应的图像区域分割为亮度变化大的部分和亮度变化小的部分的物体分割部。
4.根据权利要求1所述的物体检测装置,其特征在于包括:
存储所述停止物体候补的区域的候补区域存储部,
整合在连续的预定时间期间所存储的所述停止物体候补的区域以产生整合区域的候补区域整合部,以及
当所述整合区域的尺寸大于预定的阈值时,将所述整合区域作为停止物体检测出的物体判定部。
5.一种物体检测系统,其特征在于包括:
权利要求1所述的物体检测装置,以及
存储所述物体检测装置检测到物体时的图像和检测到的物体的参数信息的至少之一的存储装置。
6.一种物体检测方法,其特征在于,
由多个摄像部拍摄预定的监视空间,
存储由所述多个摄像部拍摄的多个图像中的至少一个图像,
计算所存储的过去的图像和现在的图像的亮度的变化量,
根据由所述多个摄像部拍摄的图像计算三维信息,
基于所述三维信息检测监视空间内的物体,以及
基于与所述检测到的物体相对应的图像区域的亮度变化,将亮度变化大的物体作为移动物体候补而提取,将亮度变化小的物体作为停止物体候补而提取。
7.根据权利要求6所述的物体检测方法,其特征在于,
当所述物体候补的区域大于预定的阈值时,将所述物体候补的区域作为物体检测出,
仅对于被判定为移动物体的物体,计算位置的变化,
仅检测进行预定动作的物体。
8.根据权利要求6所述的物体检测方法,其特征在于,
将与基于所述三维信息检测到的物体相对应的图像区域分割为亮度变化大的部分和亮度变化小的部分,
检测出所述移动物体候补和所述停止物体候补。
9.根据权利要求6所述的物体检测方法,其特征在于,
存储所述停止物体候补的区域,
整合在连续的预定时间期间所存储的所述停止物体候补的区域以产生整合区域,以及,
当所述整合区域的尺寸大于预定的阈值时,将所述整合区域作为停止物体检测出。
CN2005800304294A 2004-09-15 2005-08-30 物体检测装置 Expired - Fee Related CN101014975B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004268267 2004-09-15
JP268267/2004 2004-09-15
PCT/JP2005/015747 WO2006030633A1 (ja) 2004-09-15 2005-08-30 物体検出装置

Publications (2)

Publication Number Publication Date
CN101014975A true CN101014975A (zh) 2007-08-08
CN101014975B CN101014975B (zh) 2011-09-28

Family

ID=36059888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800304294A Expired - Fee Related CN101014975B (zh) 2004-09-15 2005-08-30 物体检测装置

Country Status (4)

Country Link
US (1) US7769227B2 (zh)
JP (1) JP4963964B2 (zh)
CN (1) CN101014975B (zh)
WO (1) WO2006030633A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751669A (zh) * 2009-12-17 2010-06-23 北京中星微电子有限公司 一种静止物体检测方法和装置
CN103080976A (zh) * 2010-08-19 2013-05-01 日产自动车株式会社 三维物体检测装置和三维物体检测方法
CN106019281A (zh) * 2015-03-25 2016-10-12 松下电器产业株式会社 物体检测装置以及物体检测方法
CN107170066A (zh) * 2017-05-09 2017-09-15 上海电机学院 一种多功能课堂点名管理系统
CN109425190A (zh) * 2017-08-24 2019-03-05 九阳股份有限公司 一种冰箱食材管理方法
CN111126181A (zh) * 2019-12-06 2020-05-08 深圳市中电数通智慧安全科技股份有限公司 加油安全监管方法、装置和终端设备
CN111524086A (zh) * 2019-02-04 2020-08-11 广赛布托有限公司 运动物体检测装置、运动物体检测方法、存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009088801A (ja) * 2007-09-28 2009-04-23 Hitachi Software Eng Co Ltd 撮影対象物の静止判定方法および装置
JP5310247B2 (ja) * 2009-05-13 2013-10-09 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2011160379A (ja) * 2010-02-04 2011-08-18 Sony Corp 画像処理装置および方法、並びにプログラム
JP5459324B2 (ja) * 2012-01-17 2014-04-02 株式会社デンソー 車両周辺監視装置
WO2013121713A1 (ja) * 2012-02-15 2013-08-22 日本電気株式会社 解析処理装置
CN103237192B (zh) * 2012-08-20 2016-03-30 苏州大学 一种基于多摄像头数据融合的智能视频监控系统
JP2014137674A (ja) * 2013-01-16 2014-07-28 Sony Corp 情報処理装置および方法、並びにプログラム
JP6453571B2 (ja) * 2014-07-24 2019-01-16 株式会社Soken 立体物認識装置
CN104573715B (zh) * 2014-12-30 2017-07-25 百度在线网络技术(北京)有限公司 图像主体区域的识别方法及装置
JP6607630B2 (ja) * 2015-06-30 2019-11-20 Kddi株式会社 移動物体抽出装置、方法およびプログラム
KR102372164B1 (ko) * 2015-07-24 2022-03-08 삼성전자주식회사 촬영 장치, 그의 오브젝트 감지 방법 및 비일시적 컴퓨터 판독가능 기록매체
JP5870230B1 (ja) * 2015-10-15 2016-02-24 株式会社スーパーリージョナル 見守り装置、見守り方法および見守りプログラム
CN110490025B (zh) * 2018-05-14 2023-05-05 杭州海康威视数字技术股份有限公司 一种目标检测方法、装置、设备及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795152B2 (ja) * 1988-09-20 1995-10-11 株式会社東芝 内視鏡装置
JP3630703B2 (ja) * 1993-07-22 2005-03-23 富士電機システムズ株式会社 物体監視装置
JPH08272929A (ja) 1995-03-29 1996-10-18 Sharp Corp 動物体3次元位置抽出装置
JP3497929B2 (ja) 1995-09-29 2004-02-16 富士重工業株式会社 侵入物監視装置
JP3710548B2 (ja) * 1996-05-08 2005-10-26 松下電器産業株式会社 車両検出装置
US6445814B2 (en) * 1996-07-01 2002-09-03 Canon Kabushiki Kaisha Three-dimensional information processing apparatus and method
US6205242B1 (en) * 1997-09-29 2001-03-20 Kabushiki Kaisha Toshiba Image monitor apparatus and a method
JPH11219446A (ja) * 1998-02-03 1999-08-10 Matsushita Electric Ind Co Ltd 映像音響再生システム
JP2002032759A (ja) * 2000-07-19 2002-01-31 Mitsubishi Electric Corp 監視装置
JP2002150295A (ja) 2000-11-09 2002-05-24 Oki Electric Ind Co Ltd 物体検出方法及び物体検出装置
JP2002157599A (ja) * 2000-11-17 2002-05-31 Nippon Telegr & Teleph Corp <Ntt> 物体検出認識方法,物体検出認識プログラムを記録した記録媒体および物体監視追跡装置
CN1272631C (zh) * 2002-12-09 2006-08-30 北京中星微电子有限公司 运动图像检测方法
JP4272539B2 (ja) * 2004-01-05 2009-06-03 本田技研工業株式会社 移動物体検出装置、移動物体検出方法、および移動物体検出プログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751669A (zh) * 2009-12-17 2010-06-23 北京中星微电子有限公司 一种静止物体检测方法和装置
CN101751669B (zh) * 2009-12-17 2014-03-26 北京中星微电子有限公司 一种静止物体检测方法和装置
CN103080976A (zh) * 2010-08-19 2013-05-01 日产自动车株式会社 三维物体检测装置和三维物体检测方法
CN103080976B (zh) * 2010-08-19 2015-08-05 日产自动车株式会社 三维物体检测装置和三维物体检测方法
CN106019281A (zh) * 2015-03-25 2016-10-12 松下电器产业株式会社 物体检测装置以及物体检测方法
CN106019281B (zh) * 2015-03-25 2020-08-25 松下电器产业株式会社 物体检测装置以及物体检测方法
CN107170066A (zh) * 2017-05-09 2017-09-15 上海电机学院 一种多功能课堂点名管理系统
CN109425190A (zh) * 2017-08-24 2019-03-05 九阳股份有限公司 一种冰箱食材管理方法
CN111524086A (zh) * 2019-02-04 2020-08-11 广赛布托有限公司 运动物体检测装置、运动物体检测方法、存储介质
CN111524086B (zh) * 2019-02-04 2023-10-20 广赛布托有限公司 运动物体检测装置、运动物体检测方法、存储介质
CN111126181A (zh) * 2019-12-06 2020-05-08 深圳市中电数通智慧安全科技股份有限公司 加油安全监管方法、装置和终端设备

Also Published As

Publication number Publication date
JP4963964B2 (ja) 2012-06-27
US7769227B2 (en) 2010-08-03
US20080056534A1 (en) 2008-03-06
WO2006030633A1 (ja) 2006-03-23
CN101014975B (zh) 2011-09-28
JPWO2006030633A1 (ja) 2008-05-15

Similar Documents

Publication Publication Date Title
CN101014975B (zh) 物体检测装置
US7729512B2 (en) Stereo image processing to detect moving objects
EP2426642B1 (en) Method, device and system for motion detection
US6909802B2 (en) Image-correspondence position detection device, distance measuring device and apparatus using the same
US7218757B2 (en) Method and device for detecting obstruction in image sensor systems
JP4429298B2 (ja) 対象個数検出装置および対象個数検出方法
US20060029272A1 (en) Stereo image processing device
US11062478B2 (en) Device and method for calibrating a camera system of a vehicle
JP3388087B2 (ja) 物体検出装置
CN102349291A (zh) 图像捕获设备及其控制方法
JP2800530B2 (ja) 車間距離検出装置
JP4991356B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
US20150103341A1 (en) Method of identification from a spatial and spectral object model
EP2105882A1 (en) Image processing apparatus, image processing method, and program
CN104112281A (zh) 使用高光谱成像跟踪对象的方法
KR101560810B1 (ko) 템플릿 영상을 이용한 공간 관리 방법 및 장치
KR100631082B1 (ko) 단일 카메라를 사용한 3차원 영상정보 획득방법 및 이를이용한 영상검지방법
JP2002367077A (ja) 交通渋滞判定装置及び交通渋滞判定方法
JP2001331788A (ja) 車両検出装置
KR101497396B1 (ko) 타겟 위치 측정시스템 및 이를 이용한 타겟 위치 측정방법
JP2005157635A (ja) 混雑度計測装置、設備制御システム、および混雑度計測方法
KR20180000205A (ko) 지능형 영상 분석 장치 및 방법
CN110930362A (zh) 一种螺钉安全检测方法、装置及系统
CN106296235A (zh) 兴趣度评估方法和兴趣度评估装置
EP2075740A1 (en) Method for making a decision.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110928

Termination date: 20130830