CN104077785A - 运动对象检测装置、运动对象检测方法和计算机程序 - Google Patents

运动对象检测装置、运动对象检测方法和计算机程序 Download PDF

Info

Publication number
CN104077785A
CN104077785A CN201410216476.9A CN201410216476A CN104077785A CN 104077785 A CN104077785 A CN 104077785A CN 201410216476 A CN201410216476 A CN 201410216476A CN 104077785 A CN104077785 A CN 104077785A
Authority
CN
China
Prior art keywords
moving objects
processing
resolution
check processing
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410216476.9A
Other languages
English (en)
Inventor
西野胜章
纲岛宣浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104077785A publication Critical patent/CN104077785A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00Indicating or recording presence, absence, or direction, of movement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive

Abstract

本发明公开了运动对象检测装置、运动对象检测方法和计算机程序。该用于检测由成像装置捕获的对象的运动的设备包括:运动对象检测单元,其(1)可操作用于基于第一运动对象检测处理来检测对象的运动,并且(2)可操作用于基于第二运动对象检测处理来检测对象的运动。该设备还包括输出单元,其可操作用于基于由所述运动对象检测单元基于所述第一运动对象检测处理和第二运动对象检测处理中的至少一个进行的检测来生成输出。

Description

运动对象检测装置、运动对象检测方法和计算机程序
本申请是申请号为201010173976.0、中请日为2010年5月7日、发明名称为“运动对象检测装置、运动对象检测方法和计算机程序”的发明专利申请的分案申请。
技术领域
本发明一般地涉及用于检测运动对象的运动对象检测装置、运动对象检测方法和计算机程序。更具体而言,本发明涉及基于运动对象是近还是远来精确地检测运动对象的运动对象检测装置、方法和计算机程序。
背景技术
通常,在监视相机的入侵检测系统中,运动对象被检测。例如,日本专利申请JP-A-2007-102556公开了:应从其检测运动的所捕获的图像数据根据误差发生块的数目被划分成多个区域块。每个图像块平滑后的图像数据中的状态变化被检测,并且所检测到的状态变化块的图与在利用状态变化了的块的运动来计算误差发生块的数目之前所检测到的状态变化块的图相比较。当所计算出的误差发生块的数目大于预定数值时,判定运动被检测到。
在日本专利申请JP-A-2006-107457中所描述的技术中,多条在前图像数据被存储为参考图像数据。在所存储的参考图像数据与所包含的图像数据之间检测像素和小区域中的差异。图像数据中的运动对象是基于所检测出的差异的连续性或频率来检测的。
发明内容
然而,当在利用状态变化了的块计算出的误差发生块的数目大于预定数值的情况中检测运动时,当运动对象距离远时,检测运动的精度会劣化。即,当运动对象距离远时,运动对象在所捕获的图像中的图像尺寸小。因此,当运动对象距离远时,误差发生块的数目不会增大并且运动不会被检测出。
在基于所捕获的图像与参考图像数据之间的像素或小区域中的差异来检测运动对象的技术中,这些差异的连续性或频率依赖于运动对象距离是远还是近而大大不同。因此,检测运动对象的精度在运动对象距离检测装置远时和在运动对象距离检测装置近时的很不一样。
因此,希望提供一种运动对象检测装置和运动对象检测方法以及可以由处理器执行的计算机程序代码,其可以精确地检测运动对象,而不论运动对象是距离诸如相机之类的检测装置是远还是近。该方法例如可以被存储为非时变的存储介质或非时变电子存储介质上。
根据本发明的实施例,由多个运动对象检测处理器使用当前图像和在前图像来检测运动检测区域中的运动对象。当运动对象被这多个运动对象检测处理器之一检测到时,判定该运动对象在运动检测区域中被检测到,并且运动检测区域的运动对象检测结果由检测结果处理器输出。根据从运动检测区域的图像中检测出的运动对象(相对于检测装置,例如,相机、传感器、图像获取单元或其它合适的运动检测装置)的距离远近而具有不同运动对象检测特性的多个运动对象检测处理器被用作所述多个运动对象检测处理器。因此,不论运动对象的位置是距离远还是距离近,都可以精确地检测运动对象。
因此,本发明的一个实施例针对用于检测由诸如相机之类的成像装置捕获的对象的运动的设备(所述设备)。所述设备包括运动对象检测单元,其(1)可操作用于基于第一运动对象检测处理来检测对象的运动,以及(2)可操作用于基于第二运动对象检测处理来检测对象的运动。所述设备还包括输出单元,其可操作用于基于由运动对象检测单元基于第一运动对象检测处理和第二运动对象检测处理中的至少一个进行的检测来生成输出
本发明的另一实施例针对上述设备,其中,第一运动对象检测处理与第二运动对象检测处理不同。
本发明的另一实施例针对上述设备,其中,第一和第二运动检测处理中的每一个根据多个检测因素中的至少一个来操作。
本发明的另一实施例针对上述设备,其中,多个检测因素中的至少一个包括使用多个所捕获的图像的运动向量检测。
本发明的另一实施例针对上述设备,其中,多个所捕获的图像包括一个或多个之前捕获的图像。
本发明的另一实施例针对上述设备,其中,多个所捕获的图像包括一个或多个当前捕获的图像。
本发明的另一实施例针对上述设备并且还包括可操作用于存储多个所捕获的图像中的至少一个的存储单元。
本发明的另一实施例针对上述设备,其中运动对象检测单元包括相机。
本发明的另一实施例针对上述设备,其中多个检测因素中的至少一个包括使用多个所捕获的图像的归一化相关检测。
本发明的另一实施例针对上述设备,其中,多个检测因素中的至少一个包括以下至少一个:与图像显示屏上的距离相关联的空间分辨率;和与所捕获的图像之间的间隔相关联的时间分辨率。
本发明的另一实施例针对上述设备,并且还包括可操作用于提供运动检测区域的坐标指定单元,并且运动对象检测单元可操作用于检测运动检测区域内的对象的运动,并且输出包括对对象的位置相对于成像装置的临近度的指示。
本发明的另一实施例针对上述设备,并且其中输出包括对对象的位置相对于成像装置的临近度的指示。
本发明的另一实施例针对上述设备,其中,第一运动对象检测处理对应于相对于成像装置具有第一临近度的对象的位置,并且第二运动对象检测处理对应于相对于成像装置具有第二临近度的对象的位置。第一临近度比第二临近度距离成像装置更远。
本发明的另一实施例针对上述设备,其中,第二运动对象检测处理对应于相对于成像装置具有第二临近度的对象的位置。第一临近度比第二临近度距离成像装置更远。
本发明的另一实施例针对上述设备,其中,输出指示所检测到的对象的运动。
本发明的另一实施例针对上述设备,其中,运动对象检测单元包括第一和第二运动对象检测处理器并且第一运动对象检测处理器包括第一处理要求,以使得第一运动对象检测处理基于第一处理要求被选择。
本发明的另一实施例针对上述设备,其中,第一运动对象检测处理包括运动检测技术。
本发明的另一实施例针对上述设备,并且第二运动对象检测处理包括第二处理要求,以使得第二运动对象检测处理基于第二处理要求被选择。
本发明的另一实施例针对上述设备,并且第二运动对象检测处理包括运动检测技术。
本发明的另一实施例针对上述设备,其中,第一运动对象检测处理和第二运动对象检测处理中的至少一者包括这样的处理,该处理包括运动向量检测和归一化相关检测。
本发明的另一实施例针对上述设备,其中,第一运动对象检测处理和第二运动对象检测处理中的至少一者包括这样的处理,该处理包括空间分辨率设置,空间分辨率设置包括第一分辨率空间设置和第二分辨率空间设置。第一分辨率空间设置低于第二分辨率空间设置。
本发明的另一实施例针对上述设备,其中,第一运动对象检测处理和第二运动对象检测处理中的至少一者包括这样的处理,该处理包括时间分辨率设置,时间分辨率设置包括第一帧率设置和第二帧率设置。第一帧率设置低于第二帧率设置。
本发明的另一实施例针对上述设备,其中,第一运动对象检测处理和第二运动对象检测处理包括这样的处理,这些处理包括运动向量检测和归一化相关检测以及第一分辨率空间设置和第二分辨率空间设置。第一分辨率空间设置低于第二分辨率空间设置。
本发明的另一实施例针对上述设备,其中,第一运动对象检测处理和第二运动对象检测处理包括这样的处理,这些处理包括运动向量检测和归一化相关检测以及第一帧率设置和第二帧率设置。第一帧率设置低于第二帧率设置。
本发明的另一实施例针对上述设备,其中,第一运动对象检测处理和第二运动对象检测处理包括运动向量检测和归一化相关检测;第一分辨率空间设置和第二分辨率空间设置;以及第一帧率设置和第二帧率设置。第一分辨率空间设置低于第二分辨率空间设置,并且第一帧率设置低于第二帧率设置。
本发明的另一实施例针对用于检测运动对象的方法(所述方法),其包括使用一个或多个第一检测因素来检测对象的运动以提供第一对象检测输出以及使用一个或多个第二检测因素来检测对象的运动以提供第二对象检测输出。如果第一和/或第二对象检测输出被提供则产生输出。
本发明的另一实施例针对上述方法,其中,第一检测因素与第二检测因素不同。
本发明的另一实施例针对上述方法,其中,第一对象检测输出与第二对象检测输出不同。
本发明的另一实施例针对上述方法,其中,第一检测因素包括第一检测方法,第一空间方向分辨率和第一时域分辨率。
本发明的另一实施例针对上述方法,其中,第二检测因素包括第二检测方法,第二空间方向分辨率和第二时域分辨率。
本发明的另一实施例针对上述方法,其中,使用一个或多个第一检测因素包括:从多个运动对象检测处理中选择第一运动对象检测处理。
本发明的另一实施例针对上述方法,其中,选择第一运动对象检测处理包括选择归一化相关检测方法。
本发明的另一实施例针对上述方法,其中,选择第一运动对象检测处理包括:选择归一化相关检测方法;以及减小与显示屏幕上的距离相关联的空间方向分辨率。空间方向分辨率是作为对象相对于所捕获的对象的图像的距离更近的函数而被减小。
本发明的另一实施例针对上述方法,其中,选择第一运动对象检测处理包括:选择归一化相关检测方法;以及增大与所捕获的对象的图像之间的间隔相关联的时间分辨率,其中,时间分辨率是作为对象相对于所捕获的对象的图像的距离更近的函数而被增大。
本发明的另一实施例针对上述方法,其中,选择第一运动对象检测处理包括:选择归一化相关检测方法;以及减小与显示屏幕上的距离相关联的空间方向分辨率,空间方向分辨率是作为对象相对于所捕获的对象的图像的位置更近的函数而被减小;以及增大与所捕获的对象的图像之间的间隔相关联的时间分辨率,其中,时间分辨率是作为对象相对于所捕获的对象的图像的位置更近的函数而被增大。
本发明的另一实施例针对上述方法,其中,使用一个或多个第一检测因素包括:从多个运动对象检测处理中选择第二运动对象检测处理。
本发明的另一实施例针对上述方法,其中,选择第二运动对象检测处理包括选择运动向量检测方法。
本发明的另一实施例针对上述方法,其中,选择第二运动对象检测处理包括选择运动向量检测方法以及增大与显示屏幕上的距离相关联的空间方向分辨率,其中,空间方向分辨率是作为对象相对于所捕获的对象的图像位置更远的函数而被增大。
本发明的另一实施例针对上述方法,其中,选择第一运动对象检测处理包括选择运动向量检测方法以及减小与所捕获的对象的图像之间的间隔相关联的时间分辨率。该时间分辨率是作为对象相对于所捕获的对象的图像位置更远的函数而被减小。
本发明的另一实施例针对上述方法,其中,选择第一运动对象检测处理包括选择运动向量检测方法以及增大与显示屏幕上的距离相关联的空间方向分辨率。空间方向分辨率是作为对象相对于所捕获的对象的图像的位置更远的函数而被增大;并且减小与所捕获的对象的图像之间的间隔相关联的时间分辨率。时间分辨率是作为对象相对于所捕获的对象的图像的位置更远的函数而被减小。
本发明的另一实施例针对上述方法,其中,使用一个或多个第一检测因素包括基于处理能力要求来从多个运动对象检测处理中选择第一运动对象检测处理,所述处理能力要求用于执行所选择的第一运动对象检测处理。
本发明的另一实施例针对上述方法,其中,使用一个或多个第一检测因素包括基于处理能力要求来从多个运动对象检测处理中选择第二运动对象检测处理,所述处理能力要求用于执行所选择的第二运动对象检测处理的。
本发明的另一实施例针对一种非临时计算机可读记录介质,其用于存储用于检测运动对象的计算机程序,其中,该程序执行以下步骤:使用一个或多个第一检测因素来检测对象的运动以提供第一对象检测输出;使用一个或多个第二检测因素来检测对象的运动以提供第二对象检测输出;并且如果第一和/或第二对象检测输出被提供则产生输出。
本发明的另一实施例针对上述计算机可读记录介质,其中第一对象检测输出与第二对象检测输出不同。
本发明的另一实施例针对一种运动对象检测器,其包括:处理单元,处理单元被配置为根据一个或多个第一参数进行操作来检测对象的运动并产生第一对象检测输出,处理单元还被配置为根据一个或多个第二参数进行操作来检测对象的运动并且产生第二对象检测输出,一个或多个第二参数与一个或多个第一参数不同;以及检测结果处理器,检测结果处理器被配置为如果从处理单元产生至少一个输出则产生指示运动对象的输出。
附图说明
所公开的是这里结合以下描述和附图所描述的本发明的某些说明性方面。然而,这些方面仅表示可以采用本发明的基本原理的几种不同方式,并且本发明意欲包括所有这样的方面和它们的等同物。当结合附图考虑时,本发明的实施例和新颖性特征将从以下对本发明的描述中变得显而易见。可以结合附图来最好地理解通过示例给出并且不意欲将本发明限制于所描述的具体实施例的以下描述,在附图中:
图1是图示出根据本发明一个实施例的运动对象检测装置与成像装置结合的配置的功能框图。
图2是图示出根据本发明另一实施例的运动对象检测装置被部署在与相机头单元分离的图像处理装置中的配置的功能框图。
图3是图示出根据本发明另一实施例的运动对象检测器的配置的示图。
图4A和图4B是图示出根据本发明另一实施例的针对运动对象检测范围中的每个像素检测到的运动向量的示图。
图5A和图5B是图示出根据本发明另一实施例的第一运动对象检测操作的示图。
图6A和图6B是图示出根据本发明另一实施例的第二运动对象检测操作的示图。
图7A和图7B是图示出根据本发明另一实施例的第三运动对象检测操作的示图。
图8A和图8B是图示出根据本发明另一实施例的第四运动对象检测操作的示图。
图9是图示出根据本发明另一实施例的基于运动对象的距离远近和运动检测区域的设置以及时间方向的分辨率的运动对象检测方法的示图。
图10是图示出根据本发明另一实施例的计算机系统的配置的示图。
具体实施方式
应注意,在本公开,特别是在权利要求和/或示图中,诸如“包括”、“包含”之类的词语可以具有其在美国专利法中所具有的含义;即,它们可以是指“包括”、“被包括”、“包括,但不限于”等,并且允许未清楚叙述的元素。诸如“实质上由……组成”之类的词语具有其在美国专利法中所具有的含义,即,它们虑及未被清楚叙述的元件,但是排除在现有技术中发现的或影响本发明的基本或新颖性特征的元素。这些和其它实施例被公开或从以下描述中显而易见或被以下描述包括。在申请中所使用的词语“组件”和“系统”是指计算机相关的实体,硬件、硬件和软件的组合、软件或执行中的软件。例如,组件可以但不限于是处理器上运行的处理、处理器、对象、可执行体、执行线程、程序和/或计算机。通过图解,在服务器上运行的程序和服务器两者都可以是组件。一个或多个组件可以驻留在处理和/或执行的线程中,并且组件可以位于一个计算机上和/或分布在两个或多个计算机之间。
以下,将描述本发明的实施例。在实施例中,多个运动对象检测处理器被提供来检测与电脑对象,使得运动对象可以由一个运动对象检测处理器检测到,而不论该运动对象距离是远还是近。运动对象检测处理器在改变例如运动对象检测方法、空间方向上运动对象检测区域的尺寸或分辨率和时间方向的分辨率中的至少一者来执行运动对象检测处理。按照以下顺序进行描述:
1.运动对象检测装置;
2.运动对象检测方法;
3.运动对象检测操作;和
4.用于通过软件来检测运动对象的配置。
1.运动对象检测装置
图1是图示出根据本发明一个实施例的运动对象检测装置与成像装置结合的配置的功能框图。成像装置10包括成像单元11、信号处理器12、编码处理器13、运动对象检测器30和发送单元40。
成像单元11包括诸如CCD(电荷耦合器件)图像传感器或CMOS(互补金属氧化物半导体)图像传感器之类的固态成像器件。成像单元11例如捕获所监视的目标区域的图像并输出图像信号。
信号处理器12根据所希望的质量和系统要求或对从成像单元11输出的图像信号的约束来执行噪声去除处理、着色处理、灰度级压缩处理和其它类似的处理功能。
编码处理器13使用预定的编码方法来压缩由信号处理器12处理的图像信号。编码处理器使用例如JPEG(联合图像专家组)或MPEG4(运动图像专家组阶段4)或任何其它合适的编码处理或编码方法来对图像信号进行编码。编码处理器13将通过编码处理获得的编码信号输出给发送单元40。
运动对象检测器30基于从信号处理器12输出的图像信号来检测运动对象。运动对象检测器30将运动对象检测结果输出给发送单元40。
发送单元40将来自运动对象检测器30的运动对象检测结果和从编码处理器13获得的编码信号经由网络等提供给外部装置,例如,执行监视控制的监视控制器。
图2是图示出根据本发明另一实施例的运动对象检测装置被部署在与相机头单元分离的图像处理设备中的配置的功能框图。图像处理设备20包括图像输入单元21、信号处理器22、编码处理器23、运动对象检测器30和发送单元40。
图像输入单元21是用于将相机头单元(在图9中示出)连接到图像处理设备的接口。图像输入单元21例如在模拟图像信号从相机头单元被提供时执行将模拟图像信号转换成数字图像信号的处理。
信号处理器22根据所希望的质量和系统要求或对从相机头单元提供的图像信号的约束来执行噪声去除处理、着色处理、灰度级压缩处理和其它类似的处理功能。
编码处理器23使用预定的编码方法来压缩经信号处理器22处理后的图像信号。编码处理器例如使用JPEG或MPEG4或任何其它合适的编码处理或编码方法来压缩图像信号。编码处理器23将通过编码处理获得的编码信号输出给发送单元40。
运动对象检测器30基于从信号处理器22输出的图像信号来检测运动对象。运动对象检测器30将运动对象检测结果输出给发送单元40。
发送单元40将来自运动对象检测器30的运动对象检测结果和从编码处理器23获得的编码信号经由网络等提供给外部装置,例如执行监视控制的监视控制器。
图3是图示出根据本发明一个实施例的运动对象检测器的配置。运动对象检测器30基于用户指定的位置来检测运动对象。运动对象检测器30包括坐标指定单元31、在前图像存储单元32、检测处理器33和检测结果处理器34。
坐标指定单元31根据用户操作来设置运动检测区域,检测处理器33从该运动检测区域中检测运动对象。例如,由用户指定的位置被发送给检测处理器33来作为运动检测区域的参考。
在前图像存储单元32存储对检测处理器33中的运动图像检测必要的在前图像。在前图像存储单元32随着时间的过去更新所存储的在前图像。
检测处理器33包括使用当前图像和在前图像来检测运动检测区域中的运动对象的多个运动对象检测处理器。这多个运动对象检测处理器根据从运动检测区域内的捕获图像检测出的运动对象的距离远或距离近而具有不同的运动对象检测特征或因素。
例如,检测处理器33包括近距离运动对象检测处理器331和远距离运动图像检测处理器332来作为这多个运动对象检测处理器。近距离运动对象检测处理器331和远距离运动图像检测处理器332使用在前图像存储单元32中所存储的在前图像的图像信号和从信号处理器12和22提供的当前图像的图像信号来检测运动检测区域中的运动对象。这里,近距离运动对象检测处理器331设置运动对象检测以检测近距离运动对象。远距离运动图像检测处理器332设置运动对象检测以检测远距离运动对象。这多个运动对象检测处理器中的运动对象检测设置例如可以包括运动对象检测方法、基于从坐标指定单元31发送的位置的运动检测区域的范围、运动检测区域的分辨率和时域的分辨率。
检测结果处理器34组合检测处理器33的这多个运动对象检测处理器331和332的检测结果并且将结果输出给发送单元40。例如,当运动对象被这多个运动对象检测处理器中的一个检测到时,检测结果处理器34判定该运动对象在该运动检测区域中被检测出并且将运动检测区域的运动对象检测结果输出给发送单元40。检测结果处理器34可以包括指示这多个运动对象检测处理器中的哪一个检测到了运动对象检测结果中的运动对象这样的信息。当运动对象检测结果包括指示这多个运动对象检测处理器中的哪一个检测到了运动对象这样的信息时,可以判断所检测出的运动对象相对于检测装置是位于远端还是附近。
2.运动对象检测方法
在使用当前图像和在前图像的运动对象检测方法中,检测处理器33使用归一化相关和/或运动向量。
在使用归一化相关来检测运动对象中,使用当前图像中的运动检测区域的图像信号O和在前图像中的运动检测区域的图像信号P来从表达式1中计算出系数Rzncc。这里,“Oavg”表示图像信号O的平均值,并且“Pavg”表示图像信号P的平均值。
Rznce = Σ ( O - O avg ) ( P - P avg ) Σ ( O - O avg ) 2 Σ ( P - P avg ) 2 - - - ( 1 )
当运动对象被包括在运动检测区域中时,归一化相关的系数Rzncc具有低值,而当运动对象未被包括在图像中时,Rzncc具有高值。因此,当系数Rzncc具有低于阈值的值时,判定运动对象被检测到。
以下将描述使用运动向量的运动对象检测。在使用运动向量来检测运动对象中,针对每个像素计算出在指定坐标周围预定范围中的运动向量。
运动向量例如使用梯度法或块匹配法来计算的。这里,将描述梯度法。假定在点(x,y)处并且在帧中的图像的灰度级值是I(x,y,t)。当对象移动并且对象中的点的灰度级值不变时,如表达式2所示,灰度级值的时间求导值是“0”。
dI/dt=0      (2)
当表达式2被展开成泰勒级数,x分量的时间微分是“u”并且y分量的时间微分是“v”时,可以获得用表达式3表示的约束条件表达式。在表达式3中,Ix表示灰度级值I的x偏微分。Iy和It表示灰度级值I的y和t偏微分。
Ixu+Iyv+It=0      (3)
二维运动向量使用表达式3的约束条件表达式来计算,例如,在大范围以内使得光学流的空间变化最小化的约束条件表达式,或局部范围内光学流不变的约束条件表达式。
在块匹配方法中,从两个图像帧中检测公共部分,并且从这两个帧的公共部分的运动方向或运动距离计算出运动向量。
计算运动向量的方法不限于梯度法或块匹配方法,并且可以使用其他方法。梯度法和块匹配方法仅仅是用于计算运动向量的合适方法的两个示例。任何其他合适的方法都可以用来计算运动向量。
这里,当在预定范围中包括运动对象时,具有相同方向和相同幅度的运动向量的像素数增加。当在预定范围内不包括运动对象时,具有相同方向和相同幅度的运动向量的像素数小。因此,当具有相同方向和相同幅度的运动向量的像素数大于阈值时,判定检测到运动对象。
图4A和图4B示出根据本发明一个实施例的从运动对象检测范围中的像素中检测出的运动向量。例如,如图4A中所示,当具有相同方向和相同幅度的运动向量的像素数大于阈值时,判定检测到运动对象。如图4B中所示,当具有相同方向和相同幅度的运动向量的像素数不大于阈值时,判定未检测到运动对象。
可以针对运动检测区域中的每个像素来计算运动向量,或者仅对运动检测区域中所包括的特征点或所选择的位置计算运动向量。
如上所述,检测处理器(图3,元件33)使用当前图像和在前图像来计算归一化的校正系数或运动向量,并且给予所计算出的系数或所计算出的运动向量来检测运动对象。
检测处理器(图3,元件33)使用当前图像和在前图像的图像信号来检测运动对象。然而,当检测运动对象的过程中的计算结果可以用于下一次运动对象检测时,这些检测结果可以被存储并且运动对象可以使用所存储的检测结果和新的当前图像来检测。
3.运动对象检测操作
在运动对象检测操作中,在改变运动对象检测方法、空间方向的范围、空间方向或时域的分辨率中的至少一者的同时执行多个运动对象检测处理,从而检测出运动对象,而不论从运动检测区域内的图像检测出的运动对象的距离是远还是近。
这里,当运动对象距离近时,运动对象相对快速地移动经过画面并且在画面上的显示尺寸大。可替换地,当运动对象距离远时,运动对象相对缓慢地移动经过画面并且在画面上的显示尺寸小。即,要检测近距离运动对象,优选地,运动对象检测范围宽并且时域分辨率高。要检测远距离运动对象,优选地,运动对象检测范围内的空间方向的分辨率高。因此,近距离运动对象检测处理器(图3,元件331)设置运动对象检测方法、空间方向的范围以及空间方向或时域的分辨率,来精确地检测近距离运动对象。远距离运动对象检测处理器(图3,元件332)设置运动对象检测方法、空间方向的范围以及空间方向或时域的分辨率,来精确地检测远距离运动对象。
4.第一运动对象检测操作
将描述在运动对象检测方法中使用归一化校正的第一运动对象检测操作。在第一运动对象检测操作中,运动对象检测范围,即,运动检测区域的尺寸和空间方向的分辨率,是根据是要检测近距离运动对象还是远距离运动对象来设置的。
图5A和图5B是用于图示出根据本发明一个实施例的第一运动对象检测操作的示图,其中图5A示出近距离运动对象检测处理器(图3中示为元件331)中的运动对象检测设置,并且图5B示出远距离运动对象检测处理器(图3中示出为元件332)中的运动对象检测设置。
近距离运动对象检测处理器(图3,元件331)和远距离运动对象检测处理器(图3,元件332)基于由坐标指定单元(图3,元件31)指定的位置来设置运动检测区域AR。这里,如图5A和图5B所示,近距离运动对象检测处理器(图3,元件331)将其运动对象检测区域的尺寸设置为大于远距离运动对象检测处理器(图3,元件332)的运动检测区域的尺寸。近距离运动对象检测处理器(图3,元件331)将其运动对象检测区域的分辨率设置为高于远距离运动对象检测处理器(图3,元件332)的运动检测区域的分辨率。
因为运动检测区域通过上述设置被加宽,所以近距离运动对象检测处理器(图3,元件331)能够精确地检测快速地移动穿过画面并且在画面上具有相对大的显示尺寸的运动对象,即近距离运动对象。因为运动对象区域窄但是分辨率较高,所以远距离运动对象检测处理器(图3,元件332)可以精确地检测在画面上缓慢移动并且在画面上具有相对小的显示尺寸的运动对象,即,远距离运动对象。通过将空间方向的分辨率设置为比远距离运动对象检测处理器(图3,元件332)低,即使运动检测区域宽,近距离运动对象检测处理器(图3,元件331)也可以容易地计算相关。例如,可以使像素变稀疏(thin out)来作为降低空间方向的分辨率的一种方法。可以计算出多个像素的平均值并且可以使用所计算出的平均值。
5.第二运动对象检测操作
在第二运动对象检测操作中,除了设置运动检测区域的尺寸和空间方向的分辨率以外,还设置时间方向的分辨率。
图6A和图6B是图示出根据本发明一个实施例的第二运动对象检测操作的示图。图6A示出近距离运动对象检测处理器(图3中示为元件331)中的运动对象检测设置,并且图6B示出远距离运动对象检测处理器(图3中示出为元件332)中的运动对象检测设置。
当近距离运动对象在成像装置或相机头前经过时,近距离运动对象检测处理器(图3中示为元件331)设置当前图像GO与在前图像GP之间的帧间隔,以使得在当前图像和在前图像中的至少一者中包括该运动对象的图像。如图6A和图6B中所示,远距离运动对象检测处理器(图3,元件332)将当前图像和在前图像之间的帧间隔设置为比近距离运动对象检测处理器(图3,元件331)中的更大。
因为通过上述设置(即,如图3中所示的处理器331)在检测运动对象时时域的分辨率高,所以近距离运动对象检测处理器(图3,元件331)能够精确地检测快速地移动穿过画面的运动对象,即,近距离运动对象。
可替换地,因为当对象位于远距离时检测运动对象时地时域分辨率低,所以相对于使用近距离运动对象检测处理器(图3,元件331)检测近距离对象的高时域分辨率的情况,远距离运动对象检测处理器(图3,元件332)处理画面上校小的运动距离。因此,可以精确地检测缓慢地穿过画面的运动对象,即远距离运动对象。
6.第三运动对象检测操作
将描述在运动对象检测方法中使用运动向量的第三运动对象检测操作。在第三运动对象检测操作中,运动检测区域的尺寸和空间方向的分辨率是根据是要检测近距离运动对象还是远距离运动对象来设置的。
图7A和图7B是用于图示出根据本发明一个实施例的第三运动对象检测操作的示图,其中图7A示出近距离运动对象检测处理器(图3,元件331)中的运动对象检测设置,并且图7B示出远距离运动对象检测处理器(图3,元件332)中的运动对象检测设置。
近距离运动对象检测处理器(图3,元件331)和远距离运动对象检测处理器(图3,元件332)基于由坐标指定单元(图3,元件31)指定的位置来设置运动检测区域AR。这里,如图7A和图7B所示,近距离运动对象检测处理器(图3,元件331)将其运动对象检测区域AR的尺寸设置为大于远距离运动对象检测处理器(图3,元件332)的运动检测区域AR的尺寸。近距离运动对象检测处理器(图3,元件331)将其运动检测区域的分辨率设置为低于远距离运动对象检测处理器(图3,元件332)的运动检测区域的分辨率。
因为运动检测区域通过上述设置被加宽了,所以近距离运动对象检测处理器(331)能够计算在画面上快速地移动并且在画面上具有大的显示尺寸的运动对象(即近距离运动对象)的运动向量。因此,可以基于所计算出的运动向量来精确地检测近距离运动对象。
可替换地,因为运动检测区域窄但是分辨率较高,所以远距离运动对象检测处理器(332)可以计算出在画面上缓慢移动并且在画面上具有小的显示尺寸的运动对象(即,远距离运动对象)的运动向量。因此,可以基于所计算出的运动向量来精确地检测远距离运动对象。
在图7A和图7B中,黑圆圈表示从其计算出运动向量的像素并且近距离运动对象检测处理器(331)中的分辨率被设置为低于远距离运动对象检测处理器(332)中的分辨率。因此,可以防止在检测具有大的显示尺寸的近距离对象时要计算出的运动向量的数码增多。
当块匹配方法被用于计算运动向量时,可以通过将搜索范围设置为在近距离运动对象检测处理器(331)和远距离运动对象检测处理器(332)之间不同来执行与要检测的运动对象相对应的运动向量计算处理。即,近距离运动对象检测处理器(331)有必要计算出在画面上快速移动的对象的运动向量。然而,远距离运动对象检测处理器(332)计算在画面上画面移动的对象的运动向量。因此,近距离运动对象检测处理器(331)将运动搜索范围设置为宽并且远距离运动对象检测处理器(332)将运动搜索范围设置为比近距离运动对象检测处理器(331)将运动搜索范围窄。在这种设置状态中计算运动向量。因此,因为可以根据要检测的运动对象来设置搜索范围,所以可以有效地计算运动向量。
7.第四运动对象检测操作
在第四运动对象检测操作中,除了设置运动检测区域的尺寸和空间方向的分辨率以外,还设置时间方向的分辨率。
图8A和图8B是图示出根据本发明一个实施例的第四运动对象检测操作的示图,其中图8A示出近距离运动对象检测处理器(图3,元件331)中的运动对象检测设置,并且图8D示出远距离运动对象检测处理器(图3,元件332)中的运动对象检测设置。
当近距离运动对象在成像装置或相机头前经过时,近距离运动对象检测处理器(331)设置当前图像GO与在前图像GP之间的帧间隔,以使得在当前图像和在前图像两者中都包括该运动对象的图像。如图8A和图8B中所示,远距离运动对象检测处理器(332)将当前图像GO和在前图像GP之间的帧间隔设置为比近距离运动对象检测处理器(331)中的更大。
因为通过上述设置,在检测运动对象时时域的分辨率高,所以近距离运动对象检测处理器(331)能够计算在画面上快速移动的运动对象的运动向量。因此,可以基于所计算出的运动向量来精确地检测近距离运动对象。
可替换地,因为在检测运动对象时时域的分辨率低,所以相对于使用近距离运动对象检测处理器(331)来检测近距离对象的高时域分辨率的情况,远距离运动对象检测处理器(332)处理画面上较少的运动距离。因此,可以正确地计算在画面上缓慢移动的运动对象(即,远距离移动对象)的运动向量。因此,可以基于所计算出的运动向量来精确地检测远距离运动对象。
8.第五运动对象检测操作
将描述在运动对象检测方法中使用归一化相关和运动向量的第五运动对象检测操作。
在该运动对象检测方法中,近距离运动对象检测处理器(图3,元件331)使用归一化相关来检测近距离运动对象,远距离运动对象检测处理器(图3,元件332)使用运动向量来检测远距离运动对象。
近距离运动对象如上所述在画面上快速移动。即,当当前图像与在前图像之间的帧间隔没有短到使得运动对象被包括在当前图像和在前图像两者中式,不可以计算运动向量。然而,当运动对象被包括在当前图像和在前图像中的仅一者中时,可以使用归一化相关来检测运动对象。因此,优选地,归一化相关被用于检测近距离运动对象。
远距离运动对象如上所述在画面上具有小的尺寸。因此,要因为远距离运动对象被包括在运动检测区域中而改变归一化相关系数Rzncc,应当缩减运动检测区域。然而,当运动检测区域被缩减并且运动对象的显示尺寸被缩减时,系数Rzncc可能容易受到噪声等的影响。即,通过将归一化相关用于检测远距离运动对象,可能弱化对抗噪声的强壮性。因此,优选地,使用运动向量来检测远距离运动对象。
9.其他运动对象检测操作
当运动对象检测操作采用两种或更多对象检测操作的组合而不是使用这里所描述的任何第一至第五运动对象检测操作中的任一者时,可以精确地检测运动对象,而不论其距离是远还是近。
近距离运动对象检测处理器(图3,元件331)使用归一化相关来检测近距离运动对象。远距离运动对象检测处理器(图3,元件332)使用运动向量来检测远距离运动对象。近距离运动对象检测处理器(331)通过使用比远距离运动对象检测处理器(332)中更大的运动检测区域尺寸、更低的运动检测区域分辨率和更高的时间方向分辨率中至少一者,来检测比远距离运动对象检测处理器(332)中更近距离的运动对象。即,当这里描述的第一至第四运动对象检测操作中的至少一者与第五运动对象检测操作组合时,可以比使用归一化相关或运动向量中的一者来检测运动对象的情况更精确地检测运动对象。
通过组合第一至第五运动对象检测操作,可以精细地划分运动对象的远近来检测运动对象。图9的实施例示出取决于运动对象远近的针对运动对象检测方法、运动检测区域和时域的分辨率的设置或检测因素。在图9中,运动对象的远近被划分为用于检测运动对象的4种状态或操作模式。针对每种划分出的状态或操作模式,检测处理器(图3,元件33)被提供运动对象检测处理。
第一运动对象检测处理计算归一化相关系数并且基于该系数是否大于阈值来检测运动对象。在计算归一化相关系数时,运动检测区域中的空间方向的分辨率被设置为低,从而该运动检测区域被设置为宽。当前图像与在前图像之间的帧间隔被缩减,即,帧率增大,从而时间方向的分辨率被设置为高。
第二运动对象检测处理计算运动向量并且基于具有相同方向和相同幅度的运动向量的像素的数码是否大于阈值来检测运动对象。在计算运动向量是,运动检测区域中空间方向的分辨率被设置为低,从而运动检测区域被设置为宽。当前图像与在前图像之间的帧间隔被缩减,即,帧率增大,从而时间方向的分辨率被设置为高。
第三运动对象检测处理计算运动对象并且基于具有相同方向和相同幅度的运动向量的像素的数目是否大于阈值来检测运动对象。在计算运动向量时,运动检测区域中的空间方向的分辨率被设置为相对高,从而运动检测区域被设置为相对窄。当前图像与在前图像之间的帧间隔被缩减,即,帧率被增大,从而时间方向的分辨率被设置为高。
第四运动对象检测处理计算运动向量并且基于具有相同方向和相同幅度的运动向量的像素的数目是否大于阈值来检测运动对象。在计算运动向量时,运动检测区域中的空间方向的分辨率被设置为高于阈值,从而运动检测区域被设置为相对窄。当前图像与在前图像之间的帧间隔被缩减,即,帧率被增大,从而时间方向的分辨率被设置为高。
通过用第一至第四运动对象检测处理来检测运动对象,通过第一运动对象检测处理可以精确地检测到近距离运动对象。当运动对象从近距离状态向远距离状态移动时,通过第二运动对象检测处理可以精确地检测运动对象。当运动对象位于远距离时,通过第三运动对象检测处理可以精确地检测运动对象。当运动对象达到远距离时,通过第四运动对象检测处理可以精确地检测运动对象。
这样,可以根据运动对象的远近通过4个步骤来检测运动对象,并且减小对到运动对象的距离的依赖性,从而精确地检测运动对象。当指示第一至第四运动对象检测处理中的哪个处理检测出了运动对象的信息被包括在运动对象检测结果中时,可以准确地判断所检测出的运动对象关于用来检测对象的运动的那个相机装置的距离是远还是近。第一至第四运动对象检测处理以及其相应的检测方法和分辨率设置(例如,时间的和空间的)可以利用用于确定运动对象的邻近度的不同和/或附加的技术(例如,检测因素)。例如,不同的检测方法可以被采样,以被添加至或替换对象检测处理中能够执行的现有检测方法中的任一种。类似地,附加的分辨率或其他参数也可以被结合到现有的对象检测处理中。此外,构想到,一个或多个其他运动对象检测处理可以被添加到第一至第四运动对象检测处理。还可以使用编程来有选择地去除(以及添加)现有的对象检测处理(例如,去除第三运动对象检测处理)。这可以经由用户接口(例如由用户)实现或以基于某些评估出的系统性能参数的自动方式(例如处理器331和332的处理能力)的自动化方式来实现。
运动对象检测处理器中的每一个(例如,如图3中所示,处理器331、332)可以基于具体处理器的处理能力(即,需要处理器的多少处理资源来执行该处理)来选择这4种运动对象处理中的一种。例如,远距离运动对象检测处理器(332)可以根据第四运动对象检测处理来设置其检测因素。如果远距离运动对象检测处理器(332)检测到其处理能力(对处理器的处理能力要求)超过具体阈值(例如,60%利用),则处理器332可以将其检测因素从第四运动对象检测处理的更改为具有缩减的处理要求的另一运动对象检测处理(例如,第二运动对象检测处理)的。并且,基于处理能力要求,运动对象检测处理器331、332中的每一个可以在4个运动对象检测处理中单独地改变其检测因素的一个或多个(例如,时间和/或空间方向的分辨率)。例如,如果近距离运动对象检测处理器331检测出其处理能力要求超过具体阈值(例如,60%利用),则处理器331可以改变其检测因素中的一个或多个(例如,减小时域的分辨率)来降低处理能力要求。通过根据运动对象检测处理来管理处理能力以及他们各自的检测因素,可以避免执行期间与处理器超载相关联的问题,因此,对象检测可靠度根据处理器可靠度而增大。
10.用于通过软件来检测运动对象的配置
上述处理序列可以用硬件或用软件或用两者的组合来实现。当这些处理用软件来执行时,计算机程序被安装到被组装到专用硬件中的计算机的存储器中,并且在其中被执行。可替换地,计算机程序可以安装到能够进行各自处理的通用计算机中并且在其中被执行。
图10是图示出根据本发明一个实施例的使用计算机程序来执行上述处理的计算机的配置的示图。计算机60的CPU(中央处理单元)61根据ROM(只读存储器)62或存储单元69中所存储的计算机程序来执行各自处理。
由CPU61执行的计算机程序或这里所使用的数据被适当地存储在RAM(随即存取存储器)63中。CPU61、ROM62和RAM63经由总线64相互连接。
输入和输出接口65经由总线64连接到CPU61。诸如触控面板、键盘、鼠标和麦克风之类的用户接口单元66、用于输入图像信号的输入单元67和包括显示器的输出单元68连接到输入和输出接口65。CPU61使用响应于从用户接口单元66输入的命令而从输入单元67输入的图像信号来执行各种处理。CPU61将处理结果输出给输出单元68。
连接到输入和输出接口65的存储单元69例如包括硬盘并且存储由CPU61执行的计算机程序或各种数据。通信单元70经由诸如因特网或局域网之类的网络或诸如数字广播之类的有线或无线通信介质来与外部装置通信。
当可移除介质72被安装,驱动器71驱动该可移除介质并且获取所存储的计算机程序或其中所存储的数据。如果必要,则所获取的计算机程序或数据被发送给ROM62、RAM63或存储单元69。
该计算机程序例如事先被存储在硬盘或ROM(只读存储器)中。可替换地,该计算机程序可以被临时地或永久地存储(记录)在可移除介质72中并且可以由驱动器71读取,可移除介质72例如是软盘、CD-ROM(致密盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、磁盘和半导体存储器。计算机程序可以通过无线被从下载站点传送到计算机,或者可以通过有线经由诸如LAN(局域网)或因特网之类的网络被发送到计算机。计算机可以接收经由通信单元70发送的计算机程序并且将所接收到的计算机程序安装在诸如内建的硬盘之类的记录介质中。
CPU61执行计算机程序,并且使得计算机系统60用作这样的功能装置,其通过多个运动对象检测设置使用当前图像和在前图像来检测运动检测区域中的运动对象。计算机系统60被使得用作这样的功能装置,其在通过这多个运动对象检测设置之一检测到运动对象时,判定在该运动检测区域中检测到运动对象,并且输出运动检测区域的运动对象检测结果。计算机系统60被使得用作这样的功能装置,其根据从运动检测区域的图像中检测出的运动对象的距离远近来使用具有不同运动对象检测特征或因素的多个运动对象检测设置或处理来作为所述多个运动对象检测设置。
以这种方式,可以基于从输入单元67输入的图像信号或经由通信单元70提供的图像信号来精确地检测运动对象,而不论该运动对象距离是远还是近。
根据一个或多个实施例,运动检测区域中的运动对象有多个运动对象检测器使用当前图像和在前图像来检测。当运动对象被这多个运动对象检测处理器中的一个检测到时,可以判定该运动对象在该运动检测区域中被检测到,并且该运动检测区域的运动对象检测结果被输出。根据从运动检测区域的图像中检测到的运动对象的距离远近,具有不同运动对象检测特征的多个运动对象检测处理器被用作所述多个运动对象检测处理器。因此,可以精确地检测运动对象,而不论该运动对象距离是远还是近。因此,本发明可以适当地应用于监视系统、侦测系统等。
例如,本发明的实施例包括这样的方法,其用于通过使用一个或多个检测因素(第一检测因素或第一因素)检测对象的运动来提供第一对象检测输出,使用一个或多个检测因素(第二检测因素或第二因素)检测对象的运动来提供第二对象检测输出,并且如果第一和/或第二对象检测输出被提供则产生输出,来检测运动对象。
本发明的实施例的另一示例包括多个第一检测因素,所述第一检测因素例如包括第一检测方法、第一空间方向分辨率和第一时域分辨率。并且,使用这样一个或多个第一检测因素还可以包括从多个运动对象检测处理中选择第一运动对象检测处理。
此外,第二检测因素例如可以包括第二检测方法、第二空间方向分辨率和第二时域分辨率。
应当理解,本发明可以以硬件、软件、固件、专用处理或它们的组合来实现。在一个实施例中,至少本发明的一部分可以以被有形地包含在计算机可读程序存储装置上的软件来实现。应用程序可以被下载到包括合适的体系结构的任何装置上并由其来执行。
以上公开的具体实施例仅仅是说明性的,因为对受益于这里的教导的本发明技术人员,本发明可以以不同但是等同的方式来修改或实行。此外,除了权利要求中所描述的以外,不意欲对这里所示出的结构或设计的细节施加任何限制。因此,显然,上述具体实施例可以被更改或修改,并且所有这样的变化被认为在本发明的范围和精神以内。尽管在这里已经参考附图详细描述了本发明的说明性实施例,但是应当理解,本发明不限于这些精确地实施例,并且本领域技术人员可以在不偏离由权力要求限定的范围和精神的情况下实现各种改变和修改。

Claims (25)

1.一种用于检测由成像装置捕获的对象的运动的方法,所述方法包括以下步骤:
提供运动检测区域;
检测对象的运动,包括
基于第一运动对象检测处理来检测对象的运动;并且
基于第二运动对象检测处理来检测对象的运动,其中,所述第一运动对象检测处理与所述第二运动对象检测处理不同;以及
根据基于所述第一运动对象检测处理和第二运动对象检测处理中的至少一个所进行的检测来生成输出,
其中,所述检测对象运动的步骤还包括检测所述对象在所述运动检测区域内的运动,并且
其中,所述输出包括对所述对象的位置相对于所述成像装置的临近度的指示。
2.根据权利要求1所述的方法,其中,所述第一和第二运动对象检测处理中的每一个根据多个检测因素中的至少一个来操作。
3.根据权利要求2所述的方法,其中,所述多个检测因素中的至少一个包括使用多个所捕获的图像的运动向量检测。
4.根据权利要求3所述的方法,其中,所述多个所捕获的图像包括一个或多个之前捕获的图像或当前捕获的图像。
5.根据权利要求1所述的方法,其中,所述检测对象运动的步骤由相机执行。
6.根据权利要求2所述的方法,其中,所述多个检测因素中的至少一个包括使用多个所捕获的图像的归一化相关检测。
7.根据权利要求6所述的方法,其中,所述多个所捕获的图像包括一个或多个之前捕获的图像或当前捕获的图像。
8.根据权利要求6所述的方法,其中,所述多个检测因素中的至少一个包括以下各项中的至少一个:
与图像显示屏上的距离相关联的空间分辨率;和
与所捕获的图像之间的间隔相关联的时间分辨率。
9.根据权利要求1所述的方法,其中,所述第一运动对象检测处理对应于所述对象的相对于所述成像装置具有第一临近度的位置,
其中,所述第二运动对象检测处理对应于所述对象的相对于所述成像装置具有第二临近度的位置,
其中,所述第一临近度比所述第二临近度距离所述成像装置更远。
10.根据权利要求1所述的方法,其中,所述检测对象运动的步骤还包括使用第一处理要求和第二处理要求,以使得所述第一运动对象检测处理基于所述第一处理要求被选择。
11.根据权利要求10所述的方法,其中,所述第二运动对象检测处理基于所述第二处理要求被选择。
12.根据权利要求1所述的方法,其中,所述第一运动对象检测处理和所述第二运动对象检测处理中的至少一个包括这样的处理,该处理包括:
运动向量检测和归一化相关检测。
13.根据权利要求1所述的方法,其中,所述第一运动对象检测处理和所述第二运动对象检测处理中的至少一个包括这样的处理,该处理包括:
空间分辨率的第一分辨率空间设置和第二分辨率空间设置,
其中所述第一分辨率空间设置低于所述第二分辨率空间设置。
14.根据权利要求1所述的方法,其中,所述第一运动对象检测处理和所述第二运动对象检测处理中的至少一个包括这样的处理,该处理包括:
包括第一帧率设置和第二帧率设置的时间分辨率,
其中所述第一帧率设置低于所述第二帧率设置。
15.根据权利要求1所述的方法,其中,所述第一运动对象检测处理和所述第二运动对象检测处理包括这样的处理,该处理包括:
运动向量检测和归一化相关检测;
第一分辨率空间设置和第二分辨率空间设置,
其中所述第一分辨率空间设置低于所述第二分辨率空间设置。
16.根据权利要求1所述的方法,其中,所述第一运动对象检测处理和所述第二运动对象检测处理包括这样的处理,该处理包括:
运动向量检测和归一化相关检测;以及
第一帧率设置和第二帧率设置,
其中所述第一帧率设置低于所述第二帧率设置。
17.根据权利要求1所述的方法,其中,所述第一运动对象检测处理和所述第二运动对象检测处理包括这样的处理,该处理包括:
运动向量检测和归一化相关检测;
第一分辨率空间设置和第二分辨率空间设置;以及
第一帧率设置和第二帧率设置,
其中所述第一分辨率空间设置低于所述第二分辨率空间设置;并且
其中所述第一帧率设置低于所述第二帧率设置。
18.一种用于检测运动对象的设备,所述设备包括:
第一运动对象检测处理器,其用于使用一个或多个第一检测因素来检测对象的运动以提供第一对象检测输出;
第二运动对象检测处理器,其用于使用一个或多个第二检测因素来检测对象的运动以提供第二对象检测输出;以及
检测结果处理器,其用于组合所述第一和/或第二对象检测输出并输出组合结果,
其中,所述第一对象检测输出与所述第二对象检测输出不同,并且
所述第一运动对象检测处理器用于基于处理能力要求来从多个运动对象检测处理中选择第一运动对象检测处理,所述处理能力要求用于执行所选择的所述第一运动对象检测处理,
所述第二运动对象检测处理器用于基于处理能力要求来从多个运动对象检测处理中选择第二运动对象检测处理,所述处理能力要求用于执行所选择的所述第二运动对象检测处理,
其中,所述第一运动对象检测处理与所述第二运动对象检测处理不同。
19.根据权利要求18所述的设备,其中,所述第一检测因素包括:
第一检测方法;
第一空间方向分辨率;以及
第一时域分辨率。
20.根据权利要求18所述的设备,其中,所述第二检测因素包括:
第二检测方法;
第二空间方向分辨率;以及
第二时域分辨率。
21.根据权利要求18所述的设备,其中所述第一运动对象检测处理器还用于从多个运动对象检测处理中选择第一运动对象检测处理。
22.根据权利要求21所述的设备,其中选择所述第一运动对象检测处理包括:
选择归一化相关检测方法。
23.根据权利要求21所述的设备,其中选择所述第一运动对象检测处理包括:
选择归一化相关检测方法;以及
减小与显示屏幕上的距离相关联的空间方向分辨率,其中所述空间方向分辨率是作为所述对象相对于所捕获的所述对象的图像的位置更近的函数而被减小。
24.根据权利要求21所述的设备,其中选择所述第一运动对象检测处理包括:
选择归一化相关检测方法;以及
增大与所捕获的所述对象的图像之间的间隔相关联的时间分辨率,其中,所述时间分辨率是作为所述对象相对于所捕获的所述对象的图像的位置更近的函数而被增大。
25.根据权利要求21所述的设备,其中选择所述第一运动对象检测处理包括:
选择归一化相关检测方法;以及
减小与显示屏幕上的距离相关联的空间方向分辨率,其中所述空间方向分辨率是作为所述对象相对于所捕获的所述对象的图像的位置更近的函数而被减小;以及
增大与所捕获的所述对象的图像之间的间隔相关联的时间分辨率,其中,所述时间分辨率是作为所述对象相对于所捕获的所述对象的图像的位置更近的函数而被增大。
CN201410216476.9A 2009-05-14 2010-05-07 运动对象检测装置、运动对象检测方法和计算机程序 Pending CN104077785A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009117388A JP5272886B2 (ja) 2009-05-14 2009-05-14 動体検出装置と動体検出方法およびコンピュータ・プログラム
JP2009-117388 2009-05-14

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201010173976.0A Division CN101888535B (zh) 2009-05-14 2010-05-07 运动对象检测装置、运动对象检测方法和计算机程序

Publications (1)

Publication Number Publication Date
CN104077785A true CN104077785A (zh) 2014-10-01

Family

ID=43068539

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410216476.9A Pending CN104077785A (zh) 2009-05-14 2010-05-07 运动对象检测装置、运动对象检测方法和计算机程序
CN201010173976.0A Expired - Fee Related CN101888535B (zh) 2009-05-14 2010-05-07 运动对象检测装置、运动对象检测方法和计算机程序

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201010173976.0A Expired - Fee Related CN101888535B (zh) 2009-05-14 2010-05-07 运动对象检测装置、运动对象检测方法和计算机程序

Country Status (3)

Country Link
US (2) US8548202B2 (zh)
JP (1) JP5272886B2 (zh)
CN (2) CN104077785A (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5644097B2 (ja) * 2009-12-08 2014-12-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9077630B2 (en) * 2010-07-26 2015-07-07 Seven Networks, Inc. Distributed implementation of dynamic wireless traffic policy
JP5507014B2 (ja) * 2011-08-10 2014-05-28 富士フイルム株式会社 動体検出装置及び方法
JP2014021901A (ja) * 2012-07-23 2014-02-03 Casio Comput Co Ltd 被写体検出装置、被写体検出方法及びプログラム
US9445057B2 (en) * 2013-02-20 2016-09-13 Magna Electronics Inc. Vehicle vision system with dirt detection
JP5813690B2 (ja) * 2013-04-08 2015-11-17 シャープ株式会社 座標位置検出装置及び表示入力装置
EP2916264A1 (en) 2014-03-07 2015-09-09 Tata Consultancy Services Limited Multi range object detection device and method
JP6488697B2 (ja) * 2014-12-25 2019-03-27 株式会社リコー オプティカルフロー算出装置、オプティカルフロー算出方法、及びプログラム
CN105989326B (zh) * 2015-01-29 2020-03-03 北京三星通信技术研究有限公司 人眼三维位置信息的确定方法和装置
JP6384802B2 (ja) * 2015-03-26 2018-09-05 パナソニックIpマネジメント株式会社 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路
US10019805B1 (en) * 2015-09-29 2018-07-10 Waymo Llc Detecting vehicle movement through wheel movement
JP6752024B2 (ja) * 2016-02-12 2020-09-09 日立オートモティブシステムズ株式会社 画像処理装置
JP6700872B2 (ja) * 2016-03-07 2020-05-27 キヤノン株式会社 像振れ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体
US10440366B2 (en) 2016-07-01 2019-10-08 Intel Corporation Method and system of video coding using content based metadata
US10152822B2 (en) * 2017-04-01 2018-12-11 Intel Corporation Motion biased foveated renderer
US10319064B2 (en) 2017-04-10 2019-06-11 Intel Corporation Graphics anti-aliasing resolve with stencil mask
JP7211373B2 (ja) * 2018-01-04 2023-01-24 株式会社ソシオネクスト 動画像解析装置、動画像解析システム、動画像解析方法、及びプログラム
JP7086761B2 (ja) * 2018-07-10 2022-06-20 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
US11106912B1 (en) 2019-08-05 2021-08-31 Genetec Inc. Method and system for video content analysis

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6975246B1 (en) * 2003-05-13 2005-12-13 Itt Manufacturing Enterprises, Inc. Collision avoidance using limited range gated video
CN1299242C (zh) * 2003-03-03 2007-02-07 松下电工株式会社 用于识别移动目标轮廓的图像处理设备及其方法
CN101237562A (zh) * 2007-01-30 2008-08-06 中兴通讯股份有限公司 一种监控终端基于帧比较的运动检测方法
US20080252723A1 (en) * 2007-02-23 2008-10-16 Johnson Controls Technology Company Video processing systems and methods

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5109425A (en) * 1988-09-30 1992-04-28 The United States Of America As Represented By The United States National Aeronautics And Space Administration Method and apparatus for predicting the direction of movement in machine vision
US5220619A (en) * 1989-10-23 1993-06-15 U.S. Philips Corp. Method of matching a variable two-dimensional image of a known three-dimensional object with a desired two-dimensional image of the object, and device for carrying out the method
JP3235393B2 (ja) * 1995-03-17 2001-12-04 トヨタ自動車株式会社 移動ベクトル抽出方法
US20070267501A1 (en) * 2006-05-18 2007-11-22 Hand Held Products, Inc. Multipurpose optical reader
US6661918B1 (en) 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US6707486B1 (en) * 1999-12-15 2004-03-16 Advanced Technology Video, Inc. Directional motion estimator
US6940998B2 (en) 2000-02-04 2005-09-06 Cernium, Inc. System for automated screening of security cameras
KR100541037B1 (ko) * 2002-03-15 2006-01-10 가부시키가이샤 히다치 고쿠사이 덴키 검출마스크영역의 설정이 용이한 촬상장치를 사용한물체검출방법 및 동 방법을 사용한 물체검출장치
US7227893B1 (en) 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US7696903B2 (en) * 2003-03-20 2010-04-13 Gentex Corporation Imaging system for detecting vehicle and human movement
KR100571836B1 (ko) * 2004-03-05 2006-04-17 삼성전자주식회사 동영상의 비디오 샷 변화 검출 방법 및 장치
JP4572583B2 (ja) * 2004-05-31 2010-11-04 パナソニック電工株式会社 撮像装置
US7982774B2 (en) 2004-09-13 2011-07-19 Sony Corporation Image processing apparatus and image processing method
JP4315138B2 (ja) * 2004-09-13 2009-08-19 ソニー株式会社 画像処理装置及び画像処理方法
EP1811456B1 (en) 2004-11-12 2011-09-28 Omron Corporation Face feature point detector and feature point detector
US7965314B1 (en) * 2005-02-09 2011-06-21 Flir Systems, Inc. Foveal camera systems and methods
JP4623368B2 (ja) * 2005-03-16 2011-02-02 ソニー株式会社 移動物体検出装置、移動物体検出方法及びプログラム
US20060259574A1 (en) * 2005-05-13 2006-11-16 Outland Research, Llc Method and apparatus for accessing spatially associated information
JP2007064894A (ja) * 2005-09-01 2007-03-15 Fujitsu Ten Ltd 物体検出装置、物体検出方法および物体検出プログラム
JP4776324B2 (ja) * 2005-10-05 2011-09-21 三菱電機株式会社 監視端末装置
US7783096B2 (en) * 2005-10-17 2010-08-24 Siemens Corporation Device systems and methods for imaging
US7558404B2 (en) 2005-11-28 2009-07-07 Honeywell International Inc. Detection of abnormal crowd behavior
US7633383B2 (en) * 2006-08-16 2009-12-15 International Business Machines Corporation Systems and arrangements for providing situational awareness to an operator of a vehicle
JP2008276613A (ja) * 2007-05-01 2008-11-13 Sumitomo Electric Ind Ltd 移動体判定装置、コンピュータプログラム及び移動体判定方法
JP2008298533A (ja) * 2007-05-30 2008-12-11 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム
US20090147272A1 (en) 2007-12-05 2009-06-11 Microvision, Inc. Proximity detection for control of an imaging device
US8130200B2 (en) 2008-01-14 2012-03-06 Benjamin Slotznick Combination thumb keyboard and mouse
US8379989B2 (en) 2008-04-01 2013-02-19 Toyota Jidosha Kabushiki Kaisha Image search apparatus and image processing apparatus
US8131848B1 (en) * 2009-09-29 2012-03-06 Jason Adam Denise Image analysis and communication device control technology

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1299242C (zh) * 2003-03-03 2007-02-07 松下电工株式会社 用于识别移动目标轮廓的图像处理设备及其方法
US6975246B1 (en) * 2003-05-13 2005-12-13 Itt Manufacturing Enterprises, Inc. Collision avoidance using limited range gated video
CN101237562A (zh) * 2007-01-30 2008-08-06 中兴通讯股份有限公司 一种监控终端基于帧比较的运动检测方法
US20080252723A1 (en) * 2007-02-23 2008-10-16 Johnson Controls Technology Company Video processing systems and methods

Also Published As

Publication number Publication date
JP5272886B2 (ja) 2013-08-28
US8548202B2 (en) 2013-10-01
CN101888535B (zh) 2014-06-18
US20100290672A1 (en) 2010-11-18
US20140003669A1 (en) 2014-01-02
JP2010267055A (ja) 2010-11-25
CN101888535A (zh) 2010-11-17

Similar Documents

Publication Publication Date Title
CN101888535B (zh) 运动对象检测装置、运动对象检测方法和计算机程序
JP2953712B2 (ja) 移動物体検知装置
US8718324B2 (en) Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation
CN108229475B (zh) 车辆跟踪方法、系统、计算机设备及可读存储介质
KR101747216B1 (ko) 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체
CN100366051C (zh) 图像处理设备和方法
CN110782433B (zh) 基于时序的动态信息暴力抛物检测方法、装置及存储介质
CN110610150A (zh) 一种目标运动物体的跟踪方法、装置、计算设备和介质
CN115063454B (zh) 多目标跟踪匹配方法、装置、终端及存储介质
US20110085026A1 (en) Detection method and detection system of moving object
JP4513034B2 (ja) 画像信号処理装置、画像信号処理方法、およびプログラム
CN110992393A (zh) 一种基于视觉的目标运动跟踪方法
JP7165353B2 (ja) 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム
WO2021036669A1 (zh) 智能振动检测方法及相关产品
CA2420069A1 (en) Image processing apparatus and method, and image pickup apparatus
CN111784750A (zh) 视频图像中移动物体追踪方法、装置、设备以及存储介质
KR100825504B1 (ko) 카메라를 이용한 인터페이스 장치 및 방법
KR101438451B1 (ko) 비고정 카메라 영상에 대한 이중모드 sgm 기반의 이동체 고속 검출 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
CN115546736A (zh) 基于图像采集的河道采砂监控处理方法及系统
CN111639708B (zh) 图像处理方法、装置、存储介质及设备
CN111553408A (zh) 视频识别软件自动测试的方法
CN116489317B (zh) 基于摄像装置的物体侦测方法、系统以及存储介质
US10567632B2 (en) Non-transitory computer-readable storage medium, image processing method, and image processing apparatus
Guo et al. A kind of global motion estimation algorithm based on feature matching
CN112131966A (zh) 泥头车监控方法、系统和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141001

WD01 Invention patent application deemed withdrawn after publication