CN1963839A - 人的检测方法和设备 - Google Patents
人的检测方法和设备 Download PDFInfo
- Publication number
- CN1963839A CN1963839A CNA2006101435881A CN200610143588A CN1963839A CN 1963839 A CN1963839 A CN 1963839A CN A2006101435881 A CNA2006101435881 A CN A2006101435881A CN 200610143588 A CN200610143588 A CN 200610143588A CN 1963839 A CN1963839 A CN 1963839A
- Authority
- CN
- China
- Prior art keywords
- pixel
- motion
- face
- picture frame
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
提供了一种人的检测方法和设备。在该方法中,从数字视频摄像机提供的图像中检测人。该方法包括(a)初始化用户检测用到的参数;(b)确定当前模式;(c)当确定当前检测模式为脸部检测模式时,对每一个图像帧执行脸部检测,当即使经过预设脸部试验次数后仍然没有检测到脸部时,选择运动检测模式,并返回到步骤(b);(d)当确定当前检测模式为运动检测模式时,同时对预设数目的图像帧执行运动检测,当在预设时间内至少预设次数运动检测执行成功后,返回步骤(a)。
Description
本申请是2003年12月6日提交的申请号为200310124936.7的发明专利申请“人的检测方法和设备”的分案申请。
技术领域
本发明涉及人的检测,更特别地是,涉及一种使用从数字视频摄像机输入的图像进行的人检测的方法和设备。
背景技术
现有技术韩国专利公开号为2000-50405和1997-60927的专利揭示了运动检测方法。韩国专利公开号为2000-50405的专利揭示了一种使用不考虑环境亮度的安全摄像机进行运动检测的方法。在该方法中,采样每一个图像帧,获取每个被采样的图像帧中的像素之间的变化,对前一个图像帧中像素之间的变化和当前图像帧中像素之间的变化进行比较,两个变化之间的差和一个预先确定的参考值进行比较。韩国专利公开号为1997-60927的专利揭示了一种选择性的记录设备和方法,其中仅记录一个摄像机记录的许多图像中的一个图像帧,该图像帧具有不同于参考图像的图像信号。然而,由于这两种方法使用了两个连续图像中像素数值的变化,因此一个即使是因为一种像噪声一样的变化,例如照明度中的变动而产生的像素数值中的变化也被检测作为运动。
韩国专利公开号为1998-82154和2000-61100的专利揭示了一种控制用户访问与安全系统相连的特殊服务器的方法。韩国专利公开号为1998-82154的专利揭示了一种用户识别系统和采用该系统的自动取款机(ATM)。用户识别系统和自动取款机联合操作。用户识别系统通过一个用来记录自动取款机用户脸部图像的监视摄像机获取一个脸部轮廓,分析脸部轮廓来决定是否某个后来被确定的特征存在于该脸部轮廓中,只有在可以确定的特征存在时,才允许处理用户的命令。韩国专利公开号为2000-61100的专利揭示了一种在银行系统中认出用户脸部的方法。在该方法中,必须确定在给用户照得的脸部图像中眼睛和嘴是否可以清晰的监测到。当眼睛和嘴不能够被清晰的监测,例如,当用户用手盖住他/她的脸,戴着帽子或者面具,或者不能展示他/她清晰的脸部外观时,银行系统的操作将被中断,因此可以阻止金融犯罪。然而,尽管提供这两种方法可以阻止可能的违法行为,不利的是,一个没有意图违法但是戴着太阳镜、面具或者帽子的诚实的人将会不便。
发明内容
本发明提供一种使用数字摄像机的人的检测方法,通过该方法可以精确的检测到一个真实的运动,不会被类似噪声的变化,例如照明度的变化影响,例如个人脸部的信息可以被精确地检测和存储,使用数字摄像机获取的图像存储使用效率得到提高。
本发明还提供使用人的检测方法的人的检测设备。
按照本发明的一个方面,其提供了一种通过数字视频摄像机提供的图像来检测人的方法。该方法包括:(a)初始化用于用户检测的参数;(b)决定当前的模式;(c)当决定当前模式为脸部检测模式时,对众多图像帧中的每一帧执行脸部检测,当经过预先设定的脸部检测试验次数后仍然没有检测到脸部时,选择运动检测模式,并且返回到步骤(b);(d)当决定当前的检测模式是运动检测时,同时对预定数目的图像帧执行运动检测,当在一个预先设定的时间内至少成功地执行预定数目的运动检测时,返回到步骤(a)。
优选地,在步骤(c)中包含使用Gabor小波变换检测脸部选择区域。
优选地,在步骤(c)中包含使用低分辨率支持矢量机和高分辨率支持矢量机检测脸部。
按照本发明的另一个方面,提供一种检测由数字视频摄像机提供的图像运动的方法。该方法包括:接收多个预定数目的图像帧;使用时间边界检测算法和相对于时间的像素值变化来检测图像帧中的运动;决定是否已经检测到运动;当确定运动已经被检测时,存储图像。
按照本发明的另一个方面,提供一种从数字视频摄像机提供的图像中检测人的设备。该设备包括:用于初始化用户检测所需参数的装置;决定当前模式的检测模式决定装置;脸部检测装置,当决定当前模式是脸部检测模式时,在众多图像帧中的每一帧执行脸部检测,当经过预定数目的脸部检测试验后仍然没有检测到脸部时,选择运动检测模式;运动检测装置,当决定当前模式不是脸部模式时,同时对预定数目的图像帧执行运动检测,当在一个预先设定的时间内成功地执行预定数目的运动检测时,初始化参数。
按照本发明的另外一个方面,提供一种从数字视频摄像机提供的图像中检测运动的设备。该设备包括:一个接收预定数目的图像帧的装置;使用时间边界检测算法和相对于时间的像素值变化来检测图像帧中的运动的装置;决定是否一个运动已经被检测的装置;当确定运动已经被检测时,存储图像的装置。
附图说明
通过结合附图对本发明的优选实施例进行详细描述,本发明的上述和其他特性和优点将会变得更加清楚。
图1表示一个按照本发明实施例的人的检测方法的流程图;
图2表示图1中所示的步骤S30的具体实施例的流程图;
图3显示M形栅格图;
图4显示水平方向和垂直方向的栅格间隔;
图5A和5B显示了改变定义脸部检测区域的搜索窗口的过程,在该窗口中,脸部检测在包含使用Gabor小波变换检测的脸部候选区域和周围区域的图像中执行。
图6表示图1中所示步骤S40的具体实施例的流程图;
图7表示图6中所示步骤S404的具体实施例的流程图;
图8表示图7中所示步骤S4040的具体实施例的流程图;
图9表示按照本发明实施例在安全系统中检测运动的方法的流程图;
图10表示按照本发明的实施例的人的检测设备的方框图。
具体实施方式
在下文中,将参照附图详细地描述本发明的优选实施例。
本发明关于使用从数字视频摄像机输入的图像所进行的人的检测方法。最优选的是用来检测图像中的个人脸部。本发明的目的是即使脸部不能被准确的检测也可以检测图像中个人的运动和轮廓。为了达到这个目的,本发明包含脸部检测和运动检测,两者补充执行,从而提供一种更加精确和高效的从输入图像检测个人的方法。另外,只有一个被检测到脸部或者运动的图像被存储,因此显著的提高了存储器使用效率。
图1是一个按照本发明的实施例使用数字视频摄像机进行人的检测方法的流程图。该方法包括初始化参数(S10)、决定检测模式(S20)、检测脸部(S30)和检测运动(S40)。
更加特别的,用来检测人的参数被初始化(S10)。参数包括检测模式DETECT_MODE,脸部检测试验次数COUNT_FD,运动检测试验次数COUNT_MD,运动检测成功次数SUCCESS_MD。这里,“FD”表示脸部检测,“MD”表示运动检测。在步骤S10中,所有的参数都被初始化为,例如0。当检测模式DETECT_MODE是0时,一个使用该方法的系统在脸部检测模式下操作。当检测模式DETECT_MODE是1时,安全系统在运动检测模式下操作。执行脸部检测和运动检测的顺序在该方法中不重要。然而,为了更清楚地描述,初始化检测模式DETECT_MODE被设置为0,使得在系统开启时首先执行脸部检测。
经过步骤S10,确定检测模式DETECT_MODE是否为脸部检测模式(S20)。如果确定该检测模式DETECT_MODE是脸部检测模式,则执行脸部检测(S30)。如果确定检测模式DETECT_MODE不是脸部检测模式,则执行运动检测(S40)。
在步骤S30中,当经过预先设定的脸部检测试验次数后仍然没有检测到脸部时,选择运动检测模式,并且处理回到步骤S20。另外,步骤S30包含使用Gabor小波变换检测脸部候选区域和使用低分辨率支持矢量机(SVM)和高分辨率SVM检测脸部。在步骤S40中,运动检测同时执行于预先设定数量的图像帧中,当在预先设定的时间段内,至少预定次数的运动检测成功时,操作将返回到步骤S10。图2表示图1所示步骤S30的具体实施例的流程图。步骤S30的实施例包括:接收单个图像帧,从图像帧中检测脸部,当脸部被检测到时存储该图像帧,重复脸部检测,当从预先设定的任何数目的图像帧中都没有检测到脸部时选择运动检测(S300至S320)。
在步骤S30中,在单个图像帧上执行单个脸部检测,连续脸部检测的次数受限于预先设定的阈值TH1。步骤S30中执行的脸部检测经过三步:粗略检测(S304)、中等检测(S308)和详细检测(S312)。相应地,可以减少脸部检测消耗的时间,同时,可以保持一个令人满意的脸部检测速率。脸部检测(S30)的操作将参照图2进行详细描述。
接收到一个用于脸部检测的单个图像帧(S300)。在单个图像帧上执行单个脸部检测。
在步骤S300之后,脸部检测试验次数COUNT_FD增加1(S302)。步骤S302用来限制连续脸部检测次数为预先设定的阈值TH1。当一次脸部检测试验失败后使用一个新的图像帧试验脸部检测时,脸部检测试验次数COUNT_FD增加1。
在步骤S302后,对脸部候选区域进行检测(S304)。为了检测脸部候选区域,建立一个由训练多个模型脸部图形所构成的模型脸部数据库。在步骤S304,使用Gabor小波变换,更加特别地,使用M-栅格Gabor小波变换,将图像帧与模型脸部数据库进行比较以检测一个脸部候选区域。在M-栅格的Gabor小波变换中,训练模型脸部轮廓的栅格间距可以基于眼珠中间的距离和眼睛和嘴之间的距离来确定。使用M-栅格的Gabor小波变换的步骤S304将参考图3和图4详细介绍。
为了从连续的图像信号中检测脸部候选区域,执行许多关于图像中脸部色彩或者图形的研究和开发。尽管像素层次的皮肤颜色可以显著地减少检测间隔,但是人类皮肤的颜色将根据拍照环境以及光源的方向和强度的变化而改变。在本发明中,使用通过M型栅格的Gabor滤波器响应的相似匹配得到的图形信息检测脸部候选区域。
如图3中所示,M-栅格由一些预先设置的栅格点组成,例如20个栅格点,组成字母M的形状。栅格点在水平和垂直方向以预先设置的间隔排列。例如,如图4所示,栅格点的水平间隔可以设置为眼珠中间距离的1/4,垂直方向可以设置为从嘴到两眼连线的距离的1/3。
使用Gabor小波变换进行脸部候选区域的检测包括两步。一步是,训练包含脸部各种变化的模拟脸部图像,这里,通过执行训练将M-栅格结构应用于多个图像来构成模型脸部数据库。另一步是,使用M形栅格相似性匹配,对模拟脸部数据库中的模型脸部和接收到的图像画面进行比较。这里,如果确定具有与模型脸部高度近似性的非脸部图像部分作为执行M-型栅格匹配的结果,甚至一个非脸部图像部分被作为脸部候选区域进行检测。
在步骤S304之后,决定是否已经使用M-栅格的Gabor小波变换检测到脸部候选区域(S306)。根据M-栅格的Gabor小波变换,在图像中可以被估计为脸部的部分被检测作为脸部候选区域,不管这部分是不是真正的脸部。换句话说,一个预先设定的部分,即被确定具有属于整个图像中的脸部的最大可能性的部分,将被认定为脸部候选区域。这样,即使当脸部候选区域从图像中检测出来,也不能认定图像中实际上包含一个脸部。因此,一个低分辨率的脸部检测(S308)和一个高分辨率的脸部检测(S312)在所检测的脸部候选区域执行,以便更精确地检测脸部。然而,如果认定脸部候选区域没有被检测到,操作转到步骤S318,在那里,脸部检测试验次数COUNT_FD等于或者大于预先设定的阈值TH1。步骤S308将在后面详细描述。
在粗略、中等、详细检测的分级结构中,上述的使用Gabor小波变换的脸部检测是最低级的粗略检测。粗略检测不提供精确的检测,但是它对亮度和其他噪声引起的变化不敏感,因此可以在很短时间内完成。例如,当接收图像的大小为320×240,目标脸部两眼之间有40到80个像素,使用奔腾4,1.4GHz的计算机进行粗略检测需要花费大约170ms。
为了从使用M-栅格匹配所检测到的脸部候选区域中更精确地检测脸部,本发明使用基于PCA子空间中训练的SVM的分类。PCA是主成分分析的缩写,其将在下文中被描述。以下描述涉及用于步骤S308和S312的基于SVM脸部检测方法。
脸部图像不是随机地分散在高维图像空间中,因此它们可以由一个低维子空间代表。在基于SVM的分类中,脸部检测的速度根据支持矢量(SV)的数目变化。本发明的目的之一是提高分类速度。通过选择恰当数量的支持矢量,可提高分类速度,并且分类性能可以保持令人满意。本发明采用PCA作为减少脸部尺寸的恰当的方法。一个流传广的脸部识别技术是将PCA方法应用于脸部图像的处理。PCA是一种用于将图像数据影射到低维特征向量空间中具有最小唯一图像信息损失,以减少信息的技术。当PCA用于识别脸部,脸部的主成分矢量将从一个输入图像中提取出来,并且与预先被训练和存储在数据库中的图像的主成分矢量进行比较。
基于低分辨率SVM的分类提高了分类的速度。一个图像在基于低分辨率SVM的分类确定不是脸部时则最终确实不是脸部,然而,即使一个图像在基于低分辨率SVM的分类被认定为是脸部图像时,该图像也可能不是脸部。在该背景下,在步骤S308中使用基于低分辨率SVM的分类就可以高速滤掉非脸部图像。经过滤的图像可能包含非脸部图像。接下来,在步骤S312中经过滤的图像将通过基于高分辨率SVM的分类精确地滤掉非脸部图像。换句话而言,只有作为第一层低分辨率结果被分类为脸部的那部分将经过作为第二层高分辨率的分类。因此,在第二层分类处理的图像数据的数量将大大减少。
例如,一个使用在20×20脸部图像的20 PCA特征训练的低分辨率SVM被应用到在步骤S308中使用Gabor小波变换提取的脸部候选区域。之后,利用使用40×40脸部图像的50 PCA特征训练的二次多项式内核的高分辨率SVM被应用到步骤S312中。
为了执行一个基于SVM的脸部检测,必须向系统提供一个经过训练的脸部数据库。脸部数据库通过使用脸部图像和非脸部图像进行训练而建立。在一个低分辨率SVM的训练中,脸和非脸图像被调整到预先设定的大小,例如20×20,这样,矢量的个数是400。只有一个预先设定数量的矢量,例如20个矢量,从400个矢量中选择出来,作为特征向量,特征向量建立。
下一步,调整位置和刻度来选择一区域,从该区域中在图像中检测到脸部,使用低分辨率SVM检测脸部。
图5A和5B表示在包含使用Gabor子波形变换检测到的脸部候选区域和周围区域的图像中为脸部检测而改变搜索窗口的过程。在使用低分辨率SVM的脸部检测中,搜索窗口的参考点和搜索窗口参考点的运动范围根据脸部候选区域的位置和大小决定。参照图5A,小的划阴影线的矩形表示脸部候选区域。外圈大的矩形代表脸部检测区域,在该范围内使用低分辨率SVM执行脸部检测。例如,在图5A中,左上角设置为第一个搜索窗口的参考点,搜索窗口设置为80×80,如图5B所示。接下来,在搜索窗口中的图像数据被调整大小为20×20。被调整大小的图像数据与经过训练的SV数据结果进行比较以检测脸部。之后,搜索窗口逐渐扩展,重复地进行调整大小和作比较。当搜索窗口的最大限制设置为160×160,搜索窗口同时在长度和宽度上分别扩展20个像素,搜索窗口从80×80逐步扩展到160×160,训练和比较被重复进行五次。由于脸部检测需要在图5A定义的外部大的矩形区域中执行,搜索窗口的参考点向右和向下移动以扩大搜索窗口,如图5B所示。当搜索窗口扩大时,脸部检测重复进行。
在步骤S312中使用高分辨率SVM的脸部检测按照与步骤S308中使用低分辨率SVM的脸部检测同样的方式执行,不同的是调整大小向量的数量和特征向量的数量增加了,结果可以更加精确地检测脸部。更明确地说,必须向系统提供一个经过训练的脸部数据库。脸部数据库通过使用脸部图像和非脸部图像进行训练而建立。在一个高分辨率SVM的训练中,脸和非脸数据被调整到预先设定的大小,例如40×40,这样,矢量的个数是1600。只有一个预先设定数量的矢量,例如50个矢量,从1600个矢量中选择出来,作为特征向量,特征向量建立。
下一步,调整位置和刻度来选择一个区域,从该区域中在图像中检测到脸部,使用高分辨率SVM检测到脸部。搜索窗口参考点和它的移动范围按照与使用如图5A和5B所示的低分辨率SVM的脸部检测相同的方式执行,不同的是它们从使用低分辨率SVM检测到的脸部区域的周边面积中选择出来。
如上所述,一种根据本发明检测脸部的方法包括三步:检测脸部候选区域(S304),使用低分辨率SVM检测脸部(S308),使用高分辨率SVM检测脸部(S312),从而,增加脸部检测的可靠性、准确性和速度。
因此,只有当确定使用高分辨率SVM(S314)检测的结果是检测到脸部时才最终决定脸部被检测到。即使当前图像帧中实际上不包含脸部,而确定在步骤S314中检测到脸部时,错误报警率(FAR)就会增加。当确定在步骤S314中检测到脸部,而当前图像帧中确实包含脸部,脸部检测率(FDR)就增加。
当在步骤S310或者S314中确定没有检测到脸部时,在步骤S318中确定脸部检测试验次数COUNT_FD是否等于或者大于预先设定的阈值TH1(参照第一阈值)。第一阈值TH1可以设置为,例如10。
在步骤S318中,操作是否进入运动检测是基于预先设定的脸部检测试验次数和预先设定的时间段而确定的。一个靠近终端的物体是否是一个人不能通过脸部检测100%地确定。当用户戴面具或者太阳镜或者背朝摄像机,即使用户移动,也很难检测到脸部。在这种情况下,脸部没有检测到,但是必须存储一个包含运动的图像。因此,如果基于有限的预先设定的脸部检测试验次数,确定从任何预先设定数目的输入图像帧中都没有检测到脸部时,脸部检测停止,执行运动检测。这里,脸部检测试验次数COUNT_FD和脸部检测失败的次数相等。步骤S318用于限制试验的次数。当脸部检测以失败告终,也就是,当确定在步骤S306中没有检测到脸部候选区域时,当确定在步骤S310中作为使用低分辨率SVM的检测结果没有检测到脸部时,或者当确定在步骤S314中作为使用高分辨率SVM的检测结果没有检测到脸部时,在步骤S318中确定脸部检测试验次数COUNT_FD是否等于或者大于第一阈值TH1。当确定脸部检测试验次数COUNT_FD小于第一阈值TH1时,操作转到步骤S300。当确定脸部检测试验次数COUNT_FD等于或者大于第一阈值TH1时,操作转到步骤S320。
在步骤S320中,检测模式DETECT_MODE被设置为“1”,使得模式转变到运动检测模式。换句话说,即使经过预先设定的脸部检测试验次数(TH1)之后仍然没有检测到脸部,模式转变为运动检测模式。此后,操作转到步骤S20。由于检测模式DETECT_MODE被设置为“1”,根据步骤S20决定的结果执行运动检测。
其间,当确定在步骤S314中使用高分辨率SVM的检测结果为检测到脸部,当前图像帧被存储,在步骤S316中脸部检测试验次数COUNT_FD被初始化为0。然后,操作进入步骤S300。换句话说,当检测到脸部时,脸部检测继续。
图6是图1所示步骤S40中具体实施例的流程图。步骤S40的具体实施例包括:接收预先设定数量的图像帧;根据时间边缘检测算法检测运动;如果在预先设定的时间内成功执行预定次数的运动监测,则跳转到脸部检测;如果没有,则继续执行运动检测(S400到S414)。
在本发明中,基于通过将空间边缘扩展到时域定义的时间边缘检测运动。在预先设定的一段时间内输入的图像帧被组成并且定义为运动检测单元。估计这些图像帧中的时间变化以检测运动。
在本发明的具体实施例中,在预先设定的时间段内,通过拍摄一个靠近终端的物体得到的一系列的图像帧,例如10个图像帧,将进行单独的运动检测。换句话说,运动检测在预先设定数量的图像帧单元中执行,例如,10个图像帧。单个图像帧包含“n”个具有预设分辨率的像素,因此,当执行单个运动检测时,对一个关注的像素中10个像素值的时间变化进行估计以决定关注像素是否是一个运动像素。这种估计在“n”个像素上重复执行。
在本发明中,数字摄像机的特征在于每个单位时间预先设定数目的图像帧。因此,如果每秒取出30帧,大约每秒可以执行3次运动检测。
现在可以参照图6详细地描述图1中所示的步骤S40的具体实施例。一个预设数目的图像帧,例如10帧图像帧,被接收(S400)。接下来,运动检测试验次数COUNT_MD加1(S402)。接下来,通过使用时间边缘检测算法检测图像帧中的运动(S404)。
空间边缘是两个具有不同亮度的区域的边缘。可以用Sobel掩码、Prewitt掩码、Laplacian掩码或者Canny掩码来检测空间边缘。在使用Laplacian掩码的边缘检测中,空间边缘的概念可以扩展为时间边缘的概念,因此,在图像帧中的运动可以使用该时间边缘检测法检测。
图7是步骤S404的具体实施例的流程图。步骤S404所示的具体实施例包括:通过查找关于时间的拉普拉斯算子零相交来检测像素,将这些点的局部变化和预设值比较,认为局部变化等于或者大于预先设定的值的像素是运动像素(从S4040到S4044)。
更明确地,在步骤S4040中,使用预设数量的图像帧检测通过查找关于时间的拉普拉斯算子零相交确定的像素。
图8是图7中步骤S4040的具体实施例流程图。关于假定接收到2m图像帧(这里m是一个正整数),每个图像帧存在n个像素,步骤S4040的具体实施例包括:将2m图像帧分成两组,一组从f(t1)到f(t2m-1),另一组从f(t2)到f(t2m),获得这两组关于时间的拉普拉斯算子,确定拉普拉斯算子的零相交或非零相交(从S4040a到S4040c)。这里,从f(t1)到f(t2m)表示在2m个图像帧中被处理的当前所关注像素的像素值。步骤S4040a到S4040c重复运行与每一个图像帧中的像素数目相同的次数,也就是,在单个运动检测中“n”次。步骤S4040的具体实施例将在下文详细介绍。
公式(1)和(2)是使用典型的3×3拉普拉斯算子掩码检测空间边缘计算的例子。
2f=4z5-(z2+z4+z6+z8) (1)
2f=8z5-(z1+z2+z3+z4+z6+z7+z8+z9) (2)
在步骤S4040a中,从一组中f(t1)到f(t2m-1)的每一个图像帧乘以一个预先设定的权重,然后取平均值,以此可以得到f(tm)时间拉普拉斯算子。为了通过将典型的3×3拉普拉斯算子掩码扩展为时间域来检测时间边缘,包含在一组图像帧中的图像帧数设为9。例如,当m=5时,从f(t1)到f(t9)9帧中的每一帧乘以一个预设的权重,然后取平均值,由此得到f(t5)时间拉普拉斯算子,也就是2f(t5)。2f(t5)可以用公式(3)或公式(4)计算。
2f(t5)=4f(t5)-(f(t2)+f(t4)+f(t6)+f(t8)) (3)
2f(t5)=8f(t5)-(f(t1)+f(t2)+f(t3)+f(t4)+f(t6)+f(t7)+f(t8)+f(t9))(4)
另一个像素值的时间拉普拉斯算子被用于检测具有拉普拉斯算子零相交的像素。因此,在步骤S4040b中,从另一组f(t2)到f(t2m)中的每一个图像帧乘以一个预先设定的权重,然后取平均值,以此可以得到一个f(tm+1)时间拉普拉斯算子。为了使用典型的3×3拉普拉斯算子掩码,例如,从f(t2)到f(t10)9个图像帧中的每一帧乘以一个预设的权重,然后取平均值,于是得到f(t6)时间拉普拉斯算子,也就是2f(t6)。2f(t6)可以用公式(5)或公式(6)计算。
2f(t6)=4f(t6)-(f(t3)+f(t5)+f(t7)+f(t9)) (5)
2f(t6)=8f(t6)-(f(t2)+f(t3)+f(t4)+f(t5)+f(t7)+f(t8)+f(t9)+f(t10)) (6)
在步骤S4040c中,确定拉普拉斯算子零相交或者非零相交。更明确地,当2f(tm)是负数并且2f(tm+1)是正数时,或者当2f(tm)是正数并且2f(tm+1)是负数时,关注的像素被确定为零相交像素。换句话说,当m=5时,一个零相交像素根据2f(t5)和2f(t6)之间是否出现零相交被确定。当确定零相交发生,一个关注的像素f(tm)就被检测作为运动像素。
在步骤S4042中,使用预先设定数量的图像帧来计算像素值关于时间的变化。步骤S4042可以在步骤S4040之后或者与其同步执行。变量σ可以使用公式(7)计算。
在步骤S4040和S4042之后,确定通过查找拉普拉斯算子零相交检测到的每一个像素的变化是否等于或者大于预设阈值,如果确定变化等于或者大于预设阈值,则在步骤S4044确定该像素是运动像素。如果确定变化小于预设阈值,尽管在像素中有随时间的变化,但确定这种变化是类似噪声的变化,例如,由亮度,而不是由于物体的实际运动造成的。因为步骤S4044,一种根据本发明检测运动的方法对类似亮度和环境变化的噪声是不敏感的。
在步骤S404之后,在步骤S406确定是否检测到运动。步骤S406可以被具体表达为包含:确定在步骤S404中认定为运动像素的像素数量是否等于或者大于预设值,并且确定当运动像素的数量至少是预设值时检测到运动。
当确定运动已经被检测时,在步骤S408运动检测成功次数SUCCESS_MD增加1,并且保存图像。这里,被存储的图像是图像帧f(tm)。当m=5时,图像帧f(t5)被存储。
在步骤S408之后,在步骤S410中确定是否运动检测试验次数COUNT_MD小于第三阈值TH3,例如30(COUNT_MD<30),以及运动检测成功的次数SUCCESS_MD等于或者大于第二阈值TH2,例如10(SUCCESS_MD≥10)的条件被满足。如果确定条件满足,操作返回到S10。换句话说,当条件满足时,运动检测模式的目的被实现。当预设运动检测次数在预设的时间内成功执行,就确定实现了脸部检测的条件,因为安全系统最终目的是准确地检测脸部,所以执行脸部检测。在步骤S10中,所有的参数被初始化,于是操作执行脸部检测模式。
当在步骤S406中确定了没有检测到运动时,或者当确定在步骤S410中的条件没有满足时,在步骤S412中,判断运动检测试验次数COUNT_MD是否等于或者大于第三阈值TH3。当确定运动检测试验次数COUNT_MD小于第三阈值TH3时,操作转到步骤S400。
然而,当确定运动检测试验次数COUNT_MD等于或者大于第三阈值TH3时,运动检测试验次数COUNT_MD和运动检测成功的次数SUCCESS_MD在步骤S414初始化,于是操作转到S400。本发明的目的是在“预设时间段内”成功执行预设次数的运动检测。当开始运动检测模式之后经过很长时间才检测到运动,就认为不可能检测到脸部。因此,当在预定次数运动检测被成功执行之前预设时间段流逝,也就是,当运动检测试验次数COUNT_MD等于或者大于第三阈值TH3时,运动检测的计数值被初始化,以便执行一个新的运动检测。
同时,为了高效地检测用户,在执行运动检测当中执行一个脸部检测是必要的。换句话说,有必要准备一情况,其中靠近终端的用户在一段时间内不移动。因此,步骤S40可以具体表达为包含在预设的时间内中断运动检测,以执行脸部检测。
由于拉普拉斯算子对噪声敏感,步骤S404可以进一步包含:在步骤S4040中得到像素值的拉普拉斯算子之前,对图像帧执行一高斯滤波以平滑图像帧。
图9是按照本发明具体实施例在安全系统中检测运动的方法的流程图。该方法包括:接收预设数量的图像帧,使用时间边缘检测算法检测运动,当在预设的时间内检测到运动时存储图像,当在预设的时间内没有检测到运动时继续运动检测(从S500到S506)。
更明确地,在步骤S500接收预设数量的图像帧。接下来,在步骤S502中,使用时间边缘检测算法和像素值关于时间的变化来检测运动。步骤S502可以具体表现为包括图7中所示的步骤S4040到S4044。
更明确地,步骤S502包括使用预设数量的图像帧,通过查找关于时间的拉普拉斯算子零相交来检测像素(步骤S4040)。关于假定接收到2m图像帧,每帧图像帧有“n”个像素,步骤S4040可以具体表现为包括图8所示的步骤S4040a到S4040c。
步骤S4040包括从一组图像帧f(t1)到f(t2m-1)中的每一个图像帧乘以一个预先设定的权重,然后对乘积的结果取平均值以此得到2f(tm)(S4040a),从另一组图像帧f(t2)到f(t2m)中的每一个图像帧乘以一个预先设定的权重,然后对乘积的结果取平均值以此得到2f(tm+1)(S4040b),当2f(tm)是负数并且2f(tm+1)是正数,或者当2f(tm)是正数并且2f(tm+1)是负数时,关注的像素被确定为零相交像素。这里,从f(t1)到f(t2m)表示被处理的当前所关注像素的像素值。步骤S4040a到S4040c重复“n”次。
在步骤S4040后,在步骤S4042中,使用预设数量图像帧计算像素值关于时间的变化。检测运动的方法可以进一步包含在步骤S4040之前对图像帧执行高斯滤波以平滑图像帧。
在步骤S4042之后,确定对于每个拉普拉斯算子零相交像素计算的变化是否等于或者大于预设阈值,如果确定变化等于或者大于预设阈值,在步骤S4044确定该像素是运动像素。如果确定变化小于预设阈值,尽管在像素中具有随时间的变化,但确定这种变化是类似噪声的变化,例如,亮度,而不是由于物体的实际运动造成的。因为步骤S4044,一种根据本发明检测运动的方法对类似亮度和环境中的变化的噪声是不敏感的。
在步骤S502之后,确定在步骤S504中是否检测到运动。优选地,确定运动像素的数量是否等于或者大于预设的值,当运动像素的数量等于或者大于预设的值时确定检测到运动。
当确定没有检测到运动时,操作转到步骤S500,并且不存储图像。当确定检测到运动时,在步骤S506中存储图像,操作进入步骤S500。
图10是按照本发明的具体实施例用于检测人的设备20的方框图。设备20包括:脸部检测单元200,用来从由数字视频摄像机10输入的图像检测脸部;运动检测单元210,用来检测运动;控制单元220,用来控制脸部检测和运动检测;存储单元230,用来存储图像。
脸部检测单元200响应于从控制单元220接收到的检测模式信号221,对输入图像执行脸部检测,并且输出表示脸部检测成功或者失败的脸部检测结果信号222。
响应于从控制单元220接收到的检测模式信号221,运动检测单元210同时接收预设数目的图像帧,使用时间边缘检测算法执行运动检测,输出表示运动检测结果成功或者失败的运动检测结果信号223。
响应于从控制单元220接收到的图像存储命令信号224,存储单元230存储数字视频摄像机10输入的图像。
控制单元220初始化用于用户检测的参数,输出检测模式信号221激活脸部检测单元200或者运动检测单元210,响应于脸部检测结果信号222或者运动检测结果信号223输出图像存储命令信号224,响应于脸部检测结果信号222累计脸部检测试验次数,响应于运动检测结果信号223累计运动检测试验次数和运动检测成功次数。当脸部检测试验次数等于或者大于第一阈值TH1,例如10时,控制单元220输出高电平的检测模式信号221以激活运动检测单元210,在预设的时间段内当运动检测成功次数等于或者大于第三阈值TH3,例如10时,输出低电平的检测模式信号221来激活脸部检测单元200。
如图1所示的步骤S10和S20可以通过控制单元220执行。图1所示的步骤S30由脸部检测单元200、存储单元230和控制单元240执行。图1所示的步骤S40可以由运动检测单元210、存储单元230和控制单元240执行。
如图10所示,脸部检测单元200包括:脸部候选区域检测器201、低分辨率脸部检测器202、高分辨率脸部检测器203和脸部检测结果信号生成器204。
脸部候选区域检测器201使用M-栅格的Gabor小波变换,从数字视频摄像机10输入的图像中检测脸部候选区域,输出被检测的脸部候选区域,并输出检测结果作为第一脸部检测结果。例如,当检测脸部候选区域时,第一脸部检测结果以高电平输出。但是,当没有检测到脸部检测区域时,第一脸部检测结果以低电平输出。如图2所示的步骤S304和S306可以由脸部候选区域检测器201来执行。
低分辨率脸部检测器202使用低分辨率SVM从包含由脸部候选区域检测器201检测的脸部候选区域的预设区域检测脸部区域,输出被检测的脸部区域,并且输出检测结果作为第二脸部检测结果。例如,当检测到低分辨率脸部区域时,第二脸部检测结果以高电平输出,但是,当没有检测到低分辨率脸部区域时,第二脸部检测结果以低电平输出。图2所示的步骤S308和S310可以通过低分辨率脸部检测器202执行。
高分辨率脸部检测器203使用高分辨率SVM从包含由低分辨率脸部检测器202检测的低分辨率脸部检测区域的预设区域检测脸部区域,并且输出检测结果作为第三脸部检测结果。例如,当检测到高分辨率脸部区域时,第三脸部检测结果以高电平输出。但是,当没有检测到高分辨率脸部区域时,第三脸部检测结果以低电平输出。图2所示的步骤S312和S314可以通过高分辨率脸部检测器203执行。
脸部检测结果信号生成器204响应于第一到第三脸部检测结果生成脸部检测结果信号222。脸部检测结果信号生成器204可以具体表现为当第一到第三检测结果的任何一个是低电平时,产生脸部检测结果信号222为低电平。例如,脸部检测结果信号生成器204可以用与门来实现,该与门通过输入端子接收第一到第三脸部检测结果。
如图10所示,运动检测单元210包括:边缘检测器211、变化计算器212、运动像素检测器213和运动检测结果信号生成器214。
边缘检测器211通过搜索时间拉普拉斯算子零相交来确定边缘像素。图7所示的步骤S4040可以由边缘检测器211执行。
变化计算器212计算像素值关于时间的变化。图7所示的步骤S4042可以由变化计算器212来执行。
当变化计算器212计算的变化等于或者大于预设值时,运动像素检测器213确定边缘像素为运动像素。图7所示的步骤S4044可以由运动像素检测器213执行。
运动检测结果信号生成器214根据在图像帧中的运动像素的数目是否至少为预设值来产生运动检测结果信号223。例如,运动检测结果信号生成器214可以具体表现为当运动像素的数量至少为预设值时,产生高电平运动检测结果信号223;当运动像素数量小于预设值时,产生低电平的运动检测结果信号223。
如上所述,按照本发明的人的检测方法和设备,当系统处于操作状态,脸部检测和运动检测是重复地或互补地执行,以便实现所获图像的精确检测,高速度执行和高存储使用效率。另外,可以不受类似亮度和环境中的变化的噪声的影响精确地检测到物体的实际运动。
尽管仅仅描述了本发明的几个实施例,但对于本领域的技术人员来说,在不偏离本发明的精神和范围的情况下,可以对其中的一些元件做些改变,本发明的保护范围在附加的权利要求中限定。
Claims (10)
1.一种从数字视频摄像机提供的图像检测运动的方法,该方法包括:
e1.接收预定数目的图像帧;
e2.使用时间边缘检测算法和像素值关于时间的变化来检测在图像帧中的运动;
e3.确定是否检测到运动;
e4.当确定检测到运动时,存储图像。
2.如权利要求1所述的方法,其中步骤e2中包含:
e20.使用预设数量的图像帧,通过查找关于时间的拉普拉斯算子的零相交来检测像素;
e22.使用预设数量的图像帧,计算像素值关于时间的变化;
e24.确定计算的每一个拉普拉斯算子零相交像素的变化是否等于或者大于预设值,当确定变化等于或者大于预设值时,确定像素为运动像素。
3.如权利要求2所述的方法,其中当接收到2m帧图像,每个图像帧中有“n”个像素时,步骤e20中包含:
e200.一组图像帧从f(t1)到f(t2m-1)的每一个乘以一个预先设定的权重,然后对乘积结果取平均,以获得2f(tm);
e202.一组图像帧从f(t2)到f(t2m)的每一个乘以一个预先设定的权重,然后对乘积结果取平均,以获得2f(tm+1);
e204.当2f(tm)是负数并且2f(tm+1)是正数,或者当2f(tm)是正数并且2f(tm+1)是负数时,确定被关注的像素为零相交像素,
其中,从f(t1)到f(t2m)表示被处理的当前关注像素的像素值,从步骤e200到e204重复“n”次。
4.如权利要求2所述的方法,其中步骤e3中包含:确定在步骤e2被确定为运动像素的像素数量是否等于或大于预设值,当确定运动像素的数量至少为预设值时,确定检测到运动。
5.如权利要求2所述的方法,进一步包含在步骤e20之前,对接收图像帧执行高斯滤波以平滑图像帧。
6.一种从数字视频摄像机提供的图像检测运动的设备,该设备包括:
接收预定数目的图像帧的装置;
使用时间边缘检测算法和像素值关于时间的变化来检测在图像帧中的运动的装置;
确定是否检测到运动的装置;
当检测到运动,存储图像的装置。
7.如权利要求6所述的方法,其中在拍摄的图像中检测运动的装置包含:
使用预设数量的图像帧,通过查找关于时间的拉普拉斯算子零相交来检测像素的装置;
使用预设数量的图像帧,计算像素值关于时间的变化的装置;
确定计算的每一个拉普拉斯算子零相交像素的变化是否等于或者大于预设值,当确定变化等于或者大于预设值时,确定像素为运动像素的装置。
8.如权利要求7所述的设备,其中通过查找关于像素坐标和时间的拉普拉斯算子零相交来检测像素的装置包含:
用于将一组图像帧从f(t1)到f(t2m-1)的每一个乘以一个预先设定的权重,然后取多个乘积结果的平均值,以此得到f(tm)关于时间的拉普拉斯算子,也就是2f(tm)的装置;
用于将另一组图像帧从f(t2)到f(t2m)的每一个乘以一个预先设定的权重,然后取多个乘积结果的平均值,以此得到f(tm+1)关于时间的拉普拉斯算子,也就是2f(tm+1)的装置;
当2f(tm)是负数并且2f(tm+1)是正数,或者当2f(tm)是正数并且2f(tm+1)是负数时,将关注的像素确定为零相交像素的装置,
其中,接收到2m帧图像,每帧图像中有“n”个像素,从f(t1)到f(t2m)表示被处理的当前关注像素的像素值,以上三种装置的操作重复“n”次。
9.如权利要求7所述的设备,其中确定是否检测到运动的装置包括:用于确定被确定为运动像素的像素的数目是否等于或者大于预设值,当确定运动像素的数目等于或者大于预设值时,确定检测到运动的装置。
10.如权利要求7所述的设备,进一步包含:对接收图像帧执行高斯滤波以平滑图像帧并且将平滑后的图像帧传送到用于检测所拍摄图像中运动的装置的装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR77241/02 | 2002-12-06 | ||
KR10-2002-0077241A KR100455294B1 (ko) | 2002-12-06 | 2002-12-06 | 감시 시스템에서의 사용자 검출 방법, 움직임 검출 방법및 사용자 검출 장치 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2003101249367A Division CN1523533A (zh) | 2002-12-06 | 2003-12-06 | 人的检测方法和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1963839A true CN1963839A (zh) | 2007-05-16 |
CN100504910C CN100504910C (zh) | 2009-06-24 |
Family
ID=32310893
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2003101249367A Pending CN1523533A (zh) | 2002-12-06 | 2003-12-06 | 人的检测方法和设备 |
CNB2006101435881A Expired - Fee Related CN100504910C (zh) | 2002-12-06 | 2003-12-06 | 人的检测方法和设备 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2003101249367A Pending CN1523533A (zh) | 2002-12-06 | 2003-12-06 | 人的检测方法和设备 |
Country Status (6)
Country | Link |
---|---|
US (2) | US7409091B2 (zh) |
EP (1) | EP1426898B1 (zh) |
JP (1) | JP4275516B2 (zh) |
KR (1) | KR100455294B1 (zh) |
CN (2) | CN1523533A (zh) |
DE (1) | DE60313941T2 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102214308A (zh) * | 2011-05-17 | 2011-10-12 | 詹东晖 | 一种行人检测方法、系统及装置 |
US8379984B2 (en) | 2007-10-12 | 2013-02-19 | Samsung Electronics Co., Ltd. | Method of controlling digital image processing apparatus for face detection, and digital image processing apparatus employing the method |
CN110651300A (zh) * | 2017-07-14 | 2020-01-03 | 欧姆龙株式会社 | 物体检测装置、物体检测方法、以及程序 |
CN110751120A (zh) * | 2019-10-28 | 2020-02-04 | 杭州宇泛智能科技有限公司 | 一种检测方法、装置及电子设备 |
Families Citing this family (116)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7359529B2 (en) * | 2003-03-06 | 2008-04-15 | Samsung Electronics Co., Ltd. | Image-detectable monitoring system and method for using the same |
JP4322537B2 (ja) * | 2003-04-07 | 2009-09-02 | 株式会社豊田中央研究所 | マスク着用判定装置 |
JP4121026B2 (ja) * | 2004-01-21 | 2008-07-16 | 富士フイルム株式会社 | 撮像装置および方法並びにプログラム |
GB2414616A (en) * | 2004-05-28 | 2005-11-30 | Sony Uk Ltd | Comparing test image with a set of reference images |
JP4320272B2 (ja) * | 2004-03-31 | 2009-08-26 | 富士フイルム株式会社 | 特定領域検出方法、特定領域検出装置、およびプログラム |
US7620242B2 (en) * | 2004-04-06 | 2009-11-17 | Fujifilm Corporation | Particular-region detection method and apparatus, and program therefor |
KR100552709B1 (ko) * | 2004-05-21 | 2006-02-20 | 삼성전자주식회사 | 눈검출 장치 및 방법 |
US9578345B2 (en) | 2005-03-31 | 2017-02-21 | Euclid Discoveries, Llc | Model-based video encoding and decoding |
US9743078B2 (en) | 2004-07-30 | 2017-08-22 | Euclid Discoveries, Llc | Standards-compliant model-based video encoding and decoding |
US9532069B2 (en) | 2004-07-30 | 2016-12-27 | Euclid Discoveries, Llc | Video compression repository and model reuse |
US8902971B2 (en) | 2004-07-30 | 2014-12-02 | Euclid Discoveries, Llc | Video compression repository and model reuse |
CA2575211C (en) | 2004-07-30 | 2012-12-11 | Euclid Discoveries, Llc | Apparatus and method for processing video data |
JP4686153B2 (ja) * | 2004-09-10 | 2011-05-18 | 日立オムロンターミナルソリューションズ株式会社 | 情報処理装置、不正者検出方法および現金自動預け払い装置 |
WO2006030519A1 (ja) * | 2004-09-17 | 2006-03-23 | Mitsubishi Denki Kabushiki Kaisha | 顔認証装置及び顔認証方法 |
AU2005286786B2 (en) * | 2004-09-21 | 2010-02-11 | Euclid Discoveries, Llc | Apparatus and method for processing video data |
JP4459788B2 (ja) * | 2004-11-16 | 2010-04-28 | パナソニック株式会社 | 顔特徴照合装置、顔特徴照合方法、及びプログラム |
US20060132856A1 (en) * | 2004-11-26 | 2006-06-22 | Fuji Photo Film Co., Ltd. | Image forming method and image forming apparatus |
US8406695B2 (en) * | 2004-12-23 | 2013-03-26 | Qualcomm Incorporated | Joint interference cancellation of pilot, overhead and traffic channels |
CN101151640B (zh) * | 2005-01-28 | 2010-12-08 | 欧几里得发现有限责任公司 | 用来处理视频数据的装置和方法 |
KR100698179B1 (ko) * | 2005-02-21 | 2007-03-22 | 엘지전자 주식회사 | 영상기기 및 그의 운용 방법 |
KR101216161B1 (ko) * | 2005-03-31 | 2012-12-27 | 유클리드 디스커버리스, 엘엘씨 | 비디오 데이터를 프로세싱하는 장치 및 방법 |
KR100735549B1 (ko) * | 2005-08-08 | 2007-07-04 | 삼성전자주식회사 | 영상의 피부색을 변환하는 영상 처리 방법 및 장치 |
JP2007072520A (ja) * | 2005-09-02 | 2007-03-22 | Sony Corp | 映像処理装置 |
US8098885B2 (en) * | 2005-11-02 | 2012-01-17 | Microsoft Corporation | Robust online face tracking |
US8265392B2 (en) * | 2006-02-07 | 2012-09-11 | Qualcomm Incorporated | Inter-mode region-of-interest video object segmentation |
US8150155B2 (en) | 2006-02-07 | 2012-04-03 | Qualcomm Incorporated | Multi-mode region-of-interest video object segmentation |
US8265349B2 (en) * | 2006-02-07 | 2012-09-11 | Qualcomm Incorporated | Intra-mode region-of-interest video object segmentation |
TWI325124B (en) * | 2006-05-10 | 2010-05-21 | Realtek Semiconductor Corp | Motion detection method and related apparatus |
JP4172507B2 (ja) * | 2006-07-13 | 2008-10-29 | ソニー株式会社 | 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム |
TWI324313B (en) * | 2006-08-25 | 2010-05-01 | Compal Electronics Inc | Identification mathod |
KR100882509B1 (ko) * | 2006-09-20 | 2009-02-06 | 연세대학교 산학협력단 | 주성분 요소방법을 이용한 노인 움직임 영상 감시 장치 및방법 |
US7986336B2 (en) * | 2006-11-27 | 2011-07-26 | Eastman Kodak Company | Image capture apparatus with indicator |
EP2106664A2 (en) | 2007-01-23 | 2009-10-07 | Euclid Discoveries, LLC | Systems and methods for providing personal video services |
CA2676219C (en) | 2007-01-23 | 2017-10-24 | Euclid Discoveries, Llc | Computer method and apparatus for processing image data |
CA2675957C (en) | 2007-01-23 | 2016-02-16 | Euclid Discoveries, Llc | Object archival systems and methods |
KR20080073933A (ko) | 2007-02-07 | 2008-08-12 | 삼성전자주식회사 | 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치 |
KR100851981B1 (ko) * | 2007-02-14 | 2008-08-12 | 삼성전자주식회사 | 비디오 영상에서 실 객체 판별 방법 및 장치 |
JP4789825B2 (ja) * | 2007-02-20 | 2011-10-12 | キヤノン株式会社 | 撮像装置及びその制御方法 |
US20090016571A1 (en) * | 2007-03-30 | 2009-01-15 | Louis Tijerina | Blur display for automotive night vision systems with enhanced form perception from low-resolution camera images |
JP4315212B2 (ja) * | 2007-05-02 | 2009-08-19 | カシオ計算機株式会社 | 撮像装置、撮像制御プログラム及び撮像制御方法 |
US20090041311A1 (en) * | 2007-08-09 | 2009-02-12 | Jon Hundley | Facial recognition based content blocking system |
WO2009032255A2 (en) * | 2007-09-04 | 2009-03-12 | The Regents Of The University Of California | Hierarchical motion vector processing method, software and devices |
JP2009089174A (ja) * | 2007-10-01 | 2009-04-23 | Fujifilm Corp | デジタルカメラおよびその撮影方法 |
US8064697B2 (en) * | 2007-10-12 | 2011-11-22 | Microsoft Corporation | Laplacian principal components analysis (LPCA) |
KR100918436B1 (ko) * | 2007-11-27 | 2009-09-24 | 계명대학교 산학협력단 | 비전 기반의 화재 감지 시스템 및 방법 |
CN100589114C (zh) * | 2007-12-29 | 2010-02-10 | 北京中星微电子有限公司 | 图像中最大人脸的跟踪装置和方法 |
WO2009082814A1 (en) | 2007-12-31 | 2009-07-09 | Ray Ganong | Method, system, and computer program for identification and sharing of digital images with face signatures |
EP2075400B1 (en) * | 2007-12-31 | 2012-08-08 | March Networks S.p.A. | Video monitoring system |
US9639740B2 (en) | 2007-12-31 | 2017-05-02 | Applied Recognition Inc. | Face detection and recognition |
US9721148B2 (en) | 2007-12-31 | 2017-08-01 | Applied Recognition Inc. | Face detection and recognition |
US8538171B2 (en) * | 2008-03-28 | 2013-09-17 | Honeywell International Inc. | Method and system for object detection in images utilizing adaptive scanning |
KR101299249B1 (ko) * | 2008-08-29 | 2013-08-22 | 삼성테크윈 주식회사 | 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체 |
CN101350906B (zh) * | 2008-09-04 | 2012-06-27 | 北京中星微电子有限公司 | 图像矫正方法和图像矫正装置 |
US20100079508A1 (en) | 2008-09-30 | 2010-04-01 | Andrew Hodge | Electronic devices with gaze detection capabilities |
EP2345256B1 (en) | 2008-10-07 | 2018-03-14 | Euclid Discoveries, LLC | Feature-based video compression |
US8144945B2 (en) * | 2008-12-04 | 2012-03-27 | Nokia Corporation | Method, apparatus and computer program product for providing an orientation independent face detector |
JP5247480B2 (ja) * | 2009-01-13 | 2013-07-24 | キヤノン株式会社 | オブジェクト識別装置及びオブジェクト識別方法 |
US8224042B2 (en) | 2009-03-12 | 2012-07-17 | Seiko Epson Corporation | Automatic face recognition |
KR101007281B1 (ko) * | 2009-05-20 | 2011-01-13 | 한국전자통신연구원 | 원거리 얼굴 추적 장치 및 이를 이용한 얼굴 추적 방법 |
KR101038323B1 (ko) | 2009-09-24 | 2011-06-01 | 주식회사 팬택 | 영상인식기법을 이용한 화면 프레임 제어장치 |
US8605956B2 (en) * | 2009-11-18 | 2013-12-10 | Google Inc. | Automatically mining person models of celebrities for visual search applications |
JP5476955B2 (ja) * | 2009-12-04 | 2014-04-23 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
TW201120812A (en) * | 2009-12-04 | 2011-06-16 | Huper Lab Co Ltd | Stabilization method for vibrating video frames |
KR101694820B1 (ko) | 2010-05-07 | 2017-01-23 | 삼성전자주식회사 | 사용자 위치 인식 방법 및 장치 |
US9047531B2 (en) | 2010-05-21 | 2015-06-02 | Hand Held Products, Inc. | Interactive user interface for capturing a document in an image signal |
US8600167B2 (en) | 2010-05-21 | 2013-12-03 | Hand Held Products, Inc. | System for capturing a document in an image signal |
CN102298702B (zh) * | 2010-06-28 | 2015-08-05 | 北京中星微电子有限公司 | 一种人体姿态的检测方法及装置 |
JP5676956B2 (ja) * | 2010-07-28 | 2015-02-25 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US9384408B2 (en) | 2011-01-12 | 2016-07-05 | Yahoo! Inc. | Image analysis system and method using image recognition and text search |
JP5530399B2 (ja) * | 2011-05-23 | 2014-06-25 | 日本電信電話株式会社 | 画像処理方法、画像処理装置および画像処理プログラム |
US9552376B2 (en) | 2011-06-09 | 2017-01-24 | MemoryWeb, LLC | Method and apparatus for managing digital files |
US8548207B2 (en) | 2011-08-15 | 2013-10-01 | Daon Holdings Limited | Method of host-directed illumination and system for conducting host-directed illumination |
US10089327B2 (en) * | 2011-08-18 | 2018-10-02 | Qualcomm Incorporated | Smart camera for sharing pictures automatically |
US8635519B2 (en) | 2011-08-26 | 2014-01-21 | Luminate, Inc. | System and method for sharing content based on positional tagging |
KR101381439B1 (ko) * | 2011-09-15 | 2014-04-04 | 가부시끼가이샤 도시바 | 얼굴 인식 장치 및 얼굴 인식 방법 |
US20130086112A1 (en) | 2011-10-03 | 2013-04-04 | James R. Everingham | Image browsing system and method for a digital content platform |
US8737678B2 (en) | 2011-10-05 | 2014-05-27 | Luminate, Inc. | Platform for providing interactive applications on a digital content platform |
USD737290S1 (en) | 2011-10-10 | 2015-08-25 | Yahoo! Inc. | Portion of a display screen with a graphical user interface |
USD736224S1 (en) | 2011-10-10 | 2015-08-11 | Yahoo! Inc. | Portion of a display screen with a graphical user interface |
US9202105B1 (en) | 2012-01-13 | 2015-12-01 | Amazon Technologies, Inc. | Image analysis for user authentication |
JP5306500B2 (ja) * | 2012-02-29 | 2013-10-02 | 株式会社東芝 | 画像処理装置、画像処理方法及びプログラム |
US8255495B1 (en) | 2012-03-22 | 2012-08-28 | Luminate, Inc. | Digital image and content display systems and methods |
US8234168B1 (en) | 2012-04-19 | 2012-07-31 | Luminate, Inc. | Image content and quality assurance system and method |
US8495489B1 (en) | 2012-05-16 | 2013-07-23 | Luminate, Inc. | System and method for creating and displaying image annotations |
CN102930287B (zh) * | 2012-09-26 | 2015-09-02 | 上海理工大学 | 一种针对俯视行人的检测计数系统及方法 |
EP2767952A3 (en) * | 2013-02-15 | 2017-11-01 | Samsung Electronics Co., Ltd. | Method and electronic device for processing object |
WO2015045233A1 (ja) * | 2013-09-26 | 2015-04-02 | 日本電気株式会社 | 情報処理システム |
US9471847B2 (en) * | 2013-10-29 | 2016-10-18 | Nec Corporation | Efficient distance metric learning for fine-grained visual categorization |
JP5888348B2 (ja) * | 2014-01-23 | 2016-03-22 | カシオ計算機株式会社 | 撮像装置、撮像制御方法、及びプログラム |
US9621917B2 (en) | 2014-03-10 | 2017-04-11 | Euclid Discoveries, Llc | Continuous block tracking for temporal prediction in video encoding |
US10091507B2 (en) | 2014-03-10 | 2018-10-02 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
US10097851B2 (en) | 2014-03-10 | 2018-10-09 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
CN103971093A (zh) * | 2014-04-22 | 2014-08-06 | 大连理工大学 | 基于多尺度lbp算法的疲劳检测方法 |
CN104008389A (zh) * | 2014-06-16 | 2014-08-27 | 河南科技大学 | 结合Gabor小波和SVM进行物体识别的方法 |
US10915618B2 (en) | 2014-08-28 | 2021-02-09 | Facetec, Inc. | Method to add remotely collected biometric images / templates to a database record of personal information |
CA3186147A1 (en) | 2014-08-28 | 2016-02-28 | Kevin Alan Tussy | Facial recognition authentication system including path parameters |
US11256792B2 (en) | 2014-08-28 | 2022-02-22 | Facetec, Inc. | Method and apparatus for creation and use of digital identification |
US10698995B2 (en) | 2014-08-28 | 2020-06-30 | Facetec, Inc. | Method to verify identity using a previously collected biometric image/data |
US10614204B2 (en) | 2014-08-28 | 2020-04-07 | Facetec, Inc. | Facial recognition authentication system including path parameters |
US10803160B2 (en) | 2014-08-28 | 2020-10-13 | Facetec, Inc. | Method to verify and identify blockchain with user question data |
EP3035238A1 (en) | 2014-12-19 | 2016-06-22 | Tata Consultancy Services Limited | Video surveillance system and method for fraud detection |
US9804955B2 (en) * | 2015-07-28 | 2017-10-31 | TestPlant Europe Limited | Method and apparatus for creating reference images for an automated test of software with a graphical user interface |
US10200572B1 (en) | 2016-03-03 | 2019-02-05 | Amazon Technologies, Inc | Motion detection |
USD987653S1 (en) | 2016-04-26 | 2023-05-30 | Facetec, Inc. | Display screen or portion thereof with graphical user interface |
US10460300B2 (en) * | 2016-06-01 | 2019-10-29 | Multimedia Image Solution Limited | Method of preventing fraud and theft during automated teller machine transactions and related system |
US10297059B2 (en) | 2016-12-21 | 2019-05-21 | Motorola Solutions, Inc. | Method and image processor for sending a combined image to human versus machine consumers |
US10915760B1 (en) | 2017-08-22 | 2021-02-09 | Objectvideo Labs, Llc | Human detection using occupancy grid maps |
US11068741B2 (en) * | 2017-12-28 | 2021-07-20 | Qualcomm Incorporated | Multi-resolution feature description for object recognition |
US11245707B2 (en) * | 2018-03-31 | 2022-02-08 | Ricoh Company, Ltd. | Communication terminal, communication system, communication control method, and recording medium |
CN109145716B (zh) * | 2018-07-03 | 2019-04-16 | 南京思想机器信息科技有限公司 | 基于脸部识别的登机口检验平台 |
US10936178B2 (en) | 2019-01-07 | 2021-03-02 | MemoryWeb, LLC | Systems and methods for analyzing and organizing digital photos and videos |
RU2713615C1 (ru) * | 2019-03-28 | 2020-02-05 | Общество с ограниченной ответственностью "Арсенал 67" | Система детектирования, поиска, распознавания и фиксации лица |
CN110097673A (zh) * | 2019-05-17 | 2019-08-06 | 北京深醒科技有限公司 | 一种基于红外摄像头下的门禁识别方法 |
US11436445B2 (en) * | 2020-04-06 | 2022-09-06 | Qualcomm Incorporated | Methods and apparatus for adaptive object classification |
US11706546B2 (en) * | 2021-06-01 | 2023-07-18 | Sony Semiconductor Solutions Corporation | Image sensor with integrated single object class detection deep neural network (DNN) |
CN114154569B (zh) * | 2021-11-25 | 2024-02-02 | 上海帜讯信息技术股份有限公司 | 噪音数据识别方法、装置、终端及存储介质 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5164992A (en) * | 1990-11-01 | 1992-11-17 | Massachusetts Institute Of Technology | Face recognition system |
JPH0686295A (ja) * | 1992-08-31 | 1994-03-25 | Toshiba Corp | 監視カメラ装置 |
KR100209793B1 (ko) * | 1995-10-28 | 1999-07-15 | 전주범 | 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치 |
KR100200874B1 (ko) * | 1996-01-17 | 1999-06-15 | 윤종용 | 움직임 검출에 의한 선택적 기록 장치 및 방법 |
US5767922A (en) * | 1996-04-05 | 1998-06-16 | Cornell Research Foundation, Inc. | Apparatus and process for detecting scene breaks in a sequence of video frames |
JP3613301B2 (ja) * | 1996-06-20 | 2005-01-26 | 株式会社富士通ゼネラル | 映像監視追跡装置 |
US5995115A (en) | 1997-04-04 | 1999-11-30 | Avid Technology, Inc. | Computer system process and user interface for providing intelligent scissors for image composition |
US6272231B1 (en) * | 1998-11-06 | 2001-08-07 | Eyematic Interfaces, Inc. | Wavelet-based facial motion capture for avatar animation |
KR100306355B1 (ko) * | 1998-08-31 | 2001-11-30 | 안재인 | 사용자식별시스템및이를이용한현금인출기 |
US7050655B2 (en) * | 1998-11-06 | 2006-05-23 | Nevengineering, Inc. | Method for generating an animated three-dimensional video head |
KR100532990B1 (ko) * | 1999-01-08 | 2005-12-02 | 엘지전자 주식회사 | 카메라의 움직임 검출 방법 |
KR100293897B1 (ko) * | 1999-03-23 | 2001-06-15 | 박광소 | 은행거래시스템의 거래자 안면인식방법 |
US20030059124A1 (en) * | 1999-04-16 | 2003-03-27 | Viisage Technology, Inc. | Real-time facial recognition and verification system |
KR100364582B1 (ko) * | 2000-04-28 | 2002-12-16 | 주식회사 네트웍코리아 | 다중 이동물체 추적/감시 시스템 |
EP1229734A1 (en) | 2001-01-31 | 2002-08-07 | GRETAG IMAGING Trading AG | Automatic colour defect correction |
KR20010044393A (ko) * | 2001-02-16 | 2001-06-05 | 김영익 | 인간의 얼굴정보를 이용한 출입통제 및 보안 방법 |
US6917703B1 (en) * | 2001-02-28 | 2005-07-12 | Nevengineering, Inc. | Method and apparatus for image analysis of a gabor-wavelet transformed image using a neural network |
JP2002358523A (ja) * | 2001-05-31 | 2002-12-13 | Canon Inc | パターン認識処理装置及びその方法、画像入力装置 |
US6834115B2 (en) * | 2001-08-13 | 2004-12-21 | Nevengineering, Inc. | Method for optimizing off-line facial feature tracking |
US7245315B2 (en) * | 2002-05-20 | 2007-07-17 | Simmonds Precision Products, Inc. | Distinguishing between fire and non-fire conditions using cameras |
US7280696B2 (en) | 2002-05-20 | 2007-10-09 | Simmonds Precision Products, Inc. | Video detection/verification system |
KR100513739B1 (ko) * | 2002-08-23 | 2005-09-09 | 삼성전자주식회사 | 얼굴특징을 이용한 움직임 검출장치 및 이를 적용한감시시스템 |
-
2002
- 2002-12-06 KR KR10-2002-0077241A patent/KR100455294B1/ko not_active IP Right Cessation
-
2003
- 2003-12-05 EP EP03257652A patent/EP1426898B1/en not_active Expired - Fee Related
- 2003-12-05 DE DE60313941T patent/DE60313941T2/de not_active Expired - Lifetime
- 2003-12-05 US US10/727,530 patent/US7409091B2/en not_active Expired - Fee Related
- 2003-12-06 CN CNA2003101249367A patent/CN1523533A/zh active Pending
- 2003-12-06 CN CNB2006101435881A patent/CN100504910C/zh not_active Expired - Fee Related
- 2003-12-08 JP JP2003408897A patent/JP4275516B2/ja not_active Expired - Fee Related
-
2007
- 2007-07-09 US US11/822,678 patent/US7486826B2/en not_active Expired - Fee Related
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8379984B2 (en) | 2007-10-12 | 2013-02-19 | Samsung Electronics Co., Ltd. | Method of controlling digital image processing apparatus for face detection, and digital image processing apparatus employing the method |
CN101408936B (zh) * | 2007-10-12 | 2014-04-23 | 三星电子株式会社 | 控制数字图像处理设备进行人脸检测的方法及其设备 |
CN102214308A (zh) * | 2011-05-17 | 2011-10-12 | 詹东晖 | 一种行人检测方法、系统及装置 |
CN102214308B (zh) * | 2011-05-17 | 2013-04-24 | 詹东晖 | 一种行人检测方法、系统 |
CN110651300A (zh) * | 2017-07-14 | 2020-01-03 | 欧姆龙株式会社 | 物体检测装置、物体检测方法、以及程序 |
CN110651300B (zh) * | 2017-07-14 | 2023-09-12 | 欧姆龙株式会社 | 物体检测装置、物体检测方法、以及程序 |
CN110751120A (zh) * | 2019-10-28 | 2020-02-04 | 杭州宇泛智能科技有限公司 | 一种检测方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
US20050094849A1 (en) | 2005-05-05 |
EP1426898A3 (en) | 2005-10-12 |
JP2004192646A (ja) | 2004-07-08 |
KR100455294B1 (ko) | 2004-11-06 |
US7486826B2 (en) | 2009-02-03 |
JP4275516B2 (ja) | 2009-06-10 |
EP1426898B1 (en) | 2007-05-23 |
US20070258646A1 (en) | 2007-11-08 |
DE60313941T2 (de) | 2008-01-17 |
EP1426898A2 (en) | 2004-06-09 |
CN100504910C (zh) | 2009-06-24 |
US7409091B2 (en) | 2008-08-05 |
DE60313941D1 (de) | 2007-07-05 |
KR20040049465A (ko) | 2004-06-12 |
CN1523533A (zh) | 2004-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100504910C (zh) | 人的检测方法和设备 | |
US7957560B2 (en) | Unusual action detector and abnormal action detecting method | |
US7110569B2 (en) | Video based detection of fall-down and other events | |
Alamgir et al. | Combining multi-channel color space with local binary co-occurrence feature descriptors for accurate smoke detection from surveillance videos | |
US9008365B2 (en) | Systems and methods for pedestrian detection in images | |
Wu et al. | A detection system for human abnormal behavior | |
US20070098222A1 (en) | Scene analysis | |
KR101653278B1 (ko) | 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템 | |
US20190370536A1 (en) | Gait recognition system to identify walking subject | |
CN101406390A (zh) | 检测人体部位和人的方法和设备以及对象检测方法和设备 | |
US20090245575A1 (en) | Method, apparatus, and program storage medium for detecting object | |
JP5279517B2 (ja) | 物体検知装置及び物体検知方法 | |
CN114140745A (zh) | 施工现场人员属性检测方法、系统、装置及介质 | |
KR20060121503A (ko) | 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법 | |
Varcheie et al. | An efficient region-based background subtraction technique | |
KR100316784B1 (ko) | 계층적신경망을이용한물체감지장치및방법 | |
Lee et al. | An intelligent video security system using object tracking and shape recognition | |
Chen et al. | Human detection in surveillance video | |
Nallasivam et al. | Advanced Perspective on Human Detection system with Hybrid Feature Set | |
Kale et al. | Real Time Object Tracking System with Automatic Pan Tilt Zoom Features for Detecting Various Objects | |
Cai et al. | Driver Fatigue Detection System Based on DM3730 | |
Ahad et al. | Directional motion history templates for low resolution motion recognition | |
Aik et al. | Curve analysis for real-time crowd estimation system | |
Thomessen | Advanced vision based vehicle classification for traffic surveillance system using neural networks | |
Kotikalapudi | Abnormal event detection in video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090624 Termination date: 20171206 |