CN103514429A

CN103514429A - 检测对象的特定部位的方法及图像处理设备

Info

Publication number: CN103514429A
Application number: CN201210206387.7A
Authority: CN
Inventors: 陈海林; 岩田繁幸
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2012-06-21
Filing date: 2012-06-21
Publication date: 2014-01-15
Anticipated expiration: 2032-06-21
Also published as: CN103514429B

Abstract

本发明公开了一种检测对象的特定部位的方法和图像处理设备。所述方法包括：接收所捕获的至少一幅深度图像和至少一幅彩色图像；从所述深度图像检测一对象；基于深度图像中检测到的对象确定感兴趣区域；利用所述感兴趣区域从彩色图像中检测所述对象的特定部位。利用上述方案，提高了检测和跟踪对象的特定部位(例如人脸或人眼)的可靠性和速度。

Description

检测对象的特定部位的方法及图像处理设备

技术领域

本申请的实施例涉及图像处理和模式识别，具体涉及一种检测、跟踪对象的特定部位的方法和相应的图像处理设备。

背景技术

近年来，图像处理和模式识别技术已经得到了广泛的应用。例如，利用图像处理技术对捕获的行人的人脸进行识别，从而确定要跟踪的对象。或者，用安装在户外广告牌上的摄像头对行人的人脸或人眼进行识别和跟踪，来计算人们对广告的关注度。

专利文献1(CN101216885A)披露了一种基于视频的行人人脸检测与跟踪算法。该专利文献提出一种利用运动物体检测和运动物体跟踪的算法进行视频分析的行人人脸检测与跟踪的方法。这种算法首先利用运动分析的方法检测行人，然后计算人体重心并根据人体重心确定人脸区域，最后利用肤色模型和模板匹配的方法在人脸区域中检测人脸。

专利文献2(CN101477616A)披露了一种人脸检测与追踪方法。该专利文献通过计算机或具计算能力的微处理器执行人脸检测与追踪，以识别图像画面中的人脸及其所在位置。该方法首先进行人脸检测，以找出图像画面中的人脸；接着，在每帧画面进行人脸追踪，以追踪找到的人脸在此帧画面中的位置，并记录这些人脸所处的位置；在间隔数帧画面后，在略过已发现的人脸所在位置的情况下，再次对图像画面进行一次人脸检测，以便能快速地检测到其他可能新加入的人脸。

专利文献3(CN102147855A)披露了一种户外广告收视率统计的方法和装置。此该专利文献介绍了一种通过一个以上的设置在户外广告上的摄像机或摄像头来获取户外广告前观众的图像、从而确定收视率统计的方法。该方法中的图像分析模块分析并计算摄像机或摄像头所摄取的有效观众人数，传输模块负责将所获取的有效观众人数输出。通过在户外广告(如多媒体屏幕等)周围安装至少一个摄像头，利用此摄像头不停拍照或摄影并将所拍得的照片或所摄取的影像发送至图像分析模块(图像处理器)进行处理；图像分析模块对所接收数据进行分析，并定位人脸和人眼，接着判断出其中哪些人在看屏幕，最后统计观看屏幕的人数并输出。

但是，上述的图像处理方法都存在检测对象的特定部位(例如人脸或人眼)可靠性不高并且速度慢的问题。

发明内容

考虑到现有技术的一个或多个问题，提出了一种检测和/或跟踪对象的特定部位的方法和相应的图像处理设备。

根据本申请的实施例，提供了一种检测对象的特定部位的方法，该方法包括：接收所捕获的至少一幅深度图像和至少一幅彩色图像；从所述深度图像检测一对象；基于深度图像中检测到的对象确定感兴趣区域；利用所述感兴趣区域从彩色图像中检测所述对象的特定部位。

根据本申请的实施例，提供了一种基于环形缓冲器跟踪对象的特定部位的方法，包括步骤：在深度图像中跟踪一对象以便基于深度图像中跟踪的对象来确定感兴趣区域；将所述感兴趣区域和所捕获的彩色图像存储到环形缓冲器中；利用所述感兴趣区域从环形缓冲器存储的最新彩色图像中检测该对象的特定部位，并且将检测到的特定部位存储在环形缓冲器中；用所检测到的特定部位和所述感兴趣区域从环形缓冲器中最早的彩色图像中跟踪所述对象的特定部位，从而获得跟踪的特定部位。

根据本申请的实施例，提供了一种图像处理设备，包括：对象检测单元，从所捕获的至少一幅深度图像检测一对象；感兴趣区域确定单元，基于深度图像中检测到的对象确定感兴趣区域；部位检测单元，利用所述感兴趣区域从彩色图像中检测所述特定部位。

利用上述方案，提高了在检测对象的特定部位(例如人脸或人眼)时的可靠性和速度。

附图说明

从下面结合附图的详细描述中，本发明的上述特征和优点将更明显，其中：

图1是根据本发明的一个实施例的图像处理设备的结构示意图；

图2是根据本发明的实施例中的图像处理设备中所使用的摄像机的结构示意图；

图3A是描述根据本发明的实施例中的图像处理设备从深度图像中检测或者跟踪的ROI的一个例子；

图3B是描述根据本发明的实施例中的图像处理设备从深度图像中检测或跟踪的ROI的另一例子；

图4是描述根据本发明一个实施例的图像处理设备的操作过程的流程图；

图5是根据本发明的实施例的另一图像处理设备的结构示意图；

图6是描述根据本发明的另一实施例的图像处理设备的操作过程的流程图；以及

图7示出了根据本发明实施例的图像处理设备基于循环缓冲器实现对象特定部位的跟踪的一个例子。

具体实施方式

下面，参考附图详细说明本发明的优选实施方式。在附图中，虽然示于不同的附图中，但相同的附图标记用于表示相同的或相似的组件。为了清楚和简明，包含在这里的已知的功能和结构的详细描述将被省略，否则它们将使本发明的主题不清楚。

根据本发明的一些实施例，可以针对一幅或者若干幅图像对象的特定部位(例如人脸、人眼或手等)进行检测，输出检测的结果。根据本发明的另一些实施例，还可以在检测的基础上进行对象或者特定部位的跟踪，从而实现对特定部位的连续监测或数据统计。

根据本发明的一些实施例的图像处理设备，对象检测单元从所捕获的至少一幅深度图像检测一对象。感兴趣区域确定单元基于深度图像中检测的对象确定感兴趣区域。然后，部位检测单元利用该感兴趣区域从彩色图像中检测所述特定部位。

图1是根据本发明一个实施例的图像处理设备100的结构示意图。如图1所示的图像处理设备包括可以同时捕获某个对象(例如人)的至少一幅深度图像和至少一幅彩色图像的摄像机110、从所述深度图像检测所述对象的对象检测单元120、基于深度图像中检测到的对象确定感兴趣区域ROI的ROI确定单元130、利用感兴趣区域从彩色图像中检测所述特定部位(例如人脸或者人眼或者其他某个部位)的部位检测单元140和输出检测或跟踪结果的显示设备150。

图2示出了根据本发明实施例的图像处理设备中使用的摄像机的结构示意图。如图2所示，摄像机110包括捕获深度图像用的透镜和捕获彩色图像用的透镜。这样，当启动摄像机针对某个场景进行图像采集时，摄像机110就能够同时捕获深度图像序列(视频)和彩色图像序列(视频)。

根据本发明的实施例，对象检测单元110和对象跟踪单元120可以利用对象的变化的深度信息来从深度图像中检测/跟踪诸如人体这样的对象。利用深度信息来检测/跟踪运动对象，可以不受光照以及对象本身的不同颜色等条件的影响，具有较强的应用性和可靠性。ROI确定单元130根据特定部位与对象之间的预定关系(例如，人头部在人体中的大致位置或者人眼在人体中的大致位置或人手在人体中的大致位置等)从跟踪的对象中确定感兴趣区域。

图3A是描述根据本发明实施例的图像处理设备从深度图像中检测或者跟踪的ROI的例子。以人脸检测和跟踪为例，图3A示出了在跟踪的人体图像中确定ROI的过程。根据跟踪的人体图像可以得到头部点P_h和颈部点P_n。令头部点P_h和颈部点P_n之间的距离为d_hn，图3A中的距离d₀表示为α×d_hn，d1表示为β×d_hn，α和β为根据不同的需要确定的参数。这样，根据特定部位和人体之间的预定关系可以确定包含特定部位的ROI。

图3B是描述根据本发明实施例的图像处理设备从深度图像中检测或跟踪的ROI的另一例子。如图3B所示，根据跟踪人体图像可以更精确地确定ROI(头部区域)。例如将人体区域中颈部点P_n以上区域确定为头部区域。再如，由于颈部点P_n的精确度不高，重新计算颈部点P_n’，P_n’为人体区域中P_n以上具有相同高度的点组成的线中最短的一条的中心点，则人体区域中颈部点P_n’以上区域为头部区域。

根据本发明的实施例，部位检测单元140基于从深度图像确定的感兴趣区域(例如头部区域)在彩色图像中检测特定部位(例如人脸或者人眼)。例如，部位检测单元140可以根据事先训练的人脸模型从彩色图像上由ROI限定的区域中检测人脸。该人脸模型的参数可以从存储器中读出，也可以由用户从外部输入。

检测到特定部位后，显示设备150显示彩色图像并且在彩色图像中指示所检测的部位(例如人脸)，或者在检测到正面人脸的情况下进行计数，这样可以用于例如户外广告统计等方面。根据本发明的另一实施例，也可以在检测到人脸或者人眼后，根据人脸的表情或者姿态控制对象所关注的广告牌的内容的显示。或者当摄像机安装在计算机屏幕或者电视屏幕上的情况下，根据检测到的人脸的表情或者人眼的姿态控制屏幕显示内容，例如翻页，滚动，关闭当前窗口等操作。

根据本发明的实施例，摄像机不是图像处理设备所必须的一部分。图像处理设备接收到捕获的深度图像和彩色图像就可以进行后续的图像处理和识别过程。另外，如上所述，检测到的部位不一定要显示出来，也可以用其他的方式输出，例如声音或者光信号的方式表示检测到了特定的部位。

根据本发明的一些实施例，在检测诸如人脸之类的特定部位的方法中，接收针对一对象所捕获的至少一幅深度图像和至少一幅彩色图像。然后从所述深度图像检测所述对象。基于深度图像中检测的对象确定感兴趣区域。利用感兴趣区域从彩色图像中检测所述特定部位。

图4是描述根据本发明一个实施例的图像处理设备的操作过程的流程图400。

在步骤S410，图像处理设备接收针对同一对象捕获的深度图像序列和彩色图像序列。

在步骤S420，图像处理设备在深度图像中检测对象，例如人体或者其他的运动目标，如车辆等。

在步骤S430，基于深度图像中检测的对象确定感兴趣区域。例如，根据特定部位与对象之间的预定关系，从检测的对象中确定ROI，该ROI可能包含了特定部位。

在步骤S440，图像处理设备在彩色图像中由该ROI确定的区域中检测特定部位，例如人脸，人手或者人眼等。例如，利用事先训练的特定部位模型来从彩色图像中由所述感兴趣区域限定的区域中检测所述特定部位。

在步骤S450，显示彩色图像并且在彩色图像中指示检测的特定部位。

在多幅图像或者视频的情况下，还可以对对象和该特定部位进行跟踪，输出跟踪结果。例如，在多幅深度图像中跟踪该对象，从而跟踪该感兴趣区域。然后，基于对该感兴趣区域的跟踪结果在彩色图像中跟踪该特定部位(例如人脸，人眼或者人手)。例如，可以利用检测的特定部位的图像创建跟踪器来在彩色图像中跟踪该特定部位。

根据本发明的实施例，利用感兴趣区域在最新捕获的彩色图像中检测该特定部位。

图5是根据本发明实施例的另一图像处理设备500的结构示意图。在该图像处理设备中，不但进行对象和特定部位的检测，而且基于对象的深度视频和彩色视频进行跟踪和监测。

如图5所示，图像处理设备500包括可以同时捕获某个对象(例如人)的至少一幅深度图像和至少一幅彩色图像的摄像机510、从所述深度图像检测所述对象的对象检测单元520、基于深度图像中检测的对象确定感兴趣区域ROI的ROI确定单元530、利用感兴趣区域从彩色图像中检测所述特定部位(例如人脸或者人眼或者其他某个部位)的部位检测单元540、基于检测的ROI在深度图像中跟踪ROI的ROI跟踪单元560、利用跟踪的ROI和检测的特定部位在彩色视频中跟踪该特定部位的部位跟踪单元570、和输出检测或跟踪结果的显示设备550。由于上述的摄像机510、对象检测单元520、ROI确定单元530、部位检测单元540与图1所示的图像处理设备中的摄像机110、对象检测单元120、ROI确定单元130和部位检测单元140基本上相同，因此这里不再详细描述，具体参见图1的实施例。

在视频跟踪的情况下，ROI跟踪单元根据ROI确定单元从对象检测单元520所检测的对象中确定的ROI，持续跟踪深度图像中的ROI。同时，部位跟踪单元570利用部位检测单元540所检测的部位创建跟踪器来在彩色视频中由ROI所限定的区域中跟踪特定部位(例如人脸、人眼或人手等)。然后，显示设备550显示彩色视频并且指示所跟踪的特定部位。

虽然上面以功能模块的方式描述了本发明实施例的图像处理设备，但是本领域的技术人员应该想到可以将上述的对象检测单元、ROI确定单元、ROI跟踪单元、部位检测单元和部位跟踪单元合并成单个的单元或模块。例如将ROI确定单元合并到ROI跟踪单元之中，将部位检测单元合并到部位跟踪单元之中。此外，本领域的技术人员可以用软件的形式实现上述的部分，也可以用硬件的形式实现上述的各个部分。

图6是描述根据本发明的另一实施例的图像处理设备在软件实现的情况下的流程图。图7示出了根据本发明实施例的图像处理设备基于循环缓冲器实现对象特定部位的跟踪的一个例子。

在根据本发明实施例的基于环形缓冲器跟踪对象的特定部位的方法中，在610，从深度和彩色摄像机获得同时捕获的深度视频和彩色视频。然后，在模块620中进行ROI的确定和跟踪，在模块630进行特定部位的检测，在模块640进行特定部位的跟踪，在模块显示彩色视频和跟踪结果。

例如，在深度图像中跟踪一对象以便基于深度图像中跟踪的对象确定感兴趣区域。然后将感兴趣区域和所捕获的彩色图像存储到环形缓冲器中。接下来，基于感兴趣区域从环形缓冲器存储的最新彩色图像中检测该对象的特定部位，并且将检测的特定部位存储在环形缓冲器中。用所检测的特定部位和感兴趣区域从环形缓冲器中最早的彩色图像中跟踪所述对象的特定部位，获得跟踪的特定部位。

参见图7，由于每次检测特定部位所需时间不同，并且有可能所需时间较长，所以每次都从最新的彩色图像进行特定部位检测，这样可以检测到最多幅图像。采用最早的彩色图像进行跟踪特定部位一方面是由于特定部位的跟踪需要特定部位的检测，在跟踪的过程中，如果有新的检测结果，那么需要重新初始化跟踪器，并进行重新跟踪；另一方面是因为检测特定部位可能需要较长时间。所以，检测采用最新的图像，而跟踪采用最早的图像，跟踪之后显示彩色图像和跟踪结果，并从环形缓冲器中删除该最早的图像，这样可以充分利用特定部位检测结果，并有助于跟踪结果显示。

根据一些实施例，该方法还包括将所跟踪的特定部位缓存在所述环形缓冲器中。

根据一些实施例，该方法还包括从环形缓冲器中的最早缓冲的彩色图像开始显示彩色图像，同时在彩色图像上指示所跟踪的特定部位，并删除环形缓冲器中已显示的彩色图像。

根据一些实施例，上述跟踪所述对象的步骤、检测特定部位的步骤、跟踪所述特定部位的步骤和显示彩色图像的步骤分别由四个独立的线程来实现。

如本领域的技术人员所理解的那样，本申请的实施例是以人脸为例子进行描述的，但是也可以应用于其他的方面例如车辆、动物等对象的特定部位的检测。

虽然已参照几个典型实施例描述了本发明，但应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。

Claims

1.一种检测对象的特定部位的方法，包括：

接收所捕获的至少一幅深度图像和至少一幅彩色图像；

从所述深度图像检测一对象；

基于深度图像中检测到的对象确定感兴趣区域；

利用所述感兴趣区域从彩色图像中检测所述对象的特定部位。

2.如权利要求1所述的方法，其中基于深度图像中检测到的对象确定感兴趣区域的步骤包括：

按照特定部位与所述对象之间的预定关系，确定所述感兴趣区域。

3.如权利要求1所述的方法，其中，利用所述感兴趣区域从彩色图像中检测所述对象的特定部位的步骤包括：

利用事先训练的特定部位模型和所述感兴趣区域从彩色图像中检测所述对象的特定部位。

4.如权利要求1所述的方法，还包括在彩色图像中指示所检测的特定部位的步骤。

5.如权利要求1所述的方法，还包括在多幅深度图像中跟踪所述感兴趣区域的步骤。

6.如权利要求5所述的方法，还包括基于对所述感兴趣区域的跟踪结果在彩色图像中跟踪所述特定部位的步骤。

7.如权利要求6所述的方法，其中利用检测的特定部位的图像创建跟踪器来在彩色图像中跟踪所述特定部位。

8.如权利要求1所述的方法，其中，利用所述感兴趣区域在最新捕获的彩色图像中检测所述特定部位。

9.如权利要求1所述的方法，其中所述对象是人，所述特定部位是人脸。

10.一种基于环形缓冲器跟踪对象的特定部位的方法，包括步骤：

在深度图像中跟踪一对象以便基于深度图像中跟踪的对象确定感兴趣区域；

将所述感兴趣区域和所捕获的彩色图像存储到环形缓冲器中；

利用所述感兴趣区域从环形缓冲器存储的最新彩色图像中检测该对象的特定部位，并且将检测的特定部位存储在环形缓冲器中；

用所检测的特定部位和所述感兴趣区域从环形缓冲器中最早的彩色图像中中跟踪所述对象的特定部位，获得跟踪的特定部位。

11.如权利要求10所述的方法，还包括步骤：将所跟踪的特定部位缓存在所述环形缓冲器中。

12.如权利要求11所述的方法，还包括步骤：从环形缓冲器中的最早缓冲的彩色图像开始显示彩色图像，同时在彩色图像上指示所跟踪的特定部位，并删除环形缓冲器中已显示的彩色图像。

13.如权利要求12所述的方法，其中，跟踪所述对象的步骤、检测特定部位的步骤、跟踪所述特定部位的步骤和显示彩色图像的步骤分别由四个独立的线程来实现。

14.一种图像处理设备，包括：

对象检测单元，从所捕获的至少一幅深度图像检测一对象；

感兴趣区域确定单元，基于深度图像中检测到的对象确定感兴趣区域；

部位检测单元，利用所述感兴趣区域从彩色图像中检测所述特定部位。

15.如权利要求14所述的图像处理设备，其中所述感兴趣区域确定单元按照特定部位与所述对象之间的预定关系，确定所述感兴趣区域。

16.如权利要求14所述的图像处理设备，其中所述特定部位检测单元利用事先训练的特定部位模型和所述感兴趣区域从彩色图像中检测所述特定部位。

17.如权利要求14所述的图像处理设备，还包括显示设备，在彩色图像中指示所检测的特定部位。

18.如权利要求14所述的图像处理设备，还包括感兴趣区域跟踪单元，在多幅深度图像中跟踪所述感兴趣区域。

19.如权利要求18所述的图像处理设备，还包括部位跟踪单元，基于对所述感兴趣区域的跟踪结果在彩色图像中跟踪所述特定部位。

20.如权利要求19所述的图像处理设备，其中所述部位跟踪单元利用检测的特定部位的图像创建跟踪器来在彩色图像中跟踪所述特定部位。

21.如权利要求14所述的图像处理设备，其中，所述特定部位检测单元利用所述感兴趣区域在最新捕获的彩色图像中检测所述特定部位。