CN108961306A - 图像处理方法、图像处理装置及体感系统 - Google Patents

Abstract

本发明公开了一种图像处理方法，包括以下步骤：控制摄像头获取预览图像；识别所述预览图像中的人脸；获取所述人脸的亮度；判断所述人脸的亮度是否位于预定亮度范围，若否，调整所述摄像头的曝光度以使所述人脸的亮度位于所述预定亮度范围；提取所述人脸的色彩特征；以及基于所述色彩特征在所述预览图像的后续视频中识别及追踪所述人脸。如此，将人脸识别技术及基于色彩特征的识别追踪技术结合应用，从而在整体上节省了硬件性能。同时，将人脸调整至预定亮度，有助于提升基于色彩特征的识别追踪的准确率和稳定性。本发明还公开了一种图像处理装置及体感系统。

Description

图像处理方法、图像处理装置及体感系统

技术领域

本发明涉及图像处理技术，特别涉及一种图像处理方法、图像处理装置及体感系统。

背景技术

现有技术在实现人脸追踪时，可通过人脸识别技术实现，即根据面部特征不断识别人脸，然而，这样对硬件性能的要求较高。或者，可通过体感摄像头实现，即获取景深图像，然后对景深图像进行像素级评估，将人体从背景环境中区分出来，进一步识别及处理。然而，采用体感摄像头成本较高，对软、硬件系统的要求较高，无法大规模普及，例如无法在便携移动设备中普及。

发明内容

本发明的实施方式旨在至少解决现有技术中存在的技术问题之一。为此，本发明的实施方式需要提供一种图像处理方法、图像处理装置及体感系统。

本发明提供一种图像处理方法，包括以下步骤：

控制摄像头获取预览图像；

识别所述预览图像中的人脸；

获取所述人脸的亮度；

判断所述人脸的亮度是否位于预定亮度范围，若否，调整所述摄像头的曝光度以使所述人脸的亮度位于所述预定亮度范围；

提取所述人脸的色彩特征；以及

基于所述色彩特征在所述预览图像的后续视频中识别及追踪所述人脸。

本发明实施方式的方法的优点是，仅在首次识别采用对硬件性能要求高的人脸识别技术，后续的识别及追踪采用对硬件性能要求较低的基于色彩特征的识别追踪技术，从而在整体上节省了硬件性能。同时，首次识别人脸后，可将人脸调整至预定亮度，有助于提升基于色彩特征的识别追踪的准确率和稳定性。从而可解决现有技术的某些问题。

本发明还提供一种图像处理装置，其包括：

图像获取模块，用于控制摄像头获取预览图像；

识别模块，用于识别所述预览图像中的人脸；

亮度获取模块，用于获取所述人脸的亮度；

亮度判断模块，用于判断所述人脸的亮度是否位于预定亮度范围；

调整模块，用于在所述判断模块判断为否时调整所述摄像头的曝光度以使所述人脸的亮度位于所述预定亮度范围；

提取模块，用于提取所述人脸的色彩特征；以及

追踪模块，用于基于所述色彩特征在所述预览图像的后续视频中识别及追踪所述人脸。

本发明还提供一种体感系统，其包括摄像头及本发明实施方式的图像处理装置。

本发明的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施方式的实践了解到。

附图说明

本发明的实施方式的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本发明某些实施方式的图像处理方法的流程示意图。

图2是本发明某些实施方式的图像处理装置的功能模块示意图。

图3是本发明某些实施方式的体感系统的组成示意图。

图4是本发明某些实施方式的图像处理方法的流程示意图。

图5是本发明某些实施方式的图像处理装置的功能模块示意图。

图6A是本发明某些实施方式的图像处理方法的原理示意图。

图6B是本发明某些实施方式的图像处理方法的原理示意图。

图7是本发明某些实施方式的图像处理方法的流程示意图。

图8是本发明某些实施方式的图像处理装置的功能模块示意图。

图9是本发明某些实施方式的图像处理方法的流程示意图。

图10是本发明某些实施方式的图像处理装置的功能模块示意图。

具体实施方式

下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅可用于解释本发明的实施方式，而不能理解为对本发明的实施方式的限制。

请参阅图1-3，本发明实施方式的图像处理方法中，可包括以下步骤：

S1，控制摄像头300获取预览图像；

S2，识别预览图像中的人脸；

S3，获取人脸的亮度；

S4，判断人脸的亮度是否位于预定亮度范围；

S4a，用于在S4判断为否时调整摄像头300的曝光度以使人脸的亮度位于预定亮度范围；若S4判断为是，可直接进入S5；

S5，提取人脸的色彩特征；以及

S6，基于色彩特征在预览图像的后续视频中识别及追踪人脸。

请参阅图2，本发明还提供一种图像处理装置100，用于实现本发明实施方式的图像处理方法。该图像处理装置100可包括图像获取模块110、识别模块120、亮度获取模块130、亮度判断模块140、调整模块140a、提取模块150、追踪模块160等，可分别用于实现S1、S2、S3、S4、S4a、S5、S6。也就是说，图像获取模块110可用于控制摄像头300获取预览图像；识别模块120可用于识别预览图像中的人脸；亮度获取模块130可用于获取人脸的亮度；亮度判断模块140可用于判断人脸的亮度是否位于预定亮度范围；调整模块140a可用于在判断模块判断为否时调整摄像头300的曝光度以使人脸的亮度位于预定亮度范围；提取模块150可用于提取人脸的色彩特征；追踪模块160可用于基于色彩特征在预览图像的后续视频中识别及追踪人脸。

请参阅图3，本发明还提供一种体感系统1000，可包括摄像头300及本发明实施方式的图像处理装置100。

现有技术在实现人脸追踪时，可通过人脸识别技术实现，即根据面部特征不断识别人脸，然而，这样对硬件性能的要求过高。或者，可通过体感摄像头300实现，即获取景深图像，然后对景深图像进行像素级评估，将人体从背景环境中区分出来，进一步识别及处理。然而，采用体感摄像头300成本较高，对软、硬件系统的要求较高，无法大规模普及，例如无法在便携移动设备中普及。

而本发明实施方式的方法的基本原理为，通过调整摄像头300的曝光度，即EV值，将摄像头300获取的图像中的人脸的亮度调节至一个合适范围，也就是最适合进行后续的基于色彩特征对人脸进行识别及追踪的亮度范围。例如，若0～1代表全部亮度范围，预定亮度范围可为0.4～0.6，在这个范围内有助于进行S6的基于色彩特征的识别及追踪。人脸识别是一项较成熟及广泛应用的技术，例如可采用HOG(Histogram of Oriented Gradient,HOG)算法，即可待定预览图像中的人脸区域。基于色彩特征在预览图像的后续视频中识别及追踪人脸，可采用CamShift(基于颜色直方图模型的追踪算法)，对后续视频进行逐帧分析和追踪。

本发明实施方式的方法的优点是，仅在首次识别采用对硬件性能要求高的人脸识别技术，后续的识别及追踪采用对硬件性能要求较低的基于色彩特征的识别追踪技术，从而在整体上节省了硬件性能。同时，首次识别人脸后，可将人脸调整至预定亮度，有助于提升基于色彩特征的识别追踪的准确率和稳定性。

在对视频中的人脸实现识别及追踪后，可进一步判断人脸是否在发生位移或旋转等变化。

请参阅图4-5，在某些实施方式中，方法还可包括：

S8，根据人脸的识别及追踪结果判断人脸是否发生位移或旋转。

在某些实施方式，图像处理装置100可包括变化判断模块180，可用于实现S8，也就是说，变化判断模块180用于根据人脸的识别及追踪结果判断人脸是否发生位移或旋转。

基于色彩特征在预览图像的后续视频中识别及追踪，可获取人脸的位置及大致形状，因此通过比对前后不同帧的人脸位置或形状，就可判断人脸的位移或旋转情况。通过预设不同的位移或旋转对应不同的控制操作，就可实现对电子设备的控制。例如，在手机游戏中，通过手机前置摄像头300感测用户头部的位移，当头部左移时，控制游戏中的人物左移。

请参阅图6A及图6B，其中图6A中，后面一帧图像与前面一帧图像相比，可判断出人脸500向下发生了位移。图6B中，后面一帧图像与前面一帧图像相比，可判断人脸500延顺时针方向发生了旋转。以上位移或旋转方式均可作为体感信号，用于控制电子设备执行对应的操作。

请参阅图7-8，在某些实施方式中，在S8中识别人脸失败时，该方法回到S1。

请参阅图8，在某些实施方式中，图像处理装置100可包括返回模块190，用于在追踪模块160识别人脸失败时控制摄像头300获取预览图像。

通常情况下，用户所处的环境在短期内是固定不变的，因此将摄像头300的曝光度固定后，所拍摄的视频中人脸的亮度值也基本是稳定的，相当于把人脸的亮度锁定了。这样人脸亮度会长期处在预定范围内，有助于S6的识别及追踪。但也不排除在拍摄视频的过程中，环境会发生变化，例如用户及摄像头300从室内移动到了户外，或虽然没发生移动，但环境光线发生了变化，都有可能导致人脸亮度发生了较大改变，从而导致识别及追踪的失败。此时，可回到S1，重新识别人脸，并重新调整摄像头300的曝光度以使人脸的亮度回到预定范围，再重新基于色彩特征在预览图像的后续视频中识别及追踪人脸。如此，可解决基于色彩特征识别及追踪人脸失败的情况。

有时环境亮度只是暂时地变化，例如用户旁边有人经过在很短的时间内挡住了光线，但随后光线很快恢复了正常。此时没必要进行S1重新对人脸进行识别，因此可预设一个时间或帧数，在S8识别及追踪人脸失败超出预设时间或预设帧数时，回到S1，若在预设时间或预设帧数内又重新识别及追踪成功，则不必回到S1。如此，可排除环境暂时变化的情况，节省硬件系统资源，更加智能化。

请参阅图9，在某些实施方式中，S6可包括：

S601，以预定时间间隔或预定帧数间隔获取人脸的亮度；

S602，判断人脸的亮度是否位于预定亮度范围；

S602a，用于在S602判断为否时调整摄像头300的曝光度以使人脸的亮度位于预定亮度范围；

S603，基于色彩特征识别及追踪人脸。

请参阅图10，在某些实施方式中，图像处理装置100的追踪模块160可包括亮度获取子模块161、亮度判断子模块162、亮度调整子模块162a及追踪子模块163，可分别用于实现S601、S602、S602a、S603，即亮度获取子模块161用于以预定时间间隔或预定帧数间隔获取人脸的亮度；亮度判断子模块162用于判断人脸的亮度是否位于预定亮度范围；亮度调整子模块162a用于调整摄像头300的曝光度以使人脸的亮度位于预定亮度范围；追踪子模块163用于基于色彩特征识别及追踪人脸。

当环境亮度发生变化时，容易导致S6识别及追踪的失败。为解决这个问题，一方面，可以等失败后重新进行人脸识别，再重新调节人脸亮度，以及重新进行基于色彩特征的识别。另一方面，也就是本实施方式的方法，可以实时检测人脸的亮度，当发现人脸亮度不在预定亮度范围时(过暗或过亮时)，即调整摄像头300的曝光度以使人脸亮度回到预定亮度范围。如此，可减少利用色彩特征识别及追踪人脸失败的风险。考虑到设备的硬件性能，不必每帧都检测人脸亮度，可每隔一定帧数或一定时长检测一下人脸的亮度。

在某些实施方式中，S3将人脸区域的图像转化为HSV格式以获取人脸的亮度。

在某些实施方式的图像处理装置100中，亮度获取模块130用于将人脸区域的图像转化为HSV格式以获取人脸的亮度。

通常情况下，获取的图像初始为RGB格式，为获取人脸的亮度，可将图像转化为HSV(Hue,Saturation,Value)格式，其中V代表亮度。

在某些实施方式中S6采用CamShift算法对后续视频逐帧识别及追踪人脸。

在某些实施方式的图像处理装置100中，追踪模块160用于采用CamShift算法对后续视频逐帧识别及追踪人脸。

CamShift算法的全称是"Continuously Adaptive Mean-SHIFT"，即：连续自适应的MeanShift算法。其基本思想是对视频序列的所有图像帧都作MeanShift运算，并将上一帧的结果(即搜索窗口的中心位置和窗口大小)作为下一帧MeanShift算法的搜索窗口的初始值，如此迭代下去。简单点说，meanShift是针对单张图片寻找最优迭代结果，而CamShift则是针对视频序列来处理，并对该序列中的每一帧图片都调用MeanShift来寻找最优迭代结果。正是由于CamShift针对一个视频序列进行处理，从而保证其可以不断调整窗口的大小，如此一来，当目标的大小发生变化的时候，该算法就可以自适应地调整目标区域继续跟踪。CamShift能有效解决目标变形和遮挡的问题，对系统资源要求不高，时间复杂度低，在简单背景下能够取得良好的跟踪效果。

本发明实施方式的图像处理方法及装置、体感系统1000可应用于手机等具有摄像头300的电子设备，以实现对人脸部位的识别及追踪。

在本发明的实施方式的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明的实施方式和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的实施方式的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。

在本发明的实施方式中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。

下文的公开提供了许多不同的实施方式或例子用来实现本发明的实施方式的不同结构。为了简化本发明的实施方式的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明的实施方式可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明的实施方式提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明的各个实施例中的各功能单元可以集成在一个处理器中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (13)

1.一种图像处理方法，其特征在于，包括以下步骤：

控制摄像头获取预览图像；

识别所述预览图像中的人脸；

获取所述人脸的亮度；

判断所述人脸的亮度是否位于预定亮度范围，若否，调整所述摄像头的曝光度以使所述人脸的亮度位于所述预定亮度范围；

提取所述人脸的色彩特征；以及

基于所述色彩特征在所述预览图像的后续视频中识别及追踪所述人脸。

2.如权利要求1所述的图像处理方法，其特征在于，所述方法还包括：

根据所述人脸的识别及追踪结果判断所述人脸是否发生位移或旋转。

3.如权利要求1所述的图像处理方法，其特征在于，在所述基于所述色彩特征在所述预览图像的后续视频中识别及追踪所述人脸的步骤中识别所述人脸失败时，所述方法回到所述控制摄像头获取预览图像的步骤。

4.如权利要求1所述的图像处理方法，其特征在于，所述基于所述色彩特征在所述预览图像的后续视频中识别及追踪所述人脸的步骤包括：

以预定时间间隔或预定帧数间隔获取所述人脸的亮度；

判断所述人脸的亮度是否位于预定亮度范围，若否，调整所述摄像头的曝光度以使所述人脸的亮度位于所述预定亮度范围；及

基于所述色彩特征识别及追踪所述人脸。

5.如权利要求1所述的图像处理方法，其特征在于，所述获取所述人脸的亮度的步骤将所述人脸区域的图像转化为HSV格式以获取所述人脸的亮度。

6.如权利要求1所述的图像处理方法，其特征在于，所述基于所述色彩特征在所述预览图像的后续视频中识别及追踪所述人脸的步骤采用CamShift算法对所述后续视频逐帧识别及追踪所述人脸。

7.一种图像处理装置，其特征在于，包括：

图像获取模块，用于控制摄像头获取预览图像；

识别模块，用于识别所述预览图像中的人脸；

亮度获取模块，用于获取所述人脸的亮度；

亮度判断模块，用于判断所述人脸的亮度是否位于预定亮度范围；

调整模块，用于在所述判断模块判断为否时调整所述摄像头的曝光度以使所述人脸的亮度位于所述预定亮度范围；

提取模块，用于提取所述人脸的色彩特征；以及

追踪模块，用于基于所述色彩特征在所述预览图像的后续视频中识别及追踪所述人脸。

8.如权利要求7所述的图像处理装置，其特征在于，所述装置还包括：

变化判断模块，用于根据所述人脸的识别及追踪结果判断所述人脸是否发生位移或旋转。

9.如权利要求7所述的图像处理装置，其特征在于，所述装置包括返回模块，用于在所述追踪模块识别所述人脸失败时控制所述控制摄像头获取所述预览图像。

10.如权利要求7所述的图像处理装置，其特征在于，所述追踪模块包括：

亮度获取子模块，用于以预定时间间隔或预定帧数间隔获取所述人脸的亮度；

亮度判断子模块，用于判断所述人脸的亮度是否位于预定亮度范围；

亮度调整子模块，用于调整所述摄像头的曝光度以使所述人脸的亮度位于所述预定亮度范围；及

追踪子模块，用于基于所述色彩特征识别及追踪所述人脸。

11.如权利要求7所述的图像处理装置，其特征在于，所述亮度获取模块用于将所述人脸区域的图像转化为HSV格式以获取所述人脸的亮度。

12.如权利要求7所述的图像处理装置，其特征在于，所述追踪模块用于采用CamShift算法对所述后续视频逐帧识别及追踪所述人脸。

13.一种体感系统，其特征在于，包括摄像头及如权利要求7-12任一项所述的图像处理装置。