CN103634680B - 一种智能电视的播放控制方法及装置 - Google Patents

Abstract

本发明公开了一种智能电视的播放控制方法和装置。其方法包括：对智能电视的视频采集装置采集的视频图像进行用户识别；当检测到用户后，从视频图像中提取用于分析用户性格的图像特征信息和用于分析用户表情的脸部图像信息；根据用于分析用户性格的图像特征信息，确定用户的性格，并根据用于分析用户表情的脸部图像信息，确定用户的表情；根据性格、表情与智能电视播放模式参数的对应关系，确定用户的性格和表情对应的智能电视播放模式参数；根据确定的智能电视播放模式参数，调整智能电视的播放模式。本发明实施例可以通过分析视频图像确定用户的表情和性格，进而结合用户的表情和性格调整智能电视的播放模式。

Description

一种智能电视的播放控制方法及装置

技术领域

本发明涉及智能电视控制技术领域，尤其涉及一种智能电视的播放控制方法及装置。

背景技术

当前，智能电视的播放模式一般在出厂前已经设定，无法更改。

但是，随着智能电视技术的不断发展，越来越多的研发致力于提供多种智能电视播放模式以满足不同用户的应用要求。例如，目前有些智能电视系统存有多种智能电视播放模式，用户一般需要手动调节播放模式，例如手动调节智能电视的图像模式和声音模式。还无法实现智能电视图像模式和声音模式的自动调整。

发明内容

本发明的目的是提供一种智能电视的播放控制方法及装置，以解决现有技术无法自动调整智能电视播放模式的问题。

本发明的目的是通过以下技术方案实现的：

一种智能电视的播放控制方法，包括：

对智能电视的视频采集装置采集的视频图像进行用户识别检测；

当检测到用户后，从检测到用户的视频图像中提取用于分析该用户性格的图像特征信息和用于分析该用户表情的脸部图像信息；

根据用于分析该用户性格的图像特征信息，确定该用户的性格，并根据用于分析该用户表情的脸部图像信息，确定该用户的表情；

根据性格、表情与智能电视播放模式参数的对应关系，确定该用户的性格 和该用户的表情对应的智能电视播放模式参数；

根据确定的智能电视播放模式参数，调整该智能电视的播放模式。

其中，智能电视播放模式可以但不仅限于以下至少一种模式：图像模式、声音模式。所谓图像模式，即智能电视显示图像的亮度、饱和度等等；所谓声音模式，即智能电视输出声音的音量、音效等等。

本发明实施例提供的方法，通过分析视频图像确定用户的性格和表情，进而结合用户的表情和性格调整智能电视的播放模式，实现了智能电视图像模式和声音模式的自动调整，提高了用户的使用体验。

现有技术中，无法自动调整智能电视显示界面的布局。为解决这一问题，本发明实施例提供的方法还可以根据性格与显示界面布局模式的对应关系，确定上述用户的性格对应的显示界面布局模式；根据确定的显示界面布局模式，调整智能电视显示界面的布局。当然，也可以结合性格和表情，确定显示界面布局模式。

其中，显示界面布局模式包括显示内容在显示界面的布局、显示界面的色彩搭配、显示界面的背景画面等等。

基于上述任意实施例，较佳地，可以利用人脸分类器对智能电视的视频采集装置采集的视频图像进行人脸识别，当识别到人脸后，即确定检测到用户。在此基础上，为了降低误检率，对于检测到的人脸区域，还利用鼻子分类器对该人脸区域进行鼻子检测；如果检测到鼻子，确定检测到用户。

基于上述任意实施例，较佳地，从视频图像中提取用于分析用户性格的图像特征信息的具体实现方式可以是：确定该用户的人脸区域；根据该人脸区域确定用于识别用户的衣服颜色的目标区域；提取该目标区域的色彩信息，并根据该色彩信息确定该用户的衣服颜色。其中，用于分析用户性格的图像特征信息为用户的衣服颜色。

通常，从图像中提取的色彩信息是红绿蓝（RGB）色彩信息。但RGB色彩不稳定，容易受到光强、阴影等因素的影响。为了更加准确的识别用户衣服 的颜色，提取目标区域的色彩信息，并根据该色彩信息确定用户的衣服颜色的具体实现方式可以是：提取目标区域的RGB色彩信息，然后将提取的RGB信息转换为HSV色彩信息，并根据HSV色彩信息确定该用户的衣服颜色。

基于上述任意实施例，较佳地，从视频图像中提取用于分析用户表情的脸部图像信息的具体实现方式可以是：确定上述用户的人脸区域；在该用户的人脸区域利用人眼分类器对该人脸区域进行人眼检测；在检测到两眼后，确定两眼连线的中心点，并以该中心点为坐标原点旋转该人脸区域，使得两眼连线与以该中心点为坐标原点的显示坐标系的横轴平行；从旋转后的人脸区域提取正方形区域的图像信息作为用于分析用户表情的脸部图像信息，该正方形区域的边长为两眼连线距离的2倍，在水平方向沿两眼连线的中心点对称，且该正方形区域的上边线到中心点的距离为两眼连线距离的一半。

基于上述任意实施例，为了保证性格和表情分析的准确性，较佳地，确定用户的性格时，可以根据从连续X帧视频图像中提取的用于分析该用户性格的图像特征信息，确定该用户的性格；确定用户的表情时，可以根据从连续Y帧视频图像中提取的用于分析用户表情的脸部图像信息，确定该用户的表情。其中，X、Y为不小于2的整数，X和Y的取值可以相同，也可以不同。

基于上述任意实施例，当有多个用户同时使用智能电视时，可以但不仅限于有如下几种处理方式：

（一）、按照预定的检测顺序，对视频图像进行用户识别检测，当检测到一个用户后，停止继续对该视频图像进行用户识别检测。那么，对智能电视播放模式的调整以及其他模式的调整，是依据检测到的这一个用户的性格和表情进行的。

（二）、当检测到至少两个用户，按照预定的规则，选择其中一个用户，从视频图像中提取用于分析选择的用户性格的图像特征信息和分析选择的用户表情的脸部图像信息。即确定选择的用户的性格和表情用于确定智能电视播放模式参数。如果还调整智能电视显示界面的模式，也是依据选择的这个用户 的性格和表情确定显示界面布局模式。

（三）、当检测到至少两个用户，并分别确定这至少两个用户的性格和表情时，确定智能电视播放模式参数所使用的性格、表情与智能电视播放模式参数的对应关系为，性格组合、表情组合与智能电视播放模式参数的对应关系。如果还调整智能电视显示界面的模式，那么，用户的性格与显示界面布局模式的对应关系为，性格组合与显示界面布局模式的对应关系。

基于与方法同样的发明构思，本发明实施例还提供一种智能电视的播放控制装置，包括：

用户识别模块，用于对智能电视的视频采集装置采集的视频图像进行用户识别检测；

图像信息提取模块，用于当用户识别模块检测到用户后，从检测到用户的视频图像中提取用于分析该用户性格的图像特征信息和用于分析该用户表情的脸部图像信息；

用户性格识别模块，用于根据用于分析所述用户性格的图像特征信息，确定该用户的性格；

用户表情识别模块，用于根据用于分析所述用户表情的脸部图像信息，确定该用户的表情；

模式确定模块，用于根据性格、表情与智能电视播放模式参数的对应关系，确定该用户的性格和该用户的表情对应的智能电视播放模式参数；

模式调整模块，用于根据确定的智能电视播放模式参数，调整智能电视的播放模式。

本发明实施例提供的装置，可以通过分析视频图像确定用户的表情和性格，进而结合用户的表情和性格调整智能电视的播放模式，实现了智能电视图像模式和声音模式的自动调整，提高了用户的使用体验。

较佳地，模式确定模块还用于，根据性格与显示界面布局模式的对应关系，确定上述用户的性格对应的显示界面布局模式；模式调整模块还用于，根据确 定的显示界面布局模式，调整智能电视显示界面的布局。

其中，显示界面布局模式包括显示内容在显示界面的布局、显示界面的色彩搭配、显示界面的背景画面等等。

基于上述任意装置实施例，较佳地，用户识别模块具体用于：利用人脸分类器对视频图像进行人脸检测；对于检测到的人脸区域，利用鼻子分类器对该人脸区域进行鼻子检测；如果检测到鼻子，确定检测到用户。

基于上述任意装置实施例，较佳地，从视频图像中提取用于分析用户性格的图像特征信息时，图像信息提取模块具体用于：确定该用户的人脸区域；根据该人脸区域确定用于识别用户的衣服颜色的目标区域；提取该目标区域的色彩信息，并根据该色彩信息确定上述用户的衣服颜色，用于分析所述用户性格的图像特征信息为该用户的衣服颜色。

进一步的，提取目标区域的色彩信息，并根据色彩信息确定用户的衣服颜色时，图像信息提取模块具体可以用于：提取上述目标区域的RGB色彩信息；将提取的RGB信息转换为HSV色彩信息；根据该HSV色彩信息确定上述用户的衣服颜色。

基于上述任意装置实施例，较佳地，从视频图像中提取用于分析用户表情的脸部图像信息时，图像信息提取模块具体用于：确定用户的人脸区域；在该用户的人脸区域利用人眼分类器对该人脸区域进行人眼检测；确定两眼连线的中心点，并以该中心点为坐标原点旋转该人脸区域，使得两眼连线与以该中心点为坐标原点的显示坐标系的横轴平行；从旋转后的人脸区域提取正方形区域的图像信息作为用于分析用户表情的脸部图像信息，该正方形区域的边长为两眼连线距离的2倍，在水平方向沿两眼连线的中心点对称，且该正方形区域的上边线到该中心点的距离为该两眼连线距离的一半。

基于上述任意装置实施例，较佳地，用户性格识别模块具体用于：根据从连续X帧视频图像中提取的用于分析该用户性格的图像特征信息，确定该用户的性格。

基于上述任意装置实施例，较佳地，用户表情识别模块具体用于：根据从连续Y帧视频图像中提取的用于分析上述用户表情的脸部图像信息，确定该用户的表情。

基于上述任意装置实施例，当有多个用户使用智能电视时，相应的功能模块的工作方式可以但不仅限于：

用户识别模块具体用于：按照预定的检测顺序，对视频图像进行用户识别检测，当检测到一个用户后，停止对检测到用户的视频图像进行用户识别检测；或者，

当检测到至少两个用户，图像信息提取模块还用于：按照预定的规则，选择其中一个用户，从所述视频图像中提取用于分析选择的用户性格的图像特征信息和用于分析选择的用户表情的脸部图像信息；或者，

当检测到至少两个用户，并分别确定这至少两个用户的性格和表情时，确定智能电视播放模式参数所使用的性格、表情与智能电视播放模式参数的对应关系为，性格组合、表情组合与智能电视播放模式参数的对应关系。

附图说明

图1为本发明实施例提供的一种方法流程图；

图2为本发明实施例提供的用于分析用户表情的脸部图像区域示意图；

图3a～图3f为本发明实施例提供的显示界面布局模式示意图；

图4为本发明实施例提供的装置示意图。

具体实施方式

下面将结合附图，对本发明实施例提供的技术方案进行详细描述。

图1所示为本发明实施例提供的一种智能电视的播放控制方法流程图，具体包括如下操作：

步骤100、对智能电视的视频采集装置采集的视频图像进行用户识别检测。

本发明实施例中，视频采集装置既可以内置在智能电视内部，也可以设置在智能电视外部，与智能电视通过有线或无线方式连接。

步骤110、当检测到用户后，从检测到用户的视频图像中提取用于分析该用户性格的图像特征信息和用于分析该用户表情的脸部图像信息。

步骤120、根据用于分析该用户性格的图像特征信息，确定该用户的性格，并根据用于分析该用户表情的脸部图像信息，确定该用户的表情。

步骤130、根据性格、表情与智能电视播放模式参数的对应关系，确定该用户的性格和该用户的表情对应的智能电视播放模式参数。

步骤140、根据确定的智能电视播放模式参数，调整该智能电视的播放模式。

其中，智能电视播放模式可以但不仅限于以下至少一种模式：图像模式、声音模式。所谓图像模式，即智能电视显示图像的亮度、饱和度等等；所谓声音模式，即智能电视输出声音的音量、音效等等。

本发明实施例提供的方法，可以通过分析视频图像确定用户的表情和性格，进而结合用户的表情和性格调整智能电视的播放模式，实现了智能电视图像模式和声音模式的自动调整，提高了用户的使用体验。

现有技术中，智能电视显示界面的布局在出厂前已设定，无法自动调整智能电视显示界面的布局。为解决这一问题，本发明实施例提供的方法还可以根据性格与显示界面布局模式的对应关系，确定上述用户的性格对应的显示界面布局模式；根据确定的显示界面布局模式，调整智能电视显示界面的布局。当然，也可以结合性格和表情，确定显示界面布局模式。

其中，显示界面布局模式包括显示内容在显示界面的布局、显示界面的色彩搭配、显示界面的背景画面等等。

进行用户识别检测的方式有多种，较为常见的是通过人脸识别来识别用户。基于上述任意实施例，较佳地，可以利用人脸分类器对智能电视的视频采集装置采集的视频图像进行人脸识别，当识别到人脸后，即确定检测到用户。 例如，对视频图像进行灰度化处理，然后利用基于Harr like特征的AdaBoost人脸分类器对进行灰度化处理后的视频图像进行人脸检测。

在上述人脸识别的基础上，为了降低误检率，对于检测到的人脸区域，还利用鼻子分类器对该人脸区域进行鼻子检测；如果检测到鼻子，确定检测到用户。

如果检测区域过小，将影响检测的准确性。因此，当检测到人脸区域后，对人脸区域的大小进行判断，如果该人脸区域的大小在N个像素（Pixel）×N个Pixel范围内，则将该人脸区域放大A倍后进行鼻子检测；如果该人脸区域的大小超过N个Pixel×N个Pixel，但在N个Pixel×2N个Pixel范围内，则将该人脸区域方法B倍后进行鼻子检测；如果该人脸区域的大小超过N个Pixel×2N个Pixel，则直接对该人脸区域进行鼻子检测。其中，N的取值范围为30～50，较佳地，N取值为40；A的取值范围为2～5，较佳地，A取值为4；较佳地，B的取值为2.5。应当指出的是，鼻子检测区域的大小、放大倍数等等参数根据实际应用中视频图像的显示像素、鼻子分类器的参数等等确定。

其中，鼻子分类器可以采用现有的算法训练得到。作为举例而非限定，利用鼻子分类器进行鼻子检测的实现方式可以是：

将鼻子训练图像进行灰度化处理，计算鼻子区域的局部二进制模式（LocalBinary Pattern，LBP）特征，同时引入大量的非鼻子的人脸其它部位图像作为负样本，用于训练鼻子分类器。较佳地，鼻子分类器为瀑布式级联分类器的每一层是一个由Adaboost算法训练得到的强分类器。进行鼻子检测时检测顺序的位置越靠前的层，容许匹配误差的阈值越大，这样可使得大多数鼻子检测区域能够通过；位置越靠后的层容许匹配误差的阈值越小，这样对鼻子匹配的精度要求越高，鼻子分类能力越强。鼻子分类器训练好后，利用鼻子分类器对鼻子检测区域的图像进行匹配，具体的，将鼻子检测区域的图像划分为多个图像块，利用鼻子分类器分别对每个图像块进行匹配。完成匹配后，对鼻子检测区域中与鼻子分类器匹配的图像块过滤噪声，并统计过滤噪声后的图像块中相邻 图像块的个数，如果个数超过了规定值，就确定有鼻子存在。

本发明实施例中，用于分析用户性格的图像特征信息可以但不仅限于是用户的衣服颜色。那么，在检测到用户后，需要确定用户的衣服颜色检测区域。基于上述任意实施例，较佳地，可以先确定该用户的人脸区域（具体可以采用上述任意实施例描述的人脸识别方式确定人脸区域，如果上述用户识别检测是通过人脸识别进行的，则该步骤即用户识别检测的步骤），然后根据该人脸区域确定用于识别用户的衣服颜色的目标区域，提取该目标区域的色彩信息，并根据该色彩信息确定该用户的衣服颜色。其中，人脸区域与目标区域在视频图像中的位置关系可以根据仿真、经验等方式确定。例如，在视频图像的显示坐标系中，确定人脸区域下方、一个人脸区域高的区域为目标区域。该目标区域的具体大小可以根据实际需要设定，例如，设定目标区域的大小与人脸区域的大小相同。

通常，从图像中提取的色彩信息是红绿蓝（RGB）色彩信息。但RGB色彩不稳定，容易受到光强、阴影等因素的影响。为了更加准确的识别用户衣服的颜色，提取目标区域的色彩信息，并根据该色彩信息确定用户的衣服颜色的具体实现方式可以是：提取目标区域的RGB色彩信息，然后将提取的RGB信息转换为HSV色彩信息，并根据HSV色彩信息确定该用户的衣服颜色。

其中，HSV色彩信息包括：色度（取值范围：0～360），饱和度（取值范围：0～1）和亮度（取值范围：0～1）。

根据HSV色彩信息确定用户的衣服颜色的具体实现方式可以是：预先确定若干衣服颜色样本，将得到的HSV色彩信息与各个衣服颜色样本进行匹配，确定匹配度最高的衣服颜色样本作为用户的衣服颜色。

其中，如果检测到两个或两个以上衣服的颜色，则将每个用户的衣服颜色对应的HSV色彩信息绘制为HSV颜色直方图，确定直方图中灰度值最高的颜色为主色，即用于分析用户性格的图像特征信息。

本发明实施例以16个衣服颜色样本为例：黑色、深灰色、灰白色、白色、 西瓜红、红色、橙色、咖啡色、黄色、荧光绿、绿色、天蓝色、深蓝色、浅紫色、紫色、枚红色。进一步的，这16个颜色样本可以分为三类：

暖色系：西瓜红、红色、黄色、橙色、荧光绿、绿色、枚红色；

冷色系：黑色、深蓝色、深灰色、紫色；

中色系：咖啡色、白色、灰白色、天蓝色、浅紫色。

经大量心理学研究数据统计，用户的衣服颜色能够反映用户的性格。通常，穿暖色系衣服的人，一般表现为活泼开朗的性格。穿冷色系衣服的人，一般表现为孤寂、沉默的性格。穿中色系衣服的人，一般表现为神秘、稳定、安全的性格。

通过统计表明，活泼开朗的人，通常乐于接受图3a所示的曲线型、图3b所示的自由型的显示界面布局；孤寂、沉默的人，通常乐于接受如图3c所示的居中型、如图3d所示的包围型的显示界面布局；神秘、稳定、安全的人，通常乐于接受图3e所示的分散型、图3f所示的对齐型的显示界面布局。本发明实施例中，如果根据用户的衣服颜色确定用户的性格，可以直接以颜色分类表示性格。图3a～3f中，显示界面中的矩形框均表示显示内容。应当指出的是，图3a～3f所示的显示界面布局模式仅为一种示例，而不应理解为对各显示界面模式的限定。

那么，在提取出用户的衣服颜色后，确定用户的衣服颜色分类，然后按照上述颜色分类与显示界面布局模式的对应关系，确定显示界面布局模式。其中，如果一个颜色分类对应多个显示界面布局模式，可以随机选择一个，也可以按照预定的规则选择一个。

基于上述任意实施例，较佳地，从视频图像中提取用于分析用户表情的脸部图像信息的具体实现方式可以是：确定上述用户的人脸区域（具体可以采用上述任意实施例描述的人脸识别方式确定人脸区域，如果上述用户识别检测是通过人脸识别进行的，则该步骤即用户识别检测的步骤）；在该用户的人脸区域利用人眼分类器对该人脸区域进行人眼检测；在检测到两眼后，确定两眼连 线的中心点，并以该中心点为坐标原点旋转该人脸区域，使得两眼连线与以该中心点为坐标原点的显示坐标系的横轴平行，如图2所示；从旋转后的人脸区域提取正方形区域的图像信息作为用于分析用户表情的脸部图像信息，该正方形区域的边长为两眼连线距离的2倍，在水平方向沿两眼连线的中心点对称，且该正方形区域的上边线到中心点的距离为两眼连线距离的一半。应当指出的是，用于分析用户表情的脸部图像信息也可以是矩形区域的图像信息，或者其他形状的区域的图像信息。区域大小、位置也可以根据实际需要设定，本发明不作限定。

其中，人眼分类器的实现原理与鼻子分类器的实现原理类似，这里不再赘述。在进行人眼检测时，具体可以在人脸区域中截取鼻子以上的区域作为人眼检测的区域。当在人眼检测的区域仅检测到一只人眼时，可以将人眼检测的区域放大后重新进行人眼检测，直到检测到两只人眼。

本发明实施例中，根据用于分析用户表情的脸部图像信息确定用户的表情时，可以将脸部图像信息缩放到预定的大小（本发明实施例中，预定的大小为100个Pixel×100个Pixel），然后进行灰度归一化处理，进而进行同态滤波。

设脸部图像信息为S(x,y)，对该脸部图像信息进行对数运算，然后进行傅立叶变换，变换后送入高通滤波器再进行傅立叶逆变换，最后进行指数运算得到灰度归一化后的图像信息，结果记为I(x,y)（也可表示为。对灰度归一化处理后的脸部图像信息采用基于Gabor小波变换的方法提取用户的表情频域特征，小波变换是用一组Gabor滤波器函数与给定信号的卷积来实现的。滤波器函数表示为：

其中，k_v和分别代表了Gabor小波变换的空间尺度和 方向，为给定位置的图像坐标，用来补偿由频率决定的能量谱衰弱， 是高斯包络函数，经过二维Gabor小波变换后得到的Gabor系数，可以很好地描述图像中任意像素点附近区域的灰度特征。即特征向量G_j由表情图像与一组Gabor小波通过卷积运算得到，公式为：

利用Gabor小波变换提取出相应的特征向量后，分别与三种表情的嵌入式隐马尔可夫模型（EHMM）计算产生该特征向量的似然概率，选择概率最高的模型，以此来识别脸部图像信息对应的表情。三种表情分别定义为：“高兴”、“平和”、“难过”。

基于上述任意实施例，为了保证性格和表情分析的准确性，较佳地，确定用户的性格时，可以根据从连续X帧视频图像中提取的用于分析该用户性格的图像特征信息，确定该用户的性格。以用户的衣服颜色为例，可以将X帧视频图像中提取出的HSV色彩信息绘制HSV颜色直方图，确定直方图中灰度值最高的颜色为主色，即用于分析用户性格的图像特征信息。也可以将X帧视频图像中提取出的HSV色彩信息取均值，根据HSV色彩信息均值确定用户的衣服颜色；具体的，以饱和度为例，将X帧视频图像中提出取来的、在同一饱和度区间的饱和度值取均值，作为分析用户的衣服颜色所依据的饱和度值。饱和度区间是为了保证仅将相同或相似的颜色信息作均值处理。确定用户的表情时，可以根据从连续Y帧视频图像中提取的用于分析用户表情的脸部图像信息，确定该用户的表情。其中，X、Y为不小于2的整数，X和Y的取值可以相同，也可以不同。可以将Y帧视频图像中提取出的脸部图像信息中各点像素值取均值后，得到新的脸部图像信息用于分析用户的表情；也可以将Y帧视频图像对应的用户的表情进行统计，取统计数量最多的表情作为模式调整的依据。

基于上述任意实施例，当有多个用户同时使用智能电视时，可以但不仅限于有如下几种处理方式：

（一）、按照预定的检测顺序，对视频图像进行用户识别检测，当检测到一个用户后，停止继续对该视频图像进行用户识别检测。那么，对智能电视播放模式的调整以及其他模式的调整，是依据检测到的这一个用户的性格和表情进行的。

其中，检测顺序可以根据仿真、经验统计或者心理学数据统计确定，本发明不作限定。

（二）、当检测到至少两个用户，按照预定的规则，选择其中一个用户确定其性格和表情用于确定智能电视播放参数。具体的，从视频图像中提取用于分析选择的用户性格的图像特征信息和用于分析选择的用户表情的脸部图像信息，进而确定选择的用户的性格和表情，用于确定智能电视播放参数。如果还调整智能电视显示界面的模式，也是依据选择的这个用户的性格和表情确定显示界面布局模式。

其中，预定的规则可以根据仿真、经验统计或者心理学数据统计确定，本发明不作限定。预定的规则可以规定：当有两个用户时，选择在视频图像中位于左边的用户；当有两个以上用户时，选择在视频图像中最靠近中心区域的用户。预定的规则也可以规定：选择与目标人脸匹配的用户。例如，第一目标人脸为女性脸，第二目标人脸为老年女性脸。那么，在检测到多个用户后，将检测到的用户分别与第一目标人脸进行匹配，如果仅有一个用户与第一目标人脸匹配，则选择该用户。如果有两个或两个以上用户与第一目标人脸匹配，则将与第一目标人脸匹配的各个用户分别与第二目标人脸匹配，选择与第二目标人脸匹配的用户。如果没有用户与目标人脸匹配，可以按照用户在视频图像中的位置选择用户。

（三）、当检测到至少两个用户，并分别确定这至少两个用户的性格和表情时，确定智能电视播放模式参数所使用的性格、表情与智能电视播放模式参 数的对应关系为，性格组合、表情组合与智能电视播放模式参数的对应关系。如果还调整智能电视显示界面的模式，那么，用户的性格与显示界面布局模式的对应关系为，性格组合与显示界面布局模式的对应关系。

应当指出的是，上述三种实现方式还可以组合实施。

本发明实施例中，以用户的衣服颜色和表情为例，对图像模式及声音模式的调整进行详细说明。

大量心理学数据统计显示，人在高兴时，喜欢将电视的音量调大、音效加重、并喜欢更加亮丽的图案，人在难过时，喜欢将电视的音量调小、音效减小、并喜欢暗色调的图案。另外，穿暖色系衣服的人，喜欢将电视的音量调大、音效加重、并喜欢更加亮丽的图案，穿冷色系衣服的人，喜欢将电视的音量调小、音效减小、并喜欢暗色调的图案。

以上述统计结果为例，可以设置9种智能电视的播放模式，每种衣服颜色类型和用户表情的组合对应一种智能电视的播放模式。例如，暖色衣服+高兴表情对应的智能电视的播放模式与冷色衣服+高兴表情对应的智能电视的播放模式相比，图像的亮度和饱和度都更高，且音量更大等等；暖色衣服+难过表情对应的智能电视的播放模式与冷色衣服+难过表情对应的智能电视的播放模式相比，图像的亮度和饱和度都更高，且音量更大等等。平和表情对应的三种播放模式更趋于中间值。又或者，可以首先根据用户的表情，确定播放模式的初始调整量，然后根据用户的衣服颜色类型，结合用户的表情确定调整系数，最终的调整量为初始调整量与调整系数的乘积。具体的，对于高兴表情，暖色系对应的调整系数为a，中色系对应的调整系数为b，冷色系对应的调整系数为c，其中，a>b>c；对于平和表情，如果初始调整量为正值（以音量为例，表示当前音量小于音量的中间值），则暖色系对应的调整系数为d，中色系对应的调整系数为e，冷色系对应的调整系数为f，其中，d>e>f；对于平和表情，如果初始调整量为负值（以音量为例，表示当前音量大于音量的中间值），则暖色系对应的调整系数为g，中色系对应的调整系数为h，冷色系对应的调整系 数为i，其中，g<h<i；对于难过表情，暖色系对应的调整系数为j，中色系对应的调整系数为k，冷色系对应的调整系数为l，其中，j<k<l。其中，各个系数的取值大于1。

基于与方法同样的发明构思，本发明实施例还提供一种智能电视的播放控制装置，如图4所示，包括：

用户识别模块401，用于对智能电视的视频采集装置采集的视频图像进行用户识别检测；

图像信息提取模块402，用于当用户识别模块401检测到用户后，从检测到用户的视频图像中提取用于分析该用户性格的图像特征信息和用于分析该用户表情的脸部图像信息；

用户性格识别模块403，用于根据用于分析所述用户性格的图像特征信息，确定该用户的性格；

用户表情识别模块404，用于根据用于分析所述用户表情的脸部图像信息，确定该用户的表情；

模式确定模块405，用于根据性格、表情与智能电视播放模式参数的对应关系，确定该用户的性格和该用户的表情对应的智能电视播放模式参数；

模式调整模块406，用于根据确定的智能电视播放模式参数，调整智能电视的播放模式。

本发明实施例提供的装置，可以通过分析视频图像确定用户的表情和性格，进而结合用户的表情和性格调整智能电视的播放模式，实现了智能电视图像模式和声音模式的自动调整，提高了用户的使用体验。

较佳地，模式确定模块405还用于，根据性格与显示界面布局模式的对应关系，确定上述用户的性格对应的显示界面布局模式；模式调整模块406还用于，根据确定的显示界面布局模式，调整智能电视显示界面的布局。

其中，显示界面布局模式包括显示内容在显示界面的布局、显示界面的色彩搭配、显示界面的背景画面等等。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种智能电视的播放控制方法，其特征在于，包括：

对智能电视的视频采集装置采集的视频图像进行用户识别检测；

当检测到用户后，从所述视频图像中提取用于分析所述用户性格的图像特征信息和用于分析所述用户表情的脸部图像信息；

根据所述用于分析所述用户性格的图像特征信息，确定所述用户的性格，并根据所述用于分析所述用户表情的脸部图像信息，确定所述用户的表情；

根据性格、表情与智能电视播放模式参数的对应关系，确定所述用户的性格和所述用户的表情对应的智能电视播放模式参数；

根据确定的智能电视播放模式参数，调整所述智能电视的播放模式；

其中，对智能电视的视频采集装置采集的视频图像进行用户识别检测，包括：

利用人脸分类器对所述视频图像进行人脸检测；

对于检测到的人脸区域，利用鼻子分类器对所述人脸区域进行鼻子检测；其中，如果该人脸区域的大小在N个像素Pixel×N个Pixel范围内，则将该人脸区域放大A倍后进行鼻子检测；如果该人脸区域的大小超过N个Pixel×N个Pixel，但在N个Pixel×2N个Pixel范围内，则将该人脸区域方法B倍后进行鼻子检测；如果该人脸区域的大小超过N个Pixel×2N个Pixel，则直接对该人脸区域进行鼻子检测；

如果检测到鼻子，确定检测到用户。

2.根据权利要求1所述的方法，其特征在于，该方法还包括：

根据性格与显示界面布局模式的对应关系，确定所述用户的性格对应的显示界面布局模式，所述显示界面布局模式包括显示内容在显示界面的布局、显示界面的色彩搭配、和显示界面的背景画面；

根据确定的显示界面布局模式，调整所述智能电视显示界面的布局。

3.根据权利要求1或2所述的方法，其特征在于，所述用于分析所述用户性格的图像特征信息为所述用户的衣服颜色，从所述视频图像中提取用于分析所述用户性格的图像特征信息，包括：

确定所述用户的人脸区域；

根据所述人脸区域确定用于识别用户的衣服颜色的目标区域；

提取所述目标区域的色彩信息，并根据所述色彩信息确定所述用户的衣服颜色。

4.根据权利要求3所述的方法，其特征在于，提取所述目标区域的色彩信息，并根据所述色彩信息确定所述用户的衣服颜色，包括：

提取所述目标区域的红绿蓝RGB色彩信息；

将提取的RGB信息转换为HSV色彩信息；

根据所述HSV色彩信息确定所述用户的衣服颜色。

5.根据权利要求1或2所述的方法，其特征在于，从所述视频图像中提取用于分析所述用户表情的脸部图像信息，包括：

确定所述用户的人脸区域；

在所述用户的人脸区域利用人眼分类器对所述人脸区域进行人眼检测；

确定两眼连线的中心点，并以所述中心点为坐标原点旋转所述人脸区域，使得所述两眼连线与以所述中心点为坐标原点的显示坐标系的横轴平行；

从旋转后的人脸区域提取正方形区域的图像信息作为用于分析所述用户表情的脸部图像信息，所述正方形区域的边长为所述两眼连线距离的2倍，在水平方向沿所述两眼连线的中心点对称，且所述正方形区域的上边线到所述中心点的距离为所述两眼连线距离的一半。

6.根据权利要求1或2所述的方法，其特征在于，根据所述用于分析所述用户性格的图像特征信息，确定所述用户的性格，包括：

根据从连续X帧视频图像中提取的用于分析所述用户性格的图像特征信息，确定所述用户的性格，所述X为不小于2的整数；

根据所述用于分析所述用户表情的脸部图像信息，确定所述用户的表情，包括：

根据从连续Y帧视频图像中提取的用于分析所述用户表情的脸部图像信息，确定所述用户的表情，所述Y为不小于2的整数。

7.根据权利要求1或2所述的方法，其特征在于：

对智能电视的视频采集装置采集的视频图像进行用户识别检测，包括：按照预定的检测顺序，对所述视频图像进行用户识别检测，当检测到用户后，停止对所述视频图像进行用户识别检测；或者，

当检测到至少两个用户，从所述视频图像中提取用于分析所述用户性格的图像特征信息和用于分析所述用户表情的脸部图像信息，包括：按照预定的规则，选择其中一个用户，从所述视频图像中提取用于分析选择的用户性格的图像特征信息和用于分析选择的用户表情的脸部图像信息；或者，

当检测到至少两个用户，并分别确定所述至少两个用户的性格和表情时，确定智能电视播放模式参数所使用的性格、表情与智能电视播放模式参数的对应关系为，性格组合、表情组合与智能电视播放模式参数的对应关系。

8.一种智能电视的播放控制装置，其特征在于，包括：

用户识别模块，用于对智能电视的视频采集装置采集的视频图像进行用户识别检测；

图像信息提取模块，用于当所述用户识别模块检测到用户后，从所述视频图像中提取用于分析所述用户性格的图像特征信息和用于分析所述用户表情的脸部图像信息；

用户性格识别模块，用于根据所述用于分析所述用户性格的图像特征信息，确定所述用户的性格；

用户表情识别模块，用于根据所述用于分析所述用户表情的脸部图像信息，确定所述用户的表情；

模式确定模块，用于根据性格、表情与智能电视播放模式参数的对应关系，确定所述用户的性格和所述用户的表情对应的智能电视播放模式参数；

模式调整模块，用于根据确定的智能电视播放模式参数，调整所述智能电视的播放模式；

其中，所述用户识别模块，具体用于：

利用人脸分类器对所述视频图像进行人脸检测；

对于检测到的人脸区域，利用鼻子分类器对所述人脸区域进行鼻子检测；其中，如果该人脸区域的大小在N个像素Pixel×N个Pixel范围内，则将该人脸区域放大A倍后进行鼻子检测；如果该人脸区域的大小超过N个Pixel×N个Pixel，但在N个Pixel×2N个Pixel范围内，则将该人脸区域方法B倍后进行鼻子检测；如果该人脸区域的大小超过N个Pixel×2N个Pixel，则直接对该人脸区域进行鼻子检测；

如果检测到鼻子，确定检测到用户。

9.根据权利要求8所述的装置，其特征在于，所述模式确定模块还用于，根据性格与显示界面布局模式的对应关系，确定所述用户的性格对应的显示界面布局模式；

所述模式调整模块还用于，根据确定的显示界面布局模式，调整所述智能电视显示界面的布局。