CN103530060A - 显示装置及其控制方法、手势识别方法 - Google Patents

Abstract

本发明提供一种显示装置及其控制方法、手势识别方法，属于手势识别技术领域，其可解决现有的手势识别中选择和确定操作须分别进行的问题。本发明的显示装置控制方法包括：显示单元显示控制画面，3D单元将控制画面转换为虚拟3D控制画面并提供给用户，其中，3D单元包括3D眼镜，虚拟3D控制画面与用户眼睛间的虚拟距离等于第一距离，第一距离小于显示单元与用户眼睛间的距离；图像采集单元采集用户对虚拟3D控制画面的点击动作的图像；手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。本发明可用于显示装置的控制，尤其适用于电视的控制。

Description

显示装置及其控制方法、手势识别方法

技术领域

本发明属于手势识别技术领域，具体涉及一种显示装置及其控制方法、手势识别方法。

背景技术

随着技术发展，用手势对显示单元(电视、显示器等)进行控制已成为可能。具有手势识别功能的显示装置包括用于进行显示的显示单元，以及用于采集手势的图像采集单元(摄像头、相机等)；通过对所采集的图像进行分析，即可确定用户要进行的操作。

目前的手势识别技术中，“选择”和“确定”操作必须通过不同手势分别进行，操作麻烦，例如要通过手势为电视换台，则先要通过第一手势(如从左向右挥手)选台，每挥手一次台号变一次，当选到正确台号时，再通过第二手势(如从上向下挥手)进入该台。也就是说，现有显示装置的手势识别技术不能实现“选择”与“确定”合一的操作，即不能像平板电脑一样通过“点击(Touch)”多个候选图标中的某个，一次性选出要执行的指令并执行该指令。之所以如此，是因为“点击”操作必须准确判断点击位置。对平板电脑，手直接点在屏幕上，故通过触控技术确定点击位置是可行的。但对手势识别技术，手通常不能接触显示单元(尤其对电视，正常使用时用户离其很远)，而只能“指向”显示单元的某位置(如显示单元显示的某图标)，但这种远距离的“指向”准确度很差，在指向显示单元的同一位置时，不同用户的手势可能不同，有人指的偏左，有人指的偏右，故无法确定用户到底想指哪里，也就不能实现“点击”操作。

发明内容

本发明所要解决的技术问题包括，针对现有的手势识别中“选择”和“确定”操作必须分别进行的问题，提供一种可通过手势识别实现“选择”和“确定”操作一步完成的显示装置及其控制方法、手势识别方法。

解决本发明技术问题所采用的技术方案是一种显示装置的控制方法，其包括：

显示单元显示控制画面，3D单元将控制画面转换为虚拟3D控制画面并提供给用户，其中，所述3D单元包括3D眼镜，所述虚拟3D控制画面与用户眼睛间的虚拟距离等于第一距离，所述第一距离小于显示单元与用户眼睛间的距离；

图像采集单元采集用户对虚拟3D控制画面的点击动作的图像；

手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。

优选的，所述第一距离小于等于用户手臂的长度。

优选的，所述第一距离小于等于0.5米且大于等于0.25米。

优选的，所述虚拟3D控制画面为整个显示画面；或，所述虚拟3D控制画面为显示画面的一部分。

优选的，所述虚拟3D控制画面分为至少两个区域，每个区域对应1个控制指令。

优选的，在手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置之前，还包括：定位单元判断用户相对显示单元的位置；手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置包括：手势识别单元根据图像采集单元所采集的图像，以及用户相对显示单元的位置判断用户对虚拟3D控制画面的点击位置。

进一步优选的，定位单元判断用户相对显示单元的位置包括：定位单元对由图像采集单元采集的图像进行分析，从而判断用户相对显示单元的位置。

解决本发明技术问题所采用的技术方案是一种显示装置，其包括：

用于进行显示的显示单元；

包括3D眼镜的3D单元，其用于将显示单元显示的控制画面转换为虚拟3D控制画面并提供给用户，所述虚拟3D控制画面与用户眼睛间的虚拟距离等于第一距离，所述第一距离小于显示单元与用户眼睛间的距离；

图像采集单元，其用于采集用户对虚拟3D控制画面的点击动作的图像；

手势识别单元，其用于根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。

优选的，所述显示单元为电视或电脑显示屏。

优选的，所述3D单元还包括设于显示单元显示面外的3D偏光膜。

优选的，所述显示装置还包括：定位单元，其用于判断用户相对显示单元的位置。

进一步优选的，所述定位单元用于对由图像采集单元采集的图像进行分析，从而判断用户相对显示单元的位置。

解决本发明技术问题所采用的技术方案是一种手势识别方法，其包括：

显示单元显示控制画面，3D单元将控制画面转换为虚拟3D控制画面并提供给用户，其中，所述3D单元包括3D眼镜，所述虚拟3D控制画面与用户眼睛间的虚拟距离等于第一距离，所述第一距离小于显示单元与用户眼睛间的距离；

图像采集单元采集用户对虚拟3D控制画面的点击动作的图像；

手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。

其中，“3D单元”能将显示单元显示的平面图像转换为有立体感的3D图像(当然需要显示单元配合显示特定内容)，其包括供用户佩戴的3D眼镜。

其中，“虚拟3D控制画面”是指由3D单元转换出的有立体感的控制画面，该控制画面用于实现控制。

其中，“虚拟距离”是指用户感到的虚拟3D控制画面与自己的距离；距离感是立体感的一部分，其是由左右眼所看到的图像的差别引起的，故只要显示单元显示特定的内容，再进过3D单元转换，即可使用户感到虚拟3D控制画面位于自己前方一定距离处，即使用户远离或靠近显示单元，其感觉到的虚拟3D控制画面与自己的距离始终不变。

其中，“执行单元”是指可执行相应控制指令的任何单元，例如，对换台指令，执行单元就是显示单元，而对改变音量的指令，执行单元就是发声单元。

本发明的显示装置及其控制方法、手势识别方法中，3D单元可为用户呈现虚拟3D控制画面，且虚拟3D控制画面与用户的距离小于显示单元与用户的距离，故用户会感觉控制画面离自己很近，就在面前，可直接伸手准确“点击”虚拟3D控制画面，这样不同用户点击虚拟3D控制画面同一位置时动作是相同或相似的，从而手势识别单元可准确判断用户希望的点击位置，进而实现“选择”与“确定”合一的“点击”操作。

本发明用于显示装置的控制，尤其适用于电视的控制。

附图说明

图1为本发明的实施例1的显示装置的控制方法的流程图；

图2为本发明的实施例1的显示装置显示虚拟3D控制画面时的示意图；

其中附图标记为：1、显示单元；2、3D眼镜；3、用户的手；4、虚拟3D控制画面；5、图像采集单元。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。

实施例1：

如图1所示，本实施例提供一种显示装置的控制方法，该方法适用的显示装置包括显示单元1、3D单元、图像采集单元5、手势识别单元，优选还包括定位单元。

其中，显示单元1为任何能显示2D画面的显示设备，如液晶显示设备、有机发光二极管显示设备等。

优选的，显示单元1为电视。由于人们需要对电视进行比较频繁的操作(如换台、调整音量等)，且通常情况下用户距电视较远，难以通过触控等方式控制电视，故电视更适用于本发明。当然，若显示单元1为电脑显示屏等其他设备，也是可行的。

3D单元则是指能将显示单元1显示的平面图像转换为有立体感的3D图像的器件，其包括供用户佩戴的3D眼镜2。在3D单元仅包括3D眼镜2的情况下，该3D眼镜2可为快门式3D眼镜，即其可轮流打开左右眼镜片(如每帧图像转换一次)，从而使左右眼看不同图像，实现3D效果。

或者，优选的，3D单元也可包括3D眼镜2和设于显示单元1外的3D偏光膜，3D偏光膜可将来自显示单元1不同位置的光转为偏振方向不同的偏振光，此时3D眼镜2的左右眼镜片为不同偏光片，从而可对经过3D偏光膜的偏振光进行不同滤光，使左右眼分别看到不同图像。由于通过3D眼镜2实现3D显示的方法有多种，故在此不再逐一描述。

图像采集单元5则用于采集用户的图像，其可为CCD(电荷耦合元件)摄像头、相机等已知器件。从方便的角度说，图像采集单元5可设在显示单元1附近(如固定在显示单元1上方或侧面)，或与显示单元1设计成一体结构。

具体的，上述控制方法包括以下步骤：

S01、显示单元1显示控制画面，3D单元将控制画面转换为虚拟3D控制画面4并提供给用户，虚拟3D控制画面4与用户眼睛间的虚拟距离等于第一距离，第一距离小于显示单元1与用户眼睛间的距离。

其中，控制画面是指专门用于对显示装置进行控制操作的画面，其中包括对显示装置的各种控制指令，用户通过选择不同控制指令即可实现对显示装置的控制。

如图2所示，3D单元将控制画面转换为立体画面的形式，且使用户感觉到该虚拟3D控制画面4即位于自己前方一定距离(第一距离)处，而该第一距离小于显示单元1与用户间的距离。由于用户感觉到虚拟3D控制画面4与自己的距离较近，故可伸手3做出准确“点击”该画面某位置的动作，从而显示装置也可更准确的判断用户要进行什么操作，实现“点击”控制。

优选的，第一距离小于等于用户手臂的长度。在第一距离小于等于用户手臂的长度时，用户感觉自己伸手即可“接触”虚拟3D控制画面4，这样可最大程度的保证点击动作的准确性。

优选的，第一距离小于等于0.5米且大于等于0.25米。按照以上第一距离的范围，绝大多数人既不用伸直手臂努力去“够”虚拟3D控制画面4，也不会觉得虚拟3D控制画面4离自己太近。

优选的，虚拟3D控制画面4是整个显示画面。也就是说，当显示虚拟3D控制画面4时，显示虚拟3D控制画面4就是全部的显示内容，用户只能看到虚拟3D控制画面4，从而该虚拟3D控制画面4面积较大，可容纳较多的待选控制指令，且点击准确性较高。

优选的，作为本实施例的另一种方式，虚拟3D控制画面4也可以是整个显示画面的一部分。也就是说，显示虚拟3D控制画面4是与常规画面(如电视节目)一同显示的，其可以位于显示画面的边上或角落，从而用户可同时看到常规画面和虚拟3D控制画面4，以便随时进行控制(如调整音量、换台等)。

其中，当虚拟3D控制画面4是整个显示画面时，则其优选在满足一定条件(如用户发出指令)时才显示，其他情况下仍显示常规画面。而当虚拟3D控制画面4是显示画面的一部分时，其可以一直持续显示。

优选的，虚拟3D控制画面4分为至少两个区域，每个区域对应1个控制指令。也就是说，虚拟3D控制画面4可分为多个不同区域，点击每个区域可执行不同控制指令，从而通过一个虚拟3D控制画面4可进行多种不同操作。例如，可如图2所示，虚拟3D控制画面4等分为3行×3列共9个矩形区域，每个矩形对应一个控制指令(如改变音量、改变台号、改变亮度、退出虚拟3D控制画面4等)。

当然，若虚拟3D控制画面4只对应一个控制指令(如虚拟3D控制画面4为显示画面的一部分，其对应的指令为“进入全屏控制画面”)也是可行的。

当然，本发明中只要保证控制画面被转换为3D形式即可，而常规画面(如电视节目)可仍为2D形式，例如用户观看常规画面时可不戴3D眼镜2，或3D眼镜2的两镜片同时打开，或显示单元1显示的左右眼图像相同。

S02、图像采集单元5采集用户对虚拟3D控制画面4的点击动作的图像。

也就是说，当显示单元1显示控制画面时，图像采集单元5开启，从而采集用户的动作的图像，具体是用户伸手3对虚拟3D控制画面4进行点击的动作的图像。

当然，在未显示控制画面时，图像采集单元5也可以开启，从而用于采集用户其他手势的图像或用于确定用户位置。

S03、可选的，定位单元判断用户相对显示单元1的位置(距离和/或角度)。

显然，当用户与显示单元1的相对位置不同时，虽然对用户来说其做出的控制动作并无变化，都是点击自己面前的虚拟3D控制画面4；但对图像采集单元5来说，其所采集到的图像却不相同；为此，最好能预先判断出用户与显示单元1的相对位置关系，从而在手势识别过程中进行更准确的识别。

具体的，作为一种优选方式，定位单元可通过对由图像采集单元5采集的图像进行分析来判断用户相对显示单元1的位置。例如，当开始显示虚拟3D控制画面4时，可将图像采集单元5采集的第一幅图像用于判断用户相对显示单元1的位置，之后采集的图像再用于手势分析。根据图像判断用户相对显示单元1的位置的方法也是多样的，如可通过轮廓线分析得到用户形体或3D眼镜2的轮廓，进而判断用户位置，或者也可在3D眼镜2上设定标记物，通过对该标记物的追踪确定用户位置。

当然，判断用户相对显示单元1的位置的方法还有很多，如可在两不同位置设置红外测距器，通过两个红外测距器分别测得的与用户间的距离计算出用户位置。

当然，如果不进行上述定位判断也是可行的；例如，若用户与显示单元1的相对位置通常比较固定(如用户习惯坐在显示单元1正前方5米处)，则也可默认用户位置。

S04、手势识别单元根据图像采集单元5所采集的图像(以及用户相对显示单元1的位置)判断用户对虚拟3D控制画面4的点击位置，并将点击位置所对应的控制指令发给相应的执行单元。

如前所述，用户与显示单元1的相对位置是已知的，且虚拟3D控制画面4位于用户之前一定距离处，因此，如图2所示，手势识别单元可确认虚拟3D控制画面4相对显示单元1的空间位置(因虚拟3D控制画面4必然位于显示单元1与用户间的连线上)，同时，当用户伸手3点击虚拟3D控制画面4时，手势识别单元也可根据图像(图像采集单元5相对显示单元1的位置显然也已知)确认其所点击的空间位置(即手3的位置)，进而确认与点击位置对应的虚拟3D控制画面4的位置，也就是确定与用户手势对应的控制指令；这样，手势识别单元即可将该控制指令发送给相应的执行单元，使该执行单元执行响应指令，实现控制。

其中，“执行单元”是指可执行相应控制指令的任何单元，例如，对换台指令，执行单元就是显示单元1，而对改变音量的指令，执行单元就是发声单元。

如前所述，若用户与显示单元1的相对位置不确定(即未进行步骤S03)，则可以按照默认位置判断用户位置；或者，也可通过判断用户的手与其身体的相对位置关系判断用户要点击什么位置(因为虚拟3D控制画面4与用户的相对位置关系是已知的)。

本实施例还提供一种可使用上述的方法进行控制的显示装置，其包括：

用于进行显示的显示单元1；

包括3D眼镜2的3D单元，其用于将显示单元1显示的控制画面转换为虚拟3D控制画面4并提供给用户，所述虚拟3D控制画面4与用户眼睛间的虚拟距离等于第一距离，所述第一距离小于显示单元1与用户眼睛间的距离；

图像采集单元5，其用于采集用户对虚拟3D控制画面4的点击动作的图像；

手势识别单元，其用于根据图像采集单元5所采集的图像判断用户对虚拟3D控制画面4的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。

优选的，显示单元1为电视或电脑显示屏。

优选的，3D单元还包括设于显示单元1显示面外的3D偏光膜。

优选的，显示装置还包括：定位单元，用于判断用户相对显示单元1的位置。

进一步优选的，定位单元用于对由图像采集单元5采集的图像进行分析，从而判断用户相对显示单元1的位置。

实施例2：

本实施例提供一种手势识别方法，其包括：

显示单元显示控制画面，3D单元将控制画面转换为虚拟3D控制画面并提供给用户，其中，所述3D单元包括3D眼镜，所述虚拟3D控制画面与用户眼睛间的虚拟距离等于第一距离，所述第一距离小于显示单元与用户眼睛间的距离；

图像采集单元采集用户对虚拟3D控制画面的点击动作的图像；

手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。

也就是说，上述的手势识别方法并不限于控制显示装置，其也可用于控制其他装置，只要手势识别单元将控制指令发送(如通过无线方式)给相应的装置即可；例如，可通过一套专门的手势识别系统对电视、电脑、空调、洗衣机等许多装置进行统一控制。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (13)

1.一种显示装置的控制方法，其特征在于，包括：

显示单元显示控制画面，3D单元将控制画面转换为虚拟3D控制画面并提供给用户，其中，所述3D单元包括3D眼镜，所述虚拟3D控制画面与用户眼睛间的虚拟距离等于第一距离，所述第一距离小于显示单元与用户眼睛间的距离；

图像采集单元采集用户对虚拟3D控制画面的点击动作的图像；

手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。

2.根据权利要求1所述的显示装置的控制方法，其特征在于，

所述第一距离小于等于用户手臂的长度。

3.根据权利要求1所述的显示装置的控制方法，其特征在于，

所述第一距离小于等于0.5米且大于等于0.25米。

4.根据权利要求1所述的显示装置的控制方法，其特征在于，

所述虚拟3D控制画面为整个显示画面；

或

所述虚拟3D控制画面为显示画面的一部分。

5.根据权利要求1所述的显示装置的控制方法，其特征在于，

所述虚拟3D控制画面分为至少两个区域，每个区域对应1个控制指令。

6.根据权利要求1至5中任意一项所述的显示装置的控制方法，其特征在于，

在手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置之前，还包括：定位单元判断用户相对显示单元的位置；

手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置包括：手势识别单元根据图像采集单元所采集的图像，以及用户相对显示单元的位置判断用户对虚拟3D控制画面的点击位置。

7.根据权利要求6所述的显示装置的控制方法，其特征在于，定位单元判断用户相对显示单元的位置包括：

定位单元对由图像采集单元采集的图像进行分析，从而判断用户相对显示单元的位置。

8.一种显示装置，其特征在于，包括：

用于进行显示的显示单元；

包括3D眼镜的3D单元，其用于将显示单元显示的控制画面转换为虚拟3D控制画面并提供给用户，所述虚拟3D控制画面与用户眼睛间的虚拟距离等于第一距离，所述第一距离小于显示单元与用户眼睛间的距离；

图像采集单元，其用于采集用户对虚拟3D控制画面的点击动作的图像；

手势识别单元，其用于根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。

9.根据权利要求8所述的显示装置，其特征在于，

所述显示单元为电视或电脑显示屏。

10.根据权利要求8所述的显示装置，其特征在于，

所述3D单元还包括设于显示单元显示面外的3D偏光膜。

11.根据权利要求8至10中任意一项所述的显示装置，其特征在于，还包括：

定位单元，其用于判断用户相对显示单元的位置。

12.根据权利要求11所述的显示装置，其特征在于，

所述定位单元用于对由图像采集单元采集的图像进行分析，从而判断用户相对显示单元的位置。

13.一种手势识别方法，其特征在于，包括：

显示单元显示控制画面，3D单元将控制画面转换为虚拟3D控制画面并提供给用户，其中，所述3D单元包括3D眼镜，所述虚拟3D控制画面与用户眼睛间的虚拟距离等于第一距离，所述第一距离小于显示单元与用户眼睛间的距离；

图像采集单元采集用户对虚拟3D控制画面的点击动作的图像；

手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。

Images