CN102033702A

CN102033702A - 影像显示装置及其显示控制方法

Info

Publication number: CN102033702A
Application number: CN2010105001337A
Authority: CN
Inventors: 松原孝志; 森谷真寿美
Original assignee: Hitachi Consumer Electronics Co Ltd
Current assignee: Maxell Ltd
Priority date: 2009-10-05
Filing date: 2010-09-30
Publication date: 2011-04-27
Also published as: US9400560B2; US20110080337A1; JP5412227B2; JP2011081506A

Abstract

本发明提供具有通过对用户的手进行识别来确定操作区域的功能的影像显示装置及其显示控制方法，其不怎么施加处理负荷、易于操作，并按照用户的想法确定操作区域。图像识别单元对用户的手的位置进行识别，利用操作区域单元，在图像拍摄单元的拍摄区域面上用户的手所投影的位置的周围，设定用于使用户对影像显示装置发出指示的操作区域。而后，操作区域单元在用户的手所投影的位置发生移动，接近操作区域的周围时，跟随用户的手所投影的位置的移动方向，使操作区域移动。此外，图像识别单元对用户的手的挥动进行识别，操作区域设定单元基于用户的手的挥动的幅度，设定操作区域的大小。

Description

影像显示装置及其显示控制方法

技术领域

本发明与影像显示装置及其显示控制方法相关，涉及对用户的手势进行图像识别、对电子设备发出指示的用户界面(user interface)的易用性得到提高的影像显示装置及其显示控制方法。

背景技术

一直以来，对于TV、录像机等影像装置，或者PC等信息处理设备而言，用户一般使用键盘和鼠标等定位设备来输入数据或输入指令，或者通过遥控器进行频道操作、显示操作。

近年来，由于图像识别技术的提高，特别是，在游戏机和操作向导设备的领域上，提出了对用户的手势进行图像识别，根据其结果判断用户的想法，从而使设备动作的方法。

例如，在专利文献1中，公开了识别手指的形状、动作，对操作进行判定的图像识别装置。

在专利文献1的图像识别装置中，在与身体的位置相应的标识上，生成操作面，根据该操作面上的手或者手指的位置的移动来识别指示。操作面是虚拟的操作面，“操作者102从标识101设想虚拟的操作面701并伸出手601，或者与监视器111联动，将画面上的一部分和操作面701视为触摸面板，以进行触摸的方式移动手601，由此能够容易地进行输入操作。(段落编号0033)”。

在该专利文献1中，因为根据身体的位置确定操作面，所以存在以下问题。

(1)因为在伸出手之前确定操作面位置，所以校准的时机较难把握。特别是有多个人时，不能决定对于画面前的哪个人设置操作区域。

(2)为了识别身体的位置处理负荷增大。

(3)躺着等姿势下难以进行定位。

此外，还可以考虑对用户的手进行识别，根据手的位置来确定操作面的区域的方法。这是因为，只对手进行识别时处理的负荷较轻，通过捕捉手的特征能够较为简单地进行识别。

在该方法中，存在确定操作区域的位置时难以确定校准时机的问题。

图8中表示了从下方伸出手时，在腰部附近生成操作区域的情况。

例如，在从下方伸出手时，如图8所示，会在伸手途中的腰部附近生成操作区域80。其远离用户设想要操作的操作区域81，对用户而言难以进行操作。

专利文献1：专利第4318056号公报

发明内容

本发明为了解决上述问题而完成，其目的在于，提供具有通过对用户的手进行识别来确定操作区域的功能的影像显示装置，其不怎么施加处理负荷、易于操作，并按照用户的想法确定操作区域。

本发明的影像显示装置，利用相机等进行拍摄的图像拍摄单元来拍摄用户的图像，对该图像数据通过图像识别单元来进行图像识别，基于图像识别的结果对用户的操作发出指示，图像识别单元对用户的手的位置进行识别，利用操作区域单元，在图像拍摄单元的拍摄区域面上用户的手所投影的位置的周围，设定用于使用户对影像显示装置发出指示的操作区域。而后，操作区域单元基于用户的手所投影的位置与操作区域的相对位置关系，在拍摄区域面内使操作区域移动。即，当用户的手所投影的位置发生移动，接近操作区域的周围时，操作区域跟随用户的手所投影的位置的移动方向，设定为移动后的位置。此外，图像识别单元对用户的手的挥动进行识别，操作区域设定单元基于用户的手的挥动的幅度来设定操作区域的大小。

根据本发明，能够提供具有通过对用户的手进行识别来确定操作区域的功能的影像显示装置，其不怎么施加处理负荷、易于操作，并按照用户的想法确定操作区域。

附图说明

图1是本发明的第一实施方式的影像显示装置的结构图。

图2是说明本发明的第一实施方式的影像显示装置100的操作区域的图。

图3是说明本发明的第一实施方式的影像显示装置100的操作区域的设定处理的流程的图。

图4是表示本发明的第一实施方式的影像显示装置100的操作区域的设定处理的步骤的流程图。

图5是本发明的第二实施方式的影像显示装置的结构图。

图6是说明本发明的第二实施方式的影像显示装置100的操作区域的设定处理的流程的图。

图7是说明本发明的第二实施方式的影像显示装置100的操作区域的设定处理的步骤的流程图。

图8是从下方伸出手时在腰部附近生成操作区域的情况的图。

附图标记说明

100……影像显示装置，110……输入部，130……影像信号处理部，140……显示部。

121……手位置检测部，122……位置判定处理部，123……操作区域设定部，124……挥手动作检测部。

10……显示器，12……红外线相机，14……LED，16……透镜，18……操作画面，20……操作区域，22……拍摄区域面，26……指针，30……用户，32……手。

具体实施方式

以下，对于本发明的各实施方式使用图1至图7进行说明。

[实施方式1]

以下，使用图1至图4说明本发明的第一实施方式。

首先，使用图1说明本发明的第一实施方式的影像显示装置的结构。

图1是本发明的第一实施方式的影像显示装置的结构图。

本实施方式的影像显示装置100，如图1所示，包括输入部110、系统控制部120、影像信号处理部130和显示部140。

输入部110是用于对用户进行拍摄的装置，例如是具有TOF(Time of flight，飞行时间)传感功能的红外线相机、立体相机、RGB相机等。输入部110所使用的相机并没有特别限定，为了对用户进行图像识别，最终只要具有下述功能即可，即，用于将获得的图像变换为数字数据的拍摄图像的功能。

系统控制部120是检测出用户的手的位置，进行用于将操作区域设定在适当的位置的数据处理的部分。系统控制部120可以通过CPU执行存储在存储器上的软件模块来实现，还可以通过专用的硬件电路实现。

系统控制部120具有实现手位置检测部122、位置判定处理部123和操作区域设定部124的功能的部分。

手位置检测部122是根据图像的数字数据检测出手的位置的部分。位置判定处理部123是判定手的位置与操作区域的位置关系的部分。操作区域设定部124是设定操作区域的部分。

影像信号处理部130是从系统控制部120接收指示和数据，生成用于在显示部140上显示的影像信号的部分。

显示部140是基于影像信号对用户显示影像的部分，例如是具有LCD(Liquid Crystal Display液晶显示器)、PDP(Plasma Display Panel等离子体显示面板)等显示器的显示装置。

接着，使用图2和图3对本发明的第一实施方式的影像显示装置100的操作区域的设定处理进行说明。

图2是对本发明的第一实施方式的影像显示装置100的操作区域进行说明的图。

图3是对本发明的第一实施方式的影像显示装置100的操作区域的设定处理的流程进行说明的图。

本发明的第一实施方式的影像显示装置100的操作形象如图2(a)所示，用户30在观看显示器10的同时通过手势进行操作，影像显示装置100对其进行图像识别，基于该识别结果确定操作区域，用户30在该操作区域中输入必要的指令等。如图2(b)所示，在显示器10的下方设置有红外线相机12，利用该红外线相机12的LED14发射近红外线，其反射线由透镜16受光，对用户30进行拍摄。本实施方式中，特别的要点在于对手进行识别。手32是伸出的，可以认为是用户30的身体中易于识别的部分。红外线相机12是3D相机，能够测定从画面到手的距离。

影像显示装置100进行图像识别，当检测到手32时，接着，根据识别到手的位置确定与显示器10的操作画面18对应的操作区域20。操作区域20是用于使用户30进行操作的虚拟的区域，在用户30站立的位置上的红外线相机12的拍摄区域面22中生成。如图2(b)所示，操作区域20是将显示器10的操作画面18在用户面前的拍摄区域面22上放大、缩小而成的区域，在最初确定操作区域20时，以用户30的手32为中心。而后，如图2(b)所示，在操作画面18中，在与操作区域20中的用户30的手32的位置对应的位置上显示指针26。另外，指针26在图2(b)中表示为手的图标，但也可以用箭头的图标、圆形、四边形等基本图形的图标、或者动画人物的图标等表示。

根据手32的位置和从操作画面18到手的距离确定操作区域20，以使手的延长线指示画面，用户30能够宛如以使用免持的激光笔的形象对影像显示装置100发出指示。用户30看不到该操作区域20，用户30不会特地去意识操作区域的位置和大小，操作区域在自然的操作中动态地修正。

例如，如图3(a)所示，用户30使自己的手32在操作区域20中向右侧移动。此时，操作画面18上的指针26也向右侧移动。而后，当手32要越过操作区域20的右边时，如图3(b)所示，操作区域20也向右侧移动。该操作区域20能够在不超过拍摄区域面22的范围内移动。即，当检测出用户30的手的位置发生移动，接近操作区域20的周围时，操作区域20跟随检测出用户30的手32的位置的移动方向发生移动。

而后，用户30能够以设定在新的位置上的操作区域20为对象，进行影像显示装置100的操作。在图3(c)中，用户30将自己的手32再次放到操作区域20的正中央，操作画面18上的指针26也在操作画面18上的中心显示。

接着，使用图4对于本发明的第一实施方式的影像显示装置100的操作区域的设定处理的流程进行说明。

操作区域20的设定处理是图1所述的系统控制部120所进行的处理。

首先，系统控制部120对来自输入部110的数据进行分析，进行用户30的手32的识别处理。

而后，当识别到手32时(S400)，按照手32的位置来设定操作区域20(S401)。此时，也显示操作画面18上的指针26。

接着，对手32的位置的变化进行识别，根据手32的位置移动操作画面18上的指针26(S402)。

而后，再次判定是否能够识别手32(S403)，当不能识别手32时(用户32将手放下时，或者将手32放在拍摄区域面22的外侧时等)，删除操作区域20(S407)。此时，也消除操作画面18上的指针26。而后，返回S400。

当能够识别手32时，判定是否手32的位置位于操作区域20的一端并且手32还向着操作区域20的外侧移动(S405)，此时，根据手32的移动来使操作区域20移动(S408)。即，使操作区域20跟随手32的动作。而后，返回S402。

当用户32按下操作区域20中的操作结束的指示按键等，有表示操作结束的想法时(S406)，结束处理，否则，返回S402。

[实施方式2]

以下，使用图5至图7说明本发明的第二实施方式。

第一实施方式的影像显示装置100的显示控制方法提供了使操作区域根据手的动作来进行跟随的界面(interface)。本实施方式中，在第一实施方式的显示控制方法之外，还提供了根据手的动作来确定操作区域大小的界面。

首先，使用图5说明本发明的第二实施方式的影像显示装置的结构。

图5是本发明的第二实施方式的影像显示装置的结构图。

本实施方式的影像显示装置100中，如图5所示，在由输入部110、系统控制部120、影像信号处理部130和显示部140组成这一点上，与第一实施方式相同，不同之处在于，在系统控制部120中具有挥手动作检测部124。

挥手动作检测部124是当用户30挥动手32时对其进行检测的部分。

接着，使用图6对本发明的第二实施方式的影像显示装置100的操作区域的设定处理进行说明。

本发明的第二实施方式的操作区域20中，在操作开始时挥动手，根据挥手的位置和幅度，进行操作区域20的位置和大小的校准。

像这样，若根据挥手的幅度(挥动的幅度)来确定操作区域20的大小，则用户30能够有意识地调整操作区域20的大小。例如，如图6(a)所示，当用户30较小幅度地挥手时，操作区域20a较小，如图6(b)所示，当用户30较大幅度地挥手时，操作区域20b较大。

此外，因为该挥手动作是有代表性的动作，易于与其他的动作(操作)区别。

另外，在多个人伸出手的情况下，也具有操作者易于确定的优点。图6(c)中，表示用户30挥动手32，生成操作区域20并确定其大小，其他人的手33、34并不参与。

另外，当具有通过该挥手操作来进行操作区域设定的功能时，使操作区域跟随用户30的手32的移动的机制，能够通过对校准过一次的区域进一步设置动态地实施修正的机制来加以实现。

接着，使用图7对本发明的第二实施方式的影像显示装置100的操作区域的设定处理的流程进行说明。

图7是表示本发明的第二实施方式的影像显示装置100的操作区域的设定处理的步骤的流程图。

操作区域20的设定处理是图5所示的系统控制部120所进行的处理。

而后，当识别出手32时(S500)，判定是否识别出挥手动作(S501)，当识别出挥手动作时，根据挥手动作的位置和幅度来设定操作区域20(S502)。此时，也显示操作画面18上的指针26。

接着，对手32的位置的变化进行识别，根据手32的位置移动操作画面18上的指针26(S503)。

而后，再次判定是否能够识别手32(S504)，当不能识别手32时，删除操作区域20(S507)。此时，也消除操作画面18上的指针26。而后，返回S500。

当能够识别手32时，判定是否手32的位置位于操作区域20一端并且手32还向着操作区域20的外侧移动(S505)，此时，根据手32的移动使操作区域20移动(S508)。即，使操作区域20跟随手32的移动。而后，返回S503。

当用户32按下操作区域20中的操作结束的指示按键等，有表示操作结束的想法时(S506)，结束处理，否则，返回S503。

以上，如第一实施方式和第二实施方式所述，本发明的影像显示装置的显示控制方法与专利文献1的现有技术不同，能够与身体的位置和姿势无关，在伸出手时确定操作区域的位置。即，即使存在多个人，也能够将伸出手的人确定为操作者。

此外，根据本发明的影像显示装置的显示控制方法，因为设定过一次的操作区域会根据用户的手的动作动态地变更，不需要在途中确定校准的时机，能够提高操作性。

Claims

1.一种影像显示装置，其拍摄用户的图像，对所述图像的图像数据进行图像识别，基于图像识别的结果对所述用户的操作进行操作显示，该影像显示装置的特征在于：

具有操作区域设定单元，其基于所述图像识别的结果，在所述拍摄的区域内，在所述用户的手的位置的周围设定所述用户能够操作的操作区域，

所述操作区域设定单元，跟随所述用户的手的位置的移动来移动所述操作区域的设定位置。

2.如权利要求1所述的影像显示装置，其特征在于：

在用户的手的位置越过所述操作区域的周围时，移动所述操作区域的设定位置。

3.如权利要求1所述的影像显示装置，其特征在于：

所述图像识别中，对所述用户的手的挥动进行识别，

所述操作区域设定单元基于所述用户的手的挥动的幅度来设定所述操作区域的大小。

4.一种影像显示装置的显示控制方法，该影像显示装置拍摄用户的图像，对于所述图像的图像数据进行图像识别，基于图像识别的结果对所述用户的操作进行操作显示，该影像显示装置的显示控制方法的特征在于：

具有操作区域设定步骤，基于所述图像识别的结果，在所述拍摄的区域内，在所述用户的手的位置的周围设定所述用户能够操作的操作区域；

在所述操作区域设定步骤中，跟随所述用户的手的位置的移动来移动所述操作区域的设定位置。

5.如权利要求4所述的影像显示装置的显示控制方法，其特征在于：

6.如权利要求4所述的影像显示装置的显示控制方法，其特征在于：

所述图像识别中，包含对所述用户的手的挥动进行识别的处理，

所述操作区域设定步骤包含基于所述用户的手的挥动的幅度来设定所述操作区域的大小的处理。