CN102012778A - 显示控制设备、显示控制方法以及显示控制程序 - Google Patents

显示控制设备、显示控制方法以及显示控制程序 Download PDF

Info

Publication number
CN102012778A
CN102012778A CN2010102667064A CN201010266706A CN102012778A CN 102012778 A CN102012778 A CN 102012778A CN 2010102667064 A CN2010102667064 A CN 2010102667064A CN 201010266706 A CN201010266706 A CN 201010266706A CN 102012778 A CN102012778 A CN 102012778A
Authority
CN
China
Prior art keywords
operator
coordinate system
operating means
screen
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010102667064A
Other languages
English (en)
Inventor
繁田修
野田卓郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102012778A publication Critical patent/CN102012778A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种显示控制设备、显示控制方法以及显示控制程序，所述显示控制设备包括：识别单元，被配置为识别操作员的位置和操作员的手等的位置；计算单元，被配置为把操作员在屏幕上设置的屏幕坐标系统中的位置视为操作员坐标系统的原点并且把手等相对于操作员坐标系统的原点的位置乘以预定函数，由此计算与手等对应的显示信息在屏幕坐标系统中的位置；以及控制单元，被配置为使得显示信息显示在计算单元计算的屏幕坐标系统中的位置处。

Description

显示控制设备、显示控制方法以及显示控制程序
技术领域
本发明涉及显示控制设备、显示控制方法以及显示控制程序，具体地，本发明涉及可以同时由多个操作员操作、安装有图形用户接口(GUI)的显示控制设备。
背景技术
当前，用作显示控制设备的许多计算机安装有GUI。在这些计算机中，显示按照操作员执行的操作在屏幕上移动的指针。通过采用指针表明屏幕上的任意位置，操作员可以选择屏幕上显示的图标等。
鼠标或触摸板通常用作用于移动指针的操作装置。另外，已经提出了一种使用运动传感器检测空间中的运动并且把检测到的运动输入到计算机以移动指针的控制器(例如，见日本未审查专利申请公开No.2009-157919)。
另外，已经提出了如下计算机。即，根据镜面反转的摄像机图像检测操作员手的位置，在屏幕上与手的位置对应的位置处显示指针，并且根据手的移动来移动指针。在这种计算机中，期望不论操作员在摄像机图像中的位置如何，操作员均可以仅通过围绕他/她的身体移动他/她的手将指针移动到屏幕上的任意位置。
因此，例如，可以把操作员身体的中心视为屏幕的中心(即，屏幕坐标系统的原点)，可以在操作员的手相对于原点的位置处显示指针。相应地，不论操作员在摄像机图像中的位置(即，在图像拍摄范围中的位置)如何，操作员均可以仅通过围绕他/她的身体移动他/她的手将指针移动到屏幕上的任意位置。
另外，近年来可用的诸如游戏机的一些计算机基于多个操作员同时操作单个屏幕的假设。预期这些计算机的普及将在未来增进。
发明内容
然而，在多个操作员执行操作的假设下，如果把所有操作员身体的中心视为屏幕的中心，则所有指针围绕屏幕坐标系统的原点移动，从而变得难以识别操作员与指针之间的关系。结果，与单个操作员执行操作的情形相比，可操作性不利地降低。
相应地，期望提供不论同时执行操作的操作员的数量如何，均能够获取良好的可操作性的显示控制设备、显示控制方法以及显示控制程序。
根据本发明的实施例，提供了一种显示控制设备，包括：识别单元，被配置为识别操作员的位置和所述操作员的操作装置的位置；计算单元，被配置为把操作员在屏幕上设置的屏幕坐标系统中的位置视为操作员坐标系统的原点并且把所述操作装置相对于操作员坐标系统的原点的位置乘以预定函数，由此计算与操作装置对应的显示信息在屏幕坐标系统中的位置；以及控制单元，被配置为使得显示信息显示在计算单元计算的屏幕坐标系统中的位置处。
以此方式，把操作员在屏幕坐标系统中的位置视为操作员坐标系统的原点，并且基于操作装置(例如，操作员的手)相对于原点的位置计算与操作装置对应的显示信息(例如，指针)在屏幕坐标系统中的位置。相应地，当存在多个操作员时，可以在与多个操作员的位置对应的位置为屏幕上的中心的情况下显示各操作装置操作的显示信息。
此时，不把操作装置的位置视为显示信息的位置，而是把通过将操作装置相对于操作员坐标系统的原点的位置乘以预定函数获得的位置视为显示信息在屏幕坐标系统中的位置。相应地，当恰当地选择函数时，多个操作员中的每个操作员可以在他/她的位置处于中心的情况下仅通过移动操作装置将相应的显示信息段移动到屏幕的任意位置。
根据本发明的实施例，当存在多个操作员时，可以在与多个操作员的位置对应的位置为中心的情况下在屏幕上显示各个操作装置操作的显示信息段。此外，在此情形中，多个操作员中的每个操作员可以在他/她自身的位置为中心的情况下仅通过移动操作装置将对应的显示信息段移动到屏幕的任意位置。相应地，可以实现不论同时执行操作的操作员的数量如何，均能够获得良好的可操作性的显示控制设备、显示控制方法以及显示控制程序。
附图说明
图1是示出了显示控制设备的配置的示意图，即本发明的实施例的概述；
图2是示出了作为实施例的具体示例的多人同时操作系统的配置的示意图；
图3是示出了TV接收机和立体摄像机的硬件配置的框图；
图4是示出了GUI屏幕的配置的示意图；
图5是用于说明当指针在屏幕的近端时GUI屏幕上的指针操作的示意图；
图6是用于说明当指针在屏幕的远端时GUI屏幕上的指针操作的示意图；
图7是示出了摄像机坐标系统和屏幕坐标系统的示意图；
图8是示出了图像坐标系统的示意图；
图9是示出了操作员身体的中心坐标(bx，by)的示意图；
图10是示出了操作员坐标系统和从操作员坐标系统看的手的位置(h′x，h′y)的示意图；
图11是用于说明对水平方向上操作范围的确定的示意图；
图12是用于说明对竖直方向上操作范围的确定的示意图；
图13是用于说明对深度方向上操作范围的确定的示意图；
图14是示出了操作员的位置和指针的位置的示意图；
图15是示出了指针显示处理过程的流程图；
图16是用于说明操作员身体倾斜的情形的示意图；以及
图17是示出了缩放比率的改变的曲线图。
具体实施方式
在下文中，将对本发明的实施例进行描述。将按如下次序给出描述。
1.实施例
2.其它实施例
1.实施例
1-1.实施例的概述
首先，将对实施例的概述进行描述。随后，将对实施例的具体示例进行描述。
图1示出了显示控制设备1。显示控制设备1包括：识别单元2，被配置为识别操作员的位置和操作员的操作装置的位置。另外，显示控制设备1包括：计算单元3，被配置为把操作员在屏幕上设置的屏幕坐标系统中的位置视为操作员坐标系统的原点并把操作装置相对于操作员坐标系统的原点的位置乘以预定函数，由此计算与操作装置对应的显示信息在屏幕坐标系统中的位置。此外，显示控制设备1包括：控制单元4，被配置为使得显示信息显示在计算单元3计算的屏幕坐标系统中的位置处。
以此方式，显示控制设备1把操作员在屏幕坐标系统中的位置视为操作员坐标系统的原点，并基于操作装置(例如，操作员的手)相对于原点的位置计算与操作装置对应的显示信息(例如，指针)在屏幕坐标系统中的位置。相应地，当存在多个操作员时，显示控制设备1能够在与多个操作员的位置对应的位置为屏幕上的中心的情况下显示各操作装置操作的显示信息。
此时，显示控制设备1不把操作装置的位置视为显示信息的位置，而是把通过将操作装置相对于操作员坐标系统的原点的位置乘以预定函数获得的位置视为显示信息在屏幕坐标系统中的位置。相应地，在显示控制设备1中，当恰当地选择函数时，多个操作员中的每个操作员可以在他/她的位置处于中心的情况下仅通过移动操作装置将相应的显示信息段移动到屏幕的任意位置。
更具体地，识别单元2根据摄像机图像识别操作员的位置和操作装置的位置。此时，计算单元3把操作员在摄像机图像的图像坐标系统中的位置视为操作员坐标系统的原点，其中图像坐标系统被设置成与屏幕坐标系统相同的坐标系统，并且计算单元3把操作装置相对于操作员坐标系统的原点的位置乘以预定函数，由此计算与操作装置对应的显示信息在屏幕坐标系统中的位置。
另外，显示控制设备1可以包括：确定单元5，被配置为确定操作装置的操作范围。此时，计算单元3把操作装置相对于操作员坐标系统的原点的位置乘以基于确定单元5确定的操作范围和屏幕的尺寸的函数。
当操作装置的位置为操作员手的位置时，识别单元2根据摄像机图像识别操作员身体的尺寸。此外，确定单元5基于识别单元识别出的操作员身体的尺寸根据操作员的位置估算操作员的手到达的范围并把该范围视为操作装置的操作范围。
另外，识别单元2可以根据摄像机图像识别操作员的面部，确定单元5可以基于识别单元2识别出的操作员的面部估算操作员的年龄并基于年龄使用面部的尺寸估算身体的尺寸。
另外，识别单元2可以根据摄像机图像识别操作装置执行的手势操作。当识别单元2识别出用于指定操作范围的手势操作时，确定单元5可以把手势操作所表明的范围确定为操作范围。
此外，当屏幕坐标系统为除了水平和竖直方向以外还具有深度方向的三维坐标系统时，除了操作员的位置、操作员身体的尺寸以及操作装置的位置以外，识别单元2还根据摄像机图像识别从操作员的位置到操作装置的距离。
此时，计算单元3把操作员在图像坐标系统中的位置视为操作员坐标系统的原点，并把操作装置相对于操作员坐标系统的原点的位置乘以预定函数，由此计算与操作装置对应的显示信息在屏幕坐标系统中在水平和竖直方向上的位置。另外，计算单元3把从操作员的位置到操作装置的距离乘以预定函数，由此计算与操作装置对应的显示信息在屏幕坐标系统中在深度方向上的位置。
此外，确定单元5基于识别单元2识别出的操作员身体的尺寸根据操作员的位置估算操作员的手到达的水平和竖直方向上的范围以及深度方向上的范围，并把这些范围确定为操作装置的操作范围。
另外，识别单元2可以根据摄像机图像识别操作员的手臂长度，确定单元5可以把操作范围深度方向上的范围确定为手臂长度/√2的范围。
下面将对具有上述配置的显示控制设备1的具体示例详细进行描述。
1-2.实施例的具体示例
1-2-1.多人同时操作系统的配置
接下来，将对该实施例的具体示例进行描述。图2示出了基于多个操作员同时在其中执行操作的假设的多人同时操作系统100。
多人同时操作系统100包括电视接收机(在下文中称为TV接收机)101和连接到TV接收机101的立体摄像机102。
立体摄像机102被放置在TV接收机101的顶部以从其面向前，并拍摄TV接收机101前方区域的图像。
此处，假设在立体摄像机102的图像拍摄范围中存在两个操作员A和B。在此情形中，TV接收机101基于根据立体摄像机102拍摄的摄像机图像检测到的操作员A和B的手的运动识别操作员A和B执行的操作，并按照这些操作进行操作。
以此方式，在多人同时操作系统100中，操作员A和B两者在面向TV接收机101时均可以通过移动他们的手同时操作TV接收机101。
1-2-2.TV接收机和立体摄像机的硬件配置
接下来，将参照图3描述TV接收机101和立体摄像机102的硬件配置。
TV接收机101经由外部接口(I/F)110通过线缆连接到立体摄像机102。
在TV接收机101中，中央处理单元(CPU)111对各单元执行整体控制。CPU 111把非易失性存储器112上写入的程序扩展到随机存取存储器(RAM)113中并读取程序，随后按照程序执行各种处理并控制各单元。
如上所述，TV接收机101检测操作员手的运动并把这些运动识别为操作员执行的操作。具体地，TV接收机101的CPU 111控制立体摄像机102拍摄立体摄像机102前方区域(即，TV接收机101前方的区域)的图像，并且根据由此获取的摄像机图像检测操作员A和B手的运动。随后，CPU 111基于检测到的手的运动识别操作员A和B执行的操作(指针操作、手势操作等)，并按照这些操作执行处理。
实际上，TV接收机101被配置为显示基于多个操作员同时在其上执行这些操作的假设的GUI屏幕(详细内容将在下面描述)。即，TV接收机101的显示处理单元117生成GUI屏幕的屏幕数据，对屏幕数据执行预定显示处理以获取屏幕信号，并且在CPU 111执行的控制下将屏幕信号传送给显示器119。结果，在显示器119上显示GUI屏幕。
随后，CPU 111使得在GUI屏幕上显示按照多个操作员手的运动移动的多个指针。TV接收机101能够经由这种GUI屏幕被多个操作员同时操作。
另外，TV接收机101具有输出电视广播(在下文中称为TV广播)的功能。实际上，当输出TV广播时，TV接收机101把外部天线114接收的TV广播信号输入到调谐器115中。调谐器115在CPU 111执行的控制下获取任意频道的TV广播信号并把信号传送给TV广播信号处理单元116。
TV广播信号处理单元116在CPU 111执行的控制下对TV广播信号执行预定信号处理，由此从TV广播信号中获取节目的视频数据和音频数据。视频数据从TV广播信号处理单元116传送到显示处理单元117，而音频数据从TV广播信号处理单元116传送到音频处理单元118。
显示处理单元117对视频数据执行预定显示处理以获取视频信号，并在CPU 111执行的控制下把视频信号传送给显示器119。结果，在显示器119上显示正在广播的节目的视频。
另一方面，音频处理单元118对音频数据执行预定音频处理以获取音频信号，并在CPU 111执行的控制下把音频信号传送给扬声器120。结果，从扬声器120输出正在广播的节目的音频。
以此方式，TV接收机101输出TV广播并使得用户观看和收听TV广播的节目。
另一方面，立体摄像机102包括图像拍摄单元121和外部接口(I/F)122，并且经由外部接口122连接到TV接收机101。
图像拍摄单元121包括并排布置的两个摄像机121A和121B，并能够使用两个摄像机121A和121B以三维(3D)方式拍摄前方空间的图像。
实际上，图像拍摄单元121使用摄像机121A和121B以预定时间间隔拍摄前方空间的图像并在TV接收机101执行的控制下经由外部接口122把由此获取的摄像机图像数据段顺序传送给TV接收机101。
传送给TV接收机101的摄像机图像数据包括摄像机121A拍摄的摄像机图像数据和摄像机121B拍摄的摄像机图像数据。
TV接收机101基于从立体摄像机102传送的摄像机图像数据识别TV接收机101前方的操作员A和B中的每个操作员。
具体地，TV接收机101的CPU 111对从立体摄像机102传送的摄像机图像数据中包括的摄像机121A拍摄的摄像机图像数据执行人员检测处理。在人员检测处理中，CPU 111例如检测操作员A和B的面部和手。
多种算法可以用于检测面部。例如，从摄像机图像提取肤色区域和肤色区域中的特征量(被估算为眼睛和嘴的部分)，并且基于特征量之间的位置关系确定肤色区域是否为面部。
CPU 111通过使用这种算法根据摄像机图像检测面部的区域(也称为面部区域)并获取各个检测到的面部区域的坐标(例如，各个面部区域的中心的坐标)。
坐标表示为X-Y平面中的坐标，其中水平轴作为X轴，竖直轴作为Y轴，摄像机图像的中心为原点。即，可以把坐标视为X-Y平面中的坐标，其中，从立体摄像机102看的水平轴作为X轴，从立体摄像机102看的竖直轴作为Y轴，立体摄像机102的图像拍摄范围的中心为原点。X-Y平面与显示器119的显示表面平行。
另外，多种算法可以用于检测手。例如，从摄像机图像提取肤色区域和肤色区域中的特征量(例如，轮廓)，执行手轮廓的模板图像与特征量之间的匹配，从而确定肤色区域是否为手。此时，可以准备不同手形状的多个模板图像，并且可以执行与各模板图像的匹配，以使得可以确定手的形状。例如，可以确定合拢成剪刀石头布中石头形状的手的形状(也称为石头形状)和张开成布形状的手的形状(也称为布形状)。
CPU 111通过使用这种算法根据摄像机图像检测手的区域(也称为手区域)并获取各个检测到的手区域的坐标(例如，各个手区域中心的坐标)。
现在，假设摄像机图像包括操作员A和B。在此情形中，通过人员检测处理获取两个面部和四只手在X-Y平面中的坐标。相应地，CPU 111可以识别从立体摄像机102看两个面部和四只手在水平和竖直方向上的位置关系。
此外，CPU 111基于摄像机121A拍摄的摄像机图像数据和摄像机121B拍摄的摄像机图像数据通过使用立体方法计算从立体摄像机102到两个面部和四只手的距离。所计算的距离的单位例如为cm。
当把从立体摄像机102看的深度方向上的轴视为Z轴，立体摄像机102的位置为原点时，可以通过Z轴上的点代表距离。
以此方式，通过获取X-Y平面中的坐标以及两个面部和四只手在Z轴上的点，可以获取两个面部和四个手在X-Y-Z空间中的坐标。
相应地，CPU 111可以识别从立体摄像机102看两个面部和四只手在水平、竖直、以及深度方向上的位置关系，即在3D空间中的位置关系。
随后，CPU 111基于在3D空间中的位置关系确定面部和手之间的对应。即，CPU 111确定每个人(每个操作员)的面部和手。具体地，CPU 111把在3D空间中距面部较近的两只手确定为一个人的手。
结果，针对操作员A和B中的每一个把面部和手彼此相关联。此后，CPU 111根据以预定时间间隔从立体摄像机102传送的摄像机图像数据检测操作员A和B的面部和手，由此在保持面部与手之间的对应的同时检测各个操作员A和B的手的运动(位置和形状的改变)。
随后，基于以此方式检测到的操作员A和B的手的运动，CPU 111识别操作员A和B执行的各个操作(指针操作、手势操作等)并按照操作执行处理。
1-2-3.GUI屏幕
接下来，将对TV接收机101的显示器119上显示的GUI屏幕和GUI屏幕上执行的操作进行详细描述。为便于理解，将首先对一个操作员执行操作的示例进行描述，随后将对多个操作员执行操作的示例进行描述。
TV接收机101的CPU 111使得显示器119显示GUI屏幕130，如图4中所示。
GUI屏幕130显示为除了水平和竖直方向以外还虚拟地具有深度方向的3D屏幕。在GUI屏幕130上显示布置在虚拟3D空间(下面描述的Xd-Yd-Zd空间)中的多个图标Gi。在图4中所示的GUI屏幕130的示例中，在近端在水平方向上布置其间为预定间隔的三个图标Gi1至Gi3，在远端在水平方向上布置其间为预定间隔的四个图标Gi14至Gi7。
此外，在GUI屏幕130上显示按照立体摄像机102拍摄的操作员手的运动移动的指针Po。即，操作员可以通过移动他/她的手把指针Po移动到GUI屏幕130上期望的位置。
例如，如图5和图6中所示，操作员A可以通过向前延伸他/她的手在深度方向上移动指针Po，可以通过向右移动他/她的手在向右方向上移动指针Po。
另外，在GUI屏幕130上，操作员A可以通过把指针Po移动到任意图标Gi上指定任意图标Gi。
此外，在GUI屏幕130上，操作员A可以仅通过完全在手的运动范围内移动他/她的手而不从他/她存在的地点移动就可以在GUI屏幕130上到处移动指针Po，即在向上、向下、向右、向左以及深度方向上移动。
现在，将对一种用于基于立体摄像机102拍摄的操作员手的位置计算指针Po在GUI屏幕130上的位置的方法给出详细描述。
首先，将对显示器119的坐标系统(即，GUI屏幕130的坐标系统)、立体摄像机102的坐标系统、以及立体摄像机102拍摄的摄像机图像的坐标系统给出描述。此处，显示器119的坐标系统也称为屏幕坐标系统，立体摄像机102的坐标系统也称为摄像机坐标系统，摄像机图像的坐标系统也称为图像坐标系统。
具体地，如图7中所示，屏幕坐标系统设置为Xd-Yd-Zd空间的3D坐标系统，其中，水平方向上的轴作为Xd轴，竖直方向上的轴作为Yd轴，深度方向上的轴作为Zd轴，显示器119的显示表面的中心为原点。
设置屏幕坐标系统的Xd轴以使得从显示器119的前方看原点的右侧为正的一侧而原点的左侧为负的一侧。设置Yd轴以使得原点的上侧为正的一侧且原点的下侧为负的一侧。设置Zd轴以使得原点的远侧为正的一侧。
此外，在此屏幕坐标系统中，显示器119的Xd轴归一化到从-1到1的范围中。另外，把显示器119的Yd轴归一化到从-1到1的范围中。此外，把显示器119的Zd轴归一化到从0到1的范围中。
在GUI屏幕130上，指针Po的位置表示为屏幕坐标系统的坐标。此处，指针Po的位置表示成坐标px(Xd轴)、py(Yd轴)以及pz(Zd轴)。
摄像机坐标系统设置为Xc-Yc-Zc空间的3D坐标系统，其中，水平方向上的轴作为Xc轴，竖直方向上的轴作为Yc轴，深度方向上的轴作为Zc轴，并排布置的摄像机121A与121B之间的中间点为原点。
此处，立体摄像机102附接到TV接收机101以使得摄像机坐标系统的原点位于屏幕坐标系统的Yd-Zd平面中并且摄像机坐标系统的Xc轴与屏幕坐标系统的Xd轴平行。因此，只要满足此条件，就可以把立体摄像机102附接到显示器119的下部。以此方式，摄像机坐标系统作为用于确定立体摄像机102相对于显示器119的位置的坐标系统。
设置摄像机坐标系统的Xc轴以使得从立体摄像机102的前方、即显示器119的前方看原点的左侧为正的一侧而原点的右侧为负的一侧。设置Yc轴以使得原点的上侧为正的一侧而原点的下侧为负的一侧。设置Zc轴以使得原点的近侧为正的一侧。
此外，如图8中所示，设置图像坐标系统为Xp-Yp平面的2D坐标系统，其中，水平方向上的轴作为Xp轴，竖直方向的轴作为Yp轴，镜面反转摄像机图像Cp的中心为原点。
设置图像坐标系统的Xp轴以使得原点的右侧为正的一侧而原点的左侧为负的一侧。设置Yp轴以使得原点的上侧为正的一侧而原点的下侧为负的一侧。
此外，在此图像坐标系统中，把摄像机图像的Xp轴归一化到从-1到1的范围中。另外，在此图像坐标系统中，把摄像机图像的Yp轴归一化到从-1到1的范围中。
即，设置图像坐标系统的坐标与上述屏幕坐标系统的Xd-Yd平面中的坐标匹配。相应地，镜面反转摄像机图像中的位置与GUI屏幕130的Xd-Yd平面中的位置匹配。
此处，将对如下这种方法给出描述：用于计算代表指针Po在GUI屏幕130上的位置的坐标(px，py，pz)之中代表在Xd-Yd平面中的位置(即，水平和竖直方向上的位置)的坐标(px，py)。
如图9中所示，CPU 111根据镜面反转摄像机图像Cp获取操作员A面部区域Fa的中心位置和尺寸，并基于中心位置和尺寸获取操作员A身体的中心位置。此处，假设操作员A身体的水平方向与摄像机坐标系统的Xc轴平行。此时，CPU 111获取操作员A面部区域Fa的中心位置作为图像坐标系统的坐标(fx，fy)。CPU 111还获取操作员A身体的中心位置作为图像坐标系统的坐标(bx，by)。此处假设操作员A面向摄像机坐标系统的立体摄像机102。
实际上，人体的中心垂直地位于面部中心的下方。可以基于人面部与身体的平均尺寸之间的关系使用操作员面部的尺寸确定操作员身体的尺寸。因而，如果可以获取操作员面部的中心位置(fx，fy)和操作员面部的尺寸，则可以基于面部的中心位置和尺寸获取身体的中心位置(bx，by)。
另外，CPU 111根据镜面反转摄像机图像Cp获取操作员A的手区域Ha的中心位置(即，操作员A的手的位置)。此时，CPU 111获取操作员A的手的位置作为图像坐标系统的坐标(hx，hy)。
接下来，如图10中所示，CPU 111设置操作员A的坐标系统(也称为操作员坐标系统)，其中，在图像坐标系统中，水平方向上的轴作为Xo轴，竖直方向上的轴作为Yo轴，操作员A身体的中心位置(bx，by)为原点。
此外，CPU 111把操作员A的手在图像坐标系统中的位置(hx，hy)转换成从操作员坐标系统的原点(bx，by)看的位置。此处，如图11中所示，假设从操作员坐标系统的原点看的操作员A的手的位置用坐标(h′x，h′y)表示。继而，坐标h′x用下式(1)表示。坐标h′y用下式(2)表示。
h′x＝hx-bx…(1)
h′y＝hy-by…(2)
此外，CPU 111以预定比率对从操作员坐标系统的原点看的操作员A的手的位置(h′x，h′y)执行缩放，随后把该位置转换成图像坐标系统的位置，即屏幕坐标系统的Xd-Yd平面中的位置。CPU 111把由此获取的位置视为指针Po的位置(px，py)。
此处，假设针对h′x的缩放比率用sx表示并且针对h′y的缩放比率用sy表示。继而，代表指针Po位置的坐标px用下式(3)表示。坐标py用下式(4)表示。下面将详细描述缩放比率。
px＝sxh′x+bx…(3)
py＝syh′y+by…(4)
px和py中的每一个是屏幕坐标系统的坐标，从而基于如下条件表达式(5)和(6)，当它小于-1时舍入为-1，当它大于1时舍入为1。
px＝-1(px＜-1)，px＝px(-1≤px≤1)，px＝1(px＞1)…(5)
py＝-1(py＜-1)，py＝py(-1≤py≤1)，py＝1(py＞1)…(6)
以此方式，CPU 111计算指针Po在GUI屏幕130的Xd-Yd平面中的位置(px，py)。
现在，将描述上述缩放比率sx和sy。缩放比率sx和sy表明针对操作员的手在向上、向下、向右、或向左方向上的运动，指针Po要在GUI屏幕上在向上、向下、向右、或向左方向上移动多少。实际上，在TV接收机101中，设置缩放比率以使得操作员可以仅通过完全在手运动范围内移动他/她的手将指针Po在GUI屏幕130上到处移动。
即，CPU 111确定操作员的手容易到达的范围(也称为操作范围)。具体地，如图11中所示，CPU 111基于根据镜面反转摄像机图像获取的操作员A面部区域的尺寸获取操作员A从肘部到指尖的长度W2和肩部宽度W1。
可以基于人面部与身体的平均尺寸(肩部宽度、手臂长度、从肘部到指尖的长度等)之间的关系使用操作员面部的尺寸确定肩部宽度W1和从肘部到指尖的长度W2。
把基于这种关系的数据(也可以接受算术表达式)存储于TV接收机101的非易失性存储器112中。CPU 111基于数据使用操作员A面部的尺寸获取肩部宽度W1和从肘部到指尖的长度W2。
随后，CPU 111把范围“肩部宽度W1+长度W2×2”视为操作员A在水平方向上的操作范围lx，其中操作员A身体水平方向上的中心位置bx为中心。
即，CPU 111把在操作员A的上臂指向下方的情况下他/她只移动他/她的前臂时他/她的手到达的范围视为水平方向上的操作范围lx。
如上所述，基于操作员A的面部在水平方向上的中心位置fx获取水平方向上的中心位置bx。
此外，如图12中所示，CPU 111把从操作员A面部的下端到上臂指向下方的情况下他/她肘部位置的范围视为操作员A在竖直方向上的操作范围ly。
即，CPU 111把在操作员A的上臂指向下方的情况下他/她只移动他/她的前臂时他/她的手到达的范围视为竖直方向上的操作范围ly。
操作员A的身体在竖直方向上的中心位置by正是操作范围ly的中点。即，当从在上臂指向下方的情况下从肘部的位置到面部下端的长度与从肘部到指尖的长度W2基本上匹配时，把距面部下端长度W2的一半处的位置视为竖直方向上的中心位置by。
随后，CPU 111把水平方向上的操作范围lx和竖直方向上的操作范围ly定义的范围确定为操作员A的操作范围。此操作范围如上所述是在操作员A的上臂指向下方的情况下他/她只移动他/她的前臂时手移动的范围，并且是操作员A的手容易到达的范围。
随后，CPU 111设置缩放比率以使得操作员A可以仅通过在此操作范围内在向上、向下、向右、以及向左的方向上移动他/她的手在GUI屏幕130上在向上、向下、向右、以及向左的方向上到处移动指针Po。
具体地，CPU 111计算屏幕坐标系统的右端和左端之中从操作员A的中心位置到距操作员A的中心位置较远端的长度。此长度用|bx|+1表示。此处，假设距操作员A的中心位置的较远端为左端。此时，可以设置水平方向上的缩放比率sx以使得当操作员A把他/她的手移动到操作范围lx的左端时，指针Po移动到屏幕坐标系统的左端、即移动到GUI屏幕130的左端。
因此，CPU 111把从操作员A的中心位置到距操作员A的中心位置较远端的长度|bx|+1除以操作员A在水平方向上的操作范围lx的一半，并且把结果设置为水平方向上的缩放比率sx。缩放比率sx用下式(7)表示。
sx＝(|bx|+1)/(lx/2)…(7)
另外，CPU 111计算屏幕坐标系统的上端和下端之中从操作员A的中心位置到距操作员A的中心位置较远端的长度。此长度用|by|+1表示。此处，假设距操作员A的中心位置的较远端为上端。此时，可以设置竖直方向上的缩放比率sy以使得当操作员A把他/她的手移动到操作范围ly的上端时，指针Po移动到屏幕坐标系统的上端、即移动到GUI屏幕130的上端。
因此，CPU 111把从操作员A的中心位置到距操作员A的中心位置较远端的长度|by|+1除以操作员A在竖直方向上的操作范围ly的一半，并且把结果设置为竖直方向上的缩放比率sy。缩放比率sy用下式(8)表示。
sy＝(|by|+1)/(ly/2)…(8)
以此方式，CPU 111设置缩放比率sx和sy。结果，在GUI屏幕130上，操作员A可以只通过在该位置处完全在手的运动范围内在向上、向下、向右、以及向左的方向上移动他/她的手在GUI屏幕130上在向上、向下、向右、以及向左的方向上到处移动指针Po。相应地，不论操作员A在图像拍摄范围中的位置如何，操作员A均可以把指针Po移动到GUI屏幕130上的任意位置而无需移动他/她自身或者被迫延伸他/她的手臂。因而，可以减轻操作负担。
此外，由于CPU 111把竖直操作范围ly设置为从在上臂指向下方的情况下从肘部的位置到面部下端的范围，因此操作员可以操作指针Po而无需在他/她的面部前方移动他/她的手。从而，操作员可以容易地看到GUI屏幕130。
接下来，将对如下这种方法给出描述：用于计算代表指针Po在GUI屏幕130上的位置的坐标px、py以及pz之中代表在Zd轴上的位置(即，在深度方向上的位置)的坐标pz。
如图13中所示，CPU 111通过使用立体方法获取从立体摄像机102到操作员A面部的距离bz。可以把距离bz视为从立体摄像机102到操作员A身体的距离。另外，CPU 111获取从立体摄像机102到操作员A手的距离hz。
此外，CPU 111基于距离bz和hz获取从操作员A的身体到操作员A的手的距离h′z。距离h′z用下式(9)表示。
h′z＝bz-hz…(9)
此外，CPU 111以预定比率对操作员A从身体到手的距离h′z进行缩放并把缩放结果视为指针Po在屏幕坐标系统的Zd轴上的位置(pz)。
此处，当针对距离h′z的缩放比率用sz表示时，代表指针Po位置的坐标pz用下式(10)表示。
pz＝szh′z…(10)
坐标pz是屏幕坐标系统的Zd轴上的坐标。因此，基于如下条件表达式(11)，当坐标pz小于“0”时舍入为“0”，当它大于1时舍入为“1”。
pz＝0(px＜0)，pz＝pz(0≤pz≤1)，pz＝1(pz＞1)…(11)
以此方式，CPU 111计算指针Po在GUI屏幕130的Zd轴上的位置(pz)。
现在将描述前述缩放比率sz。缩放比率sz表示针对操作员的手在深度方向上的运动，指针Po要在GUI屏幕130的深度方向上移动多少。
在此情形中，CPU 111也确定操作员的手容易到达的范围(操作范围)。具体地，CPU 111基于根据镜面反转摄像机图像获取的操作员A面部区域的尺寸获取操作员A的手臂长度W3。
此处，可以基于人面部与身体的平均尺寸(肩部宽度、手臂长度等)之间的关系使用操作员A面部的尺寸确定手臂长度W3。
CPU 111从非易失性存储器112中读取基于这种关系的数据(也可以接受算术表达式)并基于数据通过使用操作员A面部的尺寸获取手臂长度W3。
随后，CPU 111把当操作员A向前延伸他/她的手臂时从身体到指尖的范围(即，手臂长度W3)视为操作员A在深度方向上的操作范围lz。
即，CPU 111把当操作员A向前延伸他/她的手臂时他/她的手到达的范围视为在深度方向上的操作范围lz。
随后，CPU 111设置缩放比率以使得操作员A可以仅通过在操作范围lz内在深度方向上移动他/她的手把指针Po移动到GUI 130的最深位置。
在此情形中，可以设置深度方向上的缩放比率sz以使得当操作员A把他/她的手移动到操作范围lz的最深位置时指针Po移动到屏幕坐标系统的最深位置、即移动到GUI屏幕130的最深位置。
因此，CPU 111把屏幕坐标系统的Zd轴上的最大值1除以操作员A在深度方向上的操作范围lz，并且把结果视为深度方向上的缩放比率sz。缩放比率sz用下式(12)表示。
sz＝1/lz…(12)
以此方式，CPU 111设置缩放比率sz。结果，在GUI屏幕130上，操作员A可以仅通过完全在手运动范围内在深度方向上移动他/她的手把指针Po移动到GUI屏幕130的最深位置。
相应地，在GUI屏幕130上，操作员A可以仅通过完全在手运动范围内在向上、向下、向右、向左、以及深度方向上移动他/她的手在GUI屏幕130上在向上、向下、向右、向左、以及深度方向上到处移动指针Po。
此外，当存在多个操作员时，CPU 111以上述方式计算各个操作员的指针Po的位置。
例如，假设在TV接收机101前方存在两个操作员A和B。在此情形中，在GUI屏幕130上显示围绕与操作员A的身体中心位置对应的位置移动的指针PoA和围绕与操作员B的身体中心位置对应的位置移动的指针PoB。
此时，假设各个操作员A和B的手靠近他们身体的中心位置。随后，如图14中所示，在GUI屏幕130上接近操作员A处显示指针PoA而在接近操作员B处显示指针PoB。
结果，操作员A和B中的每个操作员可以容易地识别GUI屏幕130上显示的指针PoA和PoB之中他/她自身操作的指针Po。
另外，以上在实施例的概述中描述的显示控制设备1的识别单元2、计算单元3、控制单元4、以及确定单元5的具体硬件示例为TV接收机101的上述CPU 111。另外，以上在概述中描述的预定函数包括上述缩放比率sx、sy和sz。
1-2-4.指针显示处理过程
现在，将对与显示指针Po相关的处理的过程(也称为指针显示处理过程)给出描述。指针显示处理过程是TV接收机101的CPU 111按照非易失性存储器112中写入的程序执行的指针显示处理的过程。
CPU 111使得显示GUI屏幕130，开始图15中所示的指针显示处理过程RT1，并且进行到步骤SP1。
在步骤SP1中，CPU 111等待直到根据立体摄像机102拍摄的摄像机图像检测到人的面部为止。
如果检测到人的面部，则CPU 111在步骤SP1中得到肯定的结果并且前进到步骤SP2。
在步骤SP2中，CPU 111基于检测到的面部的面部区域获取人从肘部到指尖的长度、手臂长度、以及肩部宽度，并且前进到步骤SP3。在步骤SP3中，CPU 111确定摄像机图像中是否仍包括在步骤SP1中检测到的面部。
如果摄像机图像中不包括之前检测到的面部，则由此获得否定的结果，这意味着人刚刚穿过TV接收机101的前方，即此人不是操作员。在此情形中，CPU 111返回步骤SP1并且等待直到根据摄像机图像再次检测到人的面部为止。
相反，如果摄像机图像中仍包括之前检测到的面部，则由此在步骤SP3中获得肯定的结果，CPU 111前进到步骤SP4。在步骤SP4中，CPU111确定根据摄像机图像是否检测到了其面部已检测到的操作员的手。
如果此处得到否定的结果，则这意味着操作员的手在立体摄像机102的图像拍摄范围以外。随后，CPU 111返回步骤SP3。
相反，如果根据摄像机图像检测到了操作员的手，则由此在步骤SP4中获得肯定的结果，则CPU 111前进到步骤SP5。
在步骤SP5中，CPU 111基于操作员从肘部到指尖的长度、手臂长度、肩部宽度、面部的尺寸和中心位置获取操作员的操作范围和操作员身体的中心位置(bx，by)，然后前进到步骤SP6。
在步骤SP6中，CPU 111设置针对操作员的手在其中操作员身体的中心位置(bx，by)为原点的操作员坐标系统中的位置(h′x，h′y)的缩放比率sx和sy。另外，CPU 111设置针对从操作员的身体到手的距离h′z的缩放比率sz。
在以此方式设置缩放比率sx、sy以及sz之后，CPU 111前进到步骤SP7。在步骤SP7中，CPU 111通过使用设置的缩放比率sx、sy以及sz对操作员手的位置(h′x，h′y)和操作员从身体到手的距离h′z进行缩放，由此计算指针Po的位置(px，py，pz)。
在以此方式计算指针Po的位置之后，CPU前进到步骤SP8。在步骤SP8中，CPU 111使得指针Po显示在GUI屏幕130上在步骤SP7中计算的位置处，并返回步骤SP3。
CPU 111按照上述指针显示处理过程RT1控制指针Po的显示。
1-2-5.操作和效果
在上述配置中，TV接收机101的CPU 111根据立体摄像机102拍摄的摄像机图像检测TV接收机101前方的操作员的面部和手。
然后，CPU 111基于根据摄像机图像检测到的操作员面部的位置和尺寸获取操作员的身体在图像坐标系统中的尺寸和中心位置(bx，by)。
把图像坐标系统设置为与屏幕坐标系统的Xd-Yd平面中的坐标系统相同。因此，摄像机图像中的位置与GUI屏幕130的Xd-Yd平面中的位置相对应。
此外，CPU 111把操作员身体的中心位置(bx，by)视为操作员坐标系统的原点并获取操作员的手相对于原点的位置(h′x，h′y)。此外，CPU111以预定比率(sx，sy)对位置(h′x，h′y)执行缩放并随后把该位置返回到屏幕坐标系统的Xd-Yd平面中的位置。
随后，CPU 111把由此获取的位置视为指针Po的显示位置(px，py)。
如上所述，在操作员的身体的中心位置在屏幕坐标系统的Xd-Yd平面中保持不变的情况下，CPU 111把该中心位置视为操作员坐标系统的原点并基于手相对于原点的位置计算指针Po的显示位置。
以此方式，当存在多个操作员时，可以在GUI屏幕130上显示围绕与各个操作员身体的中心位置对应的位置移动的指针Po。结果，即使当在GUI屏幕130上显示多个指针Po时，多个操作员中的每个操作员也可以容易地识别他/她自身要操作的指针Po。
另外，CPU 111确定操作员的手容易到达的水平和竖直方向上的范围(操作范围)。随后，基于该范围和GUI屏幕130的水平和竖直方向上的尺寸，CPU 111设置缩放比率以使得当操作员把他/她的手移动到该范围的末端时指针Po移动到GUI屏幕130的末端。
以此方式，操作员可以仅通过完全在手运动范围内移动他/她的手在GUI屏幕130上到处移动指针Po。
此外，CPU 111基于根据摄像机图像检测到的从立体摄像机102到操作员面部的距离和从立体摄像机102到操作员手的距离获取操作员从身体到手的距离h′z。此外，CPU 111以预定比率sz对距离h′z执行缩放并把缩放结果视为屏幕坐标系统的Zd轴上的位置。
此处，CPU 111确定操作员的手容易到达的深度方向上的范围(操作范围)。随后，基于该范围和GUI屏幕130的深度方向上的尺寸，CPU 111设置缩放比率以使得当操作员把他/她的手延伸到该范围的最深位置时指针Po移动到GUI屏幕130的最深位置。
以此方式，操作员可以仅通过完全在手运动范围内移动他/她的手在GUI屏幕130上到处移动指针Po。
根据上述配置，当存在多个操作员时，TV接收机101能够在GUI屏幕130上显示围绕与各个操作员身体的中心位置对应的位置移动的指针Po。结果，即使当在GUI屏幕130上显示多个指针Po时，多个操作员中的每个操作员也可以容易地识别他/她自身要操作的指针。另外，TV接收机101使得操作员能够仅通过完全在手运动范围内移动他/她的手在GUI屏幕130上到处移动指针Po。相应地，在TV接收机101中，不论同时执行操作的操作员的数量如何，均可以获得良好的可操作性。
2.其它实施例
2-1.另一个实施例1
在上述实施例的具体示例中，指针Po的位置(px，py，pz)是在操作员身体的水平方向与摄像机坐标系统的Xc轴平行(即，身体的前后方向与摄像机坐标系统的Zc轴平行)的假设下计算的。
现在，将对如下这种方法给出描述：用于计算在操作员身体的前后方向相对于摄像机坐标系统的Zc轴倾斜角度θ的情形中指针Po的位置(px，py，pz)，如图16中所示。
CPU 111通过确定根据摄像机图像检测到的操作员面部区域中眼睛和嘴的位置检测面部的朝向。随后，CPU 111把面部的朝向视为身体的倾斜度并获取倾斜度作为相对于Zc轴的倾斜角度θ。
随后，CPU 111估算在操作员的身体旋转-θ之后当身体的水平方向与摄像机坐标系统的Xc轴平行时手在图像坐标系统中的位置。
此处，手在图像坐标系统中的位置用坐标(h″x，h″y)表示，从立体摄像机102到操作员手的距离用h″z表示。随后，当假设立体摄像机102为针孔摄像机时，坐标h″x用下式(13)表示。另外，坐标h″y用下式(14)表示。此外，坐标h″z用下式(15)表示。
h″x＝(1/αh″z)×(cosθ(αhzhx-αbzbx)+sinθ(hz-bz)+αbzbx)…(13)
h″y＝hy…(14)
h″z＝sinθ(αhzhx-αbzbx)-cosθ(bz-hz)+bz…(15)
此处，当焦距用f(例如，单位为m)表示时以及当立体摄像机102图像传感器的宽度用w(例如，单位为m)表示时，α用下式(16)表示。
α＝w/2f…(16)
随后，CPU 111基于以此方式估算的h″x、h″y以及h″z计算h′x、h′y以及h′z。此时，h′x用下式(17)表示。另外，h′y用下式(18)表示。此外，h′z用下式(19)表示。
h′x＝h″x-bx…(17)
h′y＝h″y-by…(18)
h′z＝bz-h″z…(19)
随后，CPU 111把以此方式获取的h′x、h′y以及h′z代入根据上述实施例的式(3)、(4)以及(10)中，由此计算指针Po的位置(px，py，pz)。
以此方式，即使当操作员处于立体摄像机102的图像拍摄范围的角落时以及当操作员身体的前后方向相对于摄像机坐标系统的Zc轴倾斜时，也可以在通过把倾斜度考虑在内的位置处显示指针Po。
用于确定身体倾斜度的方法不限于上述基于面部的朝向进行确定的方法，也可以使用其他现有的确定方法。
2-2.另一个实施例2
在上述实施例的具体示例中，针对操作员的手在操作员坐标系统中位置的缩放比率sx、sy以及sz在操作范围中恒定。或者，缩放比率sx、sy以及sz可以在操作范围中改变。
此处，假设水平方向上的缩放比率sx根据操作员的手相对于操作员坐标系统的原点在水平方向上的位置h′x改变。在此情形中，例如，当h′x在从原点到lx/6的范围中时，如图17中所示缩放比率sx＝1。
此外，当h′x在从lx/3到lx/2的范围中(即，在操作范围lx的末端)时，sx＝sx(即，(|bx|+1)/(lx/2))。
此外，当h′x在从lx/6到lx/3的范围中时，sx随着h′x增加从1到sx逐渐增加。在此情形中，期望准备函数以使得sx连续改变。
即，当操作员的手靠近身体的中心位置时把缩放比率sx设置为1，当操作员的手远离身体的中心位置时把缩放比率sx设置为sx(即，(|bx|+1)/(lx/2))。
以此方式，当操作员的手靠近身体的中心位置时，操作员手的移动量与指针Po的移动量匹配，且指针Po的移动变小。相应地，当操作员操作指针Po接近他/她的身体时可以提高可操作性。
另一方面，当操作员的手远离身体的中心位置时，指针Po的移动量相对于操作员手的移动量大。相应地，可以把指针Po移动到GUI屏幕130的角落。
以上对水平方向上缩放比率sx的改变给出了描述。另外，可以按类似方式改变竖直方向和深度方向上的缩放比率sy和sz。
2-3.另一个实施例3
在上述实施例的具体示例中，TV接收机101通过如下方式自动确定操作范围：基于人面部与身体的平均尺寸之间的关系使用根据摄像机图像检测到的操作员面部区域的尺寸估算操作员身体的尺寸。
或者，可以使用摄像机图像中包括的操作员的面部图像估算操作员的年龄，并且可以基于针对年龄的人面部与身体的平均尺寸之间的关系估算操作员身体的尺寸，从而可以确定操作范围。
在此情形中，当操作员为儿童时，身体的尺寸相对于面部尺寸相比于成人而言小，因此操作范围小。以此方式，可以更准确地估算操作员身体的实际尺寸，以使得可以进一步提高可操作性。
另外，多种算法可以用作用于使用面部图像确定人年龄(年龄组)的方法。例如，根据脸部图像检测多个特征量，诸如面部的形状和颜色、发型、皱纹、眼睛和嘴的位置等。此外，把多个特征量分类成预定数量的组，把各个组中的特征量与以年龄组为单位准备的特征量相比较，从而确定年龄组。在以特征量组为单位确定的年龄组之中，把主要年龄组确定为面部图像中的人的年龄组。
或者，可以通过如下方式识别身体的实际尺寸：通过分析摄像机图像检测操作员身体的区域(也称为身体区域)，从而可以确定操作范围。
在上述实施例的具体示例中，把当操作员向前延伸他/她的手臂时从身体到指尖的范围(即，手臂长度W3)视为深度方向上的操作范围lz。或者，可以把手臂长度W3/√2的范围视为深度方向上的操作范围lz。
把手臂长度W3除以√2的原因是：把当操作员将他/她的手臂延伸到操作范围lx和ly的四个角落时操作员的手到达的范围视为深度方向上的操作范围lz。
或者，可以把从肘部到指尖的长度W2或者范围W2/√2视为深度方向上的操作范围lz。
在上述实施例的具体示例中，把在操作员的手臂指向下方的情况下他/她的手到达的范围视为操作范围lx和ly。或者，可以把在操作员的手臂在向上、向下、向右以及向左的方向上延伸的情况下他/她的手到达的范围视为操作范围lx和ly。
如上所述，可以用各种方法确定操作范围lx、ly以及lz。
或者，可以由每个操作员以人工方式设置而非自动确定操作范围。
在该情形中，使得操作员执行手势操作以指定期望的操作范围lx、ly以及lz。具体地，操作员总共在八个位置处执行特定手势操作：与近端和远端中每一个上的操作范围lx和ly的四个角对应的位置。特定操作是合拢张开的手以及随后张开合拢的手的手势操作，如同剪刀石头布中的“布”、“石头”以及“布”一样。
CPU 111把执行特定手势操作的八个位置定义的空间视为操作员的操作范围lx、ly以及lz。
随后，CPU 111把操作范围lx、ly以及lz与操作员的面部图像相关联并使得非易失性存储器112存储操作范围lx、ly以及lz作为操作范围数据。
相应地，当此后立体摄像机102拍摄该操作员时，CPU 111从非易失性存储器112中读取与该操作员的面部图像对应的操作范围数据并设置操作范围lx、ly以及lz。
以此方式，各个操作员可以把他/她能够容易地移动他/她的手的范围设置为操作范围，从而使得可以进一步提高操作指针Po的可操作性。
另外，例如，操作员可以执行描述代表近端和远端上的操作范围lx和ly的矩形的手势操作，并且CPU 111可以把近端上的矩形和远端上的矩形定义的空间视为操作员的操作范围lx、ly以及lz。
即，可以使得操作员执行指定与操作范围对应的空间的手势操作，即指定空间的对角线上至少两个点的手势操作。
2-4.另一个实施例4
此外，在上述实施例的具体示例中，根据立体摄像机102拍摄的摄像机图像检测操作员手的位置，基于手的位置计算指针Po在GUI屏幕130上的显示位置。
或者，可以使操作员持有预定控制器，可以基于从控制器发出的信号(例如，光信号)检测控制器的位置，并且可以基于控制器的位置计算指针Po在GUI屏幕130上的显示位置。
2-5.另一个实施例5
在上述实施例的具体示例中，立体摄像机102外部连接到TV接收机101。或者，可以在TV接收机101内部设置立体摄像机102。
可以向TV接收机101连接或者可以在其中设置红外摄像机或普通单眼摄像机，而非立体摄像机102。例如当使用单眼摄像机时，缺少深度方向上的信息，从而降低了确定面部与手之间的对应的准确性，但配置比使用立体摄像机的情形中的配置简单。
2-6.另一个实施例6
在上述实施例的具体示例中，使用作为除了水平和竖直方向以外还虚拟地具有深度方向的3D屏幕的GUI屏幕130。或者，只要可以在屏幕上操作指针，也可以使用具有水平和竖直方向的2D屏幕。
当使用这种2D屏幕时，没有必要使用立体摄像机102，可以使用普通的单眼摄像机。在此情形中，从上述实施例中去除深度方向的概念。
2-7.另一个实施例7
在上述实施例的具体示例中，在作为显示控制设备的TV接收机101中提供作为识别单元、计算单元、控制单元以及确定单元的CPU 111。
或者，可以使用其它各种类型的硬件或软件配置TV接收机101的各个功能单元(识别单元、计算单元、控制单元以及确定单元)，只要可以确保类似的功能。
在上述实施例的具体示例中，使用包括TV接收机101和立体摄像机102的多人同时操作系统100。或者，其它各种类型的系统也是可以接受的，只要系统可以被多个操作员同时操作。例如，包括个人计算机、显示器以及立体摄像机的系统是可以接受的。
2-8.另一个实施例8
在上述实施例的具体示例中，在TV接收机101的非易失性存储器112上写入用于执行各种处理的程序。
或者，可以在诸如光盘或存储卡等记录介质上写入程序，并且TV接收机101的CPU 111可以从记录介质读取程序。在此情形中，把用于记录介质的驱动器连接到TV接收机101的外部接口110。
另外，可以在TV接收机101中设置网络接口，程序可以经由网络接口下载并且安装在非易失性存储器112中。
2-9.另一个实施例9
此外，本发明的实施例不限于上述实施例和其它实施例的概述和具体示例。即，本发明实施例的应用范围涵盖上述实施例和其它实施例的概述和具体示例的一部分或全部的任意组合、或者其提取的一部分。
本申请包含与2009年9月4日提交于日本专利局的日本在先专利申请JP 2009-204958中公开的主题相关的主题，其全部内容通过引用合并于此。
本领域的技术人员应当理解，根据设计需要和其它因素，可以进行各种修改、组合、子组合和改变，只要这些修改、组合、子组合和改变在所附权利要求或其等价内容的范围内。

Claims (10)

1.一种显示控制设备，包括：
识别单元，被配置为识别操作员的位置和所述操作员的操作装置的位置；
计算单元，被配置为把所述操作员在屏幕上设置的屏幕坐标系统中的位置视为操作员坐标系统的原点并且把所述操作装置相对于所述操作员坐标系统的原点的位置乘以预定函数，由此计算与所述操作装置对应的显示信息在所述屏幕坐标系统中的位置；以及
控制单元，被配置为使得所述显示信息显示在所述计算单元计算的所述屏幕坐标系统中的位置处。
2.根据权利要求1所述的显示控制设备，
其中，所述识别单元根据摄像机图像识别所述操作员的位置和所述操作装置的位置，以及
其中，所述计算单元把所述操作员在所述摄像机图像的图像坐标系统中的位置视为所述操作员坐标系统的原点，其中所述图像坐标系统被设置为与所述屏幕坐标系统相同的坐标系统，并且所述计算单元把所述操作装置相对于所述操作员坐标系统的原点的位置乘以所述预定函数，由此计算与所述操作装置对应的显示信息在所述屏幕坐标系统中的位置。
3.根据权利要求2所述的显示控制设备，还包括：
确定单元，被配置为确定所述操作装置的操作范围，
其中，所述计算单元把所述操作装置相对于所述操作员坐标系统的原点的位置乘以基于由所述确定单元确定的操作范围和屏幕的尺寸的函数。
4.根据权利要求3所述的显示控制设备，
其中，所述操作装置的位置为所述操作员的手的位置，
其中，所述识别单元根据所述摄像机图像识别所述操作员的身体的尺寸，以及
其中，所述确定单元基于由所述识别单元识别出的所述操作员的身体的尺寸根据所述操作员的位置估算所述操作员的手到达的范围并且把所述范围视为所述操作装置的操作范围。
5.根据权利要求4所述的显示控制设备，
其中，所述识别单元根据所述摄像机图像识别所述操作员的面部，以及
其中，所述确定单元基于由所述识别单元识别的所述操作员的面部估算所述操作员的年龄并且基于所述年龄使用所述面部的尺寸估算身体的尺寸。
6.根据权利要求3所述的显示控制设备，
其中，所述识别单元根据所述摄像机图像识别由所述操作装置执行的手势操作，以及
其中，当所述识别单元识别出用于指定操作范围的手势操作时，所述确定单元把所述手势操作所表明的范围确定为操作范围。
7.根据权利要求4所述的显示控制设备，
其中，所述屏幕坐标系统为除了水平和竖直方向以外还具有深度方向的三维坐标系统，
其中，所述识别单元除了所述操作员的位置、所述操作员的身体的尺寸、以及所述操作装置的位置以外还根据所述摄像机图像识别从所述操作员的位置到所述操作装置的距离，
其中，所述计算单元把所述操作员在图像坐标系统中的位置视为操作员坐标系统的原点，并且把所述操作装置相对于操作员坐标系统的原点的位置乘以预定函数，由此计算与所述操作装置对应的显示信息在屏幕坐标系统中在水平和竖直方向上的位置，并且把从所述操作员的位置到所述操作装置的距离乘以预定函数，由此计算与所述操作装置对应的显示信息在屏幕坐标系统中在深度方向上的位置，以及
其中，所述确定单元基于所述识别单元识别出的操作员身体的尺寸根据所述操作员的位置估算所述操作员的手到达的水平和竖直方向上的范围以及深度方向上的范围，并且把所述范围确定为所述操作装置的操作范围。
8.根据权利要求7所述的显示控制设备，
其中，所述识别单元根据所述摄像机图像识别所述操作员的手臂长度，以及
其中所述确定单元把所述操作范围在深度方向上的范围确定为手臂长度/√2的范围。
9.一种由信息处理设备执行的显示控制方法，所述显示控制方法包括如下步骤：
识别操作员的位置和所述操作员的操作装置的位置；
把所述操作员在屏幕上设置的屏幕坐标系统中的位置视为操作员坐标系统的原点并且把所述操作装置相对于所述操作员坐标系统的原点的位置乘以预定函数，由此计算与所述操作装置对应的显示信息在所述屏幕坐标系统中的位置；并且
使得所述显示信息显示在计算的所述屏幕坐标系统中的位置处。
10.一种显示控制程序，使得计算机执行：
识别操作员的位置和所述操作员的操作装置的位置；
把所述操作员在屏幕上设置的屏幕坐标系统中的位置视为操作员坐标系统的原点并且把所述操作装置相对于所述操作员坐标系统的原点的位置乘以预定函数，由此计算与所述操作装置对应的显示信息在所述屏幕坐标系统中的位置；并且
使得所述显示信息显示在计算的所述屏幕坐标系统中的位置处。
CN2010102667064A 2009-09-04 2010-08-27 显示控制设备、显示控制方法以及显示控制程序 Pending CN102012778A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009204958A JP5614014B2 (ja) 2009-09-04 2009-09-04 情報処理装置、表示制御方法及び表示制御プログラム
JP2009-204958 2009-09-04

Publications (1)

Publication Number Publication Date
CN102012778A true CN102012778A (zh) 2011-04-13

Family

ID=43647353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102667064A Pending CN102012778A (zh) 2009-09-04 2010-08-27 显示控制设备、显示控制方法以及显示控制程序

Country Status (3)

Country Link
US (3) US9342142B2 (zh)
JP (1) JP5614014B2 (zh)
CN (1) CN102012778A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102830897A (zh) * 2011-06-13 2012-12-19 夏普株式会社 操作装置
CN102999152A (zh) * 2011-09-09 2013-03-27 康佳集团股份有限公司 一种手势动作识别方法和系统
CN103092399A (zh) * 2011-11-01 2013-05-08 索尼公司 信息处理设备，信息处理方法和程序
CN103399629A (zh) * 2013-06-29 2013-11-20 华为技术有限公司 获取手势屏幕显示坐标的方法和装置
CN104063041A (zh) * 2013-03-21 2014-09-24 联想(北京)有限公司 一种信息处理方法及电子设备
CN104317385A (zh) * 2014-06-26 2015-01-28 青岛海信电器股份有限公司 一种手势识别方法和系统
CN104781762A (zh) * 2012-11-06 2015-07-15 索尼电脑娱乐公司 信息处理装置
CN105027032A (zh) * 2013-01-22 2015-11-04 科智库公司 来自受追踪对象的可伸缩输入
CN105407262A (zh) * 2014-09-16 2016-03-16 洪永川 一种摄像头
CN105407371A (zh) * 2014-09-16 2016-03-16 洪永川 一种电视系统
CN105491209A (zh) * 2014-09-16 2016-04-13 洪永川 一种智能终端系统
CN105491425A (zh) * 2014-09-16 2016-04-13 洪永川 识别手势及遥控电视的方法
CN105487646A (zh) * 2014-09-16 2016-04-13 洪永川 一种手势遥控智能终端系统
CN105491426A (zh) * 2014-09-16 2016-04-13 洪永川 一种手势遥控电视系统
WO2016070827A1 (zh) * 2014-11-07 2016-05-12 中兴通讯股份有限公司 一种发布和传递识别信息的方法和装置及信息识别系统
CN109520415A (zh) * 2018-09-18 2019-03-26 武汉移动互联工业技术研究院有限公司 通过摄像头实现六自由度传感的方法及系统
CN112731030A (zh) * 2020-12-23 2021-04-30 深圳市优必选科技股份有限公司 一种电子元器件的检测方法、装置、终端设备及存储介质
CN114327124A (zh) * 2020-09-30 2022-04-12 优派国际股份有限公司 触控显示设备及其操作方法

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2455841A3 (en) * 2010-11-22 2015-07-15 Samsung Electronics Co., Ltd. Apparatus and method for selecting item using movement of object
US20140049465A1 (en) * 2011-03-28 2014-02-20 Jamie Douglas Tremaine Gesture operated control for medical information systems
US9189825B2 (en) * 2011-04-12 2015-11-17 Lg Electronics Inc. Electronic device and method for displaying stereoscopic image
WO2012147959A1 (ja) * 2011-04-27 2012-11-01 Ｎｅｃシステムテクノロジー株式会社 入力装置、入力方法及び記録媒体
JP5709227B2 (ja) * 2011-04-28 2015-04-30 Ｎｅｃソリューションイノベータ株式会社 情報処理装置、情報処理方法及びプログラム
US11048333B2 (en) * 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
DE102011112618A1 (de) * 2011-09-08 2013-03-14 Eads Deutschland Gmbh Interaktion mit einem dreidimensionalen virtuellen Szenario
US9142182B2 (en) * 2011-10-07 2015-09-22 Lg Electronics Inc. Device and control method thereof
TWI437467B (zh) 2011-10-11 2014-05-11 Ind Tech Res Inst 顯示控制裝置及顯示控制方法
US9164579B2 (en) * 2011-11-15 2015-10-20 Lg Electronics Inc. Electronic device for granting authority based on context awareness information
US8847881B2 (en) * 2011-11-18 2014-09-30 Sony Corporation Gesture and voice recognition for control of a device
KR101890459B1 (ko) * 2011-12-06 2018-08-21 톰슨 라이센싱 3차원으로 디스플레이된 오브젝트의 사용자 선택 제스쳐에 응답하기 위한 방법 및 시스템
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US20150253428A1 (en) 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
JP2013207356A (ja) * 2012-03-27 2013-10-07 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP5994328B2 (ja) 2012-03-29 2016-09-21 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
TWI454966B (zh) * 2012-04-24 2014-10-01 Wistron Corp 手勢控制方法及手勢控制裝置
US8994650B2 (en) 2012-04-27 2015-03-31 Qualcomm Incorporated Processing image input to communicate a command to a remote display device
JP5713959B2 (ja) * 2012-05-23 2015-05-07 株式会社東芝 電子機器、方法、およびプログラム
JP2013246515A (ja) * 2012-05-23 2013-12-09 Toshiba Corp 情報処理装置、情報処理方法、およびプログラム
TW201405443A (zh) 2012-07-17 2014-02-01 Wistron Corp 手勢輸入系統及方法
TWI475496B (zh) * 2012-10-16 2015-03-01 Wistron Corp 手勢控制裝置及於手勢控制裝置中設定及取消手勢操作區域之方法
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
TWI488092B (zh) 2012-12-07 2015-06-11 Pixart Imaging Inc 光學式觸控裝置及其操作方法
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
JP2014137627A (ja) * 2013-01-15 2014-07-28 Sony Corp 入力装置、出力装置および記憶媒体
US10042510B2 (en) 2013-01-15 2018-08-07 Leap Motion, Inc. Dynamic user interactions for display control and measuring degree of completeness of user gestures
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
JP5787238B2 (ja) * 2013-04-10 2015-09-30 コニカミノルタ株式会社 制御装置及び操作制御方法並びに操作制御プログラム
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9134764B2 (en) * 2013-12-20 2015-09-15 Sony Corporation Apparatus and method for controlling a display based on a manner of holding the apparatus
KR102215072B1 (ko) * 2014-01-03 2021-02-10 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US20150309681A1 (en) * 2014-04-23 2015-10-29 Google Inc. Depth-based mode switching for touchless gestural interfaces
JP2016038889A (ja) 2014-08-08 2016-03-22 リープ モーション, インコーポレーテッドLeap Motion, Inc. モーション感知を伴う拡張現実
CN105404387A (zh) * 2014-09-16 2016-03-16 洪永川 手势遥控智能终端系统
WO2016103769A1 (ja) * 2014-12-26 2016-06-30 株式会社ネクステッジテクノロジー 操作入力装置、操作入力方法及びプログラム
US11061540B2 (en) * 2015-01-21 2021-07-13 Logmein, Inc. Remote support service with smart whiteboard
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10503278B2 (en) * 2015-12-22 2019-12-10 Sony Corporation Information processing apparatus and information processing method that controls position of displayed object corresponding to a pointing object based on positional relationship between a user and a display region
US10537814B2 (en) * 2015-12-27 2020-01-21 Liwei Xu Screen coding methods and camera based game controller for video shoot game
JP6233471B2 (ja) * 2016-08-22 2017-11-22 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
WO2019054037A1 (ja) * 2017-09-12 2019-03-21 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6340464B1 (ja) * 2017-09-27 2018-06-06 株式会社Ｃｙｇａｍｅｓ プログラム、情報処理方法、情報処理システム、頭部装着型表示装置、情報処理装置
JP2019164440A (ja) * 2018-03-19 2019-09-26 株式会社リコー 情報処理装置及び情報処理方法
JP7186999B2 (ja) * 2018-05-16 2022-12-12 株式会社ネクステッジテクノロジー 操作入力装置、操作入力方法及びプログラム
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US20200167005A1 (en) * 2018-11-28 2020-05-28 Seiko Epson Corporation Recognition device and recognition method
CN111949111B (zh) * 2019-05-14 2022-04-26 Oppo广东移动通信有限公司 交互控制方法、装置、电子设备及存储介质
CN111949134A (zh) * 2020-08-28 2020-11-17 深圳Tcl数字技术有限公司 人机交互方法、设备及计算机可读存储介质
CN114911384B (zh) * 2022-05-07 2023-05-12 青岛海信智慧生活科技股份有限公司 镜子显示器及其远程控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0743589A2 (en) * 1995-05-15 1996-11-20 Canon Kabushiki Kaisha Interactive image generation method and apparatus
CN1595334A (zh) * 2003-02-24 2005-03-16 株式会社东芝 使操作员能够不操作设备而发出指令的操作识别系统
US20080018595A1 (en) * 2000-07-24 2008-01-24 Gesturetek, Inc. Video-based image control system
US20090010570A1 (en) * 2007-07-04 2009-01-08 Sanyo Electric Co., Ltd. Image Sensing Apparatus And Image File Data Structure
CN101344816A (zh) * 2008-08-15 2009-01-14 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
JP2009157919A (ja) * 2007-12-07 2009-07-16 Sony Corp 入力装置、制御装置、制御システム、及びハンドヘルド装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3968477B2 (ja) * 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
JP2000267800A (ja) * 1999-01-12 2000-09-29 Takenaka Komuten Co Ltd 動作認識装置
JP2007072564A (ja) * 2005-09-05 2007-03-22 Sony Computer Entertainment Inc マルチメディア再生装置、メニュー操作受付方法およびコンピュータプログラム
JP4241763B2 (ja) * 2006-05-29 2009-03-18 株式会社東芝 人物認識装置及びその方法
US8060841B2 (en) * 2007-03-19 2011-11-15 Navisense Method and device for touchless media searching
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US20090201249A1 (en) * 2007-12-07 2009-08-13 Sony Corporation Input apparatus, control apparatus, control system, and handheld apparatus
US8126221B2 (en) * 2008-02-14 2012-02-28 Ecole Polytechnique Federale De Lausanne (Epfl) Interactive device and method for transmitting commands from a user
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US8145594B2 (en) * 2009-05-29 2012-03-27 Microsoft Corporation Localized gesture aggregation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0743589A2 (en) * 1995-05-15 1996-11-20 Canon Kabushiki Kaisha Interactive image generation method and apparatus
US20080018595A1 (en) * 2000-07-24 2008-01-24 Gesturetek, Inc. Video-based image control system
CN1595334A (zh) * 2003-02-24 2005-03-16 株式会社东芝 使操作员能够不操作设备而发出指令的操作识别系统
US20090010570A1 (en) * 2007-07-04 2009-01-08 Sanyo Electric Co., Ltd. Image Sensing Apparatus And Image File Data Structure
JP2009157919A (ja) * 2007-12-07 2009-07-16 Sony Corp 入力装置、制御装置、制御システム、及びハンドヘルド装置
CN101344816A (zh) * 2008-08-15 2009-01-14 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102830897A (zh) * 2011-06-13 2012-12-19 夏普株式会社 操作装置
CN102999152B (zh) * 2011-09-09 2016-06-29 康佳集团股份有限公司 一种手势动作识别方法和系统
CN102999152A (zh) * 2011-09-09 2013-03-27 康佳集团股份有限公司 一种手势动作识别方法和系统
CN103092399A (zh) * 2011-11-01 2013-05-08 索尼公司 信息处理设备，信息处理方法和程序
CN104781762A (zh) * 2012-11-06 2015-07-15 索尼电脑娱乐公司 信息处理装置
CN105027032A (zh) * 2013-01-22 2015-11-04 科智库公司 来自受追踪对象的可伸缩输入
CN104063041A (zh) * 2013-03-21 2014-09-24 联想(北京)有限公司 一种信息处理方法及电子设备
CN104063041B (zh) * 2013-03-21 2018-02-27 联想(北京)有限公司 一种信息处理方法及电子设备
CN103399629A (zh) * 2013-06-29 2013-11-20 华为技术有限公司 获取手势屏幕显示坐标的方法和装置
CN103399629B (zh) * 2013-06-29 2017-09-19 华为技术有限公司 获取手势屏幕显示坐标的方法和装置
CN104317385A (zh) * 2014-06-26 2015-01-28 青岛海信电器股份有限公司 一种手势识别方法和系统
CN105491425A (zh) * 2014-09-16 2016-04-13 洪永川 识别手势及遥控电视的方法
CN105487646A (zh) * 2014-09-16 2016-04-13 洪永川 一种手势遥控智能终端系统
CN105491426A (zh) * 2014-09-16 2016-04-13 洪永川 一种手势遥控电视系统
CN105491209A (zh) * 2014-09-16 2016-04-13 洪永川 一种智能终端系统
CN105407371A (zh) * 2014-09-16 2016-03-16 洪永川 一种电视系统
CN105407262A (zh) * 2014-09-16 2016-03-16 洪永川 一种摄像头
WO2016070827A1 (zh) * 2014-11-07 2016-05-12 中兴通讯股份有限公司 一种发布和传递识别信息的方法和装置及信息识别系统
CN109520415A (zh) * 2018-09-18 2019-03-26 武汉移动互联工业技术研究院有限公司 通过摄像头实现六自由度传感的方法及系统
CN114327124A (zh) * 2020-09-30 2022-04-12 优派国际股份有限公司 触控显示设备及其操作方法
CN112731030A (zh) * 2020-12-23 2021-04-30 深圳市优必选科技股份有限公司 一种电子元器件的检测方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
US20180046263A1 (en) 2018-02-15
US9342142B2 (en) 2016-05-17
US10606380B2 (en) 2020-03-31
JP5614014B2 (ja) 2014-10-29
JP2011054118A (ja) 2011-03-17
US20110057875A1 (en) 2011-03-10
US20160224128A1 (en) 2016-08-04
US9830004B2 (en) 2017-11-28

Similar Documents

Publication Publication Date Title
CN102012778A (zh) 显示控制设备、显示控制方法以及显示控制程序
US11678734B2 (en) Method for processing images and electronic device
US8687845B2 (en) Information processing apparatus, method for controlling display, and program for controlling display
JP6598617B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6057396B2 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
US10365767B2 (en) Augmented reality image processing apparatus and method, and program
JP2022028692A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
CN110456907A (zh) 虚拟画面的控制方法、装置、终端设备及存储介质
US20160004908A1 (en) Shape recognition device, shape recognition program, and shape recognition method
EP2950180B1 (en) Method for determining screen display mode and terminal device
CN104813258A (zh) 数据输入装置
US10234955B2 (en) Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
CN103472915B (zh) 基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备
JP2012053631A (ja) 情報処理装置、情報処理方法
US10176556B2 (en) Display control apparatus, display control method, and non-transitory computer readable medium
US10146306B2 (en) Gaze position detection apparatus and gaze position detection method
JPWO2018038136A1 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
CN109671034B (zh) 一种图像处理方法及终端设备
CN106200911A (zh) 一种基于双摄像头的体感控制方法、移动终端及系统
JP7279975B2 (ja) ２次元カメラを利用して客体制御を支援する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
JP2017191426A (ja) 入力装置、入力制御方法、コンピュータプログラム、及び記憶媒体
US11960660B2 (en) Terminal device, virtual object manipulation method, and virtual object manipulation program
JP3201596U (ja) 操作入力装置
US20230343052A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110413