CN104303131B - 图像处理设备、图像处理方法 - Google Patents

图像处理设备、图像处理方法 Download PDF

Info

Publication number
CN104303131B
CN104303131B CN201380025417.7A CN201380025417A CN104303131B CN 104303131 B CN104303131 B CN 104303131B CN 201380025417 A CN201380025417 A CN 201380025417A CN 104303131 B CN104303131 B CN 104303131B
Authority
CN
China
Prior art keywords
image
user
control section
human body
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380025417.7A
Other languages
English (en)
Other versions
CN104303131A (zh
Inventor
铃木诚司
宫崎丽子
古贺康之
池田卓郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104303131A publication Critical patent/CN104303131A/zh
Application granted granted Critical
Publication of CN104303131B publication Critical patent/CN104303131B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

问题：获得能够改进人体图像的可操作性的技术。解决方案根据本公开，提供了一种图像处理设备，其配备控制单元，用于通过在背景图像上重叠绘制人体的至少部分并且与用户的姿态操作有关地移动的人体图像，来生成重叠的图像；以及控制线上重叠的图像，并且同时调整重叠的图像的显示状态。

Description

图像处理设备、图像处理方法
技术领域
本公开涉及一种图像处理设备、图像处理方法、以及程序。
背景技术
专利文献1公开了这样一种技术：显示其中将描绘用户手掌的手掌图像重叠在背景图像上的重叠的图像，并且响应用户的姿态操作(手掌的移动)移动手掌图像。用户使用手掌图像执行输入操作。
引用列表
专利文献
专利文献1：JP 4670860B
发明内容
技术问题
然而，专利文献1中所公开的技术根本不调整重叠的图像的显示状态(例如，手掌图像显示倍率等)。因此，可操作性差。所以，存在对能够改进人体图像(例如，手掌图像)的可操作性的技术的需求。
问题的解决方案
根据本公开，提供了一种图像处理设备，其包括控制部分，配置为执行控制，以通过在背景图像上重叠描绘人体的至少一部分并且响应用户的姿态操作移动的人体图像，来生成重叠的图像，以便显示重叠的图像，同时调整重叠的图像的显示状态。
根据本公开，提供了一种图像处理方法，其包括执行控制，以通过在背景图像上重叠描绘人体的至少一部分并且响应用户的姿态操作移动的人体图像，来生成重叠的图像，以便显示重叠的图像，同时调整重叠的图像。
根据本公开，提供了一种程序，其致使计算机实现控制功能，所述控制功能执行控制，以通过在背景图像上重叠描绘人体的至少一部分并且响应用 户的姿态操作移动的人体图像，来生成重叠的图像，以便显示重叠的图像，同时调整重叠的图像。
根据本公开专利，所述图像处理设备等能够调整重叠的图像的显示状态。
发明有益效果
如以上所描述的，根据本公开，图像处理设备等能够调整重叠的图像的显示状态，以改进人体图像的可操作性。
附图说明
图1是图示根据本公开实施例的图像处理系统的配置的框图。
图2是图示根据相同实施例的显示设备的配置的框图。
图3是图示服务器的配置的框图。
图4是图示图像处理系统的处理过程的流程图。
图5是图示图像处理系统的处理过程的流程图。
图6是图示显示设备显示的显示屏幕图像的示例的说明图。
图7是图示显示设备显示的显示屏幕图像的示例的说明图。
图8是图示显示设备显示的显示屏幕图像的示例的说明图。
图9是图示显示设备显示的显示屏幕图像的示例的说明图。
图10是图示显示设备显示的显示屏幕图像的示例的说明图。
图11是图示显示设备显示的显示屏幕图像的示例的说明图。
图12是图示显示设备显示的显示屏幕图像的示例的说明图。
图13是图示显示设备显示的显示屏幕图像的示例的说明图。
图14是图示显示设备显示的显示屏幕图像的示例的说明图。
图15是图示显示设备显示的显示屏幕图像的示例的说明图。
图16是图示显示设备显示的显示屏幕图像的示例的说明图。
图17是图示显示设备显示的显示屏幕图像的示例的说明图。
图18是图示显示设备显示的显示屏幕图像的示例的说明图。
图19是图示显示设备显示的显示屏幕图像的示例的说明图。
图20是图示显示设备显示的显示屏幕图像的示例的说明图。
图21是图示显示设备显示的显示屏幕图像的示例的说明图。
具体实施方式
以下，将参照附图详细描述本发明的优选实施例。注意，在本说明书与附图中，将使用相同的参考标号表示那些具有基本相同功能与结构的元件，而且省略了重复的解释。
将按下列次序进行描述。
1.关于大屏幕显示器的研究
2.信息处理系统的配置
2-1.总体配置
2-2.大屏幕显示器的配置
2-3.服务器(图像处理设备)的配置
3.信息处理系统的处理过程
＜1.关于大屏幕显示器的研究＞
本发明者已经通过对大屏幕显示器进行的研究，设计了根据本实施例的图像处理系统。因此，首先，将描述本发明者所进行的研究。
图6图示大屏幕显示器20的示例。在图6中，房间200的整个墙面为大屏幕显示器20。当然，大屏幕显示器20并不局限于这一示例，例如，墙的一部分也可以为显示器。另外，也可以将显示器与墙分离。
按照这一方式，大屏幕显示器20可以为房间200的内部。通过将某一图像显示在大屏幕显示器20上，期望用户100具有一种好像其就出现在图像中的感觉。例如，当将从空中所拍摄的摩天大楼的图像显示在大屏幕显示器20上时，用户100具有好像从空中观看摩天大楼的感觉。另外，当将描绘同一平面上的地表面和房间200的地板的图像显示在大屏幕显示器20上时，用户100具有房间200的地板连续地连接于地表面的感觉。
另外，当将所拍摄的商店内部的图像显示在大屏幕显示器20上时，用户100具有其正在商店内购物的感觉。而且，当将其中安装了显示器等的起居室显示在大屏幕显示器20上时，用户100具有存在另一个与房间200相邻的附加起居室的感觉。另外，通过将绘画等显示在大屏幕显示器20上，用户100具有绘画正悬挂在墙上的感觉。按照这一方式，例如，期望大屏幕显示器20具有作为用于实现虚拟现实的设备的应用。
另一方面，作为用户100使用其选择显示在显示器上的对象的设备，提出了光标定点设备、触摸感应定点设备、以及射线投射定点设备。
例如，光标定点设备为诸如鼠标的设备。当将光标定点设备应用于大屏 幕显示器20时，为了将光标移至目标位置，用户100需要多次操作鼠标。其原因在于与大屏幕显示器20的大小相比鼠标一次操作的光标移动量非常小。为此，用户100自然需要用于操作的精力与时间。
作为用于减少操作所花精力和时间的技术，可以考虑使大屏幕显示器20中光标的移动速度高于所述设备的移动速度。然而，在这一技术中，用户100不能够容易地预测光标相对所述设备的实际移动速度移动多少。为此，即是当将这一技术应用于大屏幕显示器20时，用户100需花费精力与时间将光标设置在目标位置。另外，对于用户100，使用光标定点设备的输入操作并不直观。
例如，触摸感应定点设备为诸如触摸面板的设备。当将触摸感应定点设备应用于大屏幕显示器20时，为了接触到目标位置，用户100需要行走以左右移动。另外，当大屏幕显示器20纵向相对于用户100的高度大时，存在着不可达到的区域。而且，由于用户100必须靠近屏幕来触摸到目标位置，所以用户100不能够从远处获得大屏幕的透视图。
例如，射线投射定点设备为诸如游戏机的遥控类型控制器的设备。射线投射定点设备在大屏幕显示器20中不能达到足够的精度。另外，用户100还必须将设备握在其手中。而且，用户100不能够接近大屏幕显示器20。
因此，在以上所描述的每一设备中，可操作性不佳，而且操作不直观。相比之下，对于专利文献1中所公开的技术，公开了这样一种技术：其显示描绘用户100的手掌的手掌图像重叠在背景图像上的重叠的图像，并且响应用户的姿态操作(手掌的移动)移动手掌图像。用户100使用手掌图像执行输入操作。在专利文献1中，用户100可以进行直观的操作。
然而，由于专利文献1中所公开的技术被应用在诸如PDA和数字相机的便携式设备，所以根本没有考虑大屏幕显示器20。另外，专利文献1中所公开的技术也根本不调整重叠的图像的显示状态(例如，手掌图像的显示倍率等)。因此，手掌图像的可操作性差。
具体地讲，当将专利文献1中所公开的技术应用于大屏幕显示器20时，将手掌图像显示在大屏幕显示器20上，大屏幕显示器20相对手掌图像非常大。另外，还限制了用户100可以移动手掌的范围。相比之下，由于专利文献1中所公开的技术仅响应用户100的手掌移动手掌图像，所以产生了手掌图像达不到的区域。即，由于专利文献1基于诸如PDA和数字相机的便携式设备的假定，即基于手掌图像能够达到显示屏幕的每一个区域的假定，所以根本未考虑手 掌图像达不到的区域。因此，当将专利文献1中所公开的技术应用于大屏幕显示器20时，手掌图像的可操作性差。
相比之下，为了实现改进人体图像的可操作性，根据本实施例的图像处理系统10调整人体图像和背景图像至少之一的显示状态。
＜2.信息处理系统的配置＞
[2-1.总体配置]
以下，将根据图1描述图像处理系统10的总体配置。图像处理系统10包括大屏幕显示器20、通信网络30、服务器40、图像拾取设备50、以及音频获取设备60。注意，可以不包括音频获取设备60。
如图6中所图示的，例如，大屏幕显示器20构成房间200的整个墙表面。通信网络30与大屏幕显示器20和服务器40相互连接。服务器40生成要显示在大屏幕显示器20上的重叠的图像(其中将人体图像重叠在背景图像上的图像)。因此，本实施例基于所谓云计算服务的前提。当然，显示设备可以生成并且显示重叠的图像。
例如，图像拾取设备50为摄像机，并且如图6中所图示的，将其提供在房间200的天花板上。图像拾取设备50摄取用户100的照片，并且将结果的拍摄图像输出于大屏幕显示器20。例如，音频获取设备60为头戴麦克风，将其戴在用户100的头上。音频获取设备60获取用户100的声音，并且将所结果的音频信息输出于大屏幕显示器20。
[2-2.大屏幕显示器的配置]
以下，将根据图2描述大屏幕显示器20的配置。大屏幕显示器20包括存储部分21、显示部分22、通信部分23、以及控制部分24。大屏幕显示器20具有诸如CPU、ROM、RAM、硬盘、显示面板、以及通信设备的硬件配置。ROM存储致使大屏幕显示器20实现存储部分21、显示部分22、通信部分23、以及控制部分24的程序。CPU读出存储在ROM中的程序，并且执行所述程序。因此，通过这些硬件配置，实现了存储部分21、显示部分22、通信部分23、以及控制部分24。
存储部分21存储以上所描述的程序等。显示部分22显示各种类型的屏幕图像。通信部分23经由通信网络30与服务器40进行通信。控制部分24控制大屏幕显示器20的每一部件，并且执行以下的处理。即，控制部分24输出从图像拾取设备50提供的所拍摄图像以及从音频获取设备60提供的音频信息到通 信部分23。通信部分23将所拍摄图像和音频信息传输于服务器40。另一方面，通信部分23还接收从服务器40所传输的重叠的图像，并且将重叠的图像输出于控制部分24。控制部分24将重叠的图像显示在显示部分22上。
[2-3.服务器的配置]
以下，将根据图3描述服务器40的配置。服务器40包括存储部分41、通信部分42、以及控制部分43。服务器40具有诸如CPU、ROM、RAM、硬盘、以及通信设备的硬件配置。ROM存储致使服务器40实现存储部分41、通信部分42、以及控制部分43的程序。CPU读出存储在ROM中的程序，并且执行所述程序。因此，通过这些硬件配置，实现了存储部分41、通信部分42、以及控制部分43。
除了以上所描述的程序之外，存储部分41还存储背景图像等。例如，这一背景图像为从空中拍摄的摩天大楼的图像、描绘地表面的图像、商店内部的图像、描绘起居室的图像、描绘绘画的图像等。通信部分42经由通信网络30与大屏幕显示器20进行通信。控制部分43执行以下的处理，并且控制服务器40的每一部件。即，控制部分43从所拍摄图像抽取描绘用户100的图像，即人体图像。然后，控制部分43通过使人体图像呈现半透明(半透射)生成镜像。因此，镜像为描绘人体的至少一部分，并且响应用户100的姿态操作移动的图像(即，人体图像)的示例。
此处，将描述镜像的几个不同的示例。例如，通过涂黑(blacking out)人体图像并且使其呈现半透明，生成镜像。另外，控制部分43还可以抽取人体图像的轮廓，并且将其设置为镜像。而且，控制部分41还可以对这些处理所生成的镜像执行诸如放缩、平移、变形、以及散焦的处理，此后将镜像重叠在以下所描述的背景图像上。另外，镜像可以描绘整个人体，也可以描绘人体的一部分(例如，仅描述上身、仅描述手掌等)。
另外，控制部分43还从存储部分41获取背景图像。控制部分43可以根据人体图像和音频信息检测用户100的姿态操作，并且根据用户100的姿态操作滚动背景图像。例如，当用户100跺其脚时，控制部分43沿屏幕深度方向滚动背景图像。注意，在本实施例中，用户100的讲话也为姿态操作。
然后，控制部分43将镜像重叠在背景图像上，以生成重叠的图像。另外，控制部分43还根据人体图像和音频信息检测用户100的姿态操作，并且根据姿态操作调整重叠的图像。例如，控制部分43根据用户100的姿态操作将一部分 背景图像选择为所选择区域，并且执行诸如所选择区域的放大的处理。控制部分43将重叠的图像输出于通信部分42，然后通信部分42将重叠的图像传输于大屏幕显示器20。
＜3.信息处理系统的处理过程＞
以下，将以图像处理系统10显示商店(在这一情况下，为书店)内部的图像为例描述图像处理系统10的处理过程。在这一示例中，用户100可以具有与在商店实际购物一样的体验。即，用户100可以享受虚拟购物。注意，在以下的处理中，大屏幕显示器20不断地将所拍摄图像和音频信息传输于服务器40。
首先，如图6中所图示的，服务器40的控制部分43将描绘商店入口411和地表面412的背景图像410显示在大屏幕显示器20上。此处，在与房间200的地板相同的平面上描绘地表面412，并且将入口411定位在地表面412上。于是，用户100具有好像将入口411和地表面412连续地连接于房间200的地板的感觉。
其后，例如，用户100执行跺其脚的姿态。另一方面，控制部分43检测跺其脚的姿态，并且沿屏幕深度方向滚动背景图像410。然后，当入口411达到大屏幕显示器20控制部分43的显示表面时，控制部分43显示其中入口411打开的背景图像。
此后，控制部分43生成描绘商店内部的背景图像。另外，控制部分43还通过涂黑人体图像生成轮廓图像，并且将轮廓图像投射在背景图像的地表面部分。然后，控制部分43将所生成的背景图像显示在大屏幕显示器20上。图7图示示例。以下，也将把图7中所图示的商店内部的图像称为正常商店图像。在这一示例中，控制部分43将背景图像420显示在大屏幕显示器20上。在背景图像420中，描绘了轮廓图像110、书架430、以及地表面421。将地表面421定位在与房间200的地板相同的平面上。于是，用户100具有好像实际在逛商店的感觉。
接着，控制部分43根据用户100的姿态操作滚动背景图像。例如，当用户100执行跺其脚的姿态时，控制部分43沿屏幕的深度方向滚动背景图像。另外，当用户100沿水平方向旋转时，控制部分43沿旋转方向旋转背景图像(即，在背景图像中改变用户100向前的方向)。
然后，当用户100面对书架430时，控制部分43根据图4中所图示的流程图 执行处理。在步骤S10中，控制部分43获取所拍摄图像。在步骤S20中，控制部分43从所拍摄图像中检测人体图像，并且根据人体图像在生成以上所描述的镜像。步骤S30中，控制部分43通过将镜像重叠在背景图像上生成重叠的图像。另外，控制部分43还将光标重叠在镜像的手掌图像上。在步骤S40中，控制部分43还将重叠的图像显示在大屏幕显示器20上。尽管将镜像定位如从用户100观看的背景图像的前方，由于镜像为半透明的，所以用户100可以在镜像的背面观看和确认背景图像。
图8图示重叠的图像的示例。在这一示例中，用户100面对书架430。即，在背景图像的几乎整个表面上描绘书架430。在书架430中，定位了多本图书440。另外，还相对水平方向将镜像120重叠在背景图像的中心部分。将光标130重叠在镜像120中的手掌图像上。控制部分43响应用户100的姿态操作移动镜像120。即，镜像120按与用户100一样的方式移动。而且，控制部分43还致使光标130跟随手掌图像的移动。因此，用户100可移动其自己的手掌，将光标130移至目标位置(例如，定位目标图书440的位置)。
注意，控制部分43可以显示其中以上所描述的轮廓图像沿书架430升起的动画，此后将轮廓图像改变为镜像。因此，用户100能够容易地理解将轮廓图像转变换为镜像。另外，当书架430中的对象(即，图书440)为不允许用户100选择的(例如，为不销售的商品)时，控制部分43可以不显示镜像120。于是，用户100能够容易地了解书架430中的图书440不允许选择。而且，在图8的示例中，将光标130重叠在两个手掌图像上，然而也可以仅重叠在一个手掌图像上。另外，还可以将光标130重叠在除手掌图像之外的部分上，例如，重叠在脚的指尖的图像上。
在这一方式下，大屏幕显示器20显示响应用户100的姿态操作移动的镜像，并且将光标130重叠在镜像的手掌图像上。为此，用户100能够根据镜像的移动容易地预测光标130的移动速度。因此，图像处理系统10能够改进光标130的可操作性。另外，由于用户100移动其自己的身体(具体地讲，手掌图像)以移动光标130，所以直观地操作光标130。
在步骤S50中，控制部分43根据从所拍摄图像抽取的人体图像确定用户100是否已经选择了任何对象(在这一情况下，为图书440)。注意，例如，当用户100执行握住对象的姿态时，控制部分43确定用户100已经选择了对象。如果控制部分43确定用户100已经选择了对象，则控制部分43前进至步骤S60。 如果控制部分43确定用户100没有选择任何对象，则控制部分43结束当前处理。在步骤S60中，控制部分64执行细节选择处理。以下将描述这一细节选择处理。
注意，控制部分43将镜像120的手掌图像的移动速度(即，光标130的移动速度)设置为等于用户100的手掌的移动速度。这允许用户100容易地预测光标130的移动速度。然而，在这一处理中，由于光标130的移动范围与镜像120的手掌图像的移动范围一致，所以产生了光标130达不到的区域。即，用户100不能够从显示在大屏幕显示器20上的对象中选择镜像120的手掌图像的移动范围之外的对象。由于用户100需要执行诸如左右移动选择这些对象的姿态操作，所以选择这些对象费力。
作为一种将光标130移动至大屏幕显示器20的每一区域的方法，例如，可以考虑将光标130与镜像120相分离，并且以比用户100的手掌快(长)地移动光标130。在这一方法中，例如，当用户100将手掌移动5cm时，光标130移动20cm。然而，在这一处理中，用户100难以选择微小对象。另外，用户100不能够容易地预测光标130的移动速度。
另一方面，作为一种使用户容易选择微小对象的方法，例如，可以考虑将光标130与镜像120相分离，并且以比用户100的手掌慢(短)地移动光标130。在这一方法中，例如，当用户100将手掌移动5cm时，光标130移动1cm。然而，在这一处理中，在大屏幕显示器20上产生光标130达不到的区域。
按照这一方式，在以上的方法中，“能够选择整个屏幕”和“能够选择微小对象”具有折衷关系。因此，图像处理系统10将一部分背景图像选择为所选择区域，并且调整所选择区域和镜像至少之一的显示状态。于是，用户100能够选择整个屏幕，并且还能够选择微小对象。具体地讲，图像处理系统10执行根据图5中所图示的流程图的处理。
在步骤S100中，控制部分43获取音频信息和所拍摄图像。在步骤S110中，控制部分43根据音频信息和所拍摄图像识别用户100的姿态操作，并且根据用户100的姿态操作选择所选择区域。
具体地讲，控制部分43将用户100的视线检测为用户100的姿态操作。然后，控制部分43将包括用户100视线和大屏幕显示器20的交叉点的区域选择为所选择区域。接着，控制部分43将所选择区域重叠和显示在重叠的图像上。图9图示显示示例。在这一示例中，控制部分43将背景图像的左上区域设置为 所选择区域500。为了有助于用户100的了解，可以高亮显示所选择区域500。例如，可以按不同于背景图像的颜色显示所选择区域500。
此处，作为选择所选择区域的处理的不同的示例，采取了以下处理。即，控制部分43将用户100面部的方向检测为用户100的姿态操作。具体地讲，控制部分43检测穿过面部区域中心并且垂直于面部区域的面部方向矢量。然后，控制部分43可以将包括面部方向矢量域和大屏幕显示器20的交叉点的区选择为所选择区域。
另外，控制部分43在任意初始位置将所选择区域显示在大屏幕显示器20上，同时将用户100右手(手掌)的移动识别为用户100的姿态操作。然后，控制部分43可以响应用户100右手的移动，移动所选择区域。注意，用户100可以用左手选择所选择区域中的对象。
而且，控制部分43还可以将用户100的声音识别为用户100的姿态操作，并且根据音频信息选择所选择区域。具体地讲，例如，当用户100表述“右上方”时，控制部分43可以将大屏幕显示器20右上方的区域选择为所选择区域。
另外，控制部分43还可以根据各种姿态操作选择所选择区域。例如，控制部分43将用户100向上伸展其自身的动作识别为用户100的姿态操作。然后，控制部分43将大屏幕显示器20上侧区域选择为所选择区域。其原因在于，假设用户100正考虑选择大屏幕显示器20的上侧区域所显示的对象。
而且，控制部分43还可以将用户100蹲下的动作识别为用户100的姿态操作。然后，控制部分43将大屏幕显示器20的下侧区域选择为所选择区域。其原因在于，假设用户100正考虑选择大屏幕显示器20的下侧区域所显示的对象。另外，控制部分43还可以检测光标130达不到的区域，并且将这一区域自动地设置为所选择区域。
另外，控制部分43还可以根据用户100的姿态操作改变所选择区域500的大小。例如，当用户100沿垂直方向将两个手掌一个放在另一个之上时，然后又将两个手掌互相分离时，控制部分43可以沿垂直方向放大所选择区域500。而且，当用户100将两个手掌互相靠近时，控制部分43可以沿垂直方向使所选择区域500更小。另外，当用户100沿左右方向并排放置两个手掌时，然后又将两个手掌互相分离时，控制部分43可以沿左右方向放大所选择区域500。而且，当用户100将两个手掌互相靠近时，控制部分43可以沿左右方向使所选择区域500更小。
在步骤S120中，控制部分43执行易于用户100选择所选择区域中的对象的处理。以下，将描述这一处理的几个具体的示例。
即，控制部分43放大所选择区域，以生成放大的所选择区域，并且将镜像重叠在放大的所选择区域上。图10图示显示示例。在这一示例中，控制部分43通过放大图9的所选择区域500生成放大的所选择区域510，并且将镜像120(镜像120的大小保持不变)重叠在放大的所选择区域510上。然后，控制部分43将重叠的图像显示在大屏幕显示器20上。在这一示例中，尽管将放大的所选择区域510显示在大屏幕显示器20的整个表面上，然而也可以将放大的所选择区域510显示在大屏幕显示器20的一部分上。
根据这一示例，由于显示了其中放大了所选择区域500的放大的所选择区域510，所以也放大了放大的所选择区域510的对象。因此，用户100能够容易地选择放大的所选择区域510中的对象。
另一方面，控制部分43还可以放大镜像120。图11图示显示示例。在这一示例，由于镜像120的手掌图像达到所选择区域500，所以用户100能够容易地选择所选择区域500中的对象。
另一方面，控制部分43还可以伸展镜像120的手臂部分。例如，控制部分43从所拍摄图像抽取人体图像，并且根据这一人体图像识别用户100的姿态操作。然后，当用户100保持充分伸展手臂时，控制部分43沿用户100朝其伸展手臂的方向伸展镜像120的手臂部分。注意，当用户100执行伸展手臂的姿态操作时，控制部分43可以以由增益放大的手臂的移动量伸展镜像120的手臂部分。即，在这一示例中，控制部分43根据用户100的姿态操作调整镜像120。
图12图示显示示例。在这一示例中，镜像120的手臂部分伸展至所选择区域500。根据这一示例，用户100能够容易地选择所选择区域500中的对象。
另一方面，控制部分43还可以在所选择区域500中定位镜像120。当镜像120大于所选择区域500时，控制部分43使镜像120更小，然后，在所选择区域500中定位镜像120。图13图示显示示例。根据这一示例中，由于在所选择区域500中定位镜像120，所以用户100能够容易地选择所选择区域500中的对象。
另一方面，控制部分43还可以将用户100的向上伸展识别为用户100的姿态操作。然后，控制部分43将大屏幕显示器20的上侧区域选择为所选择区域。接着，控制部分43向下移动所选择区域。图14和图15图示显示示例。如图14中所图示的，当用户100向上伸展其自身时，控制部分43将大屏幕显示器20 的上侧区域选择为所选择区域500。注意，如图14中所图示的，在这一示例中，用户100的高度相对矮。即，例如，用户100为孩子。因此，镜像120也小。于是，由于假设用户100经常向上伸展其自身，所以本示例为优选处理。然后，如图15中所图示的，控制部分43向下移动所选择区域500。优选地，控制部分43移动所选择区域500，直到在所选择区域500覆盖镜像120。因此，用户100能够容易地选择所选择区域500中的对象。即，在这一示例中，控制部分43根据用户100的姿态操作调整镜像120。
另一方面，控制部分43还可以将用户100的蹲下识别为用户100的姿态操作。然后，控制部分43将大屏幕显示器20的下侧区域选择为所选择区域。接着，控制部分43向上移动所选择区域。当用户100相对高时，特别优选这一示例。其原因在于，假设在这一情况下用户100经常蹲下。同样在这一示例中，用户100能够容易地选择所选择区域500中的对象。即，在这一示例中，控制部分43根据用户100的姿态操作调整镜像120。
注意，在以上的每一示例中，控制部分43可以将所选择区域500中镜像的手掌图像的移动速度设置得小于用户100手掌的移动速度。于是，用户100能够更精确地选择所选择区域500中的对象。另外，控制部分43还可以响应所选择区域500中的对象的数目等调整手掌图像的移动速度。例如，控制部分43可以按这样的方式设置手掌图像的移动速度：所选择区域500中对象的数目越多，手掌图像的移动速度越慢。于是，用户100能够更精确地选择微小对象。
另外，例如，当用户100执行抬左脚的姿态操作时，控制部分43可以将整个屏幕图像向左滚动。同样，例如，当用户100执行抬右脚的姿态操作时，控制部分43可以将整个屏幕图像向右滚动。于是，当用户100在书架430中没有发现目标对象时，用户100可以从另一个书架找到目标对象。
另一方面，控制部分43还可以根据用户100的音频信息标识所选择区域中的对象。例如，当用户100表述了图书440的标题时，控制部分43从所选择区域500选择具有所述标题的图书440。另外，当对象为CD，而且用户表述了“播放其”时，控制部分43可以执行播放该CD的处理。
注意，通过执行预设的用于取消的姿态操作，用户100可以取消以上所描述的每一调整处理(调整镜像120和所选择区域500至少之一的处理)。作为用于取消的姿态操作，例如，考虑产生表述“取消”的声音、从所选择区域转移视线(或者面部的方向)，拍手等。
因此，控制部分43将一部分背景图像选择为所选择区域500，并且执行使用户100容易地选择所选择区域500中的对象的处理。于是，用户100能够从大屏幕显示器20中整个区域选择对象，并且能够选择微小对象。即，用户100也能够不费力地(无需左右移动，总能够达到，无需过度靠近屏幕)选择大屏幕显示器20上的目标对象。另外，用户100还可以精确地(无需一点一点地移动手)和直观地(可以仅通过观看选择所看到的对象)选择目标对象。
在步骤S130中，控制部分43通过镜像，具体地讲，通过图4中所图示的处理，执行定位处理。
以下，将根据图16～图18描述细节选择处理。当用户100选择任何对象时，控制部分43执行细节选择处理(使用迭加在对象上的光标130执行握住对象的姿态)。首先，如图16中所图示的，控制部分43以并排排列的方式显示用户100已经选择的对象和相邻的图书440。控制部分43将用户100已经选择的图书440定位在大屏幕显示器20的中心。在这一实例中，将“图书1”定位在中心。另外，控制部分43将手掌图像140从镜像120切出，并且按放大的方式显示手掌图像140。而且，控制部分43还显示购物车图标600。
然后，当用户100的手掌处于“纸(paper)”的状态，并且被向右移动时，控制部分43沿箭头A1方向(向右)移动手掌图像140，并且沿箭头A1方向(向右)滚动该行图书440。滚动量为一册图书440。于是，将“书3”新定位在中心。
另一方面，当用户100的手掌处于“纸”的状态，并且被向左移动时，控制部分43沿箭头A2方向(向左)移动手掌图像140，并且沿箭头A2方向(向左)滚动该行图书440。滚动量为一册图书440。于是，如图17中所图示的，控制部分43在大屏幕显示器20的中心显示定位在“图书1”右侧和“图书2”。控制部分43执行这一处理，以便允许用户100进行更详细的对象选择。于是，即使当用户100错误地选择了不同于目标图书440的图书440时，用户100也能够在所述细节选择处理中选择目标图书440。
另一方面，当用户100的手掌处于其中仅伸出食指，并且向右移动的状态时，控制部分43沿箭头B1方向(向右)移动手掌图像140，并且向右翻图书440的一页，如图18中所图示的。另一方面，当用户100的手掌处于其中仅伸出食指，并且向左移动的状态时，控制部分43沿箭头B2方向(向左)移动手掌图像140，并且向左翻图书440的一页。控制部分43执行这一处理，以允许用户100在购买之前阅读图书440。于是，用户100能够在确认图书440的内容之后 购买图书440。
当用户100的手掌处于“纸”的状态，并且手掌图像140覆盖购物车图标600时，控制部分43将定位在中心的图书440放入购物车中。
此后，当用户100产生表述“取消”的声音或者执行用于取消的预设姿态操作时，控制部分43在大屏幕显示器20上显示正常商店图像，如图7中所图示的。然后，控制部分43根据用户100的姿态操作滚动正常商店图像。如上描述具体的处理内容。
然后，当控制部分43显示图19中所图示的收银机700时(即，当用户100到达收银机700时)，控制部分43执行支付处理(例如，从信用卡取款)。另外，控制部分43还在收银机700的支付显示窗口710上显示购买量。根据以上描述，控制部分43结束与虚拟购买相关的处理。
注意，显然，所述商店不同于书店。例如，所述商店可以为唱片店、超市、百货商店等。另外，背景图像也不同于商店的背景图像。图20～图21图示除所述商店之外的示例。
在这一示例中，控制部分43将起居室图像作为背景图像显示在大屏幕显示器20上。在这一起居室图像中，描绘了显示器800、遥控器810、以及地表面830。即，在这一示例中，实现了所谓显示器上的显示(将幻影显示器(illusionay display)800显示在大屏幕显示器20中)。将地表面830定位在与房间200的地板相同的平面上。因此，用户100具有存在另一个相邻房间200的起居室图像的感觉。另外，控制部分43还将以上所描述的镜像120和光标130重叠在背景图像上。
同样在这一示例中，控制部分43可以针对背景图像和镜像120执行以上所描述的处理。另外，当用户100的手掌变为“纸”，并且光标130也遥控器810迭加时，控制部分43使得光标130跟随遥控器810。而且，当用户100的手掌变为其中仅伸出食指的状态时，控制部分43放大遥控器810，如图21中所图示的。然后，控制部分43检测用户100已经选择的按钮(即，镜像120的食指部分已经迭加的按钮)。接着，控制部分43将相应于用户100已经选择的按钮的屏幕图像820显示在显示器800上。
根据以上描述，在本实施例中，图像处理系统10将镜像120重叠在背景图像上以生成重叠的图像，并且将重叠的图像显示在大屏幕显示器20上，同时调整重叠的图像的显示状态。因此，图像处理系统10能够改进镜像120的可操 作性。特别是，图像处理系统10能够允许用户100选择大屏幕显示器20的整个区域，以及选择微小对象。
另外，图像处理系统10还调整镜像120和背景图像至少之一的显示状态。因此，图像处理系统10能够改进镜像120的可操作性。
而且，图像处理系统10还将一部分背景图像选择为所选择区域500，并且调整所选择区域500和镜像120至少之一的显示状态。因此，图像处理系统10能够改进镜像120的可操作性。
另外，图像处理系统10还根据用户100的姿态操作选择所选择区域500，因此用户100能够容易地选择目标区域。
而且，图像处理系统10还根据用户100的姿态操作调整所选择区域500和镜像120至少之一的显示状态，以进一步改进镜像120的可操作性。
另外，图像处理系统10还放大所选择区域500以生成放大的所选择区域510，并且将镜像120重叠在放大的所选择区域510上。因此，用户100能够容易地选择所选择区域中的对象。
而且，图像处理系统10还放大镜像120，因此用户100能够容易地选择所选择区域500中的对象。
另外，图像处理系统10还将构成镜像120的手臂图像伸展至所选择区域500，以便用户100能够容易地选择所选择区域500中的对象。
而且，图像处理系统10还将镜像120定位在所选择区域500中，以便用户100能够容易地选择所选择区域500中的对象。
以上，已经参照附图描述了本发明的优选实施例，然而，本发明当然不局限于所述示例。本领域技术人员可以在所附权利要求的范围内发现各种变化与修改，并且应当理解所述变化与修改自然落入本发明的技术范围。
例如，以上实施例图示其中将商店的内部图像或者起居室图像显示在大屏幕显示器20上的示例，但是，显然，也可以将其它图像显示在大屏幕显示器20上。另外，也可以将本实施例应用于小于大屏幕显示器20的显示器，例如，大约几十英寸的显示器。
另外，也可以将本技术配置如下。
(1)一种图像处理设备，其包括：
控制部分，配置为执行控制，以通过在背景图像上重叠描绘人体的至少一部分并且响应用户的姿态操作移动的人体图像，来生成重叠的图像，以便 显示重叠的图像，同时调整重叠的图像的显示状态。
(2)根据(1)所述的图像处理设备，其中
控制部分调整人体图像和背景图像至少之一的显示状态。
(3)根据(2)所述的图像处理设备，其中
控制部分将一部分背景图像选择为所选择区域，并且调整所选择区域和人体图像至少之一的显示状态。
(4)根据(3)所述的图像处理设备，其中
控制部分根据用户的姿态操作选择所选择区域。
(5)根据(3)或者(4)所述的图像处理设备，其中
控制部分根据用户的姿态操作选择所选择区域调整所选择区域和人体图像至少之一的显示状态。
(6)根据(3)～(5)任何之一所述的图像处理设备，其中
控制部分通过放大所选择区域生成放大的所选择区域，并且将人体图像重叠在放大的所选择区域上。
(7)根据(3)～(5)任何之一所述的图像处理设备，其中
控制部分放大人体图像。
(8)根据(3)～(5)任何之一所述的图像处理设备，其中
控制部分将构成人体图像的手臂图像伸展至所选择区域。
(9)根据(3)～(5)任何之一所述的图像处理设备，其中
控制部分将人体图像定位在所选择区域中。
(10)一种图像处理方法，其包括：
执行控制，以通过在背景图像上重叠描绘人体的至少一部分并且响应用户的姿态操作移动的人体图像，来生成重叠的图像，以便显示重叠的图像，同时调整重叠的图像的显示状态。
(11)一种程序，其致使计算机实现控制功能，所述控制功能执行控制，以通过在背景图像上重叠描绘人体的至少一部分并且响应用户的姿态操作移动的人体图像，来生成重叠的图像，以便显示重叠的图像，同时调整重叠的图像。
参照标号列表
10 图像处理系统
20 大屏幕显示器
30 通信网络
40 服务器
120 镜像
410，420 背景图像
430 书架
500 所选择区域

Claims (10)

1.一种图像处理设备，其包含：
控制部分，配置为执行控制，以通过在背景图像上重叠描绘人体的至少一部分并且响应用户的姿态操作移动的人体图像，来生成重叠的图像，以便显示重叠的图像，同时调整重叠的图像的显示状态，
其中当人体的向上伸展被识别为用户的姿态操作时，所述控制部分将所述背景图像的、所述人体图像的手掌图像不能达到的上侧区域选择为所选择区域，并且向下移动所述所选择区域。
2.根据权利要求1所述的图像处理设备，其中
控制部分调整人体图像和背景图像至少之一的显示状态。
3.根据权利要求2所述的图像处理设备，其中
控制部分调整所选择区域和人体图像至少之一的显示状态。
4.根据权利要求3所述的图像处理设备，其中
控制部分根据用户的姿态操作选择所选择区域。
5.根据权利要求3所述的图像处理设备，其中
控制部分根据用户的姿态操作调整所选择区域和人体图像至少之一的显示状态。
6.根据权利要求3所述的图像处理设备，其中
控制部分通过放大所选择区域生成放大的所选择区域，并且将人体图像重叠在放大的所选择区域上。
7.根据权利要求3所述的图像处理设备，其中
控制部分放大人体图像。
8.根据权利要求3所述的图像处理设备，其中
控制部分将构成人体图像的手臂图像伸展至所选择区域。
9.根据权利要求3所述的图像处理设备，其中
控制部分将人体图像定位在所选择区域中。
10.一种图像处理方法，其包含：
执行控制，以通过在背景图像上重叠描绘人体的至少一部分并且响应用户的姿态操作移动的人体图像，来生成重叠的图像，以便显示重叠的图像，同时调整重叠的图像；以及
当人体的向上伸展被识别为用户的姿态操作时，将所述背景图像的、所述人体图像的手掌图像不能达到的上侧区域选择为所选择区域，并且向下移动所述所选择区域。
CN201380025417.7A 2012-05-22 2013-03-22 图像处理设备、图像处理方法 Expired - Fee Related CN104303131B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-116586 2012-05-22
JP2012116586 2012-05-22
PCT/JP2013/058326 WO2013175847A1 (ja) 2012-05-22 2013-03-22 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN104303131A CN104303131A (zh) 2015-01-21
CN104303131B true CN104303131B (zh) 2017-03-29

Family

ID=49623551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380025417.7A Expired - Fee Related CN104303131B (zh) 2012-05-22 2013-03-22 图像处理设备、图像处理方法

Country Status (5)

Country Link
US (2) US10360706B2 (zh)
EP (1) EP2853986B1 (zh)
JP (1) JP5924407B2 (zh)
CN (1) CN104303131B (zh)
WO (1) WO2013175847A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9883138B2 (en) 2014-02-26 2018-01-30 Microsoft Technology Licensing, Llc Telepresence experience
JP6358038B2 (ja) * 2014-10-17 2018-07-18 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP6421543B2 (ja) * 2014-10-17 2018-11-14 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP6409517B2 (ja) * 2014-11-13 2018-10-24 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
JP2016146104A (ja) * 2015-02-09 2016-08-12 富士ゼロックス株式会社 入力システム、入力装置およびプログラム
JP6670549B2 (ja) * 2015-03-30 2020-03-25 大和ハウス工業株式会社 取引支援システム及び取引支援方法
WO2017030255A1 (en) * 2015-08-18 2017-02-23 Samsung Electronics Co., Ltd. Large format display apparatus and control method thereof
US10976819B2 (en) 2015-12-28 2021-04-13 Microsoft Technology Licensing, Llc Haptic feedback for non-touch surface interaction
US11188143B2 (en) * 2016-01-04 2021-11-30 Microsoft Technology Licensing, Llc Three-dimensional object tracking to augment display area
US10509556B2 (en) * 2017-05-02 2019-12-17 Kyocera Document Solutions Inc. Display device
CN111258414B (zh) * 2018-11-30 2023-08-04 百度在线网络技术（北京）有限公司 用于调整屏幕的方法和装置
JP7373068B2 (ja) 2020-05-18 2023-11-01 株式会社Ｎｔｔドコモ 情報処理システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7468742B2 (en) * 2004-01-14 2008-12-23 Korea Institute Of Science And Technology Interactive presentation system
CN101952818A (zh) * 2007-09-14 2011-01-19 智慧投资控股67有限责任公司 基于姿态的用户交互的处理
CN102317888A (zh) * 2009-02-19 2012-01-11 索尼计算机娱乐公司 信息处理装置以及信息处理方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5515130A (en) * 1990-12-10 1996-05-07 Nikon Corporation Camera control device
JP3344499B2 (ja) * 1993-06-30 2002-11-11 株式会社東芝 オブジェクト操作支援装置
JP2007156922A (ja) * 2005-12-06 2007-06-21 Sharp Corp 処理指示受付方法、電子機器、及びコンピュータプログラム
US8953909B2 (en) * 2006-01-21 2015-02-10 Elizabeth T. Guckenberger System, method, and computer software code for mimic training
JP5559691B2 (ja) 2007-09-24 2014-07-23 クアルコム，インコーポレイテッド 音声及びビデオ通信のための機能向上したインタフェース
JP4670860B2 (ja) 2007-11-22 2011-04-13 ソニー株式会社 記録再生装置
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
JP5256109B2 (ja) * 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
US8843857B2 (en) 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US9245177B2 (en) * 2010-06-02 2016-01-26 Microsoft Technology Licensing, Llc Limiting avatar gesture display
FR2960986A1 (fr) * 2010-06-04 2011-12-09 Thomson Licensing Procede de selection d’un objet dans un environnement virtuel
JP5665396B2 (ja) * 2010-07-09 2015-02-04 キヤノン株式会社 情報処理装置およびその制御方法
JP5598232B2 (ja) 2010-10-04 2014-10-01 ソニー株式会社 情報処理装置、情報処理システムおよび情報処理方法
US8929609B2 (en) * 2011-01-05 2015-01-06 Qualcomm Incorporated Method and apparatus for scaling gesture recognition to physical dimensions of a user
WO2012176317A1 (ja) * 2011-06-23 2012-12-27 サイバーアイ・エンタテインメント株式会社 画像認識システムを組込んだ関連性検索によるインタレスト・グラフ収集システム
CN103842244B (zh) * 2011-10-03 2016-12-14 古野电气株式会社 显示装置及显示方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7468742B2 (en) * 2004-01-14 2008-12-23 Korea Institute Of Science And Technology Interactive presentation system
CN101952818A (zh) * 2007-09-14 2011-01-19 智慧投资控股67有限责任公司 基于姿态的用户交互的处理
CN102317888A (zh) * 2009-02-19 2012-01-11 索尼计算机娱乐公司 信息处理装置以及信息处理方法

Also Published As

Publication number Publication date
EP2853986A4 (en) 2016-01-06
US10360706B2 (en) 2019-07-23
CN104303131A (zh) 2015-01-21
JP5924407B2 (ja) 2016-05-25
JPWO2013175847A1 (ja) 2016-01-12
US20190259191A1 (en) 2019-08-22
EP2853986A1 (en) 2015-04-01
US20150123994A1 (en) 2015-05-07
EP2853986B1 (en) 2020-09-23
WO2013175847A1 (ja) 2013-11-28

Similar Documents

Publication Publication Date Title
CN104303131B (zh) 图像处理设备、图像处理方法
CN105027033B (zh) 用于选择扩增现实对象的方法、装置和计算机可读媒体
US20200357163A1 (en) Method and apparatus for adjusting viewing angle in virtual environment, and readable storage medium
US20220121344A1 (en) Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
Kane et al. Bonfire: a nomadic system for hybrid laptop-tabletop interaction
CN104731471B (zh) 移动终端及其控制方法
US20190121458A1 (en) Information Processing Apparatus, Information Processing Method, And Computer Program
CN104364753B (zh) 用于突出显示活动界面元素的方法
US10831318B2 (en) Adaptive enclosure for a mobile computing device
US20170322622A1 (en) Head mounted display device and method for controlling the same
CN105745568B (zh) 用于在可头戴式设备上执行多触摸操作的系统和方法
CN115917498A (zh) 使用语音和文字字幕的增强现实体验
KR20180112599A (ko) 가상 공간의 캡쳐 방법 및 그 전자장치
CN109499061B (zh) 游戏场景画面的调整方法、装置、移动终端和存储介质
KR20140070326A (ko) 3차원 인터페이스를 제공하는 모바일 장치 및 그것의 제스처 제어 방법
CN103309556A (zh) 信息处理设备、信息处理方法及计算机程序
JP2021516818A (ja) アプリケーションプログラムの表示適応方法及びその装置、端末、記憶媒体、並びにコンピュータプログラム
CN109906424A (zh) 用于虚拟现实系统的输入控制器稳定技术
JP2008510215A (ja) ディスプレイを制御するための方法及びシステム
JP6932224B1 (ja) 広告表示システム
CN113546419B (zh) 游戏地图显示方法、装置、终端及存储介质
CN104270623A (zh) 一种显示方法及电子设备
CN112527165A (zh) 界面显示状态的调整方法及装置、设备、存储介质
CN117916777A (zh) 手工制作的增强现实努力证据
CN115175004A (zh) 用于视频播放的方法、装置、可穿戴设备及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170329

Termination date: 20210322

CF01 Termination of patent right due to non-payment of annual fee