CN104185829A - 显示控制设备、显示控制方法和程序 - Google Patents

显示控制设备、显示控制方法和程序 Download PDF

Info

Publication number
CN104185829A
CN104185829A CN201380015173.4A CN201380015173A CN104185829A CN 104185829 A CN104185829 A CN 104185829A CN 201380015173 A CN201380015173 A CN 201380015173A CN 104185829 A CN104185829 A CN 104185829A
Authority
CN
China
Prior art keywords
display control
virtual object
display
user
control apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380015173.4A
Other languages
English (en)
Inventor
笠原俊一
繁田脩
铃木诚司
深泽辽
森麻纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104185829A publication Critical patent/CN104185829A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/833—Hand-to-hand fighting, e.g. martial arts competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8029—Fighting without shooting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Instrument Panels (AREA)

Abstract

在一个说明性实施例中，提供了一种显示控制设备。该显示控制设备包括显示控制部分，用于根据成像设备和显示设备之间的位置关系来控制虚拟物体的显示。

Description

显示控制设备、显示控制方法和程序
相关申请的交叉引用
本申请要求在2012年3月27日在日本专利局中提交的日本专利申请P2012-071332的优先权，其整体内容由此通过引用被并入在此。
技术领域
本申请涉及显示控制设备、显示控制方法和程序。
背景技术
近些年来，已经开发了使用由成像设备捕获的用户的成像结果(例如，用户等的手势)作为输入接口的技术。
根据该技术，例如，变得有可能控制向与在所捕获的图像中所示的用户的位置(例如，用户的身体的一部分或整体的位置)对应的区域增加的物体。在使用输入接口的该技术中，通常，使用由面向用户安装的成像设备拍摄的所捕获图像，并且，控制向与在所捕获的图像中所示的用户的二维位置对应的区域增加的物体。
例如，公开了一种技术，用于从由面向用户安装的成像设备拍摄的所捕获图像检测移动二维区域，并且根据检测结果来控制在计算机图像中包括的物体的移动(例如，参见PTL1)。
[引用列表]
[专利文献]
[PTL1]JP2006-014875A
发明内容
[技术问题]
然而，不总是面向用户安装成像设备。例如，在向由成像设备拍摄的所捕获的图像增加用于操作的虚拟物体的前提下，在用户后面斜着安装成像设备的情况下，当通过与在其中面向用户安装成像设备的情况中相同的技术来向所捕获的图像增加用于操作的虚拟物体时，用户可操作性劣化。因此，期望实现用于增强用户可操作性的技术。
[对于问题的解决方案]
鉴于上面情况，提供了本实施例。在说明性实施例中，一种显示控制设备包括显示控制部分，用于根据在成像设备和显示设备之间的位置关系来控制虚拟物体的显示。
根据如上所述的本公开的实施例，可以增强用户可操作性。
附图说明
图1是示出根据第一实施例的显示控制系统的配置的示例的图。
图2是示出在根据在图1中所示的示例而配置显示控制系统的情况下的用于操作的虚拟物体的增加的示例的图。
图3是示出根据第一实施例的显示控制系统的配置的另一个示例的图。
图4是示出在根据在图3中所示的示例配置显示控制系统的情况下的用于操作的虚拟物体的增加的示例的图。
图5是示出根据第一实施例的显示控制设备的功能配置示例的框图。
图6是示出根据第一实施例的显示控制系统的配置的另一个示例的图。
图7是示出在根据在图6中所示的示例来配置显示控制系统的情况下的用于操作的虚拟物体的增加的示例。
图8是示出在根据在图6中所示的示例来配置显示控制系统的情况下的用于操作的虚拟物体的增加的另一个示例的图。
图9是示出改变用于操作的虚拟物体的显示的一个示例的图。
图10是示出改变用于操作的虚拟物体的显示的另一个示例的图。
图11是示出改变用于操作的虚拟物体的显示的另一个示例的图。
图12是示出根据第一实施例的由显示控制设备执行的操作的流程的流程图。
图13是示出根据第二实施例的显示控制系统的配置的示例的图。
图14是示出根据第二实施例的显示控制设备的功能配置示例的框图。
图15是示出根据第二实施例的由显示控制设备执行的操作的流程的流程图。
具体实施方式
以下，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，使用相同的附图标号来表示具有大体相同的功能和结构的结构元件，并且省略这些结构元件的重复说明。
而且，在本说明书和附图中，存在下述一些情况：其中，通过在相同的附图标号后使用不同的字母表示来彼此区分具有大体相同的功能和结构的多个结构元件。注意，在不必彼此区分具有大体相同功能和结构的多个结构元件的情况下，仅使用相同的附图标号来表示该多个结构元件。
而且，将以下面的顺序来描述“具体实施方式”。
1.第一实施例
2.第二实施例
3.结论
<1.第一实施例>
以下，将描述本公开的第一实施例。首先，将描述根据本公开的第一实施例的显示控制系统的配置的示例。注意，该示例对应于在其中将模式设置为下述的第一模式的情况下的显示控制系统的配置示例。
图1是示出根据本公开的第一实施例的显示控制系统的配置的示例的图。如图1中所示，根据本公开的第一实施例的显示控制系统1A包括显示控制设备10A、显示设备20和成像设备30。成像设备30具有将用户U成像的功能。显示控制设备10A具有以下述方式来控制显示设备20的功能：在显示设备20上显示由成像设备30拍摄的所捕获的图像。显示设备20具有根据由显示控制设备10A执行的控制来显示所捕获的图像的功能。
图2是示出在根据在图1中所示的示例来配置显示控制系统1A的情况下，用于操作的虚拟物体的增加的示例的图。如图2中所示，在显示设备20上显示由成像设备30拍摄的所捕获的图像，并且向所捕获的图像加上用于操作的虚拟物体211a和211b。在图2中所示的示例具有两个用于操作的虚拟物体，但是用于操作的虚拟物体的数量不被特别限制。而且，虽然图2作为示例示出在机顶盒(STB)中嵌入显示控制设备10A的情况，但是显示控制设备10A可以被嵌入在显示设备20中或可以被嵌入在成像设备30中。而且，显示控制设备10A可以被嵌入在另一个设备中，或者可以不被嵌入在另一个设备中并且可以作为单个设备存在。
接下来，将描述根据本公开的第一实施例的显示控制系统1A的配置的另一个示例。注意，这个示例对应于在将模式设置为下述的第二模式的情况下的显示控制系统1A的配置示例。
图3是示出根据本公开的第一实施例的显示控制系统1A的配置的另一个示例的图。如图3中所示，根据本公开的第一实施例的显示控制系统1A的另一个示例包括显示控制设备10A、显示设备20、成像设备30和检测设备40。显示控制设备10A具有以下述方式控制显示设备20的功能：在显示设备20上显示由成像设备30拍摄的所捕获的图像。检测设备40具有检测用户U的行为的功能。检测设备40可以是可以获取深度信息的设备，并且可以由例如红外线传感器配置。
图4是示出在根据在图3中所示的示例来配置显示控制系统1A的情况下，用于操作的虚拟物体的增加的示例的图。如图4中所示，在显示设备20上显示由成像设备30拍摄的所捕获的图像，并且向所捕获的图像加上用于操作的虚拟物体211c。在图4中所示的示例具有10个用于操作的虚拟物体211c，但是用于操作的虚拟物体211c的数量不被具体限制。而且，虽然图4作为示例示出在STB中嵌入显示控制设备10A的情况，但是显示控制设备10A可以被嵌入在显示设备20中，可以被嵌入在成像设备30中，或者可以被嵌入在检测设备40中。而且，显示控制设备10A可以被嵌入在另一个设备中，或者可以不被嵌入在另一个设备中并且可以作为单个设备存在。
在图4中，基于由用户U选择的用于操作的虚拟物体211c进展的应用的显示屏幕被显示为计算机图像220。因此，用户U可以在观看计算机图像220的同时确定要选择哪个用于操作的虚拟物体211c。虽然在图2中所示的显示设备20上未显示计算机图像220，但是在图2中所示的显示设备20也可以具有以相同方式在其上显示的计算机图像220。
迄今，已经描述了根据本公开的第一实施例的显示控制系统1A的配置的一个示例和另一个示例。接下来，将描述在如在那些示例中所示配置显示控制系统1A的情况下的显示控制设备10A的功能。
图5是示出根据第一实施例的显示控制设备10A的功能配置示例的框图。如图5中所示，显示控制设备10A连接到显示设备20、成像设备30、检测设备40和存储设备50。注意，在根据在图1中所示的示例来配置显示控制系统1A的情况下，检测设备40可以不具体存在。而且，如图5中所示，显示控制设备10A包括图像获取部分110、模式设置部分120、区域确定部分130、面积检测部分140、显示控制部分150、行为检测部分160和命令执行部分170。
显示控制设备10A对应于诸如中央处理单元(CPU)或数字信号处理器(DSP)的处理器。显示控制设备10A执行在存储设备50或另一个存储介质中存储的程序，并且由此操作显示控制设备10A的各种功能。
存储设备50使用诸如半导体存储器或硬盘的存储介质存储用于由显示控制设备10A执行的处理的程序和数据。例如，存储设备50存储用于项目识别的特征量词典。另外，存储设备50也可以存储作为项目识别的结果产生的识别结果。在图5中所示的示例中，存储设备50是与显示控制设备10A分离的设备，但是存储设备50也可以被嵌入在显示控制设备10A中。
图像获取部分110获取由成像设备30拍摄的所捕获的图像。显示控制部分150以下述方式控制显示设备20：在显示设备20上显示所捕获的图像和向所捕获的图像增加的用于操作的虚拟物体。显示控制部分150根据在成像设备30和显示设备20之间的位置关系来控制用于操作的虚拟物体的显示。利用这样的控制，可以灵活地改变用于操作的虚拟物体的显示，并且因此，可以增强用户可操作性。
在成像设备30和显示设备20之间的位置关系不被特别限制，并且例如，在图1和图3中所示的示例中，位置关系可以是在成像设备的方向i和显示设备的方向d之间的关系，并且可以是在成像设备30的位置和显示设备20的位置之间的关系。用于操作的虚拟物体的显示的控制可以是用于操作的虚拟物体的位置的控制，并且可以是用于操作的虚拟物体的透明度的控制。
例如，可以准备下面两种不同的模式：其中在所捕获的图像中的二维位置处增加用于操作的虚拟物体211a和211b的每一个的模式(以下，称为“第一模式”)；以及，其中在从所捕获的图像识别的三维空间中的位置处增加用于操作的虚拟物体211c的每一个的模式(以下，称为“第二模式”)。在准备那两个不同模式的情况下，模式设置部分120将模式设置为第一模式或第二模式的任何一个，并且显示控制部分150根据由模式设置部分120设置的模式来执行用于操作的虚拟物体的增加。
例如，图2示出下述情况的显示示例：其中，模式设置部分120将模式设置为第一模式，并且，显示控制部分150根据第一模式来向所捕获的图像加上用于操作的虚拟物体211和211b。在这个示例中，因为在所捕获的图像中的二维位置处增加用于操作的虚拟物体211a和211b，所以用户U可以选择用于操作的虚拟物体211a和211b，而不关注相对于成像设备30的深度。
另一方面，图4示出下述情况的显示示例：其中，模式设置部分120将模式设置为第二模式，并且，显示控制部分150根据第二模式来向所捕获的图像增加用于操作的虚拟物体211c。在这个示例中，因为在从所捕获的图像识别的三维空间中的位置处增加用于操作的虚拟物体211c，所以用户U可以使用相对于成像设备30的深度上的差来选择多个虚拟物体211c的任何一个。
更详细地，增加用于操作的虚拟物体211c的位置是在假设在三维空间中布置用于操作的虚拟物体211c的情况下，在所捕获的图像中所示的用于操作的虚拟物体211c的所捕获的图像中的位置。在该情况下，可以基于成像设备的方向i和成像设备30的视角，从在三维空间中的用于操作的虚拟物体211c的布置，容易地估计在所捕获的图像中所示的用于操作的虚拟物体211c的所捕获的图像中的位置。例如，在上述的应用中确定在三维空间中的用于操作的虚拟物体211c的布置。
在其中使用在成像设备的方向i和显示设备的方向d之间的关系的情况下，模式设置部分120可以根据在成像设备的方向i和显示设备的方向d之间的角度将模式设置为第一模式或第二模式的任何一个。例如，成像设备的方向i和显示设备的方向d之间的角度小于预定阈值的情况下，模式设置部分120可以将模式设置为第一模式，并且在其中在成像设备的方向i和显示设备的方向d之间的角度大于预定阈值的情况下，模式设置部分120可以将模式设置为第二模式。
在此，可以预先确定预定阈值。而且，在其中成像设备的方向i和显示设备的方向d之间的角度等于预定阈值的情况下，模式可以被设置为第一模式或者可以被设置为第二模式。例如，让我们假设其中预定阈值是90度的情况。在该情况下，如图1中所示，在其中在成像设备的方向i和显示设备的方向d之间的角度小于90度的情况下，模式可以被设置为第一模式(参见图2)，并且如图3中所示，在其中在成像设备的方向i和显示设备的方向d之间的角度大于90度的情况下，模式可以被设置为第二模式(参见图4)。
以这种方式，可以基于在在成像设备的方向i和显示设备的方向d之间的角度和预定阈值之间的关系来将第一模式和第二模式在其间转换。在在成像设备的方向i和显示设备的方向d之间的角度大于预定阈值的情况下(例如，在从用户U的斜后执行成像的情况下)，与其中在成像设备的方向i和显示设备的方向d之间的角度小于预定阈值的情况作比较(例如，与其中从正面将用户U成像的情况作比较)，用户U更容易从屏幕区分相对于成像设备30具有不同深度的多个用于操作的虚拟物体。
而且，可以以任何方式来获取成像设备的方向i和显示设备的方向d的每一个。例如，用户U可以输入成像设备的方向i和显示设备的方向d的每一个。替代地，模式设置部分120可以使用用户的方向u来作为显示设备的方向d。例如，模式设置部分120可以将与用户的方向u相反的方向设置为显示设备的方向d。可以从由成像设备30拍摄的所捕获的图像识别用户的方向u，或者可以从由检测设备40检测的数据识别用户的方向u。而且，用户的方向u可以是用户U的脸部的方向，或者可以是用户U的躯干的方向。
在确定要设置第一模式和第二模式的哪个中，可以进一步考虑除了在成像设备的方向i和显示设备的方向d之间的角度之外的条件。例如，在模式被设置为第一模式的情况下，当在用户的方向u和成像设备的方向i之间的角度大于预定上限时，模式设置部分120可以将模式设置为第二模式。而且，在将模式设置为第二模式的情况下，当在用户的方向u和成像设备的方向i之间的角度小于预定下限时，模式设置部分120可以将模式设置为第一模式。
在此，可以预先确定预定上限和预定下限。例如，在用户U面向安装显示设备20的方向的情况下，可以基于在成像设备的方向i和显示设备的方向d之间的角度来执行模式的设置，并且也假定，用户U可以不面向安装显示设备20的方向。因此，通过进一步考虑该条件，可以执行更精确地反映用户的方向u的模式的设置。
而且，在使得用户U选择用于操作的虚拟物体中，可以显示用户U要出现的位置。例如，区域确定部分130可以根据在成像设备30和显示设备20之间的位置关系，来确定其中用于操作的虚拟物体的选择有可能的区域。在该情况下，显示控制部分150可以向由区域确定部分130确定的区域增加用于显示的虚拟物体80，其指示该区域表示其中用于操作的虚拟物体的选择有可能的区域。通过增加用于显示的虚拟物体80，用户U可以使用由用于显示的虚拟物体80指示的位置掌握用户U要出现的位置。
例如，区域确定部分130可以基于在成像设备的方向i上从成像设备30的位置延伸的线与在显示设备的方向d上从显示设备20的位置延伸的线的交点，来确定其中可以选择用于操作的虚拟物体的区域。例如，区域确定部分130也可以将由具有作为参考的交点的圆圈围绕的区域或由具有作为参考的交点的矩形围绕的区域确定为其中可以选择用于操作的虚拟物体的区域。
而且，可以考虑到用户U的状态而显示用于操作的虚拟物体。作为一个极端示例，可以给出其中用户U在用户U在站立的同时执行操作情况，并且可以假设其中用户U坐着的同时执行操作的情况。因此，面积检测部分140可以检测用户U的可移动面积70，并且显示控制部分150可以进一步基于被面积检测部分140检测的用户U的可移动面积70，来控制用于操作的虚拟物体的位置。
用户U的可移动面积70表示在其中用户U可以移动他的/她的身体的三维空间中的面积，并且可以被面积检测部分140基于由检测设备40检测的数据而检测。身体是用户U的整个身体或一部分，并且，用户U的手可以作为其示例被给出，但是也可以是用户U的身体的另一个部分或是由身体移动的任何物体。
更详细地，显示控制部分150可以以用于操作的虚拟物体在用户U的可移动面积70内的方式，来控制用于操作的虚拟物体的位置。利用这样的控制，因为考虑到用户U的状态而显示用于操作的虚拟物体，所以预期进一步增强可操作性。可以在用户U指定定时执行用户U的可移动面积70的检测，或者可以在显示用于操作的虚拟物体的时间处执行用户U的可移动面积70的检测。在其中执行用户U的可移动面积70的检测的情况下，可以在显示设备20上显示下面的消息：“在你可以舒适地达到的区域内伸展和移动你的手”。
行为检测部分160检测用户U的行为。在例如模式设置部分120将模式设置为第一模式的情况下，行为检测部分160基于由成像设备30拍摄的所捕获的图像来检测用户U的行为。而且，在例如其中模式设置部分120将模式设置为第二模式的情况下，行为检测部分160基于由检测设备40检测的数据来检测用户U的行为。
例如，在将模式设置为第一模式的情况下，因为在所捕获的图像中的二维位置处增加用于操作的虚拟物体，所以可以将在所捕获的图像上的用户U的身体的二维位置检测为用户U的行为。而且，例如，在其中将模式设置为第二模式的情况下，因为在从所捕获的图像识别的三维空间中的位置处增加用于操作的虚拟物体，所以可以将在三维空间中的用户U的身体的位置检测为用户U的行为。
更详细地，在将模式设置为第一模式的情况下，行为检测部分160可以当在用于操作的虚拟物体的所捕获的图像中的二维位置和用户U的身体彼此对应的时，检测用于选择用于操作的虚拟物体的用户行为。而且，在将模式设置为第二模式的情况下，行为检测部分160可以当在用于操作的虚拟物体的三维空间中的位置和用户U的身体彼此对应时，检测用于选择用于操作的虚拟物体的用户行为。
命令执行部分170在其中行为检测部分160检测到用于选择用于操作的虚拟物体的用户行为的情况下，执行与用于操作的虚拟物体对应的命令。例如，在图2中所示的示例中，在检测到用于选择用于操作的虚拟物体211a的用户行为的情况下，命令执行部分170执行用于开始由应用提供的服务的命令，并且在其中检测到用于选择用于操作的虚拟物体211b的用户行为的情况下，命令执行部分170执行用于结束由应用提供的服务的命令。
而且，在图4中所示的示例中，在其中检测到用于选择用于操作的虚拟物体211c的用户行为的情况下，命令执行部分170执行由应用提供的服务中的各种类型的命令。要被执行的命令可以对于全部的用于操作的虚拟物体211c彼此不同，或者该命令可以对于用于操作的虚拟物体211c的一些彼此相同。
以上，已经描述了显示控制设备10A的功能。注意，在根据本公开的第一实施例的显示控制系统1A的另一个示例(在图3和图4中所示的示例)中，在要被成像设备30成像的区域中不包括显示设备20。然而，也考虑其中在该成像区域中包括显示设备20的情况。在下面，将描述其中在该成像区域中包括显示设备20的情况。
图6是示出根据第一实施例的显示控制系统1A的配置的另一个示例的图。如图6中所示，根据本公开的第一实施例的显示控制系统1A的另一个示例包括显示控制设备10A、显示设备20、成像设备30和检测设备40。而且，在图6中所示的显示控制系统1A的配置的另一个示例中，在要被成像设备30成像的区域包括显示设备20。
如上所述，第一模式和第二模式可以基于在在成像设备的方向i和显示设备的方向d之间的角度和预定阈值之间的关系来在其间转换。如图6中所示，在其中在由成像设备30拍摄的所捕获的图像中示出显示设备20的情况下，模式设置部分120可以使用从所捕获的图像识别的显示设备20的角度，来作为在成像设备的方向i和显示设备的方向d之间的角度。
例如，在其中识别由显示设备20显示的屏幕的高度的情况下，可以通过屏幕的高度来识别显示设备20的角度，并且在其中识别显示设备20本身的高度的情况下，可以通过显示设备20本身的高度来识别显示设备20的角度。例如，在其中在所捕获的图像中的情况下，在成像设备的方向i和显示设备的方向d之间的角度是180度，并且在其中显示设备20以其向前的后表面示出在所捕获的图像中的情况下，在成像设备的方向i和显示设备的方向d之间的角度是0度。
注意，在其中模式被设置为第二模式的情况下，在从所捕获的图像识别的三维空间中增加用于操作的虚拟物体。然而，在其中在比显示设备20的位置更深的位置处增加用于操作的虚拟物体的情况下，变得需要用户U在显示设备20后伸展他的/她的手，以便选择用于操作的虚拟物体，这迫使用户U执行不自然的移动。因此，在模式设置部分120将模式设置为第二模式的情况下，显示控制部分150可以将用于操作的虚拟物体的增加限制在比在所捕获的图像中所示的显示设备20的位置更深的位置处。
例如，在其中模式设置部分120将模式设置为第二模式的情况下，显示控制部分150可以禁止在比在所捕获的图像中所示的显示设备20的位置更深的位置处增加用于操作的虚拟物体。在图6中所示的示例中，在显示设备20后的区域被示出为虚拟物体增加禁止区域90。例如，在模式设置部分120将模式设置为第二模式的情况下，显示控制部分150可以禁止在比在所捕获的图像中所示的显示设备20的位置更深的位置处增加用于操作的虚拟物体，并且可以在所捕获的图像中所示的显示设备20的位置之前的位置增加用于操作的虚拟物体。
图7是示出在其中根据在图6中所示的示例来配置显示控制系统1A的情况下，用于操作的虚拟物体的增加的示例的图。如图7中所示，也在成像区域中包括显示设备20的情况下，在显示设备20上显示由成像设备30拍摄的所捕获的图像Img，并且，向所捕获的图像Img增加用于操作的虚拟物体211c。然而，因为在所捕获的图像Img中包括显示设备20并且也在显示设备20上显示所捕获的图像Img，所以接连地显示多个所捕获的图像Img。
图8是示出在其中根据在图6中的示例来配置显示控制系统1A的情况下，用于操作的虚拟物体的增加的另一个示例的图。为了避免如上所述的接连显示，当模式设置部分120将模式设置为第二模式时，显示控制部分150可以将在所捕获的图像Img中示出的由显示设备20显示的图像替换为另一个图像。该另一个图像不被特别限制，并且如图8中所示，例如，显示控制部分150可以将在所捕获的图像Img中示出的由显示设备20显示的图像替换为计算机图像220。
以上，已经描述了其中在由成像设备30要成像的区域中包括显示设备20的情况。然而，因为在上面的说明中执行用于操作的虚拟物体的增加而未具体考虑用户U的身体的位置，所以也考虑其中用户U的身体被用于操作的虚拟物体隐藏的情况。以下，将进行关于避免这样的情况并且进一步增强用户可操作性的示例的描述。
图9是示出其中改变用于操作的虚拟物体的显示的示例的图。例如，在其中模式设置部分120将模式设置为第二模式的情况下，当在所捕获的图像中用于操作的虚拟物体与用户U重叠时，显示控制部分150可以使得改变用于操作的虚拟物体的显示。可以基于在用于操作的虚拟物体211c内的预定区域与用户U的重叠，或可以基于超过用于操作的虚拟物体211c的预定量的部分与用户U重叠，来确定用于操作的虚拟物体211c与用户U的重叠。
在图9中所示的示例中，因为在所捕获的图像中用于操作的虚拟物体211c与用户U重叠，所以显示控制部分150向所捕获的图像增加具有减小的透射率的用于操作的虚拟物体211c，并且因此使得用于操作的虚拟物体211c的显示改变。透射率的减小程度不被特别限制。利用这样的控制，用户U变得更容易掌握用户U他/她本身的身体的位置。
图10是示出其中改变用于操作的虚拟物体的显示的另一个示例的图。在图10中所示的示例中，因为在所捕获的图像中用于操作的虚拟物体211c与用户U重叠，所以显示控制部分150在不与用户U重叠的位置处增加用于操作的虚拟物体211c，并且因此使得用于操作的虚拟物体211c的显示改变。具体地说，在图10中所示的示例中，以虚拟物体211c接近显示设备20的方式来移动用于操作的虚拟物体211c。使用这样的控制，用户U变得更容易掌握用户U他/她本身的身体的位置。
图11是示出其中改变用于操作的虚拟物体的显示的另一个示例的图。在图11中所示的示例中，因为在所捕获的图像中用于操作的虚拟物体211c与用户U重叠，所以显示控制部分150在不与用户U重叠的位置处增加用于操作的虚拟物体211c，并且因此使得用于操作的虚拟物体211c的显示改变。具体地说，在图11中所示的示例中，改变用于操作的虚拟物体211c的高度。利用这样的控制，用户U变得更容易掌握用户U他/她本身的身体的位置。
以上，已经进行关于用于避免其中用户U的身体被用于操作的虚拟物体隐藏的情况的示例的描述。以下，将描述根据第一实施例的由显示控制设备10A执行的操作的流程。
图12是示出根据第一实施例的由显示控制设备10A执行的操作的流程的流程图。如图12中所示，首先，图像获取部分110获取由成像设备30拍摄的所捕获的图像(步骤S11)。在其中在成像设备的方向i和显示设备的方向d之间的角度小于阈值的情况下(在步骤S12中的“是”)，模式设置部分120将模式设置为第一模式。另一方面，在其中在成像设备的方向i和显示设备的方向d之间的角度大于阈值的情况下(在步骤S12中的“否”)，模式设置部分120将模式设置为第二模式。
在模式设置部分120将模式设置为第一模式的情况下，显示控制部分150在所捕获的图像中的二维位置处增加用于操作的虚拟物体(步骤S13)。另一方面，在模式设置部分120将模式设置为第二模式的情况下，显示控制部分150在从所捕获的图像识别的三维空间中的位置处增加用于操作的虚拟物体(步骤S14)。
当向所捕获的图像增加用于操作的虚拟物体时，显示控制部分150以下述方式控制显示设备20：在显示设备20上显示被增加用于操作的虚拟物体的所捕获的图像(步骤S15)。当显示设备20根据由显示控制部分150执行的控制来显示被增加用于操作的虚拟物体的所捕获的图像时，处理进行到步骤S16。
接下来，行为检测部分160确定是否检测到用于选择用于操作的虚拟物体的位置的用户行为(步骤S16)。在其中未检测到用于选择用于操作的虚拟物体的位置的用户行为的情况下(在步骤S16中的“否”)，行为检测部分160执行步骤S16的确定，直到检测到用于选择用于操作的虚拟物体的位置的用户行为。另一方面，在其中通过行为检测部分160检测到用于选择用于操作的虚拟物体的位置的用户行为的情况下(在步骤S16中的“是”)，命令执行部分170执行与用于操作的虚拟物体对应的命令(步骤S17)，并且结束该操作。
如上所述，根据本公开的第一实施例，根据成像设备30和显示设备20之间的位置关系来控制用于操作的虚拟物体的显示。例如，根据在成像设备的方向i和显示设备的方向d之间的角度来将模式设置为第一模式或第二模式的任何一个，并且根据已经被设置的模式来控制用于操作的虚拟物体的显示。利用这样的控制，预期将增强用户可操作性。
<2.第二实施例>
接下来，将描述本公开的第二实施例。本公开的第二实施例是其中显示控制系统包括多个成像设备30的示例。因此，多个成像设备30的任何一个被选择为作为所捕获的图像的提供源的成像设备30。而且，可以根据成像设备30的选择来改变模式。首先，将描述根据本公开的第二实施例的显示控制系统的配置的示例。
图13是示出根据第二实施例的显示控制系统的配置的示例的图。如图13中所示，根据本公开的第二实施例的显示控制系统1B包括显示控制设备10B、显示设备20、多个成像设备30和检测设备40。多个成像设备30具有将用户U成像的功能。显示控制设备10B具有以下述方式控制显示设备20的功能：在显示设备20上显示从多个成像设备30选择的成像设备30拍摄的所捕获的图像。显示设备20具有根据由显示控制设备10B执行的控制来显示所捕获的图像的功能。
注意，虽然图13示出作为多个成像设备30的示例的成像设备30A和成像设备30B，但是成像设备30的数量不限于2。而且，在图13中，成像设备30A的方向和成像设备30B的方向分别由成像设备的方向i1和成像设备的方向i2表示。以与在第一实施例中相同的方式，显示控制设备10B可以被嵌入在STB中，可以被嵌入在显示设备20中，或者可以被嵌入在成像设备30中。而且，显示控制设备10B可以被嵌入在另一个设备中，或者可以不被嵌入在另一个设备中并可以作为单个设备存在。
以上，已经描述了根据本公开的第二实施例的显示控制系统1B的配置的示例。接下来，将描述在其中如在该示例中所示配置显示控制系统1B的情况下的显示控制设备10B的功能。
图14是示出根据第二实施例的显示控制设备10B的功能配置示例的框图。如图14中所示，显示控制设备10B连接到显示设备20、多个成像设备30、检测设备40和存储设备50。显示控制设备10B对应于诸如CPU或DSP的处理器。显示控制设备10B执行在存储设备50或另一个存储介质中存储的程序，并且由此操作显示控制设备10B的各种功能。
而且，如图14中所示，显示控制设备10B除了在显示控制设备10A中包括的功能块之外还包括选择部分180。选择部分180具有下述功能：在安装多个成像设备30的情况下，从多个成像设备30选择一个成像设备30。图像获取部分110获取由选择部分180选择的成像设备30拍摄的所捕获的图像。
由选择部分180执行的选择多个成像设备30的技术不被特别限制。例如，选择部分180可以基于由行为检测部分160检测的用户U的状态来选择成像设备30。作为示例，给出了下面的情况：在通过行为检测部分160检测用于指定成像设备30的用户行为的情况下，选择部分180可以选择由用户行为指定的成像设备30。用于指定成像设备30的用户行为不被特别限制，并且该用户行为可以在显示用于指定成像设备30的虚拟物体的情况下是例如选择虚拟物体的行为。
而且，作为另一示例，给出了下面的情况：选择部分180可以基于在用户的方向u和多个成像设备30的各自方向之间的角度来选择成像设备30。例如，选择部分180可以选择具有与用户的方向u形成最大角度的方向的成像设备30。这是因为预期随着在用户的方向u和成像设备的方向i之间的角度上的增大，更容易执行由用户U进行的操作。
在图13中所示的示例中，因为在用户的方向u和成像设备的方向i2之间的角度大于在用户的方向u和成像设备的方向i1之间的角度，所以选择部分180可以选择成像设备30B。注意，也考虑其中由用户U进行的操作随着在该角度上的减小而变得更容易的情况。因此，根据由用户U执行的设置，可以选择成像设备30，其具有形成在用户的方向u和成像设备的方向i之间形成最小角度的方向。
以上，已经描述了根据本公开的第二实施例的显示控制系统1B的功能。接下来，将描述由第二实施例的显示控制设备10B执行的操作的流程。在该操作中，向根据第一实施例的显示控制设备10A的操作增加从多个成像设备30选择一个成像设备30的操作。
图15是示出根据第二实施例的由显示控制设备10B执行的操作的流程的流程图。如图15中所示，首先，选择部分180从多个成像设备30选择一个成像设备30(步骤S21)。图像获取部分110获取由选择的成像设备30拍摄的所捕获的图像(步骤S22)。在其中在成像设备的方向i和显示设备的方向d之间的角度小于阈值的情况下(在步骤S23中的“是”)，模式设置部分120将模式设置为第一模式。另一方面，在其中在成像设备的方向i和显示设备的方向d之间的角度大于阈值的情况下(在步骤S23中的“否”)，模式设置部分120将模式设置为第二模式。
在其中模式设置部分120将模式设置为第一模式的情况下，显示控制部分150在所捕获的图像中的二维位置处增加用于操作的虚拟物体(步骤S24)。另一方面，在模式设置部分120将模式设置为第二模式的情况下，显示控制部分150在从所捕获的图像识别的三维空间中的位置处增加用于操作的虚拟物体(步骤S25)。
当向所捕获的图像增加用于操作的虚拟物体时，显示控制部分150以下述方式来控制显示设备20：在显示设备20上显示被增加用于操作的虚拟物体的所捕获的图像(步骤S26)。当显示设备20根据由显示控制部分150执行的控制来显示被增加用于操作的虚拟物体的所捕获的图像时，处理进行到步骤S27。
接下来，行为检测部分160确定是否检测到用于选择用于操作的虚拟物体的位置的用户行为(步骤S27)。在未检测到用于选择用于操作的虚拟物体的位置的用户行为的情况下(在步骤S27中的“否”)，行为检测部分160执行步骤S27的确定，直到检测到用于选择用于操作的虚拟物体的位置的用户行为。另一方面，在其中行为检测部分160检测到用于选择用于操作的虚拟物体的位置的用户行为的情况下(在步骤S27中的“是”)，命令执行部分170执行与用于操作的虚拟物体对应的命令(步骤S28)，并且结束该操作。
如上所述，根据本公开的第二实施例，使用选择部分180的功能从多个成像设备30选择一个成像设备30，并且图像获取部分110获取由所选择的成像设备30拍摄的所捕获的图像。因此，根据第二实施例，预期进一步增强用户的方便性。
<3.结论>
如上所述，根据本公开的第一实施例，提供了显示控制设备10，其包括：图像获取部分110，其获取由成像设备30拍摄的所捕获的图像；以及显示控制部分150，其以在显示设备20上显示所捕获的图像和向所捕获的图像增加的用于操作的虚拟物体的方式来控制显示设备20。显示控制部分150根据在成像设备30和显示设备20之间的位置关系来控制用于操作的虚拟物体的显示。
根据这样的配置，根据在成像设备30和显示设备20之间的位置关系来控制用于操作的虚拟物体的显示。例如，模式可以根据在成像设备的方向i和显示设备的方向d之间的角度而被设置为第一模式或第二模式的任何一个，并且根据已经设置的模式来控制用于操作的虚拟物体的显示。利用这样的控制，预期将增强用户可操作性。
而且，根据本公开的第二实施例，提供了显示控制设备10B，其进一步包括选择部分180，选择部分180从多个成像设备30选择一个成像设备30。根据这样的配置，图像获取部分110获取由选择部分180选择的成像设备30拍摄的所捕获的图像。因此，预期进一步增强用户的方便性。
本领域内的技术人员应当明白，各种修改、组合、子组合和改变可以根据设计要求和其他因素出现，只要他们在所附的权利要求或其等同内容的范围内。
而且，例如，在上面，已经主要进行关于其中显示控制设备10具有识别显示设备20的功能(或者，识别由显示设备20显示的屏幕的功能)的示例的描述，但是，取代显示控制设备10服务器可以具有这样的功能。例如，在显示控制设备10向服务器发送所捕获的图像的情况下，取代显示控制设备10的服务器可以从所捕获的图像识别显示设备20。以这种方式，本公开的技术可以被应用到云计算。
而且，不必然根据流程图以时间顺序来处理在本申请的显示控制设备10的操作中包括的相应步骤。例如，可以以与流程图不同的顺序来处理或者可以以并行方式来处理在显示控制设备10的操作中包括的相应步骤。
而且，也可能建立计算机程序，该计算机程序使得在显示控制设备10中内置的诸如CPU、ROM或RAM的硬件展示与如上所述的显示控制设备10的结构的那些等同的功能。而且，也提供了其中存储了该计算机程序的存储介质。
另外，本技术也可以被配置如下。
(1)一种显示控制设备，包括显示控制部分，用于根据在像设备和显示设备之间的位置关系来控制虚拟物体的显示。
(2)根据(1)所述的显示控制设备，进一步包括模式设置部分，并且其中，所述模式设置部分将模式设置为至少第一模式和第二模式之一，在所述第一模式中，在所捕获的图像内的二维位置处增加所述虚拟物体，并且在所述第二模式中，在所捕获的图像内的三维位置处增加所述虚拟物体。
(3)根据(1)所述的显示控制设备，进一步包括模式设置部分，并且其中，基于在所述成像设备的方向和所述显示设备的方向之间的角度来设置所述模式。
(4)根据(3)所述的显示控制设备，其中，所述成像设备的所述方向和所述显示设备的所述方向由用户输入。
(5)根据(1)所述的显示控制设备，进一步包括模式设置部分，并且其中，基于在所述成像设备的方向和用户的方向之间的角度来设置所述模式。
(6)根据(1)所述的显示控制设备，进一步包括模式设置部分，并且其中，基于从所捕获的图像识别的信息设置所述模式。
(7)根据(1)至(6)的任何一项所述的显示控制设备，其中，基于用户的可移动面积来控制所述虚拟物体的显示。
(8)根据(7)所述的显示控制设备，其中，所述可移动面积是所述用户的整个身体的可移动面积。
(9)根据(7)所述的显示控制设备，其中，所述可移动面积是所述用户的所述整个身体的一部分的可移动面积。
(10)根据(1)至(9)的任何一项所述的显示控制设备，其中，基于由所述用户移动的物体的可移动面积来控制所述虚拟物体的显示。
(11)根据(1)至(10)的任何一项所述的显示控制设备，进一步包括检测部分，用于检测用户的所述虚拟物体的选择。
(12)根据(11)所述的显示控制设备，进一步包括执行部分，用于当所述用户选择所述虚拟物体时执行与所述虚拟物体对应的命令。
(13)根据(11)或(12)所述的显示控制设备，其中，通过所述用户的手势来选择所述虚拟物体。
(14)根据(13)所述的显示控制设备，其中，所述手势是所述用户的身体或身体部分的移动。
(15)根据(1)至(14)的任何一项所述的显示控制设备，其中，所述显示控制设备当在所捕获的图像内所述虚拟物体与用户重叠时改变所述虚拟物体的显示。
(16)根据(15)所述的显示控制设备，其中，所述显示控制设备当在所捕获的图像内所述虚拟物体与用户重叠时减小所述虚拟物体的透射率。
(17)根据(15)所述的显示控制设备，其中，所述显示控制设备当在所捕获的图像内所述虚拟物体与用户重叠时改变所述虚拟物体的位置。
(18)根据(1)至(17)的任何一项所述的显示控制设备，其中，所述显示控制设备设置虚拟物体增加禁止区域。
(19)根据(1)至(18)的任何一项所述的显示控制设备，其中，所述显示设备可操作用于显示所捕获的图像，并且替换所述所捕获的图像的至少一部分。
(20)根据(1)至(19)的任何一项所述的显示控制设备，进一步包括选择部分，用于控制选择多个成像设备之一，并且其中，根据所述多个成像设备的所选择的一个和所述显示设备之间的位置关系来控制所述虚拟物体的显示。
(21)根据(20)所述的显示控制设备，其中，选择所述多个成像设备之一是基于用户的状态。
(22)根据权利要求(20)或(21))所述的显示控制设备，其中，选择所述多个成像设备之一是基于在所述用户的方向和所述成像设备的各自方向之间的角度。
(23)一种显示控制方法，包括：根据成像设备和显示设备之间的位置关系来控制虚拟物体的显示。
(24)一种非瞬时算机可读介质，具有存储其上的计算机可读程序，该计算机可读程序用于实现一种显示控制方法，所述方法包括：根据成像设备和显示设备之间的位置关系来控制虚拟物体的显示。
而且，本技术也可以被配置如下。
(1)一种显示控制设备，包括：
图像获取部分，其获取由成像设备拍摄的所捕获的图像；以及
显示控制部分，其以在显示设备上显示所述所捕获的图像和增加到所述所捕获的图像的用于操作的虚拟物体的方式来控制所述显示设备，
其中，所述显示控制部分根据在所述成像设备和所述显示设备之间的位置关系来控制所述用于操作的虚拟物体的显示。
(2)根据(1)所述的显示控制设备，进一步包括：
模式设置部分，其将模式设置为第一模式或第二模式的任何一个，在所述第一模式中，在所捕获的图像内的二维位置处增加所述用于操作的虚拟物体，并且在所述第二模式中，在从所捕获的图像识别的三维空间中的位置处增加所述用于操作的虚拟物体。
(3)根据(2)所述的显示控制设备，
其中，所述模式设置部分根据在所述成像设备的方向和所述显示设备的方向之间的角度将所述模式设置为所述第一模式或所述第二模式的任何一个。
(4)根据(3)所述的显示控制设备，
其中，在其中在所述成像设备的所述向和所述显示设备的所述方向之间的所述角度小于预定阈值的情况下，所述模式设置部分将所述模式设置为所述第一模式，并且，在其中在所述成像设备的所述方向和所述显示设备的所述方向之间的所述角度大于所述预定阈值的情况下，所述模式设置部分将所述模式设置为所述第二模式。
(5)根据(2)至(4)的任何一项所述的显示控制设备，
其中，
在其中所述模式被设置为所述第一模式的情况下，当在所述用户的方向和所述成像设备的所述方向之间的角度大于预定上限时，所述模式设置部分将所述模式设置为所述第二模式，并且
在其中所述模式被设置为所述第二模式的情况下，当在所述用户的方向和所述成像设备的所述方向之间的角度小于预定下限时，所述模式设置部分将所述模式设置为所述第一模式。
(6)根据(1)至(5)的任何一项所述的显示控制设备，进一步包括：
行为检测部分，其检测用户行为；以及
命令执行部分，其在其中由所述行为检测部分检测到用于选择所述用于操作的虚拟物体的用户行为的情况下，执行与所述虚拟物体对应的命令。
(7)根据(6)所述的显示控制设备，
其中，所述行为检测部分基于由与所述成像设备分离地安装的检测设备检测的数据来检测所述用户行为。
(8)根据(3)至(5)的任何一项所述的显示控制设备，
其中，所述模式设置部分使用从所述所捕获的图像识别的所述显示设备的角度，作为在所述成像设备的所述方向和所述显示设备的所述方向之间的所述角度。
(9)根据(3)至(5)的任何一项所述的显示控制设备，
其中，所述模式设置部分使用用户的方向作为所述显示设备的所述方向。
(10)根据(2)至(5)的任何一项所述的显示控制设备，
其中，在其中所述模式被所述模式设置部分设置为所述第二模式的情况下，当在所述所捕获的图像中所述用于操作的虚拟物体与用户重叠时，所述显示控制部分使得所述用于操作的虚拟物体的所述显示改变。
(11)根据(10)所述的显示控制设备，
其中，所述显示控制部分向所述所捕获的图像增加具有减小的透射率的用于操作的虚拟物体，并且使得所述用于操作的虚拟物体的所述显示改变。
(12)根据(10)所述的显示控制设备，
其中，所述显示控制部分在不引起重叠的位置处增加所述用于操作的虚拟物体，并且使得所述用于操作的虚拟物体的所述显示改变。
(13)根据(2)至(5)的任何一项所述的显示控制设备，
其中，在其中所述模式设置部分将所述模式设置为所述第二模式的情况下，所述显示控制部分限制在比在所述所捕获的图像中所示的所述显示设备的位置更深的位置处增加所述用于操作的虚拟物体。
(14)根据(2)至(5)的任何一项所述的显示控制设备，
其中，在其中所述模式设置部分将所述模式设置为所述第二模式的情况下，所述显示控制部分将在所捕获的图像中所示的由所述显示设备显示的图像替换为另一个图像。
(15)根据(1)至(14)的任何一项所述的显示控制设备，进一步包括：
区域确定部分，其根据在所述成像设备和所述显示设备之间的所述位置关系，来确定其中所述虚拟物体的选择有可能的区域，
其中，所述显示控制部分向由所述区域确定部分确定的所述区域增加用于显示的虚拟物体，所述用于显示的虚拟物体指示所述区域表示其中所述用于操作的虚拟物体的选择有可能的区域。
(16)根据(1)至(15)的任何一项所述的显示控制设备，进一步包括：
面积检测部分，其检测用户的可移动面积，
其中，所述显示控制部分进一步基于由所述面积检测部分检测的所述用户的所述可移动面积，来控制所述用于操作的虚拟物体的位置。
(17)根据(1)至(16)的任何一项所述的显示控制设备，进一步包括：
选择部分，其在安装多个成像设备的情况下从所述多个成像设备选择一个成像设备，
其中，所述图像获取部分获取由所述选择部分选择的所述成像设备拍摄的所捕获的图像。
(18)根据权利要求(17)所述的显示控制设备，
其中，所述选择部分基于用户的状态来选择成像设备。
(19)一种显示控制方法，包括：
获取由成像设备拍摄的所捕获的图像；
以在显示设备上显示所述所捕获的图像和向所述所捕获的图像增加的用于操作的虚拟物体的方式，来控制所述显示设备；并且
根据所述成像设备和所述显示设备之间的位置关系，来控制所述用于操作的虚拟物体的显示。
(20)一种程序，用于使得计算机作为显示控制设备，所述显示控制设备包括：
图像获取部分，其获取由成像设备拍摄的所捕获的图像；以及
显示控制部分，其以在显示设备上显示所述所捕获的图像和增加到所述所捕获的图像的用于操作的虚拟物体的方式，来控制所述显示设备，
其中，所述显示控制部分根据在所述成像设备和所述显示设备之间的位置关系，来控制所述用于操作的虚拟物体的显示。
[附图标记列表]
1(1A，1B) 显示控制系统
10(10A，10B) 显示控制设备
20 显示设备
30(30A，30B) 成像设备
40 检测设备
70 可移动面积
80 用于显示的虚拟物体
90 虚拟物体增加禁止区域
110 图像获取部分
120 模式设置部分
130 区域确定部分
140 面积检测部分
150 显示控制部分
160 行为检测部分
170 命令执行部分
180 选择部分
211a,211b,211c用于操作的虚拟物体

Claims (24)

1.一种显示控制设备，包括显示控制部分，用于根据成像设备和显示设备之间的位置关系来控制虚拟物体的显示。
2.根据权利要求1所述的显示控制设备，进一步包括模式设置部分，并且其中，所述模式设置部分将模式设置为至少第一模式和第二模式之一，在所述第一模式中，在所捕获的图像内的二维位置处增加所述虚拟物体，并且在所述第二模式中，在所捕获的图像内的三维位置处增加所述虚拟物体。
3.根据权利要求1所述的显示控制设备，进一步包括模式设置部分，并且其中，基于在所述成像设备的方向和所述显示设备的方向之间的角度来设置所述模式。
4.根据权利要求3所述的显示控制设备，其中，所述成像设备的所述方向和所述显示设备的所述方向由用户输入。
5.根据权利要求1所述的显示控制设备，进一步包括模式设置部分，并且其中，基于在所述成像设备的方向和用户的方向之间的角度来设置所述模式。
6.根据权利要求1所述的显示控制设备，进一步包括模式设置部分，并且其中，基于从所捕获的图像识别的信息设置所述模式。
7.根据权利要求1所述的显示控制设备，其中，基于用户的可移动面积来控制所述虚拟物体的显示。
8.根据权利要求7所述的显示控制设备，其中，所述可移动面积是所述用户的整个身体的可移动面积。
9.根据权利要求7所述的显示控制设备，其中，所述可移动面积是所述用户的所述整个身体的一部分的可移动面积。
10.根据权利要求1所述的显示控制设备，其中，基于由所述用户移动的物体的可移动面积来控制所述虚拟物体的显示。
11.根据权利要求1所述的显示控制设备，进一步包括检测部分，用于检测用户的所述虚拟物体的选择。
12.根据权利要求11所述的显示控制设备，进一步包括执行部分，用于当所述用户选择所述虚拟物体时执行与所述虚拟物体对应的命令。
13.根据权利要求12所述的显示控制设备，其中，通过所述用户的手势来选择所述虚拟物体。
14.根据权利要求13所述的显示控制设备，其中，所述手势是所述用户的身体或身体部分的移动。
15.根据权利要求1所述的显示控制设备，其中，所述显示控制设备当在所捕获的图像内所述虚拟物体与用户重叠时改变所述虚拟物体的显示。
16.根据权利要求15所述的显示控制设备，其中，所述显示控制设备当在所捕获的图像内所述虚拟物体与用户重叠时减小所述虚拟物体的透射率。
17.根据权利要求15所述的显示控制设备，其中，所述显示控制设备当在所捕获的图像内所述虚拟物体与用户重叠时改变所述虚拟物体的位置。
18.根据权利要求1所述的显示控制设备，其中，所述显示控制设备设置虚拟物体增加禁止区域。
19.根据权利要求1所述的显示控制设备，其中，所述显示设备可操作用于显示所捕获的图像，并且替换所述所捕获的图像的至少一部分。
20.根据权利要求1所述的显示控制设备，进一步包括选择部分，用于控制选择多个成像设备之一，并且其中，根据所述多个成像设备的所选择的一个和所述显示设备之间的位置关系来控制所述虚拟物体的显示。
21.根据权利要求20所述的显示控制设备，其中，选择所述多个成像设备之一是基于用户的状态。
22.根据权利要求21所述的显示控制设备，其中，选择所述多个成像设备之一是基于在所述用户的方向和所述成像设备的各自方向之间的角度。
23.一种显示控制方法，包括：根据成像设备和显示设备之间的位置关系来控制虚拟物体的显示。
24.一种非瞬时计算机可读介质，具有存储其上的计算机可读程序，该计算机可读程序用于实现一种显示控制方法，所述方法包括：根据成像设备和显示设备之间的位置关系来控制虚拟物体的显示。
CN201380015173.4A 2012-03-27 2013-03-06 显示控制设备、显示控制方法和程序 Pending CN104185829A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012071332A JP5880199B2 (ja) 2012-03-27 2012-03-27 表示制御装置、表示制御方法およびプログラム
JP2012-071332 2012-03-27
PCT/JP2013/001398 WO2013145572A1 (en) 2012-03-27 2013-03-06 Display control device, display control method, and program

Publications (1)

Publication Number Publication Date
CN104185829A true CN104185829A (zh) 2014-12-03

Family

ID=48014233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380015173.4A Pending CN104185829A (zh) 2012-03-27 2013-03-06 显示控制设备、显示控制方法和程序

Country Status (8)

Country Link
US (1) US20150077331A1 (zh)
EP (1) EP2831701B1 (zh)
JP (1) JP5880199B2 (zh)
KR (1) KR20150009955A (zh)
CN (1) CN104185829A (zh)
BR (1) BR112014023250A8 (zh)
IN (1) IN2014DN07836A (zh)
WO (1) WO2013145572A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107924272A (zh) * 2015-09-08 2018-04-17 索尼公司 信息处理装置、信息处理方法和程序
CN109348270A (zh) * 2013-10-18 2019-02-15 真实眼私人有限公司 收集计算机用户行为数据的方法
US11501459B2 (en) 2017-12-27 2022-11-15 Sony Corporation Information processing apparatus, method of information processing, and information processing system

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6708218B2 (ja) 2015-12-16 2020-06-10 日本電気株式会社 情報処理装置、侵入検知方法及びコンピュータプログラム
KR101991794B1 (ko) * 2016-12-06 2019-06-25 한국과학기술연구원 공간적 관계 정보를 이용하여 겹쳐 있는 가상 객체를 선택하기 위한 방법, 프로그램 및 장치
CN113694531B (zh) * 2020-05-21 2024-01-19 抖音视界有限公司 游戏特效的生成方法、装置、电子设备及计算机可读介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050287871A1 (en) * 2004-06-25 2005-12-29 Matsushita Electric Industrial Co., Ltd. Device, method, and program for computer aided design of flexible substrates
JP4005061B2 (ja) 2004-06-30 2007-11-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、プログラム、および、情報処理装置におけるオブジェクト制御方法
JP4177381B2 (ja) * 2006-03-01 2008-11-05 株式会社スクウェア・エニックス 画像生成方法、画像生成装置、および画像生成プログラム
JP5232478B2 (ja) * 2008-01-09 2013-07-10 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法
JP2009265709A (ja) * 2008-04-22 2009-11-12 Hitachi Ltd 入力装置
US20110113383A1 (en) * 2008-07-14 2011-05-12 Denis Dyack Apparatus and Methods of Computer-Simulated Three-Dimensional Interactive Environments
JP2010122879A (ja) * 2008-11-19 2010-06-03 Sony Ericsson Mobile Communications Ab 端末装置、表示制御方法および表示制御プログラム
JP2011035592A (ja) * 2009-07-31 2011-02-17 Nintendo Co Ltd 表示制御プログラムおよび情報処理システム
JP5114795B2 (ja) * 2010-01-29 2013-01-09 島根県 画像認識装置および操作判定方法並びにプログラム
JP4783465B1 (ja) * 2010-03-26 2011-09-28 富士フイルム株式会社 撮像装置及び表示装置
US8602887B2 (en) * 2010-06-03 2013-12-10 Microsoft Corporation Synthesis of information from multiple audiovisual sources
NL1038375C2 (nl) * 2010-11-11 2011-11-09 Embedded Games Holding B V Werkwijze en interactieve bewegingsinrichting voor het over een parcours verplaatsen van een avatar.
US8873841B2 (en) * 2011-04-21 2014-10-28 Nokia Corporation Methods and apparatuses for facilitating gesture recognition

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109348270A (zh) * 2013-10-18 2019-02-15 真实眼私人有限公司 收集计算机用户行为数据的方法
US11259092B2 (en) 2013-10-18 2022-02-22 Realeyes Oü Method of quality analysis for computer user behavourial data collection processes
CN107924272A (zh) * 2015-09-08 2018-04-17 索尼公司 信息处理装置、信息处理方法和程序
CN107924272B (zh) * 2015-09-08 2021-09-03 索尼公司 信息处理装置、信息处理方法和程序
US11501459B2 (en) 2017-12-27 2022-11-15 Sony Corporation Information processing apparatus, method of information processing, and information processing system

Also Published As

Publication number Publication date
EP2831701A1 (en) 2015-02-04
JP5880199B2 (ja) 2016-03-08
EP2831701B1 (en) 2017-06-14
WO2013145572A1 (en) 2013-10-03
KR20150009955A (ko) 2015-01-27
BR112014023250A8 (pt) 2017-07-25
BR112014023250A2 (zh) 2017-06-20
JP2013205896A (ja) 2013-10-07
IN2014DN07836A (zh) 2015-04-24
US20150077331A1 (en) 2015-03-19

Similar Documents

Publication Publication Date Title
KR102664705B1 (ko) 복수의 카메라들을 이용하여 이미지의 배율을 변경하기 위한 전자 장치 및 방법
JP6551502B2 (ja) ヘッドマウントディスプレイ、情報処理方法、及びプログラム
US9269331B2 (en) Information processing apparatus which cooperates with other apparatus, and information processing system in which a plurality of information processing apparatuses cooperates
US10082879B2 (en) Head mounted display device and control method
US9753567B2 (en) Electronic medium display device that performs page turning in response to user operation pressing screen, page turning method, and program
JP5990011B2 (ja) 情報処理装置及びその制御方法
CN104185829A (zh) 显示控制设备、显示控制方法和程序
KR20130102491A (ko) 정보 처리 장치, 그 제어 방법, 및 저장 매체
KR20140136442A (ko) 광 폴오프에 기초한 깊이 이미지의 생성 기법
JP2016115231A (ja) オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法
WO2017029749A1 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP2016224686A5 (zh)
KR102561274B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
KR20150094967A (ko) 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
US20160026244A1 (en) Gui device
JP2013205896A5 (zh)
JP5618554B2 (ja) 情報入力装置、情報入力方法及びプログラム
CN107066144B (zh) 信息处理设备和信息处理方法
JP5558899B2 (ja) 情報処理装置、その処理方法及びプログラム
JP6034281B2 (ja) オブジェクト選択方法、装置及びコンピュータ・プログラム
US10318047B2 (en) User interface for electronic device, input processing method, and electronic device
US10963137B2 (en) Information display apparatus and non-transitory recording medium storing program for controlling information display apparatus
US20140189582A1 (en) Display control device, display control method, and program
JP6768426B2 (ja) 表示制御装置、その制御方法、およびプログラム、並びに記憶媒体
US20150042621A1 (en) Method and apparatus for controlling 3d object

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141203