CN104756065B - 信息处理装置、信息处理方法以及计算机可读记录介质 - Google Patents

信息处理装置、信息处理方法以及计算机可读记录介质 Download PDF

Info

Publication number
CN104756065B
CN104756065B CN201380057285.6A CN201380057285A CN104756065B CN 104756065 B CN104756065 B CN 104756065B CN 201380057285 A CN201380057285 A CN 201380057285A CN 104756065 B CN104756065 B CN 104756065B
Authority
CN
China
Prior art keywords
information
working space
information terminal
extension
extension working
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380057285.6A
Other languages
English (en)
Other versions
CN104756065A (zh
Inventor
繁田修
笠原俊
笠原俊一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104756065A publication Critical patent/CN104756065A/zh
Application granted granted Critical
Publication of CN104756065B publication Critical patent/CN104756065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1059—End-user terminal functionalities specially adapted for real-time communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开内容的目的是使得能够用简单直观的方法在其中融合了真实世界和数字信息的扩展工作空间中处理数字信息。根据本公开内容的信息处理装置控制在其中能够操作真实对象和虚拟对象的扩展工作空间中显示的虚拟对象的显示。信息处理装置设置有：操作决定单元，其基于与扩展工作空间中的输入相关的信息的分析结果来确定要对扩展工作空间中显示的虚拟对象进行的操作处理，所述与输入相关的信息是基于在扩展工作空间中检测到的信息终端的位置信息和用于改变虚拟对象的显示的显示控制触发信息来分析的；以及显示控制单元，其基于所确定的操作处理进行虚拟对象的显示控制处理。

Description

信息处理装置、信息处理方法以及计算机可读记录介质
技术领域
本公开内容涉及信息处理装置、信息处理方法以及计算机可读记录介质。
背景技术
关于实际可触摸的真实对象的动作(例如在纸上用笔写字、在厨房中切割烹饪原料以及玩纸牌游戏)无法与使用数字信息(例如关于个人电脑或智能手机的数字信息)的动作在同一空间内进行。然而，预计在未来，使用例如投影仪将数字信息叠加在真实世界，以使得能够在集成了真实世界和数字信息世界的空间内工作。一些示例有：在纸上写公式来自动生成图形，以及对烹饪原料上的切割线进行投射以根据食谱适当地切割烹饪原料。用于实现这样的处理的增强现实应用(AR application)为例如在专利文献1和其他文献中公开的技术。
在真实世界呈现虚拟对象的数字信息的前述技术是例如使用投影仪、透视型头戴式显示器(HMD)、配备有相机的显示器(例如智能手机)等的技术。在下文中，集成了真实世界和数字信息的这样的工作空间被称为“扩展工作空间”。
引用列表
专利文献
专利文献1：JP 2010-238098A
发明内容
技术问题
在扩展工作空间中进行的工作是例如通过将诸如天气、新闻、时钟和相片的数字信息投射在桌子上或墙上来在扩展工作空间中处理这些数字信息。在此情况下，从智能手机、平板电脑终端和个人计算机等的主屏幕图像中选择并激活应用，并且对预期的数字信息进行投射，以使得能够在扩展工作空间中处理数字信息。然而，为了在扩展工作空间中处理预期的数字信息，人们必须每次切换到主屏幕图像并且选择应用。另一种方法是例如从智能手机激活特定的应用并且将数字信息转发到另外的设备。然而，人们必须从复杂的分级式菜单结构选择数字信息被转发到其上的设备。
因此，本公开内容提出了新型的经改进的信息处理装置、信息处理方法和计算机可读记录介质，其使得能够通过简单且直观的方法在集成了真实世界和数字信息的扩展工作空间中处理数字信息。
问题的解决方案
根据本公开内容，提供了一种信息处理装置，所述信息处理装置控制在扩展工作空间中显示的虚拟对象的显示，在扩展工作空间中，真实对象和虚拟对象是可操作的，该信息处理装置包括：操作决定单元，所述操作决定单元被配置成基于输入到扩展工作空间的输入信息的分析结果来决定在扩展工作空间中显示的虚拟对象的操作处理，所述分析基于在扩展工作空间中检测到的信息终端的位置信息和用于改变虚拟对象的显示的显示控制触发信息；以及显示控制单元，所述显示控制单元被配置成基于所决定的操作处理来执行虚拟对象的显示控制处理。
根据本公开内容，当在扩展工作空间中使用信息终端进行预定动作时，在信息处理装置与信息终端之间执行控制目标的虚拟对象的显示控制。这提供了使得用户能够通过简单且直观的方法进行操作的用户接口。
根据本公开内容，提供了一种控制在扩展工作空间中显示的虚拟对象的显示的信息处理方法，在扩展工作空间中，真实对象和虚拟对象是可操作的，该信息处理方法包括：基于输入到扩展工作空间的输入信息的分析结果来决定对在扩展工作空间中显示的虚拟对象的操作处理，所述分析基于在扩展工作空间中检测到的信息终端的位置信息和用于改变虚拟对象的显示的显示控制触发信息；以及基于所决定的操作处理来执行虚拟对象的显示控制处理。
此外，本公开内容提供了一种在其内存储有程序的计算机可读存储介质，所述程序使计算机用作上述信息处理装置。
发明的有益效果
如上所述，根据本公开内容，提供了信息处理装置、信息处理方法和计算机可读记录介质，其使得能够通过简单且直观的方法在集成了真实世界和数字信息的扩展工作空间中处理数字信息。
附图说明
图1为示出根据本公开内容的第一实施方式的扩展工作空间系统的示例性配置的说明图。
图2为示出根据同一实施方式的信息识别显示设备的功能和配置的框图。
图3为示出数字信息从信息终端到扩展工作空间的并入处理的流程图。
图4为示出在工作面上显示的数字信息从扩展工作空间到信息终端的移除处理的流程图。
图5为用于描述在信息终端与扩展工作空间中的工作面之间进行的相片传输处理的说明图。
图6为示出将冰箱门用作扩展工作空间的工作面的示例的说明图。
图7为示出在使扩展工作空间中显示的数字信息与信息终端的数字信息同步时的同步化的示例的说明图。
图8为示出用于识别扩展工作空间中的真实对象并且在扩展工作空间的工作面上显示与所识别的信息相关联的数字信息的示例性操作的说明图。
图9为示出用于识别扩展工作空间中的真实对象并且在扩展工作空间的工作面上显示与所识别的信息相关联的数字信息的另一示例性操作的说明图。
图10为描述用于防止数字信息的传输的不正确操作的操作的说明图。
图11为示出根据本公开内容的第二实施方式的扩展工作空间系统中的远程协作功能的激活处理的说明图。
图12为示出根据同一实施方式的扩展工作空间系统中的远程协作功能的激活处理的另一示例的说明图。
图13为示出根据同一实施方式的认证方法的示例的说明图。
图14为示出根据同一实施方式的认证方法的另一示例的说明图。
图15为示出根据同一实施方式的认证方法的另一示例的说明图。
图16为示出根据同一实施方式的认证方法的另一示例的说明图。
图17为示出根据同一实施方式的认证方法的另一示例的说明图。
图18为示出在认证成功时列出可操作处理的示例的说明图。
图19为用于描述对数字信息的排除处理的说明图。
图20为示出信息处理单元的硬件配置的框图。
具体实施方式
下文中，将参照附图对本公开内容的优选实施方式进行详细描述。注意，在本说明书和附图中，具有基本相同功能和结构的元件用相同的附图标记来表示，并且省略重复的说明。
注意，将按照下述顺序进行描述。
1.第一实施方式(数字信息的传输)
1.1.扩展工作空间系统的示例性配置
1.2.信息识别显示设备的功能和配置
1.3.在扩展工作空间中的工作
2.第二实施方式(远程协作功能)
2.1.远程协作功能
2.2.交互认证方法
3.硬件配置示例
<1.第一实施方式>
[1.1.扩展工作空间系统的示例性配置]
首先，参照图1，将对根据本公开内容的第一实施方式的扩展工作空间系统的示例性配置进行描述。图1为示出根据本实施方式的扩展工作空间系统的示例性配置的说明图。
根据本实施方式的扩展工作空间系统为如下系统：该系统识别在真实世界中呈现的真实对象，在真实世界中叠加虚拟对象的数字信息，并且构造其中集成了真实世界和数字信息的扩展工作空间。扩展工作空间系统包括例如在扩展工作空间中对数字信息进行投射的投影仪、拍摄扩展工作空间的图像的相机、识别在扩展工作空间中进行的手势(例如触摸、缩小和放大)的感测设备、以及无线通信设备。
例如，如图1所示，将桌面用作工作面2，并且出于构造扩展工作空间的目的，在桌面上安装信息识别显示设备100以在工作面2上对数字信息进行投射，该信息识别显示设备100包括投影仪、相机、无线通信设备以及感测设备。工作面2为信息操作面，在扩展工作空间中，在该信息操作面上进行对信息的操作和显示，并且工作面2是投影仪可以在其上投射图像且相机可以捕获其图像的区域。信息识别显示设备100用相机获取包括工作面2的空间的图像，并且通过感测设备识别用户在工作面2上进行的手势。另外，投影仪将数字信息投射在工作面2上，以将数字信息叠加到在真实世界中存在的对象上。
尽管在扩展工作空间系统中，在图1的示例中包括投影仪的信息识别显示设备100被安装在桌面上以将数字信息投射在工作面2上，但是投影仪还可以被安装在置于桌面上的台灯、天花板灯、墙壁等上面。另外，除了通过投影仪对数字信息进行投射之外，例如还可以使用玻璃型设备，例如配备有相机的头戴式显示器(HMD)和透视型HMD。在此情况下，在扩展工作空间中所叠加的数字信息被叠加在由用户佩戴的玻璃型显示器上。另外，作为投影仪的替代，可以使用包括相机和显示器的设备(例如智能手机)，以在由相机捕获并在显示器上显示的通过透镜的图像上叠加并显示数字信息。
另外，感测设备可以是例如检测平行地投射到工作面2上的红外光的IR相机、立体相机、能够获取深度信息的特定传感器等。另外，感测设备可以是检测手指等与工作面2的接触的触摸传感器，以及能够通过使用超声波和红外光的数字笔获取书写轨迹的坐标的设备。注意，在不使用数字笔的情况下，可以通过用另一传感器(例如相机)检测普通笔的书写轨迹来检测书写轨迹的坐标。
无线通信设备为例如能够与诸如蓝牙(注册商标)、Wi-Fi(注册商标)和NFC(近场通信)的外部设备进行通信的设备。
[1.2.信息识别显示设备的功能和配置]
接下来，将基于图2对信息识别显示设备100的功能和配置进行描述。图2为示出根据本实施方式的信息识别显示设备100的功能和配置的框图。根据本实施方式的信息识别显示设备100包括投影单元110、检测单元120、成像单元130、信息处理单元140和通信单元150。
投影单元110为在扩展工作空间中对数字信息进行投射的功能单元，并且通过图1中描述的投影仪等进行配置。投影单元110接收来自随后描述的信息处理单元140的显示指令，并且在其内安装有投影单元110的扩展工作空间中显示数字信息。
检测单元120检测在扩展工作空间中的运动信息。检测单元120由例如图1中描述的感测设备等进行配置。检测单元120向随后描述的信息处理单元140输出检测结果。
成像单元130为获取扩展工作空间的图像的功能单元，并且通过图1中描述的相机等进行配置。成像单元130向随后描述的信息处理单元140输出拍摄图像。
信息处理单元140分析扩展工作空间中的对象的位置和运动，并且响应于分析结果对扩展工作空间中的数字信息执行显示处理。如图2所示，信息处理单元140包括设定存储单元148、显示控制单元146、操作决定单元144以及分析单元142。
分析单元142基于检测单元120的检测结果和由成像单元130获取的拍摄图像中的至少之一的信息来分析扩展工作空间中的对象的位置和运动。例如，分析单元142根据检测单元120的检测结果来计算用户的手在运动中的变化。然后，参照设定存储单元148，分析单元142根据所识别的用户的手的运动的变化来识别用户在扩展工作空间中做出的手势，例如触摸、缩小和放大。分析单元142的分析结果是用户在扩展工作空间中进行的操作输入信息，并且基于分析结果，将数字信息显示在虚拟工作空间中。分析单元142向操作决定单元144输出分析结果。
操作决定单元144基于分析单元142的分析结果来决定扩展工作空间中的数字信息的操作方法。例如，参照设定存储单元148，操作决定单元144决定与由分析单元142识别的用户的手势相对应的数字信息的操作方法。数字信息的操作方法为：例如，将信息终端的数字信息拷贝到工作面2；将工作面2的数字信息移动到信息终端；放大和缩小在工作面2上显示的数字信息等。操作决定单元144向显示控制单元146输出所决定的操作方法。
显示控制单元146基于由操作决定单元144决定的操作方法来执行对扩展工作空间中的数字信息的显示处理。例如，显示控制单元146执行显示处理以用于显示在信息终端与工作面2之间的数字信息的传输、对在扩展工作空间中显示的数字信息进行的显示变化处理(放大、缩小、移动等)等。显示控制单元146向投影单元110输出数字信息的显示处理方法以指示数字信息的显示。
设定存储单元148存储用于决定在信息处理单元140中执行的分析的信息、数字信息的操作方法等。例如，参照在设定存储单元148中存储的信息，分析单元142识别用户在扩展工作空间中进行的操作输入信息，并且操作决定单元144决定扩展工作空间中的数字信息的操作方法。
通信单元150向另一扩展工作空间的信息识别显示设备100发送信息并且接收来自该信息识别显示设备100的信息。通信单元150使得能够与另一扩展工作空间的信息识别显示设备100进行信息交换，使得每个扩展工作空间相互反映另一扩展工作空间的情况。
[1.3.扩展工作空间中的工作]
根据本实施方式的信息识别显示设备100为如下设备：响应于在扩展工作空间中输入的操作输入信息，该设备控制在扩展工作空间中真实对象的操作并且控制信息终端中的数字信息。出于消除过去在扩展工作空间中处理数字信息时所作的复杂操作和努力的目的，信息识别显示设备100执行控制，以使得能够简单直观地处理数字信息。
首先，将基于图3至图5对在扩展工作空间中的工作面2与信息终端之间进行的数字信息的传输处理进行描述，所述传输处理为信息识别显示设备100的基础处理。图3为示出数字信息从信息终端200到扩展工作空间的并入处理的流程图。图4为示出在工作面上显示的数字信息从扩展工作空间到信息终端200的移除处理的流程图。图5为用于描述在信息终端200与扩展工作空间的工作面2之间进行的相片传输处理的说明图。
当能够在信息终端200与扩展工作空间中的工作面2之间传输数字信息时，可以在数字信息的操作较容易的地方进行工作，例如编辑，并且在该项工作完成之后，可以将数字信息并入到便携式信息终端200中。注意，信息终端200例如为诸如智能手机、平板电脑终端和数字相机的设备。
信息终端200具有有限的操作区域，并且能够在扩展工作空间中创建宽阔的工作面2。因此，例如，当编辑在信息终端200中所存储的多个图像时，由于操作区域的限制，在信息终端200中只能一个接一个地显示和编辑正在编辑的对象图像。因而，为了使人能够在看到不同的图像时同时编辑图像，将存储在信息终端200中的图像并入到工作面2上，并且将所并入的图像展示在工作面2上。此外，当要提供较大的工作空间时，例如当多个人浏览和共享相片时或者当在屏幕图像上写入消息时，数字信息利用扩展工作空间的工作特别有效。
注意，在下文中，数字信息可以为各种信息，包括诸如运动图像和声音的内容、诸如Twitter(注册商标)的信息发布服务、诸如时钟、新闻、游戏等的应用。此外，在信息终端200中选择的数字信息可以存储在信息终端200的主体中，或者可以存储在经由网络以可通信方式(如云计算)连接到信息终端200的服务器中。信息终端200和扩展工作空间的信息识别显示设备100预先通过无线通信彼此连接。可以通过使用操作终端的设定屏幕图像的过去的设定方法或者可以通过触摸配对来对这些设备进行配对，在所述触摸配对情况下，通过在信息识别显示设备100上接触要配对的信息终端200来自动进行配对。
(1)数字信息并入处理
首先，将对用于在信息终端200中选择的数字信息从信息终端200并入到扩展工作空间的工作面2中的处理进行描述。如图3所示，首先，用户操作信息终端200以选择要并入到工作面2中的数字信息(S100)。可以并入一条或多条数字信息。在图5的左侧，将相片作为数字信息的示例，以说明用于将信息终端200的相片并入到扩展工作空间的工作面2中的示例性操作。在本示例中，并入目标的相片300被显示在信息终端200的屏幕上，以使得并入目标能够被选择。注意，当并入多张相片时，用户用信息终端200进行用于决定并入目标的操作(例如，长时间按压屏幕图像以显示并入目标决定按钮并且按压该按钮等等)。
在选择并入目标的数字信息之后，用户将信息终端200放置于扩展工作空间的工作面2上，作为用于指示数字信息并入的操作(S102)。在图5的左侧的示例中，用户将信息终端200放置于工作面2的桌面上。当信息识别显示设备100识别到用户将信息终端200放置于工作面2上时，响应于通过将信息终端200放置于工作面2上所创建的显示控制触发信息，将并入目标的数字信息并入工作面2(S104)。用于确定进行数字信息的并入动作的方法可以是例如使用图像识别技术的方法、使用时间戳的方法等。
在使用图像识别技术的方法中，首先，信息识别显示设备100的成像单元130获取信息终端200上所显示的数字信息的图像，并且分析单元142识别所捕获到的数字信息的图像。例如，通过如下步骤进行图像识别：预先在信息识别显示设备100中记录与信息终端200上所显示的数字信息相对应的所记录图像；以及将由成像单元130所捕获的图像与所记录的图像进行匹配。此外，可以例如通过识别信息终端200上所显示的诸如QR码(注册商标)的二维条形码或者通过识别信息终端200的屏幕图像的时序照明图案来识别并入目标的数字信息。预先获取的用于图像识别的信息被记录在图像识别显示设备100的设定存储单元148中。
另一方面，在使用时间戳的方法中，可以根据被检测到运动的信息终端200停止其运动时的时间点(“运动停止确定时间点”)的时间戳与检测单元120获取的运动停止确定时间点的时间戳之间的时间差来确定并入动作。注意，预先使信息终端200的内部时钟与信息识别显示设备100的内部时钟同步。可替代地，预先测量内部时钟的时间差，并且通过该时间差来校正时间戳中之一。此外，除了比较时间戳之外，分析单元142可以计算在由信息终端200所识别的运动信息与由信息识别显示设备100所识别的信息终端200的运动信息之间的归一化的互相关性，使得可以基于相关值最高时的时间差来确定并入动作的执行。
除了对数字信息的并入动作进行这样的执行确定之外，分析单元142根据检测单元120的检测结果来确定信息终端200是否已接触工作面2。如果基于分析单元142的分析结果确定信息终端200已接触工作面2并且根据图像识别而识别出并入目标的数字信息，那么操作决定单元144开始数字信息向工作面2的并入处理(S106)。
具体地，并入目标的数字信息从信息终端200经由通信单元被发送至信息识别显示设备100。当信息终端200的主体没有存储并入目标的数字信息时，可以从存储有数字信息的服务器等将数字信息发送至信息识别显示设备100。此外，尽管信息识别显示设备100可以被配置成不具有存储数字信息的信息识别显示设备100的主体，但可以将数字信息存储在经由网络以可通信方式连接的服务器中，这与信息终端200的情况相同。在此情况下，信息终端200将并入目标的数字信息发送到存储有信息识别显示设备100的数字信息的服务器。
在步骤S106中，并入目标的数字信息被显示在扩展工作空间的工作面2上，从而示出了数字信息从信息终端200传输到工作面2。当操作决定单元144开始数字信息的并入处理时，显示控制单元146响应于该处理的开始，从存储有并入目标的数字信息的设备中获取数字信息。并入目标的数字信息被存储在能够经由信息终端200或网络进行通信的服务器等中，并且操作决定单元144经由通信单元150被连接到网络，以获取并入目标的数字信息。
然后，显示控制单元146使投影单元110投射所获取的数字信息(S108)。以此方式，信息终端200的数字信息被并入扩展工作空间。例如，在图5左侧的示例中，正常地执行放置于桌面上的信息终端200的屏幕上所显示的相片300的图像识别，并且识别放置于桌面上的信息终端200。在此情况下，相片从信息终端200发送到信息识别显示设备100，使得投影单元110将相片投射到桌面上。当用户从桌面上抬起信息终端200时，在信息终端200上所显示的相片被显示在桌面上，用户可以识别出信息终端200的相片被并入扩展工作空间。
在上文中，已经对数字信息的并入处理进行了描述。注意，数字信息从信息终端200并入到扩展工作空间的工作面2可以是从信息终端200拷贝到信息识别显示设备100，或者将信息终端200的数字信息移动到信息识别显示设备100。当信息终端200的数字信息被移动到信息识别显示设备100时，数字信息仅可以被显示在工作面2上，而信息终端200不显示数字信息。此外，当信息终端200的数字信息被移动到信息识别显示设备100时，信息终端200可以显示如下显示信息：所述显示信息表示已移动到信息识别显示设备100的信息终端200的数字信息。由此，用户可以直观地识别出数字信息从信息终端200移动。在响应于数字信息的并入处理时通过将用于改变信息终端200的显示的信息从信息识别显示设备100发送到信息终端200，实现了信息终端200的这种显示控制。当用信息终端200移除在工作面2上显示的数字信息时，可以执行相同或相似的显示处理。如图5的右侧所示，当将数字信息移动到信息终端200时，可以从工作面2上擦除数字信息的显示，并且当数字信息被传输到信息终端200时，数字信息可以被显示在工作面2上。另外，在工作面2上自由地操作(编辑、移动等)从信息终端200并入到扩展工作空间的工作面2的数字信息。随后将对能够在扩展工作空间的工作面2上进行的操作方法的具体示例进行描述。
(2)数字信息移除处理
接下来，基于图4和图5，将对用于用信息终端200移除在扩展工作空间的工作面2上所显示的数字信息的处理进行描述。在图5的右侧，将相片作为数字信息的示例，以说明用于用信息终端200移除在扩展工作空间的工作面2上的相片的示例性操作。
首先，用户决定从在扩展工作空间的工作面2上所显示的数字信息中将用信息终端200移除的数字信息。然后，用户将信息终端200放置于被决定为移除目标的数字信息上，作为从工作面2移除数字信息的动作(S110)。在图5右侧的示例中，用户将字符串作为附加对象402添加到在扩展工作空间的工作面2上所显示的相片400，并且此后将信息终端200放置于相片400上。如果信息识别显示设备100识别出用户已经将信息终端200放置于工作面2上(S112)，则响应于通过将信息终端200放置于工作面2所创建的显示控制触发信息，将移除目标的数字信息从工作面2移动到信息终端200(S114)。
此时，在工作面2上所显示的数字信息内容在放置信息终端200的时间点被移动到信息终端200。例如，在图5右侧的示例中，加入了附加对象402的相片400被移动到信息终端200。注意，用于确定对数字信息进行移除动作的方法是例如使用图像识别技术的前述方法、使用时间戳的方法等。此时，在使用时间戳的方法中，在信息终端200从静止状态开始移动的时间点使用时间戳来确定该动作，这与确定信息终端200停止其运动的时间点的前述信息终端200相对。
此后，当检测到用户将信息终端200从工作面2抬起时，操作决定单元144使显示控制单元146擦除从工作面2移动到信息终端200的数字信息的显示(S116)。例如，在图5右侧的示例中，当用户抬起放置于桌面上的信息终端200时，显示控制单元146擦除在信息终端200被放置于工作面2上的位置处所显示的移除目标的相片400的显示。由此，用户可以在视觉上确认移除目标的相片400被移动到信息终端200。此外，信息终端200显示在移除相片400之前在工作面2上所显示的编辑之后的相片内容。在上文中，已经对数字信息的移除处理进行了描述。尽管在以上的描述中，数字信息响应于通过信息终端200的运动所创建的显示控制触发信息而被并入工作面2以及从工作面2移除，但是显示控制触发信息也可以通过信息终端200被放置于工作面2上的状态而被创建。
(3)扩展工作空间中的数字信息的操作
如上所述，在控制扩展工作空间中的数字信息的信息识别显示设备100与信息终端200之间传输数字信息使得能够响应于数字信息的工作方法和利用状态来在不同位置处对数字信息进行操作。例如，如图6所示，冰箱的门可以被用作扩展工作空间中的工作面2。在图6的示例中，信息识别显示设备100被安装在冰箱的门中。当使得激活移动图像应用(如新闻)的信息终端200与冰箱的门相接触时，运动图像应用从信息终端200被并入信息识别显示设备100中。以此方式，用户可以操作在冰箱的门上所显示的运动图像应用来观看新闻。
·数字信息的同步化
能够在扩展工作空间中的工作中处理的数字信息可以与从中获取数字信息的信息终端200的数字信息同步，或者可以被处理为独立信息而不进行同步。例如，当在扩展工作空间中所显示的数字信息与信息终端200的数字信息同步时，在扩展工作空间中数字信息的编辑内容和操作内容被实时反映在信息终端200中。此外，如图7所示，在相片300a被显示在信息终端200上并且对应于相片300a的相片400a被投射在扩展工作空间的工作面2上的情况下，在信息终端200的操作面上移动手指以进行滑动操作。响应于该操作，在信息终端200上所显示的相片300a被滑动，以在信息终端200上显示下一张相片300b，并且在工作面2中，显示也从相片400a变化到对应于相片300b的相片400b。
·利用与真实对象相关联的数字信息
此外，尽管在以上的描述中，在信息识别显示设备100与信息终端200之间传输数字信息，但是信息识别显示设备100可以识别真实对象，如书、杂志和报纸，并且可以获取与除了信息终端200之外的所识别的真实对象相对应的数字信息。例如，当真实对象的杂志放置于扩展工作空间中的工作面2上时，将由成像单元130捕获的杂志的图像与预先存储在设定存储单元148中的记录信息进行匹配。此时，易于识别的真实对象部分(例如封面)可以用于识别真实对象。当确定杂志的图像与某些已记录的信息相同时，分析单元142使操作决定单元144经由网络获取与所记录的信息相关联的数字信息(即所识别的杂志的数字信息)。通过投影单元110经由显示控制单元146将所获取的杂志的数字信息投射在工作面2上。
以与信息终端200中的操作同样的方式，通过用于将数字信息操作到工作面2的用户的手势来操作工作面2上所显示的杂志的数字信息。例如，如图8所示，当杂志的数字信息420被显示在工作面2上时，用户在数字信息420被显示的区域中滑动手指，以响应于滑动方向来对数字信息420中所显示的杂志进行翻页。如上所述，可以识别在扩展工作空间中的真实对象，使得与所识别的信息相关联的数字信息被显示在扩展工作空间的工作面2上，以使得数字信息可操作。
可以响应于对真实对象上所提供的二维条形码的识别来显示数字信息，作为识别扩展工作空间中的真实对象以显示与在扩展工作空间的工作面2上的已识别信息相关联的数字信息的另一示例。图9示出了用于算术问题的解答显示方法的两个示例。在图9左侧的示例中，当手指在放置于扩展工作空间的工作面2上的回答页430上滑动时，在回答页430上显示答案。在本示例中，滑动手指的动作是答案显示指令，并且基于由分析单元142识别出的回答页430的内容和用户在扩展工作空间中的动作，操作决定单元144在回答页430上显示与回答页430的问题相对应的答案。
可替代地，在图9右侧的示例中，可以通过将其上描述了表明答案显示指令的二维条形码502的页500放置在置于扩展工作空间的工作面2上的回答页430上来显示答案。信息识别显示设备100识别页500的二维条形码，并且在页500上显示问题的答案。可以为每个问题设置页500的二维条形码502，或者页500的二维条形码502可以对于多个问题是共用的。
如上所述，利用用于显示与扩展工作空间中的真实对象相关联的数字信息的操作，例如，用于识别超级市场的广告以显示每个物品的详细信息，或者用于识别电影的宣传片的显示以播放移动图像。
·不正确的操作预防处理
响应于在工作面2上放置和移开信息终端200的动作，执行在信息识别显示设备100与信息终端200之间的数字信息的传输。此处，由于将信息终端200放置于桌面上的动作等等是频繁进行的动作，所以即使在不打算传输数字信息时，并入动作和移除动作也可能被识别为将要进行，并且可能执行数字信息不期望的传输。因而，可以通过进行明确表示传输数字信息的动作来防止数字信息不期望的传输。
例如，如图10所示，信息终端200被放置于扩展工作空间的工作面2上。对于数字信息从信息终端200并入到信息识别显示设备100中，在图3所示的流程图中，当放置于工作面2上的信息终端200被抬起时，并入目标的数字信息被并入信息识别显示设备100中。此时，为了防止数字信息不期望的并入，例如，当将放置于工作面2上的信息终端200朝向工作面2进行推压的动作时，首先开始将数字信息并入信息识别显示设备100中。当朝向信息终端200进行推压动作并且此后识别到信息终端200被抬起时，并入目标的数字信息被并入信息识别显示设备100中。
另一方面，当不进行朝向放置于工作面2上的信息终端200的推压动作并且信息终端200被抬起时，信息终端200的数字信息不被并入信息识别显示设备100中。相应地，当信息终端200被抬起之后，在工作面2上不显示信息终端200的数字信息。
尽管在图10所示的示例中，通过用于防止不正确操作的独特动作来指示数字信息传输，但是可以将手势识别与声音识别进行组合，使得例如在图3或图4的处理中，用声音来指示数字信息的并入和移除。
在上文中，已经对根据第一实施方式的扩展工作空间系统的配置以及在扩展工作空间中执行的数字信息的传输处理进行了描述。本实施方式使得能够通过简单直观的方法在集成了真实世界和数字信息的扩展工作空间中处理数字信息。
<2.第二实施方式>
[2.1.远程协作功能]
接下来，参照图11，将对根据本公开内容的第二实施方式的扩展工作空间系统的功能进行描述。根据本实施方式的扩展工作空间系统实现共享多个扩展工作空间的信息的功能(也称为“远程协作功能”)。
在扩展工作空间中进行的工作之一是经由将位于远程位置处的扩展工作空间彼此连接的网络来协作工作。例如，通过将作为在远程位置处的用户的工作空间的桌子上的图像叠加到在另一用户的工作空间上来实现这样的协作工作，以向每个用户提供扩展工作空间。此处，期望的是：用于协作工作的扩展工作空间易于构造；以及在确认在协作工作空间中彼此的情况时该协作工作更容易且更直观地进行。因而，远程协作功能使得用户能够做用户自己的工作，并且识别在另一扩展工作空间中的工作情况。图11为示出根据本实施方式的扩展工作空间系统中的远程协作功能的激活处理的说明图。
图11示出了用于共享两个扩展工作空间的过程。扩展工作空间由分别安装在各自空间中的信息识别显示设备100A、100B来构造。注意，信息识别显示设备100A、100B的功能和配置与根据图2中所示的第一实施方式的信息识别显示设备100相同。信息识别显示设备100A、100B经由网络处于可通信的状态。注意，在下文中，附图标记100A被标记为第一信息识别显示设备，并且附图标记100B被标记为第二信息识别显示设备。在本实施方式中，当检测到用户执行在扩展工作空间中的工作面2上放置和抬起信息终端200时，开始与另一扩展工作空间共享信息。由此，用简单的动作使多个扩展工作空间的信息彼此相同。
具体地，将信息终端200放置于其中安装有第一信息识别显示设备100A的扩展工作空间的工作面2上，并且然后将信息终端200抬起。例如通过第一实施方式中所描述的使用图像识别技术的方法、使用时间戳的方法等来执行这个动作确定。当识别出放置信息终端200并随后抬起信息终端200的动作时，第一信息识别显示设备100A请求开始与第二信息识别显示设备100B进行信息共享。响应于来自第一信息识别显示设备100A的请求，第二信息识别显示设备100B接收其中放置有第一信息识别设备100A的第一扩展工作空间的图像，并且在第二扩展工作空间中进行显示。以此方式，在第二扩展工作空间中，第一扩展工作空间被显示为数字信息。
在图11所示的示例中，当信息终端200被放置于第一扩展工作空间的工作面2A上时，通过在第一实施方式中所描述的功能在信息终端200与第一信息识别显示设备100A之间执行数字信息的传输。当从工作面2A移开信息终端200时，从信息终端200并入的数字信息(例如相片400A)被显示在工作面2A上。此时，由于在第一信息识别显示设备100A与第二信息识别显示设备100B之间远程协作功能是激活的，所以相片400A以与第一扩展工作空间中所显示的相片400A相同的方式被显示在第二扩展工作空间的工作面2B上。
当在第二扩展工作空间中将第一扩展工作空间的图像显示为数字信息时，在第一扩展工作空间中也将第一扩展工作空间的图像显示为数字信息。例如，如图11所示，当第二扩展工作空间的用户B将手指点在工作面2B上所显示的相片400B处时，用户B的手HB的图像从第二信息识别显示设备100B输出到第一信息识别显示设备100A。然后，在第一扩展工作空间中，用户B的手被显示为数字信息HB_I。由此，第一扩展工作空间的用户A可以识别出用户B将手指点在相片400B处。
如上所述，远程协作功能使得用户能够互相识别多个扩展工作空间的情况以及用户的动作，使得多个用户可以例如在确认彼此的意图的同时进行一项工作。
尽管在图11的示例中，数字信息400A、400B被显示在共享信息的每个扩展工作空间中，但是例如如图12所示，放置于第一扩展工作空间的工作面2A上的信息终端200的真实对象的数字信息可以被显示在第二扩展工作空间中。在此情况下，例如，当信息终端200被放置于工作面2A上时，开始远程协作功能。当远程协作功能激活时，放置于工作面2A上的信息终端200的图像在第二扩展工作空间的工作面2B上被显示为数字信息200_I。
[2.2.交互认证方法]
例如，在上述图11的示例中，远程协作功能使得第二扩展工作空间的用户B能够进行诸如将手指点在数字信息处并触摸该数字信息等动作。此时，由第一信息识别显示设备100A存储的数字信息可以在第二扩展工作空间中进行操作。在此情况下，第二信息识别显示设备100B也将存储在预定时间从第一信息识别显示设备100A传输到第二信息识别显示设备100B的数字信息。预定时间可以是例如当远程协作功能开始时，或者当所有用户同意对信息的操作时。
用户之间的同意可以使用认证功能来确认。在根据本实施方式的扩展工作空间系统中，可以通过利用多个扩展工作空间的相同信息来进行认证。图13示出根据本实施方式的认证方法的示例。在本示例中，基于每个扩展工作空间的手的交叠来确定认证。
例如，请求认证的用户(用户B)手掌向上将手放置于扩展工作空间的工作面2B上，作为请求认证的动作。通过这样做，在接收认证请求的用户(用户A)的扩展工作空间中显示用户B的手的数字信息HB_I。当接收到用户B的认证请求时，用户A将手HA放置于工作面2A上所显示的用户B的手的数字信息HB_I上，以将手掌放置在一起。信息识别显示设备100A通过手形状识别来确定用户A的手HA和用户B的手HB_I是否彼此交叠，并且当确定交叠时，信息识别显示设备100A认证用户B的请求。
例如，如图14所示，请求认证的动作可以是将拇指和食指彼此面对面放置的动作。在此情况下，接收认证请求的用户(用户A)以将用户自己的拇指和食指放置于用户B的手的数字信息HB_I的拇指和食指上这样的方式来放置手HA，以对认证请求进行响应。
可替代地，认证动作可以是将手指一起放置于指示认证区的动作。例如，如图15所示，当游戏中的物品被交换时，物品X从用户A交给用户B。此时，图15中所示的认证指导被显示在用户A的工作面2A和用户B的工作面2B上。认证指导显示用于确认同意的消息，并且当同意时，认证指导推荐在同意区域460上触摸手指的动作。当用户A和用户B中的每一个响应于消息进行认证动作时，在其他人的扩展工作空间中显示进行认证动作的手。这使得能够进行认证动作，同时观看其他人的运动，并且例如如图15所示，用户A可以在确认用户B已同意之后进行认证动作。
另外，认证动作可以是在另一扩展工作空间中输入与在某个扩展工作空间中输入的信息相同的信息的动作。例如，当用户的笔的书写轨迹可检测时，可以执行如下认证处理：对在多个扩展工作空间中输入的书写轨迹进行比较并且当书写轨迹相同时同意。作为一个示例，如图16所示，一个用户(例如用户B)在工作面2B中用笔输入作为请求认证的动作。当获取工作面2B的笔的书写轨迹时，信息识别显示设备100B将书写轨迹信息连同认证请求输出至其他用户(例如用户A)的信息认证显示设备100A。
信息认证显示设备100A接收认证请求，并且显示表明用户B的笔在工作面2A上的书写轨迹的数字信息LB_I。当同意时，用户A用笔4跟踪工作面2A上所显示的数字信息LB_I，并且输入与数字信息LB_I相同的图案。当确定用户A的笔4的书写轨迹与数字信息LB_I相同时，信息识别显示设备100A通知信息认证显示设备100B用户A已经同意。由此，用户A与用户B之间认证成功。
如上所述，根据本实施方式的扩展工作空间系统执行认证处理，并且确认每个用户的认证动作，从而利用每个扩展工作空间的可共享信息。因此，用户可以直观地进行认证处理，并且可以在确认每个用户的认证动作时进行该处理，以便没有顾虑地进行认证动作。
通过认证进行的行为可以是各种操作，诸如在用户之间共享数字信息、删除数字信息、以及与第三人共享数字信息。例如，在另一扩展工作空间的用户B的信息终端200B处移除在用户A的第一信息识别显示设备100A中存储的数字信息。此时，作为用于允许移除用户B的信息终端200B中数字信息的认证动作，可以进行在移除目标的数字信息上相互交叠信息终端的动作。
例如，如图17所示，相片450A的数字信息存储在用户A的第一信息识别显示设备100A中。通过远程协作功能，相片450A还被显示在另一扩展工作空间的用户B的工作面2B上。用户A将允许何时在用户B的信息终端200B中移除相片450A，并且用户B将信息终端200B放置于工作面2B上所显示的相片上作为请求认证的动作。该动作被显示在用户A的工作面2A上，并且用户A观看在工作面2A上所显示的用户B的动作，以识别相片450A的移除请求。
然后，当同意了用户B的请求时，用户A将用户A的信息终端200A交叠在工作面2A上所显示的信息终端200B的数字信息200B_I上。当确定用户B已同意根据用户A的动作针对相片450A移除信息终端200B时，第一信息识别显示设备100A将确定结果发送至第二信息认证显示设备100B。由此，用户A与用户B之间认证成功，并且相片450A被拷贝到信息终端200B。
此外，当多个操作可通过认证动作执行时，例如，用户之间的认证成功时可执行的操作可以显示在列表中。在图18所示的示例中，以与图17相同的方式，存储在用户A的第一信息识别显示设备100A中的相片450A还通过远程协作功能被显示在另一扩展工作空间的用户B的工作面2B上。当用户B把手指放置于工作面2B上所显示的相片上，并且用户A也将用户A的手指放置于用户B的手指上时，用户A与用户B之间认证成功。此时，第一信息识别显示设备100A在工作面2A上显示在用户之间的认证成功时可执行的操作的列表700。列表700也被显示在用户B的工作面2B上。
例如，列表700包括诸如共享数字信息(Share)和删除数字信息(Delete)的条目。当显示列表700时，没有存储数字信息的用户(在本示例中的用户B)也能够对可操作的数字信息执行共享和删除。
注意，当在多个用户之间可以操作一条数字信息时，多个用户可尝试同时操作该数字信息。数字信息可以是可同时操作的，或者可以仅由特定用户进行操作。例如，使得仅特定用户能够进行操作的方法可以是排除处理，所述排除处理允许来自于首先进行操作的用户的操作，但拒绝其他用户的操作，直到第一用户的操作结束。
例如，如图19所示，当在第一信息识别显示设备100A与第二信息识别显示设备100B之间远程协作功能是激活的时，用户A用手指触摸并操作工作面2A上所显示的相片400A。此时，第一信息识别显示设备100A指示第二信息识别显示设备100B排除对在用户B的工作面2B上所显示的相片400B的操作。第二信息识别显示设备100B接收排除指令，并且排除对相片400B的操作。此时，可以通知用户B对相片400B的操作被排除。通知方法可以是例如如图19中的掩蔽相片400B、声音等。
在上文中，已经对根据本实施方式的扩展工作空间系统的远程协作功能进行了描述。这样的功能使得能够相互识别多个扩展工作空间的情况和用户的动作，使得多个用户可以在确认彼此意图的同时进行一项工作。
<3.硬件配置示例>
由根据前述实施方式的信息识别显示设备100的信息处理单元140所进行的处理可以通过使用硬件或软件来执行。在此情况下，信息处理单元140可以被配置为如图20所示。在下文中，将基于图20对信息处理单元140的硬件配置的示例进行描述。
如上所述，信息处理单元140可以通过处理装置(例如计算机)来实现。如图20所示，信息处理单元140包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903以及主机总线904a。信息处理单元140还包括桥904、外部总线904b、接口905、输入设备906、输出设备907、存储设备(硬盘驱动器)908、驱动器909、连接端口911以及通信设备913。
CPU 901用作算术处理单元和控制单元，并且根据各种程序来控制信息处理单元140的整体操作。CPU 901还可以是微处理器。ROM 902在其中存储CPU 901所使用的程序、操作参数等。RAM 903在其中临时存储CPU 901所使用并执行的程序、在执行程序时适当变化的参数等。这些通过由CPU总线等配置的主机总线904a彼此连接。
主机总线904a通过桥904被连接到外部总线904b，例如外围部件互连/接口(PCI)总线。注意，主机总线904a、桥904和外部总线904b不必单独配置，并且这些部件的功能可以由单一总线来实现。
输入设备906包括：用于由用户输入信息的输入单元，例如鼠标、键盘、触摸面板、按钮、麦克风、开关或控制杆；基于用户的输入生成输入信号并且向CPU 901输出该信号的输入控制电路等。输出设备907包括：显示设备(例如液晶显示器(LCD)设备、有机发光二极管(OLED)设备或灯)；以及音频输出设备，例如扬声器。
存储设备908是信息处理单元140的存储单元的示例并且是用于存储数据的设备。存储设备908可以包括存储介质、在存储介质中记录数据的记录器、从存储介质中读取数据的读取器、删除存储介质中所记录的数据的删除设备等。存储设备908被配置成例如硬盘驱动器(HDD)。存储设备908驱动硬盘并且存储由CPU 901执行的程序和各种数据。
驱动器909是读/写器，并且内置于信息处理单元140中或者从外部连接到信息处理单元140。驱动器909读取在驱动器909中加载的可移除记录介质(例如磁盘、光盘、磁光盘、或半导体存储器)中所记录的信息，并且将该信息输出到RAM 903。
连接端口911是连接到外部设备的接口，并且是与能够通过例如通用串行总线(USB)传输数据的外部设备连接的端口。通信设备913是由用于连接到例如通信网络10的通信设备等配置的通信接口。通信设备913可以是支持无线局域网络(LAN)的通信设备、支持无线USB的通信设备、或者进行有线通信的有线通信设备。
以上已经参照附图对本公开内容的优选实施方式进行了描述，而当然本公开内容不限于上述示例。本领域的技术人员可以找到在所附权利要求的范围内的各种变型和改型，并且应当理解，所述各种变型和改型将自然地落入本公开内容的技术范围内。
尽管在上述实施方式中，信息处理单元140被设置于信息识别显示设备100中，但是本技术不限于这样的示例。例如，信息处理单元140或构成信息处理单元140的仅一部分功能可以被设置于连接到网络的服务器中。
此外，本技术还可以被配置如下。
(1)一种信息处理装置，所述信息处理装置控制在扩展工作空间中显示的虚拟对象的显示，在所述扩展工作空间中，真实对象和所述虚拟对象是可操作的，所述信息处理装置包括：
操作决定单元，所述操作决定单元被配置成基于对输入到所述扩展工作空间的输入信息的分析的结果来决定在所述扩展工作空间中显示的虚拟对象的操作处理，所述分析基于在所述扩展工作空间中检测到的信息终端的位置信息和用于改变所述虚拟对象的显示的显示控制触发信息；以及
显示控制单元，所述显示控制单元被配置成基于所决定的所述操作处理来执行所述虚拟对象的显示控制处理。
(2)根据项(1)所述的信息处理装置，其中，
当基于所述显示控制触发信息确定通过所述信息终端对所述扩展工作空间中的信息操作面进行了预定动作时，所述操作决定单元使所述显示控制单元执行控制目标的所述虚拟对象的显示控制。
(3)根据项(2)所述的信息处理装置，其中，
当基于对所述输入信息的分析的结果确定所述信息终端被放置于所述信息操作面上时，所述操作决定单元在虚拟工作空间中放置所述信息终端的位置处显示控制目标的所述虚拟对象。
(4)根据项(3)所述的信息处理装置，其中，
通过所述信息终端被放置于所述信息操作面上，所述操作决定单元使得能够在所述扩展工作空间中对在所述信息操作面上显示的所述虚拟对象进行操作。
(5)根据项(3)或(4)所述的信息处理装置，其中，
当基于对所述输入信息的分析的结果确定所述信息终端被放置于所述信息操作面上并且确定对所述信息终端进行了预定动作时，所述操作决定单元在所述虚拟工作空间中放置所述信息终端的位置处显示在所述信息终端中所选择的所述控制目标的所述虚拟对象。
(6)根据项(2)至(5)中任一项所述的信息处理装置，其中
当基于对所述输入信息的分析的结果确定所述信息终端被放置于在所述信息操作面上显示的控制目标的所述虚拟对象上时，所述操作决定单元使所述信息终端进行显示。
(7)根据项(2)所述的信息处理装置，其中
当基于对所述输入信息的分析的结果确定所述信息终端被放置于所述扩展工作空间中的信息操作面上时，所述操作决定单元使得能够进行与另一扩展工作空间的信息通信，以及
所述显示控制单元反映并显示每个扩展工作空间中的信息。
(8)根据项(7)所述的信息处理装置，其中
所述操作决定单元：
基于对所述输入信息的分析的结果来确定在一个所述扩展工作空间中的用户的动作与在另一扩展工作空间中的用户的动作是否彼此对应，以及
当确定所述扩展工作空间和所述另一扩展工作空间中的用户的动作彼此对应时，同意执行预定处理。
附图标记列表
2：工作面
100：信息识别显示设备
110：投影单元
120：检测单元
130：成像单元
140：信息处理单元
142：分析单元
144：操作决定单元
146：显示控制单元
148：设定存储单元
150：通信单元
200：信息终端

Claims (10)

1.一种信息处理装置，包括：
操作决定单元，所述操作决定单元被配置成基于对输入到第一扩展工作空间的输入信息的分析的结果来确定对在所述第一扩展工作空间中显示的虚拟对象的操作处理，所述分析基于在所述第一扩展工作空间中检测到的信息终端的位置信息和用于改变所述虚拟对象的显示的显示控制触发信息，其中，真实对象和所述虚拟对象能够在所述第一扩展工作空间中操作；以及
显示控制单元，所述显示控制单元被配置成基于所确定的所述操作处理来执行所述虚拟对象的显示控制处理，
其中，所述操作决定单元被配置成基于检测到显示作为虚拟对象的内容项的信息终端与所述第一扩展工作空间中的确定表面接触以及该信息终端远离该确定表面移动来使所述显示控制单元在该确定表面上显示该内容项。
2.根据权利要求1所述的信息处理装置，其中，
所述操作决定单元被进一步配置为基于该信息终端的动作使所述显示控制单元对控制目标的所述虚拟对象的显示进行控制，该信息终端的动作基于显示控制触发信息在第一扩展工作空间中的该确定表面处被检测到。
3.根据权利要求2所述的信息处理装置，其中，
所述操作决定单元被进一步配置为基于该信息终端放置在该确定表面上的确定来在第一扩展工作空间中放置所述信息终端的位置处显示控制目标的所述虚拟对象。
4.根据权利要求3所述的信息处理装置，其中，
所述操作决定单元被进一步配置为基于检测到该信息终端与该确定表面的接触来使得能够在所述第一扩展工作空间中对在该确定表面上显示的所述虚拟对象进行操作。
5.根据权利要求3所述的信息处理装置，其中，
所述操作决定单元被进一步配置为基于对所述输入信息的分析的结果和该信息终端检测到的动作来在所述第一扩展工作空间中放置所述信息终端的位置处显示在所述信息终端中所选择的所述控制目标的所述虚拟对象。
6.根据权利要求2所述的信息处理装置，其中，
所述操作决定单元被进一步配置为基于检测到该信息终端与该确定表面的接触使所述信息终端进行显示，其中，所述控制目标的虚拟对象显示在该确定表面上。
7.根据权利要求2所述的信息处理装置，其中，
所述操作决定单元被进一步配置为基于该信息终端与该第一扩展工作空间中的该确定表面的接触并基于对该输入信息的分析的结果来使得能够进行与第二扩展工作空间的信息通信，以及
所述显示控制单元被进一步配置为反映并显示第一扩展工作空间和第二扩展工作空间中的信息。
8.根据权利要求7所述的信息处理装置，其中，
所述操作决定单元被进一步配置为：
基于对所述输入信息的分析的结果来确定在所述第一扩展工作空间中的用户的第一动作与在所述第二扩展工作空间中的该用户的第二动作彼此对应，以及
基于第一动作与第二动作的对应性，同意执行处理。
9.一种信息处理方法，包括：
基于对输入到扩展工作空间的输入信息的分析的结果来确定对在所述扩展工作空间中显示的虚拟对象的操作处理，所述分析基于在所述扩展工作空间中检测到的信息终端的位置信息和用于改变所述虚拟对象的显示的显示控制触发信息，其中，真实对象和该虚拟对象能够在该扩展工作空间中操作；以及
基于所确定的所述操作处理来执行所述虚拟对象的显示控制处理，
其中，基于检测到显示作为虚拟对象的内容项的信息终端与所述扩展工作空间中的确定表面接触以及该信息终端远离该确定表面移动来在该确定表面上显示该内容项。
10.一种存储有程序的计算机可读存储介质，所述程序使计算机执行操作，该操作包括：
基于对输入到扩展工作空间的输入信息的分析的结果来确定对在所述扩展工作空间中显示的虚拟对象的操作处理，所述分析基于在所述扩展工作空间中检测到的信息终端的位置信息和用于改变所述虚拟对象的显示的显示控制触发信息，其中，真实对象和该虚拟对象能够在该扩展工作空间中操作；以及
基于所确定的所述操作处理来执行所述虚拟对象的显示控制处理，
其中，基于检测到显示作为虚拟对象的内容项的信息终端与所述扩展工作空间中的确定表面接触以及该信息终端远离该确定表面移动来在该确定表面上显示该内容项。
CN201380057285.6A 2012-11-09 2013-10-16 信息处理装置、信息处理方法以及计算机可读记录介质 Active CN104756065B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-247940 2012-11-09
JP2012247940 2012-11-09
PCT/JP2013/078100 WO2014073345A1 (ja) 2012-11-09 2013-10-16 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
CN104756065A CN104756065A (zh) 2015-07-01
CN104756065B true CN104756065B (zh) 2018-11-13

Family

ID=50684457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380057285.6A Active CN104756065B (zh) 2012-11-09 2013-10-16 信息处理装置、信息处理方法以及计算机可读记录介质

Country Status (5)

Country Link
US (5) US9753534B2 (zh)
EP (2) EP2919103B1 (zh)
JP (1) JPWO2014073345A1 (zh)
CN (1) CN104756065B (zh)
WO (1) WO2014073345A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140292636A1 (en) * 2013-03-29 2014-10-02 Plantronics, Inc. Head-Worn Infrared-Based Mobile User-Interface
KR101954749B1 (ko) * 2014-04-01 2019-03-06 삼성전자주식회사 냉장고 및 그 제어방법
TWI506534B (zh) * 2014-12-09 2015-11-01 Awind Inc 具有低資料傳輸量的鏡射顯示系統及其方法
CN104731332B (zh) * 2015-03-24 2017-12-29 联想(北京)有限公司 一种信息处理方法及电子设备
JP2016194756A (ja) * 2015-03-31 2016-11-17 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6470098B2 (ja) * 2015-04-23 2019-02-13 シャープ株式会社 表示システム、その制御装置、及び、表示方法
US10545716B2 (en) * 2015-08-24 2020-01-28 Sony Corporation Information processing device, information processing method, and program
DE102016124277A1 (de) * 2016-04-19 2017-10-19 Patty's Gmbh Verfahren zum Ermitteln und Anzeigen von Produkten auf einer elektronischen Anzeigeeinrichtung
CN106791748A (zh) * 2017-01-25 2017-05-31 触景无限科技（北京）有限公司 一种台灯的投影处理方法及装置
CN106817574A (zh) * 2017-01-25 2017-06-09 触景无限科技（北京）有限公司 一种台灯的图像处理方法及装置
CN106851235A (zh) * 2017-01-25 2017-06-13 触景无限科技（北京）有限公司 台灯的互动展示方法及装置
CN106775361A (zh) * 2017-01-25 2017-05-31 触景无限科技（北京）有限公司 台灯的互动方法、装置及系统
JP2018136766A (ja) * 2017-02-22 2018-08-30 ソニー株式会社 情報処理装置、情報処理方法、プログラム
CN107885450B (zh) * 2017-11-09 2019-10-15 维沃移动通信有限公司 实现鼠标操作的方法和移动终端
CN112698778A (zh) * 2021-03-23 2021-04-23 北京芯海视界三维科技有限公司 设备间目标传输方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6308199B1 (en) * 1997-08-11 2001-10-23 Fuji Xerox Co., Ltd. Cooperative work support system for managing a window display
CN101056386A (zh) * 2006-04-14 2007-10-17 富士施乐株式会社 电子会议系统、电子会议支持方法以及电子会议控制装置

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0675735A (ja) * 1992-08-27 1994-03-18 Matsushita Electric Ind Co Ltd 共有画面制御装置
JPH0749936A (ja) 1993-08-05 1995-02-21 Mitsubishi Electric Corp 共有画面システム
US7152092B2 (en) * 1999-05-05 2006-12-19 Indeliq, Inc. Creating chat rooms with multiple roles for multiple participants
JP2002202941A (ja) * 2000-08-25 2002-07-19 4C Soft Inc マルチメディア電子学習システムおよび学習方法
US6611253B1 (en) * 2000-09-19 2003-08-26 Harel Cohen Virtual input environment
US7249123B2 (en) * 2002-10-31 2007-07-24 International Business Machines Corporation System and method for building social networks based on activity around shared virtual objects
JP4618401B2 (ja) * 2003-07-04 2011-01-26 富士ゼロックス株式会社 情報表示システムおよび情報表示方法
US8285785B2 (en) * 2004-11-19 2012-10-09 Nokia Corporation Method, apparatus and computer program product providing graphical user interface that facilitates management of multiple simultaneous communication sessions
US20070100939A1 (en) * 2005-10-27 2007-05-03 Bagley Elizabeth V Method for improving attentiveness and participation levels in online collaborative operating environments
US20070100986A1 (en) * 2005-10-27 2007-05-03 Bagley Elizabeth V Methods for improving interactive online collaboration using user-defined sensory notification or user-defined wake-ups
US20090046140A1 (en) * 2005-12-06 2009-02-19 Microvision, Inc. Mobile Virtual Reality Projector
US8736547B2 (en) 2006-04-20 2014-05-27 Hewlett-Packard Development Company, L.P. Method and system for interfacing a digital device with an interactive display surface
JP2008242367A (ja) * 2007-03-29 2008-10-09 Fuji Xerox Co Ltd 表示制御装置、表示装置、表示システム及びプログラム
US20100082990A1 (en) * 2008-09-29 2010-04-01 Microsoft Corporation Establishment of a relationship between wireless devices
EP2193825B1 (en) * 2008-12-03 2017-03-22 Alcatel Lucent Mobile device for augmented reality applications
JP5315111B2 (ja) 2009-03-31 2013-10-16 株式会社エヌ・ティ・ティ・ドコモ 端末装置、情報提示システム及び端末画面表示方法
US8490002B2 (en) * 2010-02-11 2013-07-16 Apple Inc. Projected display shared workspaces
US20120274550A1 (en) * 2010-03-24 2012-11-01 Robert Campbell Gesture mapping for display device
US8549413B2 (en) * 2010-04-08 2013-10-01 International Business Machines Corporation Discriminating among resources to share
KR101663015B1 (ko) * 2010-04-09 2016-10-07 삼성전자 주식회사 프로젝션 디바이스의 프로젝션 모드 운용 방법 및 장치
US9235268B2 (en) * 2010-04-09 2016-01-12 Nokia Technologies Oy Method and apparatus for generating a virtual interactive workspace
US9529523B2 (en) * 2010-04-23 2016-12-27 Handscape Inc. Method using a finger above a touchpad for controlling a computerized system
US20140253486A1 (en) * 2010-04-23 2014-09-11 Handscape Inc. Method Using a Finger Above a Touchpad During a Time Window for Controlling a Computerized System
US9134799B2 (en) * 2010-07-16 2015-09-15 Qualcomm Incorporated Interacting with a projected user interface using orientation sensors
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9178981B2 (en) * 2010-12-22 2015-11-03 Lg Electronics Inc. Mobile terminal and method of sharing information therein
JP5724543B2 (ja) * 2011-03-31 2015-05-27 ソニー株式会社 端末装置、オブジェクト制御方法及びプログラム
JP5732988B2 (ja) * 2011-04-08 2015-06-10 ソニー株式会社 画像処理装置、表示制御方法及びプログラム
KR101423536B1 (ko) * 2011-06-14 2014-08-01 한국전자통신연구원 인쇄매체 기반 혼합현실 구현 장치 및 방법
US9983785B2 (en) * 2011-07-28 2018-05-29 Hewlett-Packard Development Company, L.P. Input mode of a device
BR112014002186B1 (pt) * 2011-07-29 2020-12-29 Hewlett-Packard Development Company, L.P sistema de projeção de captura, meio executável de processamento e método de colaboração em espaço de trabalho
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
EP2813069A4 (en) * 2012-02-08 2016-12-07 Intel Corp CREATING AN ADVANCED REALITY WITH A REAL SCENE
JP2013174642A (ja) * 2012-02-23 2013-09-05 Toshiba Corp 映像表示装置
JP6040564B2 (ja) * 2012-05-08 2016-12-07 ソニー株式会社 画像処理装置、投影制御方法及びプログラム
KR102035134B1 (ko) * 2012-09-24 2019-10-22 엘지전자 주식회사 영상표시장치, 및 그 동작방법
US9544723B2 (en) * 2012-10-15 2017-01-10 Smart Technologies Ulc System and method to display content on an interactive display surface
JP6018509B2 (ja) * 2013-01-16 2016-11-02 アズビル株式会社 情報表示装置、方法、およびプログラム
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US20140375539A1 (en) * 2013-06-19 2014-12-25 Thaddeus Gabara Method and Apparatus for a Virtual Keyboard Plane
CN106796384B (zh) * 2014-07-31 2019-09-27 惠普发展公司，有限责任合伙企业 作为图像捕捉设备的光源的投影仪

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6308199B1 (en) * 1997-08-11 2001-10-23 Fuji Xerox Co., Ltd. Cooperative work support system for managing a window display
CN101056386A (zh) * 2006-04-14 2007-10-17 富士施乐株式会社 电子会议系统、电子会议支持方法以及电子会议控制装置

Also Published As

Publication number Publication date
US20190138084A1 (en) 2019-05-09
US20170269682A1 (en) 2017-09-21
EP2919103B1 (en) 2020-04-01
US20200097074A1 (en) 2020-03-26
EP3734426A1 (en) 2020-11-04
US20180164875A1 (en) 2018-06-14
CN104756065A (zh) 2015-07-01
EP2919103A4 (en) 2016-07-06
EP2919103A1 (en) 2015-09-16
JPWO2014073345A1 (ja) 2016-09-08
US9933848B2 (en) 2018-04-03
US20150338913A1 (en) 2015-11-26
US9753534B2 (en) 2017-09-05
US11036286B2 (en) 2021-06-15
WO2014073345A1 (ja) 2014-05-15
US10528124B2 (en) 2020-01-07
US10209770B2 (en) 2019-02-19

Similar Documents

Publication Publication Date Title
CN104756065B (zh) 信息处理装置、信息处理方法以及计算机可读记录介质
US10754490B2 (en) User interface for collaborative efforts
KR102319417B1 (ko) 협업 서비스를 제공하는 서버 및 방법, 그리고 협업 서비스를 제공받는 사용자 단말
JP5347673B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6233314B2 (ja) 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体
WO2019062910A1 (zh) 一种复制和粘贴的方法、数据处理装置和用户设备
CA2879057A1 (en) Method and apparatus for controlling application by handwriting image recognition
US8161403B2 (en) Returning passed objects in a surface based computing environment using a virtual bungee
JP5925957B2 (ja) 電子機器および手書きデータ処理方法
US20120242589A1 (en) Computer Interface Method
CN110895440A (zh) 信息处理装置及记录介质
JP5398570B2 (ja) 情報処理装置及びその制御方法
JP2013125553A (ja) 情報処理装置、記録プログラム
JP6187547B2 (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
Cardoso et al. Research Article Interaction Tasks and Controls for Public Display Applications
JP2018109831A (ja) 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
JP2018072914A (ja) 情報処理装置、情報処理システム、その制御方法、及びプログラム
JP2017120533A (ja) 情報処理装置、その制御方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant