CN102473068A - 信息处理器、处理方法和程序 - Google Patents

信息处理器、处理方法和程序 Download PDF

Info

Publication number
CN102473068A
CN102473068A CN2010800317740A CN201080031774A CN102473068A CN 102473068 A CN102473068 A CN 102473068A CN 2010800317740 A CN2010800317740 A CN 2010800317740A CN 201080031774 A CN201080031774 A CN 201080031774A CN 102473068 A CN102473068 A CN 102473068A
Authority
CN
China
Prior art keywords
cursor
display part
information
mouse
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800317740A
Other languages
English (en)
Other versions
CN102473068B (zh
Inventor
松田晃一
福地正树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102473068A publication Critical patent/CN102473068A/zh
Application granted granted Critical
Publication of CN102473068B publication Critical patent/CN102473068B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Abstract

本发明提供了允许移动到了显示部外部的光标或者其他对象被显示为虚拟对象并被观察到的配置。将放在PC或者其他设备的显示部的区域外部的区域中的光标或对象显示为虚拟对象。例如，由用户佩戴的眼镜的显示器显示诸如PC的显示设备和该显示设备外部的区域。计算有可能响应于用户操作而移动了的光标或对象的三维位置，随后在所计算的位置处将光标或对象显示为虚拟对象。此外，获取并展示针对通过光标指定的对象的对象信息。

Description

信息处理器、处理方法和程序
技术领域
本发明涉及信息处理器、处理方法和程序。本发明更具体地涉及用于使用合并了真实世界的真实对象和电子显示的混合现实(MR)技术来处理数据的信息处理器、处理方法和程序。
背景技术
例如，如果使用PC(个人计算机)的用户对数据进行处理，则他或她对PC的显示部(显示器)上的显示数据进行处理。然而，仅仅在显示部(即，有限的区域)上对数据进行处理包含了以下问题：
(1)当通过鼠标进行操作时，PC或其他设备的显示部上出现的鼠标光标停止在显示部的屏幕区域的边缘处。这使得不可能使用鼠标光标将显示部内的对象或窗口移动到显示部的屏幕区域外部的区域。
(2)如果由用户所使用的窗口或其他对象填满PC或其他设备的显示部的屏幕区域，则很多窗口被显示为彼此重叠。为了查看在下面的窗口，用户例如必须选择在下面的窗口以将其显示在顶部或者将重叠的窗口改变为图标。然而，前者的处理使得不可能查看已经移动到其他窗口后面的窗口。另一方面，后者的处理使得不可能查看图标化的窗口的细节。
存在以上问题。要注意，可以执行以下处理来使用比PC或其他设备的显示部的尺寸更大的区域。
(a)准备新的物理显示器并且将该显示器连接到由用户操作的计算机，使得可以使用多个显示器。
(b)在单个显示部上设定虚拟桌面。
然而，前者(a)不仅需要增加显示器的成本，还需要空间。另一方面，后者(b)需要用户输入命令或者操纵例如出现在托盘上的图标，以访问显示部上实际显示的区域之外的区域。
本发明意图例如通过使用基于混合现实(MR)的数据处理来解决这些问题。要注意，专利文献1(日本专利公开第2008-304268号)和专利文献2(日本专利公开第2008-304269号)是描述了混合现实的现有技术的示例。这些文献描述了适于使用通过相机捕获的图像来制作真实世界的三维映射的处理。
现有技术文献
专利文献
专利文献1：日本专利公开第2008-304268号
专利文献2：日本专利公开第2008-304269号
发明内容
技术问题
本发明的目的是提供信息处理器、信息处理方法和程序，其由于基于混合现实(MR)的数据处理，有效地使用了PC或其他设备的显示部(显示器)之外而非仅仅显示部中的空间区域来用于数据处理。
技术方案
本发明的第一方式是一种信息处理器，其包括坐标处理模块、相机、三维信息分析部、第二显示部和虚拟对象管理部。坐标处理模块确定第一显示部上显示的作为位置指示符的光标的位置位于第一显示部的区域内部还是外部，并且如果光标位于第一显示部的区域外部，则向虚拟对象管理部输出光标位置信息。相机捕获包括第一显示部的真实对象的图像。三维信息分析部分析相机捕获图像中所包括的真实对象的三维位置。第二显示部显示相机捕获图像。虚拟对象管理部生成不同于相机捕获图像中所包括的真实对象的虚拟对象，并且生成包括所生成的虚拟对象和该真实对象的合成图像，以便在第二显示部上显示该合成图像。虚拟对象管理部基于从坐标处理模块提供的光标位置信息，计算光标的三维位置，以便在第二显示部上显示其中将光标作为虚拟对象设置在所计算的位置处的合成图像。
此外，在根据本发明的信息处理器的实施例中，该信息处理器包括应用执行部，其适于处理通过位置指示符指定的指定对象。应用执行部确定指定对象位于第一显示部的区域内部还是外部，并且如果指定对象位于第一显示部的区域外部，则向虚拟对象管理部输出对象位置信息。虚拟对象管理部基于从坐标处理模块提供的对象位置信息，计算对象的三维坐标，以便在第二显示部上显示其中将对象作为虚拟对象设置在所计算的位置处的合成图像。
此外，在根据本发明的信息处理器的另一实施例中，如果基于从坐标处理模块提供的对象位置信息计算的对象的三维位置包括第一显示部的显示区域，则虚拟对象管理部在第二显示部上显示其中删除了与第一显示部的显示区域重叠的对象区域图像的合成图像。
此外，在根据本发明的信息处理器的又一实施例中，该信息处理器还包括对象信息获取部。对象信息获取部获取通过设置为虚拟对象的光标所指定的真实对象的图像数据，并且基于所获取的图像数据来检索数据以便获取对象信息。对象信息获取部向第一显示部输出所获取的对象信息作为显示数据。
此外，在根据本发明的信息处理器的再一实施例中，对象信息获取部访问其中真实对象的图像数据和对象信息彼此相关联的数据库或服务器，以便通过基于真实对象的图像数据的检索来获取对象信息。
此外，在根据本发明的信息处理器的再一实施例中，虚拟对象管理部基于相机捕获图像中所包括的组成第一显示部的部分的三维位置信息，计算包括第一显示部的显示表面的平面，并且计算光标的三维位置，使得光标被设置在该平面上。
此外，在根据本发明的信息处理器的再一实施例中，光标是通过鼠标操作来移动的鼠标光标。坐标处理模块接收由鼠标操作产生的鼠标光标位移信息，并且确定鼠标光标位于第一显示部的区域内部还是外部。
此外，本发明的第二方式是一种通过信息处理器执行的信息处理方法。该信息处理方法包括坐标处理步骤，其中，坐标处理模块确定第一显示部上显示的作为位置指示符的光标的位置位于第一显示部的区域内部还是外部，并且如果光标位于第一显示部的区域外部，则向虚拟对象管理部输出光标位置信息。该信息处理方法还包括图像捕获步骤，其中，相机捕获由包括第一显示部的真实对象组成的图像。该信息处理方法还包括三维信息分析步骤，其中，三维信息分析部分析相机捕获图像中所包括的真实对象的三维位置。该信息处理方法还包括虚拟对象管理步骤，其中，虚拟对象管理部生成不同于相机捕获图像中所包括的真实对象的虚拟对象，并且生成包括所生成的虚拟对象和该真实对象的合成图像，以便在第二显示部上显示该合成图像。
虚拟对象管理步骤是如下步骤，其中，基于从坐标处理模块提供的光标位置信息，计算光标的三维位置，以便在第二显示部上显示其中将光标作为虚拟对象设置在所计算的位置处的合成图像。
此外，本发明的第三方式是一种使得信息处理器处理信息的程序。该程序包括坐标处理步骤，其使得坐标处理模块确定第一显示部上显示的作为位置指示符的光标的位置位于第一显示部的区域内部还是外部，并且如果光标位于第一显示部的区域外部，则向虚拟对象管理部输出光标位置信息。该程序还包括图像捕获步骤，其使得相机捕获由包括第一显示部的真实对象组成的图像。该程序又包括三维信息分析步骤，其使得三维信息分析部分析相机捕获图像中所包括的真实对象的三维位置。该程序又还包括虚拟对象管理步骤，其使得虚拟对象管理部生成不同于相机捕获图像中所包括的真实对象的虚拟对象，并且生成包括所生成的虚拟对象和该真实对象的合成图像，以便在第二显示部上显示该合成图像。
虚拟对象管理步骤是如下步骤，其使得虚拟对象管理部基于从坐标处理模块提供的光标位置信息，计算光标的三维位置，以便在第二显示部上显示其中将光标作为虚拟对象设置在所计算的位置处作为虚拟对象的合成图像。
要注意，例如可以经由记录或通信介质来提供根据本发明的程序，该记录或通信介质适于以计算机可读形式将程序提供给适于执行各种程序代码的图像处理器或计算机系统。如果以计算机可读形式提供这样的程序，则在图像处理器或计算机系统中实现适合于该程序的处理。
基于稍后将描述的本发明的实施例和附图，本发明的其他目的、特征和优点将根据详细描述而变得明显。要注意，本说明书中的术语“系统”指的是多个设备的逻辑集合，并且各组成设备不需要提供在同一壳体内。
有利效果
在根据本发明的实施例的配置中，将放在PC或者其他设备的显示部的区域外部的区域中的光标或对象显示为虚拟对象。例如，由用户佩戴的眼镜的显示器显示诸如PC的显示设备和该显示设备外部的区域。计算有可能响应于用户操作而移动了的光标或对象的三维位置，随后在所计算的位置处将光标或对象显示为虚拟对象。此外，获取并展示针对通过光标指定的对象的对象信息。本配置使得有可能持续地观察和确认已经移动到显示部外部的数据，从而提供改进的数据处理效率。
附图说明
图1是说明了通过根据本发明的信息处理器执行的处理的示例的图组。
图2是说明了通过根据本发明的信息处理器执行的处理的示例的图组。
图3是说明了通过根据本发明的信息处理器执行的处理的示例的图组。
图4是描述了根据本发明的信息处理器的配置示例的图。
图5是描述了通过根据本发明的信息处理器执行的处理产生的、由用户佩戴的眼镜的显示器上显示的显示数据的示例的图。
图6是说明了描述通过根据本发明的信息处理器执行的处理序列的流程图的图。
图7是描述了说明通过根据本发明的信息处理器执行的处理的示例的具体处理示例的图。
图8是描述了通过根据本发明的信息处理器执行的处理产生的、由用户佩戴的眼镜的显示器上显示的显示数据的示例的图。
图9是说明了描述通过根据本发明的信息处理器执行的处理序列的流程图的图。
图10是描述了说明通过根据本发明的信息处理器执行的处理的示例的具体处理示例的图。
图11是描述了说明通过根据本发明的信息处理器执行的处理的示例的具体处理示例的图。
图12是描述了根据本发明的信息处理器的配置示例的图。
图13是描述了通过根据本发明的信息处理器执行的处理产生的、由用户佩戴的眼镜的显示器上显示的显示数据的示例的图。
图14是说明了描述通过根据本发明的信息处理器执行的处理序列的流程图的图。
具体实施方式
以下将参照附图给出根据本发明的信息处理器、处理方法和程序的详细描述。
将针对以下项目按顺序描述本发明：
1.通过根据本发明的信息处理器执行的处理的概要
2.根据本发明的第一实施例的信息处理器的配置以及通过该信息处理器执行的处理
3.根据本发明的第二实施例的信息处理器的配置以及通过该信息处理器执行的处理
4.根据本发明的第三实施例的信息处理器的配置以及通过该信息处理器执行的处理
[1.通过根据本发明的信息处理器执行的处理的概要]
首先将参照图1至3给出对通过本发明的信息处理器执行的处理的概要的描述。归功于基于混合现实(MR)的数据处理，本发明被设计为有效地使用PC或其他设备的显示部(显示器)之外的空间区域来用于数据处理。
图1是说明了通过根据本发明的信息处理器执行的处理的示例的图组。图1示出了由用户操作的PC或其他设备的显示部10。要注意，尽管稍后将描述详细配置，但是用户在佩戴眼镜的情况下操作PC。该眼镜具有适于显示通过混合现实(MR)生成器生成的图像的显示器。
该眼镜具有适于捕获周围环境的图像的相机。该眼镜的显示器显示包括相机捕获图像和通过混合现实(MR)生成器生成的虚拟对象的合成图像。图1(a)和图1(b)中的每个都示出了在由用户佩戴的眼镜的显示器上出现的用于观察的图像。
例如图1(a)中所示，用户正在通过在显示部10上显示文件来制作文件。图1(a)中所示的显示部10显示鼠标光标11a作为适于响应于由用户操作的鼠标的移动而移动的位置指示符。
用户可以通过操作鼠标来移动鼠标光标11a。在传统的信息处理器中，鼠标光标在显示部10的显示区域中移动。然而，当应用本发明时，鼠标光标的移动不限于显示部10的显示区域中。
例如，如果通过用户操作来沿着图1(a)中所示的移动线12移动，则如图1(b)中所示，鼠标光标可以被移动到显示部10外部的空间。这就是图1(b)中示出的鼠标光标11b。图1(b)中示出的鼠标光标11b是通过混合现实(MR)生成器生成的虚拟对象。用户观察到作为由用户佩戴的眼镜的显示器上显示的虚拟对象的鼠标光标11b。如上所述，根据本发明的配置允许鼠标光标11按照意愿在显示部10内部或外部移动。
图2也是说明了通过根据本发明的信息处理器执行的处理的示例的图组。如图1的情况那样，图2也示出了由用户操作的PC或其他设备的显示部10。用户佩戴着具有适于显示通过混合现实(MR)生成器生成的图像的显示器的眼镜。图2(a)和图2(b)中的每个都示出了在由用户佩戴的眼镜的显示器上出现的用于观察的图像。
图2(a)中示出的显示部10显示鼠标光标11a和通过鼠标光标11a指定的对象21a。在该示例中，对象21a是执行PC中的时钟显示应用所产生的、在显示部10上显示的对象。
用户通过操作鼠标来将鼠标光标11a移动到对象21a上，通过操作鼠标来指定对象，并且进一步将鼠标光标11a沿着图2(a)中示出的移动线22移动。
该处理允许鼠标光标和所指定的对象21移动到显示部10外部的空间。对象21是图2(b)中示出的对象21b。图2(b)中示出的对象21b是用过混合现实(MR)生成器生成的虚拟对象。用户观察到由用户佩戴的眼镜的显示器上显示的对象21b。如上所述，根据本发明的配置不仅允许鼠标光标也允许显示部10上显示的对象按照意愿移动。
图3也是说明了通过根据本发明的信息处理器执行的处理的示例的图组。如图1和图2的情况那样，图3也示出了由用户操作的PC或其他设备的显示部10。用户佩戴着具有适于显示通过混合现实(MR)生成器生成的图像的显示器的眼镜。图3(a)和图3(b)中的每个都示出了在由用户佩戴的眼镜的显示器上出现的用于观察的图像。
图3(a)示出了通过稍早参照图1描述的操作来设置在显示部10外部的鼠标光标11a和通过鼠标光标11a指定的真实对象31a。在该示例中，对象31a是真实空间中实际存在的真实对象。在该示例中，对象31a是CD(即，存储音乐数据的盘)封面的照片。
用户通过鼠标操作来将鼠标光标11a设置在对象31a上，并且通过鼠标操作来指定对象。通过指定对象来从数据库或服务器获取针对所指定的对象的信息(即，对象信息)。所获取的对象信息显示在显示部10上。图3(b)中示出的对象图像31b和对象信息31c是对象信息。
如上所述，根据本发明的配置使得有可能通过鼠标光标(即，虚拟对象)来指定真实空间中的各种真实对象，获取与所指定的对象相关的信息，将所获取的信息载入信息处理器(诸如PC)用于处理，并且在显示部10上显示执行PC中的应用产生的所获取的数据。
[2.根据本发明的第一实施例的信息处理器的配置以及通过该信息处理器执行的处理]
接下来将给出对适于执行参照图1描述为本发明的第一实施例的处理的信息处理器的配置以及通过该信息处理器执行的处理的详细描述。如图1所示出的，实施例1是如下配置示例，其中通过将鼠标光标11a沿着由用户的鼠标操作所产生的、图1(a)中示出的移动线12移动，将鼠标光标移动到如图1(b)中所示的显示部10外部的空间。
图4是说明了适于执行以上处理的、根据本发明的信息处理器的配置的图。用户100通过操作PC(个人计算机)来处理各种数据。如图4中所示，PC 120包括鼠标驱动器121、鼠标坐标处理模块122、GUI(图形化用户接口)部123、通信部124、应用执行部125、控制部126、存储器127和显示部128。PC 120还包括在图4中顶部示出的鼠标129。
鼠标驱动器121从鼠标129接收位置信息和操作信息作为输入信息。鼠标坐标处理模块122根据经由鼠标驱动器121接收的鼠标129的位置信息来确定鼠标光标的显示位置。要注意，在根据本发明的配置中，鼠标光标的显示位置不限于显示部128的显示区域。
GUI部123是适于例如处理从用户接收的处理信息并且向用户输出信息的用户接口。通信部124与混合现实(MR)生成器130通信。
应用执行部125执行适合于通过PC 120执行的数据处理的应用。控制部126对于通过PC 120执行的处理实施控制。存储器127包括RAM(随机存取存储器)、ROM(只读存储器)和其他适于存储例如程序和数据处理参数的存储设备。显示部128是包括例如LCD(液晶显示器)的显示部。
用户100佩戴具有适于显示虚拟对象的眼镜141。眼镜具有适于捕获周围环境的图像的相机142。眼镜141和相机142连接到混合现实(MR)生成器130。用户100在观察出现在眼镜141上所提供的显示器上的图像的同时进行他或她的任务。
眼镜141的显示器显示真实世界图像(即，通过相机142捕获的图像)。眼镜141的显示器还与真实世界图像一起显示通过混合现实(MR)生成器130生成的虚拟对象。
在图4中示出的示例中，用户100正在操作PC(个人计算机)120，并且相机142正在捕获由用户100操作的PC(个人计算机)120的图像。因此，眼镜141的显示器显示包括例如由用户100操作的PC(个人计算机)120的显示器(显示部128)和PC 120的显示器周围的各种真实对象的图像作为真实世界图像。此外，通过混合现实(MR)生成器130生成的虚拟对象与真实世界图像相叠加地出现。根据用户100的移动来改变相机142的朝向。
如果用户100在执行他或她的任务的同时面朝PC 120的屏幕，则相机142捕获以PC 120的屏幕上的图像附近为中心的图像。作为结果，例如图5中所示的显示数据150出现在由用户100佩戴的眼镜141的显示器上。图5中所示的显示数据150是包括真实和虚拟对象的合成图像。
接下来将给出对图4中示出的混合现实(MR)生成器130的配置的描述。如图4中所示，混合现实(MR)生成器130包括三维信息分析部131、虚拟对象管理模块132、存储器133和通信部134。
三维信息分析部131接收通过由用户佩戴的相机142捕获的图像，并且分析捕获图像中包括的对象的三维位置。例如通过使用SLAM(即时定位与地图构建)来执行该三维位置分析。SLAM被设计为从相机捕获图像中包括的各种真实对象中选择特征点，并且检测所选择的特征点的位置以及相机的位置和姿态。要注意，在稍早提及的专利文献1(日本专利公开第2008-304268号)和专利文献2(日本专利公开第2008-304269号)中描述了SLAM。要注意，在题目为“《Real-time simultaneous localizationand mapping with a single camera》，Proceeding of the 9th InternationalConference on Computer Vision，Ninth，(2003)，Andrew J.Davison”的论文中描述了SLAM的基本处理。
三维信息分析部131使用例如以上描述的SLAM来计算通过由用户佩戴的相机142捕获的图像中包括的真实对象的三维位置。然而，要注意，三维信息分析部131可以通过使用以上描述的SLAM之外的方法来求出相机捕获图像中包括的真实对象的三维位置。
虚拟对象管理模块132管理出现在由用户佩戴的眼镜141的显示器上的虚拟对象。虚拟对象是存储在存储器133中的数据。更具体地，由用户佩戴的眼镜141的显示器显示例如图5中所示的显示数据150。显示数据150中包括的PC图像151是通过相机142捕获的真实图像(真实对象)。
例如，如果用户移动PC 120的鼠标129，则出现在图5中示出的PC图像151中的鼠标光标152a移动到PC图像151外部，从而将鼠标光标152b显示为虚拟对象。
图4中示出的用户100可以在眼镜141的显示器上观察到包括例如图5中示出的真实和虚拟对象。图5中示出的PC图像151是通过相机142捕获的真实对象。PC图像151中的鼠标光标152a也是实际出现在PC图像151中的信息(即，真实对象)。要注意，此处将通过相机142捕获的以及其图像可以通过相机捕获的、真实世界中存在的对象描述为真实对象。
图5中示出的PC图像151外部的鼠标光标152b不是真实世界对象(真实对象)。鼠标光标152b是通过混合现实(MR)生成器130生成的虚拟对象。鼠标光标152b是不存在于真实世界中但出现在由用户佩戴的眼镜141的显示器上的对象。
以下将参照图6中示出的流程图给出对适于如上所述地显示鼠标光标的处理序列的描述。要注意，我们假设用户正在操作连接到图4中示出的PC 120的鼠标129。操作信息被提供给鼠标驱动器。从该处理往下，执行从图6中示出的流程图中的步骤S101开始的处理。
通过图4中示出的PC 120来执行从图6中示出的流程图中的步骤S101到步骤S105的处理步骤。
通过图4中示出的混合现实(MR)生成器130来执行从步骤S106到步骤S109的处理步骤。
在步骤S101中，PC 120的鼠标坐标处理模块122从鼠标驱动器121接收鼠标位移(dX，dY)信息。
在步骤S102中，鼠标坐标处理模块122根据先前的鼠标光标位置(XP，YP)和鼠标位移(dX，dY)信息来计算更新的鼠标光标位置(XQ，YQ)。
在步骤S103中，鼠标坐标处理模块122确定更新的鼠标光标位置(XQ，YQ)是否在显示部外部。当更新的鼠标光标位置(XQ，YQ)在显示部的区域内部时，处理前进到步骤S104。在该情况下，PC按照正常做法更新鼠标光标的显示位置。如果更新的鼠标光标位置(XQ，YQ)在显示部的区域外部，则处理前进到步骤S105。
在步骤S105中，经由通信部将存储在存储器中的鼠标光标位置信息(XQ，YQ)传递到混合现实(MR)生成器130。要注意，在本实施例中，从PC 120传递到混合现实(MR)处理器130的位置信息仅仅是鼠标光标的位置信息，并且混合现实(MR)处理器130预先确认了所传递的位置信息是鼠标光标的位置信息。为了传递其他对象的位置信息或者其他信息，需要传递每个对象的识别信息或者对象绘制数据。
通过混合现实(MR)生成器130来执行从步骤S106往下的处理步骤。
首先，在步骤S106中，混合现实(MR)生成器130在其存储器133中存储从PC 120传递的鼠标光标位置信息(XQ，YQ)。如果混合现实(MR)生成器130从PC 130接收到非显示数据(鼠标光标绘制数据)或其识别符，则所接收的数据也存储在混合现实(MR)生成器130的存储器133中。
接下来，在步骤S107中，混合现实(MR)生成器130的虚拟对象管理模块132获取存储在存储器133中的数据(即，非显示数据(鼠标光标绘制数据)和位置信息(XQ，YQ))。
在步骤S108中，虚拟对象管理模块132将非显示数据(鼠标光标)的位置信息转换到用于从三维信息分析部131获取的相机捕获图像的相机坐标系中。
将参照图7给出对该处理的描述。三维信息分析部131已经获取了相机捕获图像中包括的PC的显示部200的四角处的标记201a至201d的三维位置信息。如图7中所示，已经获取了以下几条位置信息：
标记201a＝(xa，ya，za)
标记201b＝(xb，yb，zb)
标记201c＝(xc，yc，zc)
标记201d＝(xd，yd，zd)
要注意，这些条位置信息在同一相机坐标系(x，y，z)中。
另一方面，从PC 120接收的鼠标光标位置信息(XQ，YQ)在PC显示部平面坐标系中。如图7中所示，鼠标光标位置信息是例如以显示部的左上角作为其原点(X，Y)＝(0，0)的位置信息，其中由X指代水平方向而由Y指代竖直方向。
虚拟对象管理模块132基于标记201a至201d的三维位置信息来计算相机坐标系中的显示部的平面，以确定在所计算的平面上要将从PC 120获取的非显示数据(鼠标光标绘制数据)设置在哪里。为了执行该处理，转换从PC 120获取的、以显示部平面坐标系(X，Y)来表示的位置信息(XQ，YQ)，从而计算在相机坐标系(x，y，z)中鼠标光标211q的显示位置(xq，yq，zq)。
将鼠标光标211q的显示位置(xq，yq，zq)设定在通过图7中示出的显示部200的四角处的标记201a至201d形成的显示表面的平面上。首先，求出通过显示部200的四角处的标记201a至201d形成的显示表面。
可以通过使用显示部200的四角处的标记201a至201d的四个坐标中的任意三个来限定该显示表面。例如，可以通过使用以下三个点的坐标来限定显示表面：
标记201a＝(xa，ya，za)
标记201b＝(xb，yb，zb)
标记201c＝(xc，yc，zc)
通过使用以上三个点的坐标，可以如式1所示地表达穿过显示表面的xyz平面(相机坐标系(x，y，z)中的平面)。
(x-xa)(yb-ya)(zc-za)+(xb-xa)(yc-ya)(z-za)+(xc-xa)(y-ya)(zb-za)-(xc-xa)(yb-ya)(z-za)-(xb-xa)(y-ya)(zc-za)-(x-xa)(yc-ya)(zb-za)＝0……(式1)
虚拟对象管理模块132将从PC 120获取的、以显示部平面坐标系(X，Y)表示的位置信息(XQ，YQ)转换为相机坐标系(x，y，z)中的xyz平面上的位置坐标(xq，yq，zq)。
我们假设要求出的坐标是图7中示出的鼠标光标211q在相机坐标系(x，y，z)中的坐标位置(xq，yq，zq)。
标记201a＝(xa，ya，za)
标记201b＝(xb，yb，zb)
标记201c＝(xc，yc，zc)
此外，将显示部平面坐标系(X，Y)中以上三个点的位置分别如下假设：
标记201a＝(0，0)
标记201b＝(XB，0)
标记201c＝(0，YC)
显示部平面坐标系(X，Y)中坐标的以下设定，即
标记201a＝(0，0)
标记201b＝(XB，0)
标记201c＝(0，YC)
鼠标光标211p的位置(XP，YP)
鼠标光标211q的位置(XQ，YQ)
之间的位置关系与相机坐标系(x，y，z)中坐标的以下设定，即
标记201a＝(xa，ya，za)
标记201b＝(xb，yb，zb)
标记201c＝(xc，yc，zc)
鼠标光标211p的位置(xp，yp，zp)
鼠标光标211q的位置(xq，yq，zq)
之间的位置关系相同。
因此，以下各式成立：
(0-XQ)/(0-XB)＝(xa-xq)/(xa-xb)
(0-YQ)/(0-YC)＝(ya-yq)/(ya-yc)
根据上式，可以得出以下关系式(式2和3)：
xq＝xa-XQ(xa-xb)/XB……(式2)
yq＝ya-YQ(ya-yb)/YC……(式3)
通过将以上关系式(式2和3)代入稍早描述的式子(式1)，可以得出zq。如上所述地计算鼠标光标211q的位置(xq，yq，zq)。
在图6的流程中示出的步骤S108中，虚拟对象管理模块132将从存储器133获取的非显示数据的位置信息(XQ，YQ)如上所述地转换为用于从三维信息分析部131获取的相机捕获图像的相机坐标系中的位置(xq，yq，zq)。
接下来，在步骤S109中，虚拟对象管理模块132在相机坐标系中的所生成的坐标位置(xq，yq，zq)处显示鼠标光标。要注意，如果已经从PC 120接收了鼠标光标绘制数据并且将其存储在了存储器133中，则存储在存储器133中的数据中包括的非显示数据(即，从PC 120传递的非显示数据(鼠标光标绘制数据))显示在相机坐标系中的所生成的坐标位置(xq，yq，zq)处。
作为该处理的结果，图5中示出的显示数据150出现在由用户100佩戴的眼镜141的显示器上。图5中示出的显示数据150是将作为真实对象的PC图像151与作为虚拟对象的鼠标光标152b一起示出的合成图像。如图5中所示，虚拟对象管理模块132将虚拟对象的显示位置设定在PC显示部外部的空间中。该显示处理允许用户将鼠标光标移动到PC显示部外部，而非仅仅在PC显示部中移动，从而使得有可能使用更大的工作区域用于数据处理。
要注意，每次由于用户操作PC 120的鼠标129而使得鼠标光标位置改变时，都执行参照图6中示出的流程图描述的处理。每次鼠标光标位置改变，鼠标坐标处理模块都122向混合现实(MR)生成器130发送更新的数据。混合现实(MR)生成器130基于更新的数据来改变虚拟对象(鼠标光标)的显示位置作为实时处理。
[3.根据本发明的第二实施例的信息处理器的配置以及通过该信息处理器执行的处理]
接下来将给出对适于执行稍早参照图2描述为本发明的第二实施例的处理的信息处理器的配置以及通过该信息处理器执行的处理的详细描述。如参照图2所述，实施例2是如下配置示例，其中通过指定对象21并且将鼠标光标11a沿着用户的鼠标操作所产生的、图2(a)和2(b)中示出的移动线22移动来将对象21移动到如图2(b)中所示的显示部10外部的空间。
像第一实施例那样，通过如图4中所示地配置的设备来执行本实施例。在图4中示出的示例中，用户100正在操作PC(个人计算机)120，并且相机142正在捕获由用户100操作的PC(个人计算机)的图像。因此，由用户100佩戴的眼镜141的显示器显示包括例如由用户100操作的PC(个人计算机)120的显示器(显示部128)和PC 120的显示器周围的各种真实对象的图像作为真实世界图像。此外，通过混合现实(MR)生成器130生成的虚拟对象与真实世界图像相叠加地出现。根据用户100的移动来改变相机142的朝向。
如果用户100在执行他或她的任务的同时面朝PC 120的屏幕，则相机142捕获以PC 120的屏幕上的图像附近为中心的图像。作为结果，例如图8中所示的显示数据250出现在由用户100佩戴的眼镜141的显示器上。图8中所示的显示数据250是包括真实和虚拟对象的合成图像。
显示数据250中包括的PC图像251是通过相机142捕获的真实图像(真实对象)。例如，图8示出了其中用户移动图4中示出的PC 120的鼠标129的处理。如果在已经通过鼠标光标271a指定之后将出现在图8中示出的PC图像251中的对象252a移动到PC图像251外部，则对象252和鼠标光标271一起移动。如果对象252和鼠标光标271继续移动，则对象252b和鼠标光标271b作为虚拟对象显示在PC图像251外部。
图4中示出的用户100可以在眼镜141的显示器上观察到包括例如图8中示出的真实和虚拟对象的合成图像。图8中示出的PC图像251是同相机142捕获的真实对象。PC图像251中的对象252a和鼠标光标271a两者都是实际显示在PC图像151内部的信息和真实对象。另一方面，图8中示出的PC图像251外部的对象252b和鼠标光标271b不是真实世界对象(真实对象)。对象252b和鼠标光标271b是通过混合现实(MR)生成器130生成的虚拟对象。对象252b和鼠标光标271b是不存在于真实世界中但出现在由用户佩戴的眼镜141的显示器上的对象。
以下将参照图9中示出的流程图给出对适于如上所述地显示虚拟对象的处理序列的描述。要注意，我们假设用户正在操作连接到图4中示出的PC 120的鼠标129。
要注意，如可以根据图8中示出的显示数据250所理解的那样，鼠标光标271b像在第一实施例中那样在本实施例中显示为虚拟对象。以与参照图6描述的序列相同的方式执行适于显示鼠标光标271b的序列。
在本实施例2中，进一步附加了适于显示通过鼠标指定的对象252的处理。图9中示出的流程图是仅描述了适于显示该鼠标指定对象的序列的流程。就是说，如果生成并显示图8中示出的显示数据250，则一起执行两个处理，一个根据图6中示出的流程，另一个根据图9中示出的流程。
通过图4中示出的PC 120来执行从图9中示出的流程图中的步骤S201到步骤S204的处理步骤。
通过图4中示出的混合现实(MR)生成器130来执行从步骤S205到步骤S208的处理步骤。
在步骤S201中，通过PC 120的鼠标129指定的对象信息存储在PC120的存储器127中。要注意，存储器127中存储的对象信息包括对象的绘制数据和位置信息。位置信息是例如用作对象的基准的中心位置的坐标或者限定轮廓的多条位置信息。
在矩形数据(诸如图10中示出的对象301a)的情况下，例如四个顶点P、Q、R和S中每个的坐标信息存储在存储器中作为组成对象信息的元素。要注意，位置信息只需要是允许在特定位置处绘制对象的位置信息。因此，可以在存储器中只存储所有四个顶点P、Q、R和S中的一个点(即P)的坐标信息。表示对象的形状的对象绘制数据也存储在存储器中。因此，即使只有一个点(即P)的坐标信息存储在存储器中作为位置信息，也有可能使用P作为起始点来绘制(显示)对象。
在步骤S202中，确定是否由于通过用户操作进行的PC 120的鼠标129的移动而在鼠标指定对象区域中产生了显示部外部区域。在该处理中，PC 120的应用执行部125基于新的鼠标光标位置和从鼠标坐标处理模块122获取的对象形状来做出该确定。
如果步骤S202中的确定结果是否定的，就是说，如果在鼠标指定对象区域中没有产生显示部外部区域，则处理前进到步骤S203，在步骤S203中PC 120的应用执行部125在显示部中显示鼠标指定对象。
另一方面，当步骤S202中的确定结果是肯定的时，就是说，当在鼠标指定对象区域中产生了显示部外部区域时，处理前进到步骤S204。在该情况下，例如通过用户操作来将对象移动到图10中示出的对象301b的位置，或者移动到图11中示出的对象301c的位置。要注意，图10和11说明了其中图10和11中示出的对象301b和301c至少部分地作为虚拟对象出现在由用户佩戴的眼镜的显示器上的示例。
在步骤S204中，将存储器中存储的数据(非显示数据(对象绘制数据))和位置信息发送到混合现实(MR)生成器130。在图10中示出的示例中，例如从PC 120的存储器127获取时钟(即对象301b)的绘制数据和对象301b的四个顶点P、Q、R和S中每个的坐标数据，并且将其发送到混合现实(MR)生成器130。
要注意，与实施例1的情况一样，所传递的位置信息是PC显示部平面坐标系中的位置信息，该位置信息例如以显示部的左上角作为其原点(X，Y)＝(0，0)，其中由X指代水平方向而由Y指代竖直方向，如图10中所示。在图10中示出的示例中，传递以下四个顶点的坐标信息：
P＝(XP，YP)
Q＝(XQ，YQ)
R＝(XR，YR)
S＝(XS，YS)
通过混合现实(MR)生成器130来执行从步骤S205往下的处理步骤。
首先，在步骤S205中，混合现实(MR)生成器130在混合现实(MR)生成器130的存储器133中存储从PC 120接收的数据(即非显示数据(对象绘制数据)和位置信息(P、Q、R和S坐标信息))。
接下来，在步骤S206中，混合现实(MR)生成器130的虚拟对象管理模块132获取存储在存储器133中的数据(即，非显示数据(对象绘制数据)和位置信息(P、Q、R和S坐标信息))。
接下来，在步骤S207中，虚拟对象管理模块132将从存储器133获取的点P、Q、R和S的位置信息转换到用于从三维信息分析部131获取的相机捕获图像的相机坐标系中。
以与第一实施例中描述的鼠标光标的坐标转换相同的方式来执行该坐标转换。因此，省略其详细描述。
在图10中示出的示例中，例如将在显示部平面坐标系(X，Y)中点P、Q、R和S的每个点的坐标转换为相机坐标系(x，y，z)中的以下坐标：
P＝(XP，YP)→(xp，yp，zp)
Q＝(XQ，YQ)→(xq，yq，zq)
R＝(XR，YR)→(xr，yr，zr)
S＝(XS，YS)→(xs，ys，zs)
如上所述，在图9的流程中示出的步骤S207中，虚拟对象管理模块132将从存储器133获取的非显示数据的位置信息转换为用于从三维信息分析部131获取的相机捕获图像的相机坐标系中的位置(xq，yq，zq)。
接下来，在步骤S208中，虚拟对象管理模块132获取存储在存储器133中的数据中包括的非显示数据(对象绘制数据)，以在相机坐标系中的所生成的坐标位置处绘制或显示对象，如图10中所示。
由于该处理，图8中示出的显示数据250出现在由用户100佩戴的眼镜141的显示器上。图8中示出的显示数据250是将作为真实对象的PC图像251与作为虚拟对象的对象252b和鼠标光标271b一起示出的合成图像。如图8中所示，虚拟对象管理模块132将虚拟对象的显示位置设定在PC显示部外部的空间中。该显示处理允许用户在PC显示部外部而非仅仅在PC显示部中的空间中显示各种对象，从而使得有可能使用更大的工作区域用于数据处理。
要注意，每次由于用户操作PC 120的鼠标129而使得鼠标光标位置改变时，都执行参照图9中示出的流程图描述的处理。每次鼠标光标位置改变，鼠标坐标处理模块都122向混合现实(MR)生成器130发送更新的数据。混合现实(MR)生成器130基于更新的数据来改变虚拟对象(鼠标光标)的显示位置作为实时处理。
要注意，例如在图11中示出的对象301c的位置处，也出现了图9中示出的流程图中的步骤S202中的确定结果是肯定的情况。就是说，即使只有部分的鼠标指定对象位于PC显示部的显示区域外部，步骤S202中的确定结果也是肯定的。
在该情况下，也将图11中示出的点P、Q、R和S的位置信息从PC120转移到混合现实(MR)生成器130作为对象301c的位置信息。混合现实(MR)生成器130只需要以使部分的对象301c在PC的显示部上叠加地出现的方式来显示对象301c。
要注意，在该情况下，只有由点U、Q、R和V括起的、图11中示出的、对象301c的显示部外部区域可以作为虚拟对象出现，并且，对于由点P、U、V和S括起的部分对象，可以将出现在PC的显示部上的真实对象(即，相机捕获图像本身)而非虚拟对象显示在由用户佩戴的眼镜的显示器上。
为了执行该处理，混合现实(MR)生成器130的虚拟对象管理模块132生成仅由如图11中示出的、由点U、Q、R和V括起的部分的数据组成的虚拟对象显示数据，并且在虚拟对象显示处理期间显示该显示数据。就是说，使得透明地显示由从PC接收的对象绘制数据的点P、U、V和S括起的部分的数据。
[4.根据本发明的第三实施例的信息处理器的配置以及通过该信息处理器执行的处理]
接下来将给出对适于执行稍早参照图3描述为本发明的第三实施例的处理的信息处理器的配置以及通过该信息处理器执行的处理的详细描述。如参照图3所述，实施例3是其中由于由用户进行的鼠标操作，通过指定PC显示部外部的真实空间中的对象31来如图3(b)中所示地显示对象31c。
通过如图12中示出地配置的设备来执行本实施例。以与实施例1中稍早参照图4描述的方式相同的方式来配置PC 120。混合现实(MR)生成器130包括三维信息分析部131、虚拟对象管理模块132、存储器133、通信部134、对象信息获取部135和对象信息数据库136。要注意，基本上不需要在混合现实(MR)生成器130内部提供对象信息数据库136。对象信息数据库136仅需要是例如可以经由混合现实(MR)生成器130的通信部来访问的可联网数据库。
以与第一实施例中稍早参照图4描述的方式相同的方式来配置三维信息分析部131、虚拟对象管理模块132、存储器133和通信部134。然而，要注意，通信部134经由网络与外部服务器140或者对象信息数据库136通信。
对象信息获取部135从通过由用户100佩戴的相机142捕获的图像中获取各种真实对象图像，并且将这些图像与对象信息数据库136中存储的数据进行比较，以选择相似图像并且获取与所选择的图像相关联的对象信息。
例如，如果真实对象图像是CD封面的照片，则对象信息是诸如歌曲名称以及CD风格、艺术家和价格的各种信息。这些对象信息与对象图像相关联并且存储在对象信息数据库136中。
要注意，服务器140也保存有与对象信息数据库136中存储的信息相同的信息。混合现实(MR)生成器130经由通信部134将通过由用户100佩戴的相机142捕获的图像或者从所捕获的图像中选择的真实对象图像(例如CD封面)发送到服务器。服务器从所接收的图像中提取相应的对象信息，以将对象信息提供给混合现实(MR)生成器130。
如上所述，混合现实(MR)生成器130从对象信息数据库136或服务器140获取对象信息，并且将所获取的对象信息与通过相机142捕获的真实对象图像一起提供给PC 120。PC 120使用所获取的信息来在其显示部上显示所获取的信息。
作为结果，例如图13中示出的显示数据450出现在由用户100佩戴的眼镜14的显示器上。显示数据450中包括的PC图像451是通过相机142捕获的真实图像(真实对象)。PC图像451外部的对象471a也是真实对象。鼠标光标480a是虚拟对象。
出现在PC图像451内部的对象图像471b和对象信息471c是通过PC 120的应用执行部125显示在显示部128上的数据。因此，在图13中示出的显示数据450中，鼠标光标480a之外的信息是出现在由用户100佩戴的眼镜141的显示器上的图像。该图像也可以由未佩戴任何眼镜的用户观察到。
就是说，出现在PC图像451中的对象图像471b和对象信息471c是可以由任何人观察到的、显示在PC 120的显示部上的显示数据。
以下将参照图14中示出的流程图来给出对适于如上所述地处理数据的处理序列的描述。要注意，我们假设用户正在操作连接到图12中示出的PC 120的鼠标129。
要注意，如可以根据图13中示出的显示数据450理解的那样，鼠标光标480a在本实施例中像第一和第二实施例那样显示为虚拟对象。以与参照图6描述的序列相同的方式来执行适于显示鼠标光标480a的序列。
在本实施例3中，进一步附加了用于通过鼠标指定的真实对象的处理。图14中示出的流程图是仅仅描述了用于该鼠标指定对象的序列的流程。就是说，如果生成并显示图13中示出的显示数据450，则一起执行两个处理，一个根据图6中示出的流程，另一个根据图14中示出的流程。
通过图12中示出的PC 120和混合现实(MR)生成器130两者来执行从图14中示出的流程图中的步骤S301中的处理步骤。通过图12中示出的混合现实(MR)生成器130来执行从步骤S302到步骤S309的处理步骤。通过图12中示出的PC 120来执行从步骤S310中的处理步骤。
在步骤S301中处理步骤之前，执行根据以第一实施例来描述的图6中示出的流程的处理，从而将鼠标光标设置在显示部外部区域中。我们假设例如鼠标光标位于图13中示出的鼠标光标480a的位置处。
在步骤S301中，确定是否通过鼠标操作指定了真实对象。当指定了真实对象时，处理前进到步骤S302。如果未指定真实对象，则结束处理。当指定了真实对象时执行以下处理。首先，当将鼠标点击信息经由PC 120的鼠标驱动器121提供给应用执行部125时，应用执行部125将鼠标操作(点击)信息经由通信部124通知给混合现实(MR)生成器130。混合现实(MR)生成器130经由通信部134接收鼠标操作信息并且将相同的信息通知给虚拟对象管理模块132。
在步骤S302中，虚拟对象管理模块132确定PC显示部外部区域是否包括在所指定的真实对象的对象区域中以及是否位于相机的成像范围中。相机是由用户100佩戴的相机142。如果步骤S302中的确定结果是否定的，则结束处理。当步骤S302中的确定结果是肯定的时，处理前进到步骤S303。
在步骤S303中，通过由用户100佩戴的相机142捕获包括鼠标指定对象的图像，并且所捕获的图像存储在存储器中。在虚拟对象管理模块132的控制下执行该处理。
从步骤S304到S306的处理步骤被设计为从对象信息数据库136获取对象信息。从步骤S307到S308的处理步骤被设计为从服务器140获取对象信息。可以执行这些处理中的任一。可替选地，这些处理两者可以都执行。
首先将给出对适于从对象信息数据库136获取的信息的、从步骤S304到S306的处理步骤的描述。
在步骤S304中，使用存储器中存储的鼠标指定对象图像作为搜索关键字来搜索对象信息数据库(DB)136。通过对象信息获取部135来执行该处理。
在对象信息数据库(DB)136中记录有各种真实对象的图像数据以及针对这些图像数据的对象的对象信息。在这样的对象信息当中有CD封面的照片以及歌曲名称和CD的价格。
在步骤S305中，对象信息获取部135搜索对象信息数据库(DB)136。就是说，对象信息获取部135确定是否对象信息数据库(DB)136中记录的任何图像数据与鼠标指定对象图像相匹配或者相似。如果没有提取出匹配或相似的所记录图像，则结束处理。当提取出匹配或者相似的所记录图像时，处理前进到步骤S306。
在步骤S306中，对象信息获取部135从对象信息数据库(DB)136获取针对与鼠标指定对象图像相匹配或者相似的所记录图像的所记录数据(即，对象图像和对象信息)。
接下来将给出对使用服务器140的、从步骤S307到S308的处理步骤的描述。在步骤S307中，对象信息获取部135将存储器中此处的鼠标指定对象图像经由通信部134发送到服务器140。
在步骤S308中，对象信息获取部135从服务器140获取基于服务器中记录的信息来选择的对象图像和对象信息。服务器140执行与对象信息获取部135相同的处理，使用鼠标指定对象图像作为搜索关键字来搜索服务器140的数据库并且提取出对象信息。要注意，如果无法提取出对象信息，则通知报错消息。
在步骤S309中，混合现实(MR)生成器130向PC 120发送从服务器或者数据库获取的对象信息和对象图像数据。要注意，对象图像数据可以是从服务器或者数据库获取的或者是通过相机142捕获的。
通过PC 120来执行最终步骤S310中的处理步骤。在步骤S310中，从混合现实(MR)生成器130获取的数据由于通过PC中的应用执行的处理而显示在PC显示部上。
作为结果，图13中示出的显示数据450显示在由用户100佩戴的眼镜141的显示器上。如稍早描述的，出现在PC图像451中的对象图像471b和对象信息471c是通过PC 120的应用执行部125显示在显示部128上的数据。因此，图13中示出的鼠标光标480a之外的显示数据450是也可以由未佩戴任何眼镜的用户观察到的信息。
以上已参照具体实施例详细描述了本发明。然而，对于本领域普通技术人员而言显然的是，可以不脱离本发明的要点的情况下进行修改或替换。就是说，本发明以举例的方式进行了公开，而不应以限制性方式进行解释。应该考虑所附的权利要求来评价本发明的要点。
另一方面，可以通过硬件或软件或者二者的结合来执行说明书中描述的处理的系列。如果通过软件来执行处理的系列，则将包含处理序列的程序安装到并入专用硬件的计算机的存储器中用于执行，或者安装到能够执行各种处理的通用个人计算机中用于执行。例如，程序可以预先存储到记录介质上。在从记录介质安装到计算机中之外，可以通过经由网络(诸如LAN(局域网)或因特网)接收程序来将程序安装到诸如内置硬盘的记录介质。
要注意，说明书中描述的处理中的每个都可以不仅根据描述按时间顺序执行，而是也可以根据执行处理的设备的处理能力或者根据需要，并行地或者单独地执行。另一方面，本说明书中的术语“系统”指的是多个设备的逻辑集合，并且组成设备不需要提供在同一个壳体中。
产业应用性
如上所述，在根据本发明的实施例的配置中，将放在PC或者其他设备的显示部的区域外部的区域中的光标或者对象显示为虚拟对象。例如，由用户佩戴的眼镜的显示器显示诸如PC的显示设备以及该显示设备外部的区域。计算有可能响应于用户操作而移动了的光标或对象的三维位置，随后在所计算的位置处将光标或对象显示为虚拟对象。此外，获取并展示针对通过光标指定的对象的对象信息。本配置使得有可能持续地观察和确认已经移动到显示部外部的数据，从而提供改进的数据处理效率。
附图标记说明
10显示部
11鼠标光标
12移动线
21对象
22移动线
31a、31b对象
31c对象信息
100用户
120PC(个人计算机)
121鼠标驱动器
122鼠标坐标处理模块
123GUI部
124通信部
125应用执行部
126控制部
127存储器
128显示部
129鼠标
130混合现实(MR)生成器
131三维信息分析部
132虚拟对象管理模块
133存储器
134通信部
135对象信息获取部
136对象信息数据库
140服务器
141眼镜
142相机
150显示数据
151PC图像
152鼠标光标
200显示部
201标记
211鼠标光标
250显示数据
251PC图像
252对象
271鼠标光标
301对象
450显示数据
451PC图像
471a、471b对象
471c对象信息

Claims (9)

1.一种信息处理器，其包括：
坐标处理模块，其适于确定第一显示部上显示的作为位置指示符的光标的位置位于所述第一显示部的区域内部还是外部，并且如果所述光标位于所述第一显示部的区域外部，则向虚拟对象管理部输出光标位置信息；
相机，其适于捕获由包括所述第一显示部的真实对象组成的图像；
三维信息分析部，其适于分析相机捕获图像中所包括的真实对象的三维位置；
第二显示部，其适于显示所述相机捕获图像；以及
所述虚拟对象管理部适于生成不同于所述相机捕获图像中所包括的真实对象的虚拟对象，并且生成包括所生成的虚拟对象和所述真实对象的合成图像，以便在所述第二显示部上显示所述合成图像，其中
所述虚拟对象管理部基于从所述坐标处理模块提供的光标位置信息，计算所述光标的三维位置，以便在所述第二显示部上显示其中将所述光标作为虚拟对象设置在所计算的位置处的合成图像。
2.根据权利要求1所述的信息处理器，其包括：
应用执行部，其适于处理通过所述位置指示符所指定的指定对象，其中
所述应用执行部确定所述指定对象位于所述第一显示部的区域内部还是外部，并且如果所述指定对象位于所述第一显示部的区域外部，则向所述虚拟对象管理部输出对象位置信息，并且其中
所述虚拟对象管理部基于从所述坐标处理模块提供的对象位置信息，计算对象的三维坐标，以便在所述第二显示部上显示其中将对象作为虚拟对象设置在所计算的位置处的合成图像。
3.根据权利要求2所述的信息处理器，其中
如果基于从所述坐标处理模块提供的对象位置信息计算的对象的三维位置包括所述第一显示部的显示区域，则所述虚拟对象管理部在所述第二显示部上显示其中删除了与所述第一显示部的显示区域重叠的对象区域图像的合成图像。
4.根据权利要求1所述的信息处理器，其还包括：
对象信息获取部，其适于获取通过设置为所述虚拟对象的光标所指定的真实对象的图像数据，并且基于所获取的图像数据来检索数据以便获取对象信息，其中
所述对象信息获取部向所述第一显示部输出所获取的对象信息作为显示数据。
5.根据权利要求4所述的信息处理器，其中
所述对象信息获取部访问其中真实对象的图像数据和对象信息彼此相关联的数据库或服务器，以便通过基于所述真实对象的图像数据的检索来获取对象信息。
6.根据权利要求1所述的信息处理器，其中
所述虚拟对象管理部基于所述相机捕获图像中所包括的组成所述第一显示部的部分的三维位置信息，计算包括所述第一显示部的显示表面的平面，并且计算所述光标的三维位置，使得将所述光标设置在所述平面上。
7.根据权利要求1所述的信息处理器，其中
所述光标是通过鼠标操作来移动的鼠标光标，并且
所述坐标处理模块接收由所述鼠标操作产生的鼠标光标位移信息，并且确定所述鼠标光标位于所述第一显示部的区域内部还是外部。
8.一种通过信息处理器执行的信息处理方法，所述信息处理方法包括：
坐标处理步骤，其中，坐标处理模块确定第一显示部上显示的作为位置指示符的光标的位置位于所述第一显示部的区域内部还是外部，并且如果所述光标位于所述第一显示部的区域外部，则向虚拟对象管理部输出光标位置信息；
图像捕获步骤，其中，相机捕获由包括所述第一显示部的真实对象组成的图像；
三维信息分析步骤，其中，三维信息分析部分析相机捕获图像中所包括的真实对象的三维位置；以及
虚拟对象管理步骤，其中，虚拟对象管理部生成不同于所述相机捕获图像中所包括的真实对象的虚拟对象，并且生成包括所生成的虚拟对象和所述真实对象的合成图像，以便在第二显示部上显示所述合成图像，其中
所述虚拟对象管理步骤是如下步骤，其中，基于从所述坐标处理模块提供的光标位置信息，计算所述光标的三维位置，以便在所述第二显示部上显示其中将所述光标作为虚拟对象设置在所计算的位置处的合成图像。
9.一种使得信息处理器处理信息的程序，所述程序包括：
坐标处理步骤，其使得坐标处理模块确定第一显示部上显示的作为位置指示符的光标的位置位于所述第一显示部的区域内部还是外部，并且如果所述光标位于所述第一显示部的区域外部，则向虚拟对象管理部输出光标位置信息；
图像捕获步骤，其使得相机捕获由包括所述第一显示部的真实对象组成的图像；
三维信息分析步骤，其使得三维信息分析部分析相机捕获图像中所包括的真实对象的三维位置；以及
虚拟对象管理步骤，其使得虚拟对象管理部生成不同于所述相机捕获图像中所包括的真实对象的虚拟对象，并且生成包括所生成的虚拟对象和所述真实对象的合成图像，以便在第二显示部上显示所述合成图像，其中
所述虚拟对象管理步骤是如下步骤，其使得所述虚拟对象管理部基于从所述坐标处理模块提供的光标位置信息，计算所述光标的三维位置，以便在所述第二显示部上显示其中将所述光标作为虚拟对象设置在所计算的位置处的合成图像。
CN2010800317740A 2009-07-21 2010-06-30 信息处理器、处理方法和程序 Expired - Fee Related CN102473068B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009170118A JP5263049B2 (ja) 2009-07-21 2009-07-21 情報処理装置、および情報処理方法、並びにプログラム
JP2009-170118 2009-07-21
PCT/JP2010/061161 WO2011010533A1 (ja) 2009-07-21 2010-06-30 情報処理装置、および情報処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN102473068A true CN102473068A (zh) 2012-05-23
CN102473068B CN102473068B (zh) 2013-12-25

Family

ID=43499009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800317740A Expired - Fee Related CN102473068B (zh) 2009-07-21 2010-06-30 信息处理器、处理方法和程序

Country Status (9)

Country Link
US (1) US8751969B2 (zh)
EP (1) EP2458486A1 (zh)
JP (1) JP5263049B2 (zh)
KR (1) KR20120069654A (zh)
CN (1) CN102473068B (zh)
BR (1) BR112012000913A2 (zh)
RU (1) RU2524836C2 (zh)
TW (1) TW201108037A (zh)
WO (1) WO2011010533A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104683683A (zh) * 2013-11-29 2015-06-03 英业达科技有限公司 拍摄影像的系统及其方法
US20160026242A1 (en) 2014-07-25 2016-01-28 Aaron Burns Gaze-based object placement within a virtual reality environment
CN106662924A (zh) * 2014-07-25 2017-05-10 微软技术许可有限责任公司 桌面与虚拟世界之间的鼠标共享
CN106687886A (zh) * 2014-07-25 2017-05-17 微软技术许可有限责任公司 三维混合现实视口
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10649212B2 (en) 2014-07-25 2020-05-12 Microsoft Technology Licensing Llc Ground plane adjustment in a virtual reality environment
CN113711175A (zh) * 2019-09-26 2021-11-26 苹果公司 呈现计算机生成现实环境的可穿戴电子设备

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8594467B2 (en) * 2008-12-19 2013-11-26 Microsoft Corporation Interactive virtual display system for ubiquitous devices
JP2012212340A (ja) 2011-03-31 2012-11-01 Sony Corp 情報処理装置、画像表示装置、および情報処理方法
JP2013016116A (ja) 2011-07-06 2013-01-24 Sony Corp 情報処理装置、画像表示装置、および情報処理方法
JP5821526B2 (ja) 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
CN103959344B (zh) * 2011-12-20 2017-03-01 英特尔公司 跨越多个设备的增强现实表示
JP6044079B2 (ja) 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2013174642A (ja) * 2012-02-23 2013-09-05 Toshiba Corp 映像表示装置
JP5580855B2 (ja) * 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
US10523899B2 (en) * 2013-06-26 2019-12-31 Touchcast LLC System and method for providing and interacting with coordinated presentations
JP6357843B2 (ja) * 2014-04-10 2018-07-18 凸版印刷株式会社 アプリケーション検査システム、アプリケーション検査装置及びアプリケーション検査プログラム
JP6280435B2 (ja) * 2014-04-28 2018-02-14 富士通コンポーネント株式会社 プログラム、中継装置及び情報処理装置
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
JP6197801B2 (ja) * 2015-01-30 2017-09-20 コニカミノルタ株式会社 データ入力システム、データ入力装置、データ入力方法およびデータ入力プログラム
WO2016157316A1 (ja) * 2015-03-27 2016-10-06 富士通株式会社 表示方法、プログラム及び表示制御装置
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
EP3631601A1 (en) * 2017-05-23 2020-04-08 PCMS Holdings, Inc. System and method for prioritizing ar information based on persistence of real-life objects in the user's view
WO2019067482A1 (en) * 2017-09-29 2019-04-04 Zermatt Technologies Llc DISPLAYING APPLICATIONS IN A SIMULATED REALITY ENVIRONMENT ENVIRONMENT
CN111433710A (zh) * 2017-12-04 2020-07-17 索尼公司 信息处理装置、信息处理方法以及记录介质
US11049322B2 (en) * 2018-06-18 2021-06-29 Ptc Inc. Transferring graphic objects between non-augmented reality and augmented reality media domains
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
US11644940B1 (en) 2019-01-31 2023-05-09 Splunk Inc. Data visualization in an extended reality environment
US11853533B1 (en) * 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
US11055918B2 (en) * 2019-03-15 2021-07-06 Sony Interactive Entertainment Inc. Virtual character inter-reality crossover
CN116360601A (zh) 2019-09-27 2023-06-30 苹果公司 用于提供扩展现实环境的电子设备、存储介质和方法
JP2021140085A (ja) 2020-03-06 2021-09-16 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN116438503A (zh) * 2020-12-17 2023-07-14 三星电子株式会社 电子装置和电子装置的操作方法
JP2022098268A (ja) 2020-12-21 2022-07-01 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
KR20230144042A (ko) 2021-02-08 2023-10-13 사이트풀 컴퓨터스 리미티드 생산성을 위한 확장 현실
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
WO2023028571A1 (en) * 2021-08-27 2023-03-02 Chinook Labs Llc System and method of augmented representation of an electronic device
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US11822941B2 (en) * 2023-08-28 2023-11-21 International Business Machines Corporation Mobile computing device projected visualization interaction

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000056896A (ja) * 1998-08-13 2000-02-25 Nec Corp ポインティング装置
JP2006154902A (ja) * 2004-11-25 2006-06-15 Olympus Corp 手書き画像表示システム及び空間手書き用携帯情報端末
JP2008304268A (ja) * 2007-06-06 2008-12-18 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2008304269A (ja) * 2007-06-06 2008-12-18 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
WO2009072504A1 (ja) * 2007-12-07 2009-06-11 Sony Corporation 制御装置、入力装置、制御システム、制御方法及びハンドヘルド装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5305435A (en) * 1990-07-17 1994-04-19 Hewlett-Packard Company Computer windows management system and method for simulating off-screen document storage and retrieval
US6909443B1 (en) * 1999-04-06 2005-06-21 Microsoft Corporation Method and apparatus for providing a three-dimensional task gallery computer interface
JP4178697B2 (ja) * 1999-11-18 2008-11-12 ソニー株式会社 携帯型情報処理端末、情報入出力システム及び情報入出力方法
FI20010958A0 (fi) * 2001-05-08 2001-05-08 Nokia Corp Menetelmä ja järjestely laajennetun käyttöliittymän muodostamiseksi
FI117488B (fi) * 2001-05-16 2006-10-31 Myorigo Sarl Informaation selaus näytöllä
US7369102B2 (en) * 2003-03-04 2008-05-06 Microsoft Corporation System and method for navigating a graphical user interface on a smaller display
JP2006172423A (ja) * 2004-11-18 2006-06-29 Canon Inc 遠隔操作システム、遠隔操作装置、被操作装置、遠隔操作方法、コンピュータプログラム、記憶媒体
EP1686554A3 (en) * 2005-01-31 2008-06-18 Canon Kabushiki Kaisha Virtual space generating system, image processing apparatus and information processing method
RU2008110056A (ru) * 2005-08-15 2009-09-27 Конинклейке Филипс Электроникс Н.В. (Nl) Система, устройство и способ для очков расширенной реальности для программирования конечным пользователем
US20070052672A1 (en) * 2005-09-08 2007-03-08 Swisscom Mobile Ag Communication device, system and method
SE0601216L (sv) * 2006-05-31 2007-12-01 Abb Technology Ltd Virtuell arbetsplats
US8277316B2 (en) * 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
JP4909851B2 (ja) * 2007-09-25 2012-04-04 日立アプライアンス株式会社 洗濯乾燥機
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
WO2009117450A1 (en) * 2008-03-18 2009-09-24 Invism, Inc. Enhanced immersive soundscapes production
US8176434B2 (en) * 2008-05-12 2012-05-08 Microsoft Corporation Virtual desktop view scrolling

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000056896A (ja) * 1998-08-13 2000-02-25 Nec Corp ポインティング装置
JP2006154902A (ja) * 2004-11-25 2006-06-15 Olympus Corp 手書き画像表示システム及び空間手書き用携帯情報端末
JP2008304268A (ja) * 2007-06-06 2008-12-18 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2008304269A (ja) * 2007-06-06 2008-12-18 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
WO2009072504A1 (ja) * 2007-12-07 2009-06-11 Sony Corporation 制御装置、入力装置、制御システム、制御方法及びハンドヘルド装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104683683A (zh) * 2013-11-29 2015-06-03 英业达科技有限公司 拍摄影像的系统及其方法
US20160026242A1 (en) 2014-07-25 2016-01-28 Aaron Burns Gaze-based object placement within a virtual reality environment
CN106662924A (zh) * 2014-07-25 2017-05-10 微软技术许可有限责任公司 桌面与虚拟世界之间的鼠标共享
CN106687886A (zh) * 2014-07-25 2017-05-17 微软技术许可有限责任公司 三维混合现实视口
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
CN106687886B (zh) * 2014-07-25 2019-09-17 微软技术许可有限责任公司 三维混合现实视口
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10649212B2 (en) 2014-07-25 2020-05-12 Microsoft Technology Licensing Llc Ground plane adjustment in a virtual reality environment
CN113711175A (zh) * 2019-09-26 2021-11-26 苹果公司 呈现计算机生成现实环境的可穿戴电子设备

Also Published As

Publication number Publication date
US8751969B2 (en) 2014-06-10
WO2011010533A1 (ja) 2011-01-27
TW201108037A (en) 2011-03-01
CN102473068B (zh) 2013-12-25
KR20120069654A (ko) 2012-06-28
RU2012101245A (ru) 2013-07-27
US20120124509A1 (en) 2012-05-17
RU2524836C2 (ru) 2014-08-10
JP5263049B2 (ja) 2013-08-14
JP2011028309A (ja) 2011-02-10
EP2458486A1 (en) 2012-05-30
BR112012000913A2 (pt) 2016-03-01

Similar Documents

Publication Publication Date Title
CN102473068B (zh) 信息处理器、处理方法和程序
Ens et al. Grand challenges in immersive analytics
US10679337B2 (en) System and method for tool mapping
US9639988B2 (en) Information processing apparatus and computer program product for processing a virtual object
JP5304341B2 (ja) 情報可視化システム、方法およびプログラム
CN104685449A (zh) 基于用户的目光的用户界面元素焦点
CN102395948A (zh) 信息处理设备、信息处理方法以及程序
CN111695516B (zh) 热力图的生成方法、装置及设备
CN111338721A (zh) 在线交互方法、系统、电子设备和存储介质
JP2021507436A (ja) 動的Ｗｅｂページの訪問者の行動分析情報提供装置及びこれを用いたＷｅｂサイトの訪問者の行動分析情報提供方法
CN109584361B (zh) 一种装备电缆虚拟预装和轨迹测量方法及系统
CN111290722A (zh) 屏幕分享方法、装置、系统、电子设备和存储介质
WO2019138661A1 (ja) 情報処理装置および情報処理方法
JP2021018710A (ja) 現場連携システムおよび管理装置
CN103473170B (zh) 测试系统及测试方法
WO2019127325A1 (zh) 信息处理方法、装置、云处理设备及计算机程序产品
KR20140001152A (ko) 증강현실 기반의 실시간 관심 컨텍스트 등록 시스템 및 그 방법
CN112860060B (zh) 一种图像识别方法、设备及存储介质
CN113192445A (zh) 一种多媒体展示方法
CN110941389A (zh) 一种焦点触发ar信息点的方法及装置
CN111290721A (zh) 在线交互控制方法、系统、电子设备和存储介质
CN111597290B (zh) 知识图谱与gis地图数据传递方法及装置、存储介质、设备
KR102467017B1 (ko) 다중 사용자 간의 증강현실 커뮤니케이션 방법
JP5472509B2 (ja) 情報処理装置、および情報処理方法、並びに情報記録媒体
CN103870227B (zh) 一种图像显示方法和电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131225

Termination date: 20150630

EXPY Termination of patent right or utility model