CN105339865A - 显示控制装置、显示控制方法以及程序 - Google Patents

显示控制装置、显示控制方法以及程序 Download PDF

Info

Publication number
CN105339865A
CN105339865A CN201480018521.8A CN201480018521A CN105339865A CN 105339865 A CN105339865 A CN 105339865A CN 201480018521 A CN201480018521 A CN 201480018521A CN 105339865 A CN105339865 A CN 105339865A
Authority
CN
China
Prior art keywords
image
real space
display
control unit
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480018521.8A
Other languages
English (en)
Other versions
CN105339865B (zh
Inventor
笠原俊一
历本纯一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105339865A publication Critical patent/CN105339865A/zh
Application granted granted Critical
Publication of CN105339865B publication Critical patent/CN105339865B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

[问题]为了增强在透明地显示真实空间的同时表现AR空间的情况下的用户体验。[解决方案]该显示控制装置设置有显示控制单元，该显示控制单元控制终端装置的显示单元，并且显示终端装置所位于的真实空间的图像，其中，该显示控制单元从第一图像与第二图像之间选择要显示在显示单元上的图像，该第一图像与在显示单元之外的区域中所观看到的真实空间中的图像具有连续性，该第二图像是基于真实空间的拍摄图像生成的并且独立于在显示单元之外的区域中所观看到的真实空间中的图像。

Description

显示控制装置、显示控制方法以及程序
技术领域
本公开涉及一种显示控制装置、显示控制方法以及程序。
背景技术
近年，被称为增强现实(AR)的技术引起注意，通过被称为增强现实的技术可以为用户呈现被叠加在真实世界上的额外的信息。在AR技术中，被呈现给用户的、也被称为注释的信息可以使用各种形式的虚拟对象(诸如文本、图标、动画等)被可视化。例如，专利文献1公开了一种用于实现这样的AR的虚拟对象的操作而不损害用户在AR空间中的沉浸感的技术。
引用列表
专利文献
专利文献1：JP2012-212345A
发明内容
技术问题
最近开发了在专利文献1等中所提出的AR技术，而且难以说提出了对于在各种阶段中利用AR的充分技术。例如，未充分地提出在透明地显示真实空间的同时表示AR空间的技术，并且仅开发了一个这样的技术。
期望提供新的并且改进的显示控制装置、新的并且改进的显示控制方法以及新的并且改进的程序，上述新的并且改进的显示控制装置、显示控制方法以及程序能够在透明地显示真实空间的同时表示AR空间的情况下、改进用户的体验。
问题的解决方案
根据本公开，提供了一种显示控制装置，该显示控制装置包括：显示控制单元，该显示控制单元被配置成控制终端装置的显示单元，以显示终端装置存在于其中的真实空间的图像。显示控制单元从第一图像和第二图像中选择要由显示单元显示的图像，该第一图像与在显示单元之外的区域中所观看到的真实空间的图像具有连续性，该第二图像是基于真实空间的拍摄图像所生成的并且独立于在显示单元之外的区域中所观看到的真实空间的图像。
根据本公开，提供了一种显示控制方法，该显示控制方法包括：通过被配置成控制终端装置的显示单元以显示在其中存在有终端装置的真实空间的图像的处理器，从第一图像和第二图像中选择要由显示单元显示的图像，该第一图像与在显示单元之外的区域中所观看到的真实空间的图像具有连续性，该第二图像是基于真实空间的拍摄图像所生成的并且独立于在显示单元之外的区域中所观看到的真实空间的图像。
根据本公开，提供了一种使得被配置成控制终端装置的显示单元以显示在其中存在有该终端装置的真实空间的图像的计算机实现下述功能的程序：从第一图像和第二图像中选择要由显示单元显示的图像，该第一图像与在显示单元之外的区域中所观看到的真实空间的图像具有连续性，该第二图像是基于真实空间的拍摄图像所生成的并且独立于在显示单元之外的区域中所观看到的真实空间的图像。
本发明的有利效果
根据以上所描述的本公开的实施例，能够在透明地显示真实空间的同时表示AR空间的情况下、改进用户的体验。
附图说明
图1是示出了根据本公开的实施例的系统的示意配置的图。
图2是示出了根据本公开的实施例的装置的示意配置的图。
图3A是示出了根据本公开的实施例共享拍摄图像的示例的图。
图3B是示出了根据本公开的实施例的注释输入的示例的图。
图4是示出了根据本公开的实施例共享拍摄图像的另一示例的图。
图5A是示出了根据本公开的实施例可使用的技术的处理的示例的流程图。
图5B是示出了根据本公开的实施例可以使用的技术的处理的另一示例的流程图。
图6是示出了根据本公开的实施例的可穿戴终端的配置的示例的图。
图7是示出了根据本公开的实施例的可穿戴终端中的合并视图的示例的图。
图8是示出了根据本公开的实施例的可穿戴终端中的合并视图的示例的图。
图9是示出了根据本公开的实施例的可穿戴终端中的摄像装置视图的示例的图。
图10是示出了根据本公开的实施例的可穿戴终端中的校准过程的示例的图。
图11是示出了根据本公开的实施例的平板式终端中的合并视图的示例的图。
图12是示出了根据本公开的实施例的转换显示的示例的图。
图13是示出了根据本公开的实施例的转换显示的示例的图。
图14是示出了根据本公开的实施例的转换显示的示例的图。
图15是示出了根据本公开的实施例的转换显示的另一示例的图。
图16是示出了根据本公开的实施例的可显示范围之外的注释指示的第一示例的图。
图17是示出了根据本公开的实施例的可显示范围之外的注释指示的第一示例的图。
图18是示出了根据本公开的实施例的可显示范围之外的注释指示的第一示例的图。
图19是示出了根据本公开的实施例的可显示范围之外的注释指示的第二示例的图。
图20是示出了根据本公开的实施例的可显示范围之外的注释指示的第二示例的图。
图21是示出了根据本公开的实施例的可显示范围之外的注释指示的第三示例的图。
图22是示出了根据本公开的实施例的可显示范围之外的注释指示的第三示例的图。
图23是示出了根据本公开的实施例的可显示范围之外的注释指示的第四示例的图。
图24是示出了根据本公开的实施例的可显示范围之外的注释指示的第五示例的图。
图25是示出了根据本公开的实施例的可显示范围之外的注释指示的第六示例的图。
具体实施方式
在下文中，将参照附图详细地描述本公开的优选实施例。注意，在本说明书和附图中，采用相同的附图标记标示具有基本上相同的功能和结构的元素，并且省略重复的说明。
将按照下面的顺序进行描述。
1.系统和装置的配置
1-1.系统的配置
1-2.装置的配置
2.真实空间图像的共享和交互
2-2.交互的概念
2-2.可使用的技术
3.可穿戴终端中的显示示例
3-1.合并视图
3-2.摄像装置视图
3-3.校准
4.平板式终端中的显示示例
5.合并视图与摄像装置视图之间的转换
6.可显示范围之外的注释指示
7.补充
(1.系统和装置的配置)
(1-1.系统的配置)
图1是示出了根据本公开的实施例的系统的示意配置的图。参照图1，系统10包括服务器100和客户端200至500。
服务器100是单个服务器装置或由通过各种有线或无线网络连接以用于协作的多个服务器装置所实现的功能的聚合。服务器100将服务提供给客户端200至700。
客户端200至500是通过各种有线或无线网络连接至服务器100的终端装置。根据由服务器100所提供的服务的种类，客户端装置200至500被分类为下面的(1)至(3)。
(1)一种装置，该装置包括诸如摄像装置的成像单元并且将真实空间的图像提供给服务器100。
(2)一种装置，该装置包括诸如显示器的显示单元以及诸如触摸板的操作单元；以及该装置从服务器100获取从装置(1)所提供的图像，将图像提供给用户以用于用户观看该图像，以及接收由用户输入到图像的注释。
(3)一种装置，该装置包括诸如显示器的显示单元，并且将其输入由装置(2)所接收的注释显示在真实空间中。
客户端200(在下文中，也简单地被称为可穿戴终端200)是可穿戴终端。可穿戴终端200包括例如成像单元和显示单元中的一者或两者，并且用作装置(1)至(3)中的一者或两者。在所示的示例中，可穿戴终端200为眼镜类型，但是本公开的实施例不限于该示例，只要可穿戴终端具有其可以被穿戴在用户的身体上的形式即可。当可穿戴终端200用作装置(1)时，可穿戴终端200包括例如在眼镜的框架中所安装的摄像装置作为成像单元。可穿戴终端200可以通过摄像装置从与用户的视角接近的位置获取真实空间的图像。所获取的图像被传送到服务器100。当可穿戴终端200用作装置(3)时，可穿戴终端200包括例如在眼镜的镜片部中的一部分或整体中所安装的显示器作为显示单元。可穿戴终端200将由摄像装置所拍摄的图像显示在显示器上并且显示由装置(2)所输入的注释，使得注释被叠加在图像上。替选地，当显示器为透明类型时，可穿戴终端200可以显示注释，使得注释透明地被叠加在由用户直接地观看的真实世界的图像上。
客户端300(在下文中，也简单地被称为平板式终端300)是平板式终端。平板式终端300至少包括显示单元和操作单元，并且可以用作例如装置(2)。平板式终端300还可以包括成像单元并且用作装置(1)至(3)中的一者或两者。即，平板式终端300可以用作装置(1)至(3)中的任一个。当平板式装置300用作装置(2)时，平板式终端300包括例如显示器作为显示单元，包括例如显示器上的触摸传感器作为操作单元，显示经由服务器100从装置(1)所提供的图像，以及接收由用户关于图像输入的注释。所接收的注释输入经由服务器(100)被提供给装置(3)。当平板式终端300用作装置(1)时，如在可穿戴终端200中一样，平板式终端300包括摄像装置作为成像单元，并且当用户在真实空间中握持平板式终端300时可以沿从用户的视线所延伸的线获取真实空间的图像。所获取的图像被传送到服务器100。当平板式终端300用作装置(3)时，平板式终端300将由摄像装置所拍摄的图像显示在显示器上，并且显示由装置(2)(例如，另一平板式终端)所输入的注释，使得注释被叠加在图像上。替选地，当显示器为透明类型时，平板式终端300可以通过将注释透明地叠加在由用户直接地观看的真实世界的图像上来显示注释。
客户端400(在下文中还简单地被称为移动电话400)是移动电话(智能电话)。因为系统10中的移动电话400的功能与平板式终端300的功能相同，因此将省略其详细的描述。尽管未示出，例如，当诸如便携式游戏装置或数字摄像装置的装置还包括通信单元、显示单元以及操作单元或成像单元时，该装置可以与系统10中的平板式终端300或移动电话400类似地起作用。
客户端500(在下文中还简单地被称为膝上型PC500)是膝上型个人计算机(PC)。膝上型PC500包括显示单元和操作单元，并且用作装置(2)。在所示的示例中，因为膝上型PC500基本上以固定的方式使用，所以膝上型PC500被当做不用作装置(1)的装置的示例。尽管未示出，例如，桌上型PC或电视机还可以用作膝上型PC500。膝上型PC500包括显示器作为显示单元，包括鼠标或键盘作为操作单元，显示经由服务器100从装置(1)所提供的图像，以及接收由用户关于图像所输入的注释。所接收的注释输入经由服务器100被提供给装置(3)。
以上描述了根据本公开的实施例的系统。如图1所示，根据实施例的系统10包括能够获取真实空间的图像的装置(1)(可穿戴终端200、平板式终端300或移动电话400)；能够将真实空间的图像提供给用户以用于用户观看并且接收由用户针对图像输入的注释的装置(2)(平板式终端300、移动电话400或膝上型PC500)；以及能够在真实空间中显示注释的装置(3)(可穿戴终端200、平板式终端300或移动电话400)。
服务器100通过与前述装置中的每个协作实现下述功能：获取真实空间的图像并且将图像提供给用户以用于用户(例如，不位于真实空间中的用户)观看图像，接收由用户输入到图像的注释，以及在真实空间中显示所输入的注释。例如，功能使得能够使用AR技术进行用户之间的交互，使得第二用户可以看到第一用户所位于的真实空间的图像，并且第二用户添加到图像的注释显示在真实空间中以由第一用户观看。
替选地，装置(2)的功能可以通过系统10中的服务器100实现。在这种情况下，服务器100基于预先登记的位置信息或对象信息生成用于从装置(1)所提供的图像的注释，以及将关于注释的信息传送到装置(3)。例如，当装置(1)和装置(3)相同时，在客户端与服务器100之间完成图像和注释的传送与接收。
(1-2.装置的配置)
图2是示出了根据本公开的装置的示意配置的图。参照图2，装置900包括处理器910和存储器920。装置900还可以包括显示单元930、操作单元940、通信单元950、成像单元960或传感器970。这些构成元件通过总线980彼此连接。例如，装置900可以实现构成服务器100的服务器装置和以下描述的客户端200至500中的任一个。
例如，处理器910是诸如中央处理单元(CPU)和数字信号处理器(DSP)的各种处理器中的任一个，并且例如通过根据在存储器920中所存储的程序执行诸如算术计算和控制的操作来实现各种功能。处理器910实现控制例如以上所述的服务器100以及客户端200至700的所有装置的控制功能。例如，处理器910执行显示控制以在可穿戴终端200、平板式终端300或移动电话400中实现以下要描述的示例的AR图像的显示。
存储器920被配置为诸如半导体存储器或硬盘的存储介质，并且存储程序和数据，装置900采用该程序和数据执行处理。存储器920可以存储例如由成像单元960所获取的拍摄图像或由传感器970所获取的传感器数据。在本说明书中所描述的程序和数据中的一些可以从外部数据源(例如，数据服务器、网络存储装置或外部附接的存储器)获取而无需存储在存储器920中。
例如，显示单元930设置在包括上述显示单元的客户端中。显示单元930可以是例如与装置900的形状相对应的显示器。例如，在以上所描述的示例中，可穿戴终端200可以包括例如具有与眼镜的镜片部相对应的形状的显示器。平板式终端300、移动电话400或膝上型PC500可以包括在各自壳体中所提供的平坦类型(flattype)显示器。
例如，在包括上述操作单元的客户端中设置操作单元940。根据需要，操作单元940由设置在显示器上的触摸传感器(与显示器一起形成触摸面板)或诸如触摸板或鼠标的指向装置结合键盘、按钮、开关等构成。例如，操作单元940通过指向装置指定在显示单元930上所显示的图像中的位置，并且从使用键盘、按钮、开关等在此位置处输入任何信息的用户接收操作。替选地，操作单元940可以通过指向装置指定在显示单元930上所显示的图像中的位置，并且还接收使用指向装置在此位置处输入任何信息的用户的操作。
通信单元950是调节通过装置900与其他装置进行的通信的通信接口。通信单元950支持任何无线通信协议或任何有线通信协议，并且建立与其他装置的通信连接。在前述的示例中，通信单元950用于传送由客户端所拍摄的真实空间的图像或将注释信息输入到服务器100，以及将真实空间的图像或注释信息从服务器100传送到客户端。
成像单元960是拍摄图像的摄像装置模块。成像单元960使用诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的图像传感器对真实空间进行成像，并且生成拍摄图像。由成像单元960所生成的拍摄图像的系列形成视频。成像单元960可以不必须在装置900的一部分中。例如，以有线或无线方式连接到装置900的成像装置可以被当做成像单元960。成像单元960可以包括深度传感器，该深度传感器针对每个像素测量成像单元960与对象之间的距离。如以下将描述地，从深度传感器所输出的深度数据可以被用于识别通过对真实空间进行成像所获得的图像中的环境。
传感器970可以包括诸如位置传感器，加速度传感器以及陀螺仪传感器的各种传感器。从传感器970所获得的测量结果可以被用于各种用途，诸如在通过对真实空间进行成像所获得的图像中的环境的识别的支持、地理位置特有的数据的获取以及用户输入的检测。传感器970可以被设置在包括成像单元960的装置中，诸如前述示例中的可穿戴终端200、平板式终端300或移动电话400。
(2.真实空间图像的共享和交互)
接下来，将参照图3A至图4描述根据本公开的实施例的交互的基本概念。
(2-1.交互的概念)
图3A是示出了根据本公开的实施例共享拍摄图像的示例的图。在所示的示例中，由可穿戴终端200的摄像装置260(成像单元)所拍摄的真实空间的图像以流传送方式经由服务器100被递送到平板式终端300，并且被显示为显示器330(显示单元)上的图像1300。此时，在可穿戴终端200中，真实空间的拍摄图像被显示在显示器230(显示单元)上，或真实空间的图像透过显示器230以直接地被观看。在此实例中，显示在显示器230上的图像(包括所透过的和所观看的背景)以下被称为图像1200。
图3B是示出了根据本公开的实施例的注释输入的示例的图。在平板式终端300中，触摸传感器340设置在显示器330(操作单元)上，因此可以获取用户对显示在显示单元330上的图像1300的触摸输入。在所示的示例中，由触摸传感器340获取指向图像1300中的特定位置的用户的触摸输入，以及因此指针1310显示在该位置处。例如，使用分离地显示的屏幕键盘等所输入的文本被显示为图像1300中的评论1320。指针1310和评论1320作为注释经由服务器100被传送到可穿戴终端200。
在可穿戴终端200中，采用平板式终端300所输入的注释被显示为图像1200中的指针1210和评论1220。这些注释被显示在图像1200中的位置对应于采用平板式终端300所显示的图像1300中的真实空间的位置。因此，在作为传送侧(流传送侧)装置的可穿戴终端200与作为接收侧(观看者侧)装置的平板式终端300之间建立交互。以下将描述下述技术：该技术可以在本示例中使用，以使得装置之间的注释的显示位置彼此对应，或使得连续地显示注释。
图3B是根据本公开的实施例共享拍摄图像的另一示例的图。在所示的示例中，由平板式终端300a的摄像装置(由于成像单元位于后表面侧，所以是未示出的成像单元)拍摄的真实空间的图像以流传送方式被递送到平板式终端300b，并且被显示为显示器330b(显示单元)上的图像1300b。此时，在平板式终端300a中，真实空间的拍摄图像显示在显示器330a上，或真实空间的图像透过显示器330a以直接地被观看。此时，显示在显示器330a上的图像(包括所透过的和所观看的背景)以下被称为图像1300a。即使在所示的示例中，采用平板式终端300b针对图像1300b所输入的注释被显示在图像1300a中，以及因此在作为传送侧(流传送侧)装置的平板式终端300a与作为接收侧(观看侧)装置的平板式终端300b之间建立互动。
根据本实施例，真实空间的图像的共享以及基于图像的共享的用户之间的交互不限于与可穿戴终端200和平板式终端300有关的前述示例，但是可以使用作为传送侧(流传送侧)装置和作为接收侧(观看者侧)装置的任何装置建立，只要实现以上所述的移动电话400或膝上型PC500的功能(例如，以上所述的装置(1)至(3)的功能)即可。
如上所述，实施例不限于在用户之间发生交互的示例，而且还包括由服务器100自动地生成注释的情况。可以在具有或不具有注释信息的情况下，执行以下要描述的显示图像的转换。
(2-2.可使用的技术)
在实施例中，使用若干技术来实现以上所描述的真实空间的图像的交互与共享。首先，在实施例中，空间信息被添加到在传送侧装置中的真实空间的所传送的图像数据。空间信息是如下信息：该信息使得能够估计传送侧装置的成像单元(图3A和图3B的示例中的可穿戴终端200的摄像装置260以及图4的示例中的平板式终端300a的摄像装置)在真实空间中的移动。
例如，空间信息可以是通过已知的图像识别技术(诸如运动结构(SfM)方法或同时定位与地图构建(SLAM)方法)所识别的环境识别矩阵。例如，环境识别矩阵指示基准环境(真实空间)的坐标系统相对于传送侧装置所特有的坐标系统的相对位置和姿态。例如，当使用SLAM方法时，传送侧装置的处理器基于扩展卡尔曼(Kalman)滤波器的原理针对拍摄图像的每帧，更新装置的位置、姿态、速度和角速度，以及包括在拍摄图像中所包括的至少一个特征点的位置的可变状态。因此，使用来自单镜片摄像装置的输入图像可以识别下述基准环境的位置和姿态：对于该基准环境使用装置的位置和姿态作为基准。例如，在“Real-TimeSimultaneousLocalizationandMappingwithaSingleCamera”(AndrewJ.Davison,Proceedingsofthe9thIEEEInternationalConferenceonComputerVision，第2卷,2003年,第1403-1410页)中详细地描述了SLAM。
此外，指示成像单元的真实空间中的相对位置和姿态的任何信息可以用作空间信息。例如，基于来自在成像单元中所设置的深度传感器的深度数据可以识别环境识别矩阵。还可以基于来自环境识别系统(诸如红外测距系统或运动拍摄系统)的输出数据识别环境识别矩阵。例如在Real-time3DReconstructionandInteractionUsingaMovingDepthCamerabyS.Izadi,etal,KinectFusioninACMSymposiumonUserInterfaceSoftwareandTechnology,2011中描述了这样的技术的示例。本公开的实施例不限于此，而是可以使用已知的各种技术中的任一种来生成空间信息。
替选地，可以通过经由对真实空间进行成像所获得的帧图像的系列进行拼接(stitching)分析来指定图像帧之间的相对位置关系，生成空间信息。在这种情况下，拼接分析可以是二维拼接分析，其中，每个帧图像被张贴至基准平面；或拼接分析可以是三维拼接分析，其中，每个帧图像被张贴至空间中的任何位置。
在下文中，将参照图5A的流程图、使用图3A和图3B的示例描述与前述技术有关的传送侧装置、接收侧装置以及服务器的处理的示例。前述技术可以应用至以上所述的系统10中的任何装置的组合，而与图3A和图3B的示例无关。
首先，在可穿戴终端200(传送侧装置)中，成像单元获取真实空间的图像数据，并且根据需要由处理器处理由成像单元或传感器所获取的信息以生成空间信息(步骤S101)。图像数据和空间信息可以彼此相关联，并且从可穿戴终端200的通信单元传送到服务器100(步骤S103)。在服务器100中，通信单元从可穿戴终端200接收图像数据和空间信息，以及将图像数据传输到平板式终端300(接收侧装置)(步骤S105)。在服务器100中，处理器使用空间信息将在所接收的图像中的位置与可穿戴终端200位于其中的真实空间的位置相关联(步骤S107)。
在平板式终端300中，通信单元从服务器100接收图像数据，并且处理器基于所接收的图像数据将图像1300显示在显示器330上(步骤S109)。在此，当通过触摸传感器340获取关于图像1300的用户的注释输入时(步骤S111)，处理器将从通信单元所输入的注释与图像1300中的位置(例如，指针1310的位置)相关联地传送到服务器100(步骤S113)。
在服务器100中，当通信单元接收关于从平板式终端300发送的注释输入和图像中的位置的信息时，处理器将在所接收的信息中所包括的图像中的位置转换为真实空间的位置(步骤S115)。与转换后的真实空间的位置相关联的注释输入从通信单元被传送到可穿戴终端200(步骤S117)。
在可穿戴终端200中，通信单元从服务器100接收与注释输入和真实空间的位置有关的信息，而处理器使用空间信息将与注释信息相关联的真实空间的位置转换为当前显示在显示器230上的图像1200中的位置(步骤S119)，以及将注释(例如，指针1210或评论1220)显示在该位置处(步骤S121)。
在图5B中示出了前述处理的另一示例。在此示例中，服务器100的处理器将图像中的位置与真实空间的位置相关联，并且然后通信单元将关于在图像中所包括的真实空间的位置的信息与图像数据一起传送到平板式终端300(步骤S201)。如在图5A的前述示例中一样，在平板式终端300中，图像显示在显示器330上(步骤S109)。然而，与在步骤S201中所接收的真实空间的位置相关联地传送注释输入，而不是与图像中的位置相关联地传送注释输入(步骤S203)。因此，在服务器100中，通信单元可以将关于注释输入的信息与真实空间的位置相关联地传送到可穿戴终端200(步骤S205)。
(第一有利效果)
在以上所述的技术中，存在若干有利效果。例如，由可穿戴终端200获取真实空间的图像，并且然后由平板式终端300输入针对图像的注释。此外，在很多情况下，发生直到注释被传送到可穿戴终端200的时间差。
因此，当使用图像中的位置作为基准传送以及接收注释时，采用可穿戴终端200所显示的图像1200的显示范围可以由于在前述时间差期间用户或装置的移动而改变。因此，从平板式终端300所传送的注释被显示在与观看可穿戴终端200中的图像1300的平板式终端300的、用户所期望的位置不同的位置处。
然而，当应用前述技术时，注释可以与真实空间的位置相关联。因此，与图像1200的显示范围的改变无关地，注释可以显示在观看图像1300的平板式终端300的用户所期望的位置(例如，与真实空间中的特定对象相对应的位置)处，即使在可穿戴终端200中也如此。
(第二有利效果)
例如，当采用可穿戴终端200所显示的真实空间的图像1200与透过显示器230的并且直接地观看的真实空间的图像或在显示器230之外观看的真实空间的图像相整合，并且采用可穿戴终端200所显示的真实空间的图像1200被显示在显示器230上时，在一些情况下，图像1200的范围可以窄于由可穿戴终端200的摄像装置260所成像的真实空间的图像的范围(即，拍摄图像的范围宽于可穿戴终端200的用户所观看的范围)。
在这样的情况中，在平板式终端300的显示器330上所显示的图像1300的范围变为宽于可穿戴终端200的图像1200的范围，使得平板式终端300的用户可以在图像1200之外(即在可穿戴终端200的用户看不到的范围中)输入注释。因此，当使用图像中的位置作为基准传送以及接收注释时，输入可能在平板式终端300中，但是可以生成未显示在可穿戴终端200的图像1200中的注释。
相反，当应用前述技术时，注释可以与真实空间中的位置相关联。因此，例如，即使对于在服务器100或可穿戴终端200中进行接收的时间点处不在图像1200的显示范围中的位置处的注释，当图像1200的显示范围随后发生改变并且包括注释的位置时，也可以显示图像1200。
在前述技术中，有利效果不限于上述的有利效果，而是根据使用情形可以获得其他有利效果。这样的有利效果可以在下面的说明中清楚地表示或建议。
(3.可穿戴终端中的显示示例)
接下来，将参照图6至图9描述根据本公开的实施例的可穿戴终端中的显示示例。
图6是示出了根据本公开的实施例的可穿戴终端的配置的示例的图。参照图6，可穿戴终端200包括显示器230和摄像装置260。在此，显示器230可以被布置在眼镜型可穿戴终端200的镜片部231的一部份或整个表面上。
例如，显示器230可以使经由镜片部231直接地看到的真实空间的图像透过，将图像叠加在所透过的图像上，以及显示诸如注释的信息。替选地，显示器230可以显示通过对由摄像装置260所拍摄的图像进行处理所获得的图像，使得该图像与由镜片部231直接地观看的真实空间的图像连续，并且可以在该图像上显示诸如注释的信息。例如，当显示器230被布置在镜片部231的整个表面上时，显示器230可以显示真实空间的图像，使得真实空间的图像与在镜片部231的周围的框架之外的真实空间的图像连续。在上述情况中的任一个中，显示器230基于拍摄图像显示图像，使得图像与从显示器230之外观看到的真实空间的图像连续。显示器230独立与从显示器230之外观看到的真实空间的图像来显示图像。在下文中，将进一步描述显示器230的若干显示示例。
(3-1.合并视图)
图7和图8是示出了在根据本公开的实施例的可穿戴终端中的合并视图的示例的图。在所示的示例中，显示用于真实空间的位置或真实空间的对象的注释(指针1210和评论1220)，即使当连续的图像显示在经由显示器230的区域中的另一镜片部231所观看到的真实空间的图像上时也如此(包括透过连续图像的情况)。此时，显示器230的显示沉浸在周围真实空间的图像中。因此，在本说明书中，通过显示器230的显示所观察到的视图还被称为合并视图。
在图7中，示出了合并视图的第一示例。在所示的示例中，如在其他镜片部231中一样，显示器230使真实空间的图像透过。因此，如在其他镜片部231中一样，即使在显示器230的区域中，用户也可以观看真实空间的图像。此外，显示器230通过将注释叠加在真实空间的所透过的图像上来显示注释(指针1210和注释1220)。因此，用户可以观看用于真实空间的位置或真实空间中的对象的注释。
在图8中，示出了合并视图的第二示例。在所示的示例中，显示器230显示真实空间的图像2300，使得该图像与经由其他镜片部231所观看的真实空间的图像连续。注释(指针1210和评论1220)还显示在图像2300中。因此，如在前述的图7的示例中一样，用户可以查看用于真实空间的位置或真实空间中的对象的注释。
上述合并视图的显示、上述空间信息可以被用于指定例如作为注释目标的真实空间的位置。例如，当可穿戴终端200与作为目标的真实空间的对象或位置之间的距离可以使用空间信息进行计算时，可以针对双眼设置适合于显示在显示器230上的注释指示的视差。此外，为了将由摄像装置260所拍摄的真实空间的图像的位置与由用户所观看到的真实空间的图像的位置相整合，可以预先执行以下将描述的校准过程。
(3-2.摄像装置视图)
图9是示出了根据本公开的实施例的可穿戴终端中的摄像装置视图的示例的图。在所示的示例中，在显示器230的区域中，由摄像装置260所拍摄的真实空间的图像2300与经由其他镜片部231所观看到的真实空间的图像独立地显示，并且用于真实空间的位置或真实空间的对象的注释(指针1210和评论1220)显示在图像2300中。此时，在显示器230的显示中，由摄像装置260拍摄的图像与周围真实空间的图像无关地显示。因此，在本说明书中，通过显示器230的显示所观察到的视图也被称为摄像装置视图。
在所示的示例中，不同于前述的图6至图8的示例，显示器230被布置在镜片部231的右上，但是此差异基本上是没有意义的并且可以如前述示例一样实现显示器230的部署。不同于经由镜片部231所观看到的真实空间的图像，显示器230显示由摄像装置260所拍摄的真实空间的图像2300。在所示的示例中，经由镜片部231所观看到的真实空间的范围宽于由摄像装置260所拍摄的真实空间的范围。因此，具有比经由镜片部231由用户所观看到的范围更宽的范围的真实空间被显示在图像2300中。显示在图像2300中的注释(指针1210和评论1220)被设置在经由镜片部231所观看的范围之外。
在以上所述的摄像装置视图的显示中，例如，注释还可以与拍摄图像的位置信息相关联。然而，当考虑到摄像装置260的位置也每个时刻都发生改变的事实时，优选地使用上述空间信息指定作为注释目标的真实空间的位置。当由摄像装置260拍摄的图像显示为2300而不发生改变时，以下所描述的校准过程不是必须的。然而，如以下将描述地，例如，当在摄像装置视图与合并视图之间切换显示时可以执行校准过程。
(3-3.校准)
图10是示出了在根据本公开的实施例的可穿戴终端中的校准过程的示例的图。在所示的示例中，用户经由可穿戴终端200观看在其他终端装置201中所显示的图片G。此时，具有预定形状和预定位置的基准线2330显示在被包括在镜片部231中的显示器230上，以及用户移动并且旋转终端装置201使得图片G与基准线2330相匹配。当图片G几乎与基准线2330相匹配时，用户对可穿戴终端200的操作单元执行预定的决定操作。替选地，用户可以对终端装置201的操作单元执行预定的决定操作，并且关于预定的决定操作的信息可以从终端装置201的通信单元经由服务器100传送到服务器100或可穿戴终端200。
当执行前述决定操作时，可穿戴终端200或服务器100的处理器决定由可穿戴终端200中的摄像装置260所拍摄的图像的校正参数。校正参数是下述参数：该参数指示当由摄像装置260所拍摄的真实空间的拍摄图像2600以特定形式变形时，拍摄图像2600可以与由可穿戴终端200的用户直接地观看的真实空间的图像相整合，并且可以显示在合并视图中。例如，处理器基于从可穿戴终端200所提供的空间信息指定在真实空间中的终端装置201的显示的位置和姿态，并且基于位置和姿态决定校正参数。即，处理器通过将在可穿戴终端200中所观看到的真实空间的图像中所包括的图片G的形状或尺寸与在由摄像装置260所拍摄的图像中所包括的图片G’的形状或尺寸进行比较来决定校正参数。
例如，如在所示的示例中一样，当用户直接地观看的图片G为基本上与基准线2330相匹配的方形并且在拍摄图像2600中画出(picture)的终端装置201’中所显示的图片G’为梯形时，校正参数可以被设置为使得图片G’的形状被转换为方形。此外，当由用户直接地观看的图片G基本上与基准线2330相匹配并且位于显示器230的中心附近，以及在拍摄图像2600中画出的图片G’偏离中心时，校正参数可以被设置为使得图片G’移动至中心。
例如，当可穿戴终端200的摄像装置260与显示器230之间的位置关系或多或少固定并且显示器230与用户的视角之间的位置关系的个体差异可以忽略时，不必须执行前述校准过程。然而，例如，当摄像装置260的位置或角度可变，以及摄像装置260与显示器230之间的位置关系可改变或前述个体差异不可以忽略时，校准过程是有效的。
用于校正的图片G可以不必须以电方式显示在终端装置中。例如，图G可以印刷在纸上等。此外，可是使用任何形状或尺寸的图片G，只要可以识别其方向或角度即可。在前述示例中，用户移动或旋转显示图片G(包括打印图片G的情况)的介质，使得图片G与基准线2330相匹配。然而，在另一示例中，显示图片G的介质可以固定并且穿戴可穿戴终端200的用户可以移动使得图片G与基准线2330相匹配。
(4.平板式终端中的显示示例)
接下来，将参照图11描述根据本公开的实施例的平板式终端中的显示示例。
图11是示出了根据本公开的实施例的平板式终端中的合并视图的示例的图。在所示的示例中，当与在平板式终端300相对侧观看的真实空间的图像连续的图像1300显示在平板式终端300的显示器330上时(包括图像1300透过的情况)，用于真实空间的位置或真实空间的对象的注释1310被显示在显示器330上。例如，在图像1300中所包括的真实空间的图像可以通过对由平板式终端300的摄像装置(由于摄像装置位于后表面侧而未示出)所拍摄的图像进行处理来显示。替选地，可以按照在后表面侧的真实空间的图像由显示器330透过的方式显示真实空间的图像。
在所示的示例中，关于真实空间中的苹果的注释1310被显示并且指示苹果的成分。对于苹果，苹果的图像APPLE_B显示在显示器330的图像1300中，使得图像APPLE_B与在平板式终端300的相对侧上所观看到的苹果的图像APPLE_A连续。如前述的可穿戴终端200的示例一样，通过平板式终端300中的显示器所观察的视图还可以被称为合并视图，这是因为显示器330的显示沉浸在周围真实空间的图像中。
另一方面，尽管未示出，当由平板式终端300的摄像装置所拍摄的真实空间的图像独立于在平板式终端300的相对侧上所观看到的真实空间的图像而显示在平板式终端300的显示器330上时，通过平板式终端300中的显示所观察到的视图可以被称为摄像装置视图。在这种情况下，例如，在与在平板式终端300的相对侧上所观看到的真实空间中，基于用户的平均视角可以估计可视范围。例如，当由平板式终端300的摄像装置所拍摄的真实空间的范围宽于所估计的可视范围，或通过使用空间信息、注释可以与真实空间的位置相关联时，注释可以被设置在可视范围之外。
在平板式终端300的情况下，如同前述的可穿戴终端200的情况一样，还可以执行校准过程。例如，平板式终端300用作显示器，该显示器能够当用户握持在真实空间中的平板式终端300时实现合并视图。因此，与可穿戴终端200的情况相比，用户的视点与显示器330之间的位置关系可以更可变地改变。因此，当可以由平板式终端300实现合并视图时，上述校准过程可以是有效的。
(5.合并视图与摄像装置视图之间的转换)
接下来，将参照图12至图15描述根据本公开的实施例的合并视图与摄像装置视图之间的转换。如在前述示例中所描述地，合并视图和摄像装置视图是例如由可穿戴终端200的显示器230的显示所提供的两种视图。在下述示例中，作为示例将描述可穿戴终端200的显示器230的合并视图与摄像装置视图之间的转换。然而，本公开的实施例不限于此示例。例如，如上所述，由于在平板式终端300中合并视图和摄像装置视图的显示也是可能的，所以可以类似地切换视图。
图12至图14是示出了根据本公开的实施例的转换显示的示例的图。在图12所示的状态中，通过对由摄像装置260所拍摄的图像进行处理所获得的图像2300a被显示在可穿戴终端200的显示器230上，使得图像2300a与经由周围的镜片部231所观看的真实空间的图像连续。在此，没有注释被显示在图像2300a中。例如，当未设置关于所拍摄的图像的注释时，合并视图可以显示为所示的示例。
在图13所示的状态中，例如，由其他终端装置或服务器100的用户将注释输入到由摄像装置260所拍摄的图像。作为注释目标的真实空间的位置被包括在由摄像装置260所拍摄的图像的范围中，但是未被包括在由用户经由镜片部231可以直接地观看的范围中。因此，可穿戴终端200的处理器通过将显示器230的显示从图像2300a切换到图像2300b来将要显示的视图从合并视图改变到摄像装置视图，并且在图像2300b中显示注释1211。因此，用户可以观看注释1211，注释1211不在可以由用户直接地观看的范围中。
即使在图14所示的状态中，例如，注释被输入到由其他终端装置或服务器100的用户采用摄像装置260所拍摄的图像。作为注释目标的真实空间的对象(在显示器230的右下侧的苹果)被包括在由摄像装置260所拍摄的图像的范围中，并且还被包括在经由镜片部231由用户可以直接地观看的范围中。因此，可穿戴终端200的处理器通过将显示器230的显示再次转换为图像2300a来将要显示的视图从摄像装置视图改变到合并视图，并且在图像2300a中显示注释(指针1210和评论1220)。因此，用户可以观看在可以由用户直接地观看的真实空间的图像中的注释。
因此，在实施例中，依赖于作为注释目标的真实空间的对象或位置是否被包括在可视范围中，可以在合并视图与摄像装置视图之间切换由显示器230进行的显示。当作为注释目标的真实空间的对象或位置被包括在可视范围内但是难以根据与显示器230的位置关系显示注释时，可以选择摄像装置视图。例如可以伴随逐渐地改变在显示器230上所显示的图像2300的范围的动画，显示在合并视图与摄像装置视图之间的转换。
可以如在前述示例中一样自动地切换合并视图与摄像装置视图，或可以根据用户的操作输入切换合并视图与摄像装置视图。因此，即使在作为注释目标的真实空间的对象或位置被包括在可视范围中时，也可以显示摄像装置视图。即使当作为注释目标的真实空间的对象或位置未被包括在可视范围中或未设置注释时，在一些情况下显示摄像装置视图。
图15是示出了根据本公开的实施例的转换显示的另一示例的图。在图15的示例中，在显示器230上所显示的图像2300a连续地改变到图像2300b、2300c以及2300d。通过一系列显示来显示图像2300d，在图像2300d中，在图像2300a中倾斜地画出的杂志(MAG)被对准并且被放大。
在此，图像2300a可以是例如在上述合并视图中所显示的图像。即，图像2300a是与在显示器230的周围直接地观看到的真实空间的图像连续的显示，并且在所观看的真实空间中倾斜地示出了杂志(MAG)。另一方面，图像2300d至少在杂志(MAG)的显示区域中独立于在显示器230的周围直接地观看到的真实空间的图像，在图像2300d中，通过对由摄像装置260所拍摄的图像进行处理来显示通过变形和扩展所对准的杂志(MAG)。因此，图像2300d可以是如上述摄像装置视图一样显示的图像。
如所示的示例一样，图像2300中杂志(MAG)之外的区域可以与杂志(MAG)的显示一起变形和扩展，或可以维持与在显示器230的周围直接地观看到的真实空间的图像连续的显示而不受杂志(MAG)的变形和扩展的影响。
例如，通过经由对由摄像装置260所拍摄的图像进行图像处理识别如同杂志(MAG)的对象以及估计所识别的对象的姿态，如前述示例中一样的显示是可能的。当摄像装置260的分辨率足够高时，即使当对象如图像2300d中一样变形和扩展时，也可以显示具有足够分辨率的图像。
(6.可显示范围之外的注释指示)
接下来，将参照图16至图25描述根据本公开的实施例的可显示范围之外的注释指示。在实施例中，如上所述，空间信息被添加到在传送侧装置中所传送的真实空间的图像数据中。当使用空间信息时，与采用传送侧装置所显示的图像的显示范围无关地，可以针对在接收侧装置中的真实空间的任何位置输入注释。
例如，在图7至图10的上述示例中，在一些情况中在合并视图的显示期间，针对被包括在由摄像装置所拍摄的图像中、但是远离显示器的显示区域(包括位置或对象不可见的情况)的真实空间中的对象或位置输入注释。在这种情况下，难以将注释显示在显示器上。因此，通过自动地或根据用户的操作输入将合并视图切换到摄像装置视图，或移动摄像装置和/或显示器的位置，在显示器上显示注释。
在前述情况中，与合并视图自动地切换到摄像装置视图的情况不同，当传送侧装置(例如，在下文中假定为可穿戴终端200)的用户无法感知注释的存在时，存在时间流逝而未包括图像2300的显示范围中的注释的可能性。由于在很多情况下注释显示例如当时对用户必须的信息，所以可穿戴终端200的用户期望知道注释的存在。
因此，在实施例中，如在下述示例中所示，可以显示关于可显示范围之外的注释的信息。这样信息的指示是一种注释。然而，在下述描述中，在可显示范围之外的对象或位置中所设置的信息特别地被称为用于区分的注释。当实现这样的显示时，可穿戴终端200的用户可以容易地确定是显示合并视图还是显示摄像装置视图，或确定在哪个方向上移动摄像装置和/或显示器。用于这样的显示的显示控制例如可以由显示注释的装置(例如，可穿戴终端200或平板式终端300)的处理器执行，或可以由识别这样的装置中的可视范围之外的部分的服务器100的处理器执行。
(第一示例)
图16至图18是示出了根据本公开的实施例的可显示范围之外的注释的显示的第一示例的图。
在图16中，示出了在图像2300中可以显示的注释的显示示例。在这种情况下，针对被放置在桌子上的目标杯子(CUP)显示注释，并且注释包括指针1210和评论1220。
在图17中，示出了作为注释的目标的杯子(CUP)在图像2300中不可显示的显示示例。在这种情况下，指示朝向注释的目标的方向的方向指示1230可以被显示以替代图16所示的注释。例如，可以通过基于由可穿戴终端200所获取的空间信息指定图像2300的显示范围与注释的目标之间的位置关系，显示方向指示1230。此时，注释中的评论1220可以与方向指示1230一起显示。由于评论1220是指示注释的内容、种类等的信息，所以将评论1220与方向指示1230一起显示而不是将评论1220与指针1210一起显示是有用的。
在图18中，示出了下述显示示例：在该显示示例中，例如，当可穿戴终端200的用户根据方向指示1230改变摄像装置260的方向时移动图像2300的显示范围，并且注释的一部分可以被显示在图像2300中。在这种情况下，即使在图像2300中不可显示整个注释，但是作为注释可以显示指针1210和评论1220的一部分。
(第二示例)
图19和图20是示出了根据本公开的实施例的可显示范围之外的注释的显示的第二示例的图。在第二示例中，注释的目标在可显示范围之外，并且显示直到注释的目标的距离。
图19是示出了从可显示范围到注释的目标的距离不同的两个图像的显示的示例的图。在此示例中，通过圆圈1240显示注释在图像2300的可显示范围之外的事实。如图20所示，采用对应于从注释的目标到图像2300的显示范围的距离的半径显示圆圈1240。如图20A所示，当从注释的目标到显示范围(图像2300a)的距离大时，显示具有较大的半径r1的圆圈1240a。如图20B所示，当从注释的目标到显示范围(图像2300b)的距离小时，显示具有较小的半径r2的圆圈1240b。根据到注释的目标的距离可以连续地设置圆圈1240的半径r，或可以逐步地设置圆圈1240的半径r。如图19所示，注释中的评论1220可以与圆圈1240一起显示。
因此，当显示圆圈1240时，例如，观看图像2300的用户不仅可以直觉地理解注释在可显示范围之外，而且还可以直觉地理解当图像2300的显示范围在特定方向上移动达到特定范围时是否显示注释。
(第三示例)
图21和图22是示出了根据本公开的实施例的可显示范围之外的注释的显示的第三示例的图。
在图21中，示出了下述显示示例：在该显示示例中，作为注释的目标的苹果(APPLE)在图像2300之外并且未被包括在可视范围内。在这种情况下，目标的图标1251可以与相同的方向指示1250一起显示，如图17的示例一样。例如，当苹果(APPLE)被包括在由摄像装置260之前或当前拍摄的图像中时，通过由可穿戴终端200或服务器100的处理器从由摄像装置260所拍摄的图像中剪切出苹果(APPLE)的部分生成图标1251。在这种情况下，图标1251可以不必根据由摄像装置260所获取的帧图像中的改变发生改变，并且例如可以是静态图像。替选地，当苹果(APPLE)被识别为对象时，与由摄像装置260所拍摄的图像无关地，代表苹果的图示或照片可以被显示为图标1251。此时，注释中的评论1220可以与方向指示1250和图标1251一起显示。
在图22中，示出了下述显示示例：在该显示示例中，例如，当可穿戴终端200的用户根据方向指示1250改变摄像装置260的方向时移动图像2300的显示范围，并且注释的一部分可以显示在图像2300中。在这种情况下，方向指示1250和图标1251的显示可以结束，并且指针1210和评论1220的一部分可以显示为注释，如在图18中的示例一样。
因此，例如，当显示图标1251时，观看图像2300的用户不仅可以理解注释在可显示范围之外(也可以在可视范围之外)，而且还可以理解注释的目标，因此可以容易地决定立即观看注释或稍后观看注释的行为。
(第四示例)
图23是示出了根据本公开的实施例的可显示范围之外的注释的显示的第四示例的图。在所示的示例中，当作为注释的目标的苹果(APPLE)在图像2300之外时，图像2300的接近苹果的端部1260闪亮(shine)。例如，由于苹果位于图像2300a中画面的右下处，所以右下端部1260a闪亮。因为苹果位于图像2300b中的画面的左上处，所以左上端部1260b闪亮。由于苹果位于图像2300b中的画面的左下处，所以左下端部1260c闪亮。
在前述示例中，可以基于从图像2300来看朝向注释的目标的方向设置端部1260的区域。在图中示出了倾斜方向的示例。在另一示例中，当苹果在图像2300的左侧时左端部1260可以闪亮。在这样的情况中，端部1260可以是图像2300的整个左侧。当注释的目标是倾斜方向，并且包括图像2300的拐角的端部1260闪亮时，可以根据朝向注释的目标的方向的角度设置端部1260的拐角的垂直部分与水平部分之间的比例。在这种情况下，例如，当目标在左上但是进一步向上时，(沿着图像2300的上侧延伸的)端部1260的水平部分可以长于(沿着图像2300的左侧延伸的)垂直部分。相反，当目标在左上但是进一步向左时，端部1260的(沿着图像2300的左侧延伸的)垂直部分可以长于(沿着图像2300的上侧延伸的)水平部分。在另一示例中，替代于端部1260闪亮，端部1260可以采用预定颜色(其可以为透明颜色)上色。
因此，当通过端部1260的显示的改变将注释在可显示范围之外通知给用户时，例如，可以不显示诸如箭头的分离方向指示。因此，可以将注释的存在通知给用户，而不显干扰图像2300的显示。
(第五示例)
图24是示出了根据本公开的实施例在可显示范围之外的注释的显示的第五示例的图。在所示的示例中，评论1220被显示为注释。然而，由于评论1220水平地较长，所以整个评论1220未显示在图像2300中。在附图中，也未示出由于长评论而发生的未显示部分1221。评论1220的未显示部分1221在这种情况下还可以被称为可显示范围之外的注释。为了指示未显示部分1221的存在，发光区域1280显示在评论1220与图像2300的端部接触的部分中。
在此，发光区域1280的长度可以根据未显示部分1221的长度(例如，其可以采用在纵向方向上的像素的数量来表示，或可以依照评论1220的未显示部分与显示部分的比例或未显示部分与其他未显示部分1221的比例来表示)来设置。在所示的示例中，发光区域1280a关于评论1220的未显示部分1221a显示，而发光区域1280b关于评论1220b的未显示部分1221b显示。然而，通过反映未显示部分1221b长于未显示部分1221a的事实，发光区域1280b可以显示为长于发光区域1280a。
因此，当通过发光区域1280的显示将注释在可显示范围之外通知给用户时，可以在作为注释的评论1220内完成显示。因此，可以将注释的存在通知给用户，而不干扰图像2300的显示。当根据未显示部分1221的长度设置发光区域1280的长度时，用户可以直觉地理解整个评论1220较长，因此可以容易地决定例如立即地观看评论或稍后观看评论的行为。当评论1220的未显示部分1221被包括在图像2300的显示中时，例如，图像2300的显示范围可以移动或评论1220可以被拖拽到图像2300的内部(在所示的示例中，在评论1220a的情况被拖拽至左侧，或在评论1220b的情况下被拖拽至右侧)。
(第六示例)
图25是示出了根据本公开的实施例的可显示范围之外的注释的显示的第六示例的图。在所示的示例中，显示在路线指引中指示方向的箭头注释1210。例如，当用户观看图像2300b时，可以观看注释1210。然而，当用户观看图像2300a时，不可以观看注释1210。因此，当用户观看图像2300a时，可以显示注释1210的阴影1290。当显示阴影1290时，观看图像2300a的用户可以识别注释在画面之上。
因此，当用户观看图像2300b时，阴影1290的显示可以结束或可以继续。当阴影1290继续与注释1210一起显示并且显示阴影1290时，用户可以容易地识别出在深度方向上在空中布置的注释1210的位置。
因此，通过显示阴影1290，虽然对虚拟光源的方向限制，但可以通过不具有不舒适感的显示将注释的存在通知给用户。
(7.补充)
本公开的实施例可以包括，例如，上述显示控制装置(服务器或客户端)，上述系统，运行在图像处理装置或系统上的上述显示控制方法，使得显示控制装置起作用的程序，以及记录程序的非易失性介质。
参照附图描述了本公开的优选实施例，而本公开当然不限于上述实施例。本领域内技术人员可以在所附的权利要求的范围内发现各种改变和修改，并且应当立即将自然地在本公开的技术范围内。
另外，本技术还可以如下配置。
(1)一种显示控制装置，包括：
显示控制单元，所述显示控制单元被配置成控制终端装置的显示单元，以显示所述终端装置存在于其中的真实空间的图像，
其中，所述显示控制单元从第一图像和第二图像中选择要由所述显示单元显示的图像，所述第一图像与在所述显示单元之外的区域中所观看到的所述真实空间的图像具有连续性，所述第二图像是基于所述真实空间的拍摄图像所生成的并且独立于在所述显示单元之外的区域中所观看到的所述真实空间的图像。
(2)根据(1)所述的显示控制装置，
其中，与所述第一图像相比，所述第二图像包括更宽的所述真实空间的范围，以及
其中，当在其处布置有针对所述拍摄图像所设置的虚拟对象的所述真实空间的位置包括在所述第一图像的范围中时，所述显示控制单元使得所述显示单元显示包括所述虚拟对象的所述第一图像；以及当在其处布置有所述虚拟对象的所述真实空间的位置未包括在所述第一图像的范围中而是包括在所述第二图像的范围中时，所述显示控制单元使得所述显示单元显示包括所述虚拟对象的所述第二图像。
(3)根据(2)所述的显示控制装置，其中，所述显示控制单元通过将所述虚拟对象叠加到在所述显示单元中所透过的所述真实空间的图像上，显示所述第一图像。
(4)根据(2)所述的显示控制装置，其中，所述显示控制单元显示下述图像作为所述第一图像：在所述图像中，将所述虚拟对象相加到通过以所述拍摄图像与在所述显示单元之外的区域中所观看到的所述真实空间的图像整合的方式使所述拍摄图像变形所获得的图像。
(5)根据(2)所述的显示控制装置，其中，当未设置所述虚拟对象时，所述显示控制单元使得所述显示单元显示所述第一图像。
(6)根据(1)所述的显示控制装置，其中，所述显示控制单元通过使所述真实空间的图像透过所述显示单元，显示所述第一图像。
(7)根据(1)所述的显示控制装置，其中，所述显示控制单元显示下述图像作为所述第一图像：所述图像是通过以所述拍摄图像与在所述显示单元之外的区域中所观看到的所述真实空间的图像整合的方式使所述拍摄图像变形所获得的。
(8)根据(7)所述的显示控制装置，
其中，所述显示单元能够使所述真实空间的图像透过，以及
其中，所述显示控制单元通过将当所述真实空间中的图形透过所述显示单元并且被观看时的所述图形的第一形状与在所述拍摄图像中所包括的所述图形的第二形状进行比较，决定如何使所述拍摄图像变形以将所述拍摄图像与所述真实空间的图像整合。
(9)根据(8)所述的显示控制装置，其中，所述显示控制单元使得所述显示单元显示指示所固定的第一形状的基准线，并且当透过所述显示单元并且被观看的所述图形与所述基准线匹配时将所述第一形状与所述第二形状进行比较。
(10)根据(1)和(6)至(9)中任一项所述的显示控制装置，还包括：
操作获取单元，所述操作获取单元被配置成获取基于在所述终端装置中的用户操作的信息，
其中，所述显示控制单元使得所述显示单元根据所述用户操作而显示所述第一图像和所述第二图像中之一。
(11)根据(10)所述的显示控制装置，
其中，与所述第一图像相比，所述第二图像包括更宽的所述真实空间的范围，以及
其中，当所述第一图像显示在所述显示单元上并且在其处布置有针对所述拍摄图像所设置的虚拟对象的所述真实空间的位置未包括在所述第一图像的范围中而是包括在所述第二图像的范围中时，所述显示控制单元在所述第一图像中显示指示存在所述虚拟对象的通知。
(12)根据(11)所述的显示控制装置，其中，当所述虚拟对象的全部都在所述第一图像的范围之外时，所述显示控制单元显示所述通知。
(13)根据(12)所述的显示控制装置，其中，其中，所述通知包括如下指示：所述指示标示从所述第一图像的范围来看朝向所述虚拟对象的方向。
(14)根据(13)所述的显示控制装置，其中，所述通知包括如下指示：所述指示标示所述第一图像的范围与所述虚拟对象之间的距离。
(15)根据(12)所述的显示控制装置，
其中，所述虚拟对象包括指示在其处布置有所述虚拟对象的所述真实空间的位置的指针以及关于所述位置的信息，以及
其中，所述通知包括所述信息。
(16)根据(12)所述的显示控制装置，其中，所述通知包括在其处布置有所述虚拟对象的所述真实空间的位置处的所述真实空间的图像，所述图像是从所述拍摄图像中所提取的。
(17)根据(1)和(6)至(10)中任一项所述的显示控制装置，其中，所述第二图像是通过使用在所述真实空间中的真实对象作为基准扩展所述拍摄图像所获得的图像。
(18)根据(17)所述的显示控制装置，其中，所述显示控制单元通过使所述第一图像的至少包括所述真实对象的一部分变形和扩展以与所述真实对象对准，生成所述第二图像。
(19)一种显示控制方法，包括：
通过被配置成控制终端装置的显示单元以显示在其中存在有终端装置的真实空间的图像的处理器，从第一图像和第二图像中选择要由所述显示单元显示的图像，所述第一图像与在所述显示单元之外的区域中所观看到的所述真实空间的图像具有连续性，所述第二图像是基于所述真实空间的拍摄图像所生成的并且独立于在所述显示单元之外的区域中所观看到的所述真实空间的图像。
(20)一种使得被配置成控制终端装置的显示单元以显示在其中存在有所述终端装置的真实空间的图像的计算机实现下述功能的程序：
从第一图像和第二图像中选择要由所述显示单元显示的图像，所述第一图像与在所述显示单元之外的区域中所观看到的所述真实空间的图像具有连续性，所述第二图像是基于所述真实空间的拍摄图像所生成的并且独立于在所述显示单元之外的区域中所观看到的所述真实空间的图像。
附图标记列表
10系统
100服务器
200、300、400、500、600、700客户端
900装置
910处理器
920存储器
930显示单元
940操作单元
950通信单元
960成像单元
970传感器

Claims (20)

1.一种显示控制装置，包括：
显示控制单元，所述显示控制单元被配置成控制终端装置的显示单元，以显示所述终端装置存在于其中的真实空间的图像，
其中，所述显示控制单元从第一图像和第二图像中选择要由所述显示单元显示的图像，所述第一图像与在所述显示单元之外的区域中所观看到的所述真实空间的图像具有连续性，所述第二图像是基于所述真实空间的拍摄图像所生成的并且独立于在所述显示单元之外的区域中所观看到的所述真实空间的图像。
2.根据权利要求1所述的显示控制装置，
其中，与所述第一图像相比，所述第二图像包括更宽的所述真实空间的范围，以及
其中，当在其处布置有针对所述拍摄图像所设置的虚拟对象的所述真实空间的位置包括在所述第一图像的范围中时，所述显示控制单元使得所述显示单元显示包括所述虚拟对象的所述第一图像；以及当在其处布置有所述虚拟对象的所述真实空间的位置未包括在所述第一图像的范围中而是包括在所述第二图像的范围中时，所述显示控制单元使得所述显示单元显示包括所述虚拟对象的所述第二图像。
3.根据权利要求2所述的显示控制装置，其中，所述显示控制单元通过将所述虚拟对象叠加到在所述显示单元中所透过的所述真实空间的图像上，显示所述第一图像。
4.根据权利要求2所述的显示控制装置，其中，所述显示控制单元显示下述图像作为所述第一图像：在所述图像中，将所述虚拟对象相加到通过以所述拍摄图像与在所述显示单元之外的区域中所观看到的所述真实空间的图像整合的方式使所述拍摄图像变形所获得的图像。
5.根据权利要求2所述的显示控制装置，其中，当未设置所述虚拟对象时，所述显示控制单元使得所述显示单元显示所述第一图像。
6.根据权利要求1所述的显示控制装置，其中，所述显示控制单元通过使所述真实空间的图像透过所述显示单元，显示所述第一图像。
7.根据权利要求1所述的显示控制装置，其中，所述显示控制单元显示下述图像作为所述第一图像：所述图像是通过以所述拍摄图像与在所述显示单元之外的区域中所观看到的所述真实空间的图像整合的方式使所述拍摄图像变形所获得的。
8.根据权利要求7所述的显示控制装置，
其中，所述显示单元能够使所述真实空间的图像透过，以及
其中，所述显示控制单元通过将当所述真实空间中的图形透过所述显示单元并且被观看时的所述图形的第一形状与在所述拍摄图像中所包括的所述图形的第二形状进行比较，决定如何使所述拍摄图像变形以将所述拍摄图像与所述真实空间的图像整合。
9.根据权利要求8所述的显示控制装置，其中，所述显示控制单元使得所述显示单元显示指示所固定的第一形状的基准线，并且当透过所述显示单元并且被观看的所述图形与所述基准线匹配时将所述第一形状与所述第二形状进行比较。
10.根据权利要求1所述的显示控制装置，还包括：
操作获取单元，所述操作获取单元被配置成获取基于在所述终端装置中的用户操作的信息，
其中，所述显示控制单元使得所述显示单元根据所述用户操作而显示所述第一图像和所述第二图像中之一。
11.根据权利要求10所述的显示控制装置，
其中，与所述第一图像相比，所述第二图像包括更宽的所述真实空间的范围，以及
其中，当所述第一图像显示在所述显示单元上并且在其处布置有针对所述拍摄图像所设置的虚拟对象的所述真实空间的位置未包括在所述第一图像的范围中而是包括在所述第二图像的范围中时，所述显示控制单元在所述第一图像中显示指示存在所述虚拟对象的通知。
12.根据权利要求11所述的显示控制装置，其中，当所述虚拟对象的全部都在所述第一图像的范围之外时，所述显示控制单元显示所述通知。
13.根据权利要求12所述的显示控制装置，其中，所述通知包括如下指示：所述指示标示从所述第一图像的范围来看朝向所述虚拟对象的方向。
14.根据权利要求13所述的显示控制装置，其中，所述通知包括如下指示：所述指示标示所述第一图像的范围与所述虚拟对象之间的距离。
15.根据权利要求12所述的显示控制装置，
其中，所述虚拟对象包括指示在其处布置有所述虚拟对象的所述真实空间的位置的指针以及关于所述位置的信息，以及
其中，所述通知包括所述信息。
16.根据权利要求12所述的显示控制装置，其中，所述通知包括在其处布置有所述虚拟对象的所述真实空间的位置处的所述真实空间的图像，所述图像是从所述拍摄图像中所提取的。
17.根据权利要求1所述的显示控制装置，其中，所述第二图像是通过使用在所述真实空间中的真实对象作为基准扩展所述拍摄图像所获得的图像。
18.根据权利要求17所述的显示控制装置，其中，所述显示控制单元通过使所述第一图像的至少包括所述真实对象的一部分变形和扩展以与所述真实对象对准，生成所述第二图像。
19.一种显示控制方法，包括：
通过被配置成控制终端装置的显示单元以显示在其中存在有终端装置的真实空间的图像的处理器，从第一图像和第二图像中选择要由所述显示单元显示的图像，所述第一图像与在所述显示单元之外的区域中所观看到的所述真实空间的图像具有连续性，所述第二图像是基于所述真实空间的拍摄图像所生成的并且独立于在所述显示单元之外的区域中所观看到的所述真实空间的图像。
20.一种使得被配置成控制终端装置的显示单元以显示在其中存在有所述终端装置的真实空间的图像的计算机实现下述功能的程序：
从第一图像和第二图像中选择要由所述显示单元显示的图像，所述第一图像与在所述显示单元之外的区域中所观看到的所述真实空间的图像具有连续性，所述第二图像是基于所述真实空间的拍摄图像所生成的并且独立于在所述显示单元之外的区域中所观看到的所述真实空间的图像。
CN201480018521.8A 2013-04-04 2014-03-10 显示控制装置、显示控制方法以及计算机可读介质 Expired - Fee Related CN105339865B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013078893 2013-04-04
JP2013-078893 2013-04-04
PCT/JP2014/056158 WO2014162824A1 (ja) 2013-04-04 2014-03-10 表示制御装置、表示制御方法およびプログラム

Publications (2)

Publication Number Publication Date
CN105339865A true CN105339865A (zh) 2016-02-17
CN105339865B CN105339865B (zh) 2018-05-22

Family

ID=51658127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480018521.8A Expired - Fee Related CN105339865B (zh) 2013-04-04 2014-03-10 显示控制装置、显示控制方法以及计算机可读介质

Country Status (5)

Country Link
US (1) US20160049011A1 (zh)
EP (1) EP2983140A4 (zh)
JP (1) JP6304240B2 (zh)
CN (1) CN105339865B (zh)
WO (1) WO2014162824A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038746A (zh) * 2017-03-27 2017-08-11 联想(北京)有限公司 一种信息处理方法及电子设备

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102413074B1 (ko) * 2015-09-21 2022-06-24 삼성전자주식회사 사용자 단말, 전자 장치 및 이들의 제어 방법
WO2017098822A1 (ja) * 2015-12-10 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
US11023109B2 (en) * 2017-06-30 2021-06-01 Microsoft Techniogy Licensing, LLC Annotation using a multi-device mixed interactivity system
US10895966B2 (en) 2017-06-30 2021-01-19 Microsoft Technology Licensing, Llc Selection using a multi-device mixed interactivity system
DK201870351A1 (en) 2018-05-07 2020-01-13 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
US10785413B2 (en) * 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
US11526209B2 (en) 2019-01-21 2022-12-13 Sony Advanced Visual Sensing Ag Transparent smartphone
US10992926B2 (en) * 2019-04-15 2021-04-27 XRSpace CO., LTD. Head mounted display system capable of displaying a virtual scene and a real scene in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
CN111832360A (zh) * 2019-04-19 2020-10-27 北京三星通信技术研究有限公司 提示信息的处理方法、装置、电子设备以及可读存储介质
CN110300225A (zh) * 2019-06-28 2019-10-01 联想(北京)有限公司 一种信息处理方法及电子设备
US11227446B2 (en) 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
US11080879B1 (en) 2020-02-03 2021-08-03 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
KR20230029885A (ko) * 2020-06-30 2023-03-03 스냅 인코포레이티드 말 풍선들 및 번역을 갖는 증강 현실 안경류
JP7484586B2 (ja) 2020-08-31 2024-05-16 株式会社Ｊｖｃケンウッド 表示制御装置、及び表示制御プログラム
US11615595B2 (en) 2020-09-24 2023-03-28 Apple Inc. Systems, methods, and graphical user interfaces for sharing augmented reality environments
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
US11379950B1 (en) * 2021-05-07 2022-07-05 Lemon Inc. System and method for projecting content in an environment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009140125A (ja) * 2007-12-05 2009-06-25 National Institute Of Advanced Industrial & Technology 情報提示装置
WO2011106797A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
CN102750079A (zh) * 2011-03-31 2012-10-24 索尼公司 终端设备、对象控制方法以及程序
JP2013020569A (ja) * 2011-07-14 2013-01-31 Toshiba Corp 画像処理装置
JP2013506226A (ja) * 2009-09-29 2013-02-21 ウェーブレングス・アンド・リソナンス・エルエルシィ 仮想環境との相互作用のためのシステム及び方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278461B1 (en) * 1993-09-10 2001-08-21 Geovector Corporation Augmented reality vision systems which derive image information from other vision systems
JP4065507B2 (ja) * 2002-07-31 2008-03-26 キヤノン株式会社 情報提示装置および情報処理方法
JP2005149409A (ja) * 2003-11-19 2005-06-09 Canon Inc 画像再生方法及び装置
US20160267720A1 (en) * 2004-01-30 2016-09-15 Electronic Scripting Products, Inc. Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
US7737965B2 (en) * 2005-06-09 2010-06-15 Honeywell International Inc. Handheld synthetic vision device
WO2011063034A1 (en) * 2009-11-17 2011-05-26 Rtp, Llc Systems and methods for augmented reality
US20150309316A1 (en) * 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US8315674B2 (en) * 2010-10-08 2012-11-20 Research In Motion Limited System and method for displaying object location in augmented reality
US9280851B2 (en) * 2010-11-08 2016-03-08 Sony Corporation Augmented reality system for supplementing and blending data
SE535881C2 (sv) * 2011-06-15 2013-01-29 Mebe Viewcom Ab Videokonferenssystem som använder en kamera med inverterat teleskop
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US8963805B2 (en) * 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
US9147221B2 (en) * 2012-05-23 2015-09-29 Qualcomm Incorporated Image-driven view management for annotations
US9846960B2 (en) * 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US10269179B2 (en) * 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
WO2015090421A1 (en) * 2013-12-19 2015-06-25 Metaio Gmbh Method and system for providing information associated with a view of a real environment superimposed with a virtual object
US9977493B2 (en) * 2015-06-17 2018-05-22 Microsoft Technology Licensing, Llc Hybrid display system
JP6017664B1 (ja) * 2015-12-28 2016-11-02 株式会社コロプラ 情報処理方法及び情報処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009140125A (ja) * 2007-12-05 2009-06-25 National Institute Of Advanced Industrial & Technology 情報提示装置
JP2013506226A (ja) * 2009-09-29 2013-02-21 ウェーブレングス・アンド・リソナンス・エルエルシィ 仮想環境との相互作用のためのシステム及び方法
WO2011106797A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
CN102750079A (zh) * 2011-03-31 2012-10-24 索尼公司 终端设备、对象控制方法以及程序
JP2013020569A (ja) * 2011-07-14 2013-01-31 Toshiba Corp 画像処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038746A (zh) * 2017-03-27 2017-08-11 联想(北京)有限公司 一种信息处理方法及电子设备
CN107038746B (zh) * 2017-03-27 2019-12-24 联想(北京)有限公司 一种信息处理方法及电子设备

Also Published As

Publication number Publication date
EP2983140A4 (en) 2016-11-09
EP2983140A1 (en) 2016-02-10
CN105339865B (zh) 2018-05-22
WO2014162824A1 (ja) 2014-10-09
JP6304240B2 (ja) 2018-04-04
JPWO2014162824A1 (ja) 2017-02-16
US20160049011A1 (en) 2016-02-18

Similar Documents

Publication Publication Date Title
CN105339865A (zh) 显示控制装置、显示控制方法以及程序
CN108156441B (zh) 头戴式设备及在其中的计算机实现的方法
CN105264572A (zh) 信息处理设备、信息处理方法和程序
CN108292489B (zh) 信息处理装置和图像生成方法
CN114616535A (zh) 将物理对象移植到虚拟现实中
TWI610097B (zh) 電子系統、可攜式顯示裝置及導引裝置
EP3089154B1 (en) Image processing device and image display system for pose prediction-based display
EP3063587B1 (en) Apparatus and method for head mounted display indicating process of 3d printing
WO2014188798A1 (ja) 表示制御装置、表示制御方法および記録媒体
JP6288084B2 (ja) 表示制御装置、表示制御方法および記録媒体
JP5967839B2 (ja) ウェアラブルメガネを用いたディスプレイ装置及びその作動方法
WO2014162825A1 (ja) 表示制御装置、表示制御方法およびプログラム
JP7372061B2 (ja) 遠隔作業支援システム
KR102182162B1 (ko) Hmd 및 그 제어 방법
CN112286343A (zh) 定位追踪方法、平台及头戴显示系统
JP5656514B2 (ja) 情報処理装置及び方法
CN110622110B (zh) 提供沉浸式现实内容的方法和装置
KR20130034125A (ko) 증강현실 기능을 구비한 안경형 모니터
EP3229482A1 (en) Master device, slave device, and control method therefor
CN114564106B (zh) 交互指示线的确定方法、装置、电子设备及存储介质
CN115543138A (zh) 显示控制方法和装置、增强现实头戴设备及介质
US11132051B2 (en) Systems and methods to provide an interactive environment in response to touch-based inputs
CN105306340A (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180522