CN203224887U - 显示控制设备 - Google Patents

显示控制设备 Download PDF

Info

Publication number
CN203224887U
CN203224887U CN2012201154018U CN201220115401U CN203224887U CN 203224887 U CN203224887 U CN 203224887U CN 2012201154018 U CN2012201154018 U CN 2012201154018U CN 201220115401 U CN201220115401 U CN 201220115401U CN 203224887 U CN203224887 U CN 203224887U
Authority
CN
China
Prior art keywords
image
rest image
display control
unit
control apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN2012201154018U
Other languages
English (en)
Inventor
笠原俊一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Application granted granted Critical
Publication of CN203224887U publication Critical patent/CN203224887U/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects

Abstract

本实用新型提供了一种显示控制设备。公开了一种包括存储指令的存储器和控制单元的装置。该控制单元可被配置成执行指令以：获取实际空间的图像；在所述实际空间图像中检测感兴趣的对象；获得所述对象的静止图像；以及显示叠加在所述静止图像上的与所述对象有关的虚拟图像。

Description

显示控制设备
技术领域
本公开内容涉及显示控制设备、显示控制方法和程序。 
图像识别技术近来已经变得更加先进，使得能够识别包括在来自成像设备的输入图像中的实际对象（例如：如广告牌或建筑物等的对象）的位置或姿态。作为这种对象识别的一个应用示例，AR（增强现实）应用是已知的。根据AR应用，可以将与实际对象关联的虚拟对象（例如广告信息、导航信息或者关于游戏的信息）叠加到实际空间图像中所包含的实际对象上去。注意，例如在专利文献1中公开了AR应用。 
引用列表 专利文献 PTL1 JP2010-238098A 
技术问题 
实用新型内容
当用户对具有成像功能的移动终端使用AR应用时，用户可以通过使移动终端的成像方向指向实际对象来保持使虚拟对象叠加在实际空间图像上的状态。然而，对用户来说保持使成像方向指向实际对象是烦累的。 
鉴于上述内容，本公开内容提出一种使得能够为用户改进可用性的新颖且改进的显示控制设备、显示控制方法和程序。 
[针对问题的方案] 
一种显示控制设备，包括：存储指令的存储器；图像获取单元，用于获取实际空间的图像；图像识别单元，用于在所述实际空间图像内检测感兴趣的对象；其特征在于，所述显示控制设备还包括静止图像获取单元，用于获得所述对象的静止图像；以及通过显示单元来显示叠加在所述静止图像上的与所述对象有关的虚拟图像，其中，所述图像获取单元、所述图像识别单元、所述静止图像获取单元和所述显示单元基于所述存储器存储的指令来进行操作。 
在上述显示控制设备中，所述静止图像获取单元响应于用户输入获得所述静止图像。 
在该显示控制设备中，所述静止图像获取单元响应于用户在触摸面板上的输入获得所述静止图像。 
在该显示控制设备中，所述显示单元在所述触摸操作结束时显示叠加在所述静止图像上的所述虚拟图像。 
在该显示控制设备中，所述用户输入是点击操作，且所述显示单元响应于所述点击操作来显示叠加在所述静止图像上的所述虚拟图像。 
在该显示控制设备中，还包括运动传感单元，其中，所述显示单元响 应于通过所述运动传感单元获得的、所述显示控制设备的第一检测到的位置变化来显示被叠加在所述静止图像上的所述虚拟图像。 
在该显示控制设备中，所述第一检测到的位置变化包括所述显示控制设备的取向的变化，且所述显示单元响应于所述显示控制设备的取向的变化来显示被叠加在所述静止图像上的所述虚拟图像。 
在该显示控制设备中，所述显示单元根据所述显示控制设备的第一检测到的位置变化和用户输入的和或者或的关系来显示叠加在所述静止图像上的虚拟图像，所述用户输入是点击操作。 
在该显示控制设备中，通过所述通信单元从远程服务器获得所述虚拟图像。 
在该显示控制设备中，所述通信单元在转换到显示所述静止图像之前请求从所述远程服务器发送所述虚拟图像。 
在该显示控制设备中，所述静止图像获取单元从远程服务器获得所述静止图像来获得静止图像。 
在该显示控制设备中，所述静止图像获取单元从多个候选静止图像中选择所述静止图像来获得静止图像。 
在该显示控制设备中，所述静止图像获取单元从实际空间的多个图像中选择所述静止图像来获得静止图像。 
在该显示控制设备中，所述显示控制设备还包括成像设备，所述成像设备包括所述图像获取单元和所述静止图像获取单元，且所述静止图像获取单元通过成像获得所述静止图像。 
在该显示控制设备中，所述显示单元响应于所述显示控制设备的第二检测到的位置变化从显示所述静止图像退出并且显示所获取的实际空间的图像。 
本实用新型的有益效果 
如上所述，根据本公开内容的实施例的显示控制设备、显示控制方法以及程序使得能够为用户改进可用性。 
附图说明
图1是示出根据本公开内容的增强现实（AR）系统的配置的图； 
图2是示出实时识别屏幕的示例的图； 
图3是示出移动终端的硬件配置的图； 
图4是示出根据第一实施例的移动终端的配置的框图； 
图5是示出实时识别屏幕和静止图像操作屏幕的布局的图； 
图6是示出静止图像操作屏幕的可替换示例的图； 
图7是示出移动终端在实时识别模式下的操作的流程图； 
图8是示出移动终端在静止图像操作模式下的操作的流程图； 
图9是示出根据第二实施例的移动终端的配置的框图； 
图10是示出根据第三实施例的移动终端的配置的框图； 
图11是示出根据第四实施例的AR系统的图； 
图12是示出根据第四实施例的移动终端和AR服务器的配置的功能框图； 
图13是示出第四实施例的第一操作示例的序列图； 
图14是示出第四实施例的第二操作示例的序列图；以及 
图15是示出第四实施例的第三操作示例的序列图。 
以下将参照附图对本公开内容的优选实施例进行详细描述。注意，在本说明书和附图中，用相同的附图标记表示具有基本相同的功能和结构的结构性元件，并省略了对这些结构性元件的重复说明。 
具体实施方式
在本说明书和附图中，有时用附于相同附图标记的不同字母来区分具有基本相同功能的结构性元件。然而，在无特别需要区分具有基本相同功能的多个结构性元件的情况下，这些具有基本相同功能的结构性元件仅用相同的附图标记表示。 
此外，将按以下顺序来提供“具体实施方式”。 
1.对AR系统的综述 
2.对实施例的描述 
2-1.第一实施例 
2-2.第二实施例 
2-3.第三实施例 
2-4.第四实施例 
3.总结 
本实用新型的方面包括一种装置，其包括存储指令的存储器和控制单元。控制单元可以被配置成执行指令，以：获取实际空间的图像，在实际空间图像内检测感兴趣的对象，获得该对象的静止图像，以及显示叠加在静止图像上的与该对象有关的虚拟图像。 
本实用新型的方面包括一种方法，该方法包括：获取实际空间的多个图像，在多个图像内检测感兴趣的对象，以及获得该对象的静止图像。该方法还可以包括显示叠加在静止图像上的与该对象有关的虚拟图像。 
本实用新型的方面包括有形实施的非瞬时的计算机可读介质，其存储有如下指令，该指令在被处理器执行时进行下述方法。所述方法可以包括：获取实际空间的多个图像，在多个图像内检测感兴趣的对象，获得该对象的静止图像，以及显示叠加在静止图像上的与该对象有关的虚拟图像。 
1.对AR系统的综述 
根据本公开内容的AR系统可以以作为示例在“2-1.第一实施例”至“2-4.第四实施例”中详细描述的各种实施例来实现。此外，根据每个实施例的AR系统可以包括下述显示控制设备（移动终端20，AR服务器30），所述显示控制设备包括：
A.控制单元(241-244)，该控制单元可以使得显示设备的显示在含有实际空间的运动图像的实际空间运动图像与例如合成图像之间转换，该合成图像含有实际空间的静止图像以及与静止图像中所含有的实际对象对应的虚拟对象。 
以下，首先参照图1和图2说明对每个实施例共同的AR系统的基本配置。 
图1是示出根据本公开内容的AR系统的配置的图。如图1所示，根据本公开内容的AR系统包括具有成像功能的移动终端20。该移动终端20能够例如捕获实际空间图像并且显示与在实际空间图像中含有的实际对象对应的、叠加到显示器26上的实际空间图像上的虚拟对象。实际空间图像可以包括例如多个实际空间的图像。当实际空间图像包括周期性获得的实际空间的多个图像时，认为该实际空间图像是“实况图像(live image)”。应理解此处所使用的术语“实际空间图像”包括实际空间的单个静止图像、实际空间的多个静止图像以及实际空间的实况图像。 
例如，在实际对象是如图1所示的站牌40时，移动终端20能够捕获含有站牌40的实际空间图像并显示实时识别屏幕，在该实时识别屏幕中与站牌40对应的虚拟对象叠加在显示器26上。以下参照图2对实时识别屏幕进行详细描述。 
图2是示出实时识别屏幕的示例的图。如图2所示，实时识别屏幕P包含作为实际对象的站牌40和作为叠加在站牌40上的虚拟对象的时间表52的显示。通过查看叠加有虚拟对象的实时识别屏幕，用户能够获得不能从实际空间获得的信息(在图2的情况中，是关于列车时刻表的信息，该信息并未写在站牌40上)。 
此外，用户能够通过在显示屏上进行预定操作来改变实时识别屏幕中含有的虚拟对象的显示。例如，当用户在图2所示的实时识别屏幕P上进行向上滑动操作或向下滑动操作时，移动终端20可以将时间表52中的显示的主题向上滑动或向下滑动。 
此外，在多个虚拟对象与一个实际对象关联的情况下，移动终端20可以根据用户操作在多个虚拟对象中切换要显示的虚拟对象。例如，当用户在图2所示的实时识别屏幕P上进行向左滑动操作或向右滑动操作时，移动终端20可以将要叠加到站牌40上的虚拟对象切换为区域地图或路线图。 
注意，尽管图1示出了智能电话作为移动终端20的示例，但是移动终端20不限于智能电话。例如，移动终端20可以是PDA(个人数字助理)、移动电话、便携式音乐播放设备、便携式视频处理设备或者便携式游戏机。此外，移动终端20仅是显示控制设备的示例，而显示控制设备可以是安装在网络侧或者安装在任何其他合适的配置中的服务器。 
此外，尽管图1和图2示出了站牌40作为实际对象的示例，但是实际对象不限于站牌40。例如，实际对象可以是感兴趣的对象，或者对象例如可以是广告牌、建筑物、车辆、食品或者玩具、或者标识图案如QR码或者AR标记。 
顺便提及，将虚拟对象叠加到实际空间图像上的上述AR应用通常但并不专门地通过对所捕获的实际空间图像进行实时地识别来执行。因此，用户能够通过使移动终端20的成像方向指向实际对象并将该取向保持一段时间来保持其中虚拟对象被叠加到实际空间图像上的实时识别屏幕。然而，对用户来说保持使移动终端20的成像方向指向实际对象是烦累的。此外，在使移动终端20的成像方向指向实际对象的情况下，难以进行用于改变对虚拟对象的显示的操作。 
就给出的这种情形和其他情形，作出了本实用新型的实施例。根据本公开内容的实施例，可以改进移动终端20的可用性和可操作性。以下，在描述移动终端20的硬件配置之后，对本公开的实施例顺序地进行详细描述。 
移动终端的硬件配置 
图3是示出移动终端20的硬件配置的说明图。如图3所示，移动终端20包括CPU(中央处理单元)201、ROM(只读存储器)202、RAM(随机存取存储器)203、输入设备208、输出设备210、存储设备211、驱动器212、成像设备213和通信设备215。 
CPU 201可以用作处理设备和控制设备二者，并且CPU 201根据各种程序来控制移动终端20中的全部操作。CPU 201可以是微处理器。ROM202存储要被CPU 201使用的程序以及处理参数等。RAM 203可以临时存储要在CPU 201上的执行中使用的程序、在执行过程中变化的参数等。CPU 201、ROM 202和RAM 203通过主机总线连接，主机总线可以是例如CPU总线等。 
输入设备208可以包括用于用户输入信息的输入部件，如鼠标、键盘、 触摸面板、按钮、麦克风、开关或控制杆，和例如基于用户输入生成输入信号并将该输入信号输出到CPU 201的输入控制电路。移动终端20的用户操纵输入设备208以由此输入各种数据或者指导对移动终端20的处理操作。 
输出设备210包括显示设备，如LCD(液晶显示器)设备、OLED(有机发光二极管)设备或者灯。此外，输出设备210包括声音输出设备，如扬声器或耳机。例如，显示设备显示所捕获的图像、所生成的图像等。另一方面，声音输出设备可以将声音数据等转换为声音并输出该声音。 
存储设备211是其功能可以包括数据存储的设备，该设备可以被配置为根据本实施例的移动终端20的存储单元的示例。存储设备211可以包括存储介质、将数据记录到存储介质中的记录设备、从存储介质读取数据的读取设备、将记录在存储介质中的数据删除的删除设备等。存储设备211可以存储要被CPU 201执行的程序和各种数据。 
驱动器212是用于存储介质的读写器，并且驱动器212可以置于移动终端20内或者从外部附着。驱动器212可以读取记录在附着到驱动器212的可移除存储介质24(如磁盘、光盘、磁光盘或者半导体存储器)上的信息并将该信息输出到RAM 203。此外，驱动器212可以将信息写入到可移除存储介质24中。 
成像设备213可以包括光学成像系统以及信号转换器，光学成像系统如聚集光的取像透镜或变焦透镜，信号转换器如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)。光学成像系统聚集从被摄体发出的光并在信号转换器上形成被摄体图像，信号转换器将所形成的被摄体图像转换成电图像信号。 
通信设备215是由通信设备等组成以与例如网络12连接的通信接口。通信设备215可以是与无线LAN(局域网)兼容的通信设备、与LTE(长期演进)兼容的通信设备或者进行有线通信的有线通信设备。 
注意，网络12可以是从与网络12连接的设备传输的信息的有线或无线传输通道。例如，网络12可以包括公用网如因特网、电话线网络或者卫星通信网络、各种LAN(局域网)(包括以太网(注册商标))、WAN(广域网)等。此外，网络12可以包括专用线路网，如IP-VPN(网际协议-虚拟专用网络) 
2.对实施例的描述 
以上参照图1至图3说明了根据本公开内容的AR系统的示例性配置。以下，将参照图4至图15详细描述根据本公开内容的第一实施例至第四实施例。 
2-1.第一实施例 
(移动终端的配置) 
图4是示出根据第一实施例的移动终端20-1的配置的功能框图。如图4所示，根据第一实施例的移动终端20-1包括显示器26、触摸面板27、成像设备213、特征值DB(数据库)220、图像识别单元224、虚拟对象DB 228、虚拟对象获取单元232和控制单元241。 
显示器26可以包括由LCD、OLED等组成的显示模块。显示器26根据控制单元241的控制显示各个屏幕。例如，显示器26显示实时识别屏幕和静止图像操作屏幕，实时识别屏幕含有成像设备213捕获的实际空间的运动图像，静止图像操作屏幕是实际空间的静止图像以及与在静止图像中含有的实际对象对应的虚拟对象等的合成图像。然而，注意，实时识别屏幕仅是含有实际空间的运动图像的实际空间运动图像的示例，而实际空间运动图像可以含有在对虚拟图像和/或实际图像进行显示之前捕获的实际空间的运动图像。 
此外，尽管图4中示出了将显示器26安装作为移动终端20-1的一部分的示例，然而显示器26可以是与移动终端20-1分离的构件。此外，显示器26可以是安装在用户头上的HMD(头戴式显示器)。 
触摸面板27是安装到显示器26上的操作检测单元。触摸面板27能够检测操作体(如用户的手指或者触摸笔)的接近或接触。注意，触摸面板27仅是操作检测单元的示例，并且移动终端20-1可以包括另外的用于操作的部件，如键盘和按钮。 
成像设备213可以包括如上参照图3所描述的光学成像系统和信号转换器，并根据控制单元241的控制捕获实际空间图像(运动图像或静止图像)。注意，成像设备213可以分离地包括用于对运动图像成像的部件和用于对静止图像成像的部件。 
特征值DB 220是存储实际对象的图像的特征值数据的数据库。具体地，在特征值DB 220中，用于标识每个实际对象的标识信息与每个实际对象的特征值数据相互关联。特征值数据可以是例如从使用SIFT或者随机森林(Random Fern)对实际对象的图像进行学习所确定的一组特征值。 
图像识别单元224可以识别由成像设备213捕获的实际空间图像中含有的实际对象和实际空间图像中的实际对象的位置和姿态。例如，图像识别单元224通过针对存储在特征值DB 220中的每个实际对象的特征值检查根据实际空间图像确定的特征值来识别实际空间图像中含有的实际对象。具体地，图像识别单元224可以根据特征值确定方法如SIFT或随机森林来确定实际空间图像中的实际对象的特征值，并针对存储在数据库220中的每个实际对象的特征值检查确定的特征值。然后，图像识别单元224识别出与和实际空间图像中的实际对象的特征值最匹配的特征值关联的实际对象的标识信息，以及实际空间图像中的实际对象的位置和姿态。 
注意，图像识别单元224可以识别实际对象，例如已知的手指或符号，人工标记(例如条形码或者QR码)或者自然标记，并可以基于实际空间图像中的实际对象的尺寸和形状来识别实际对象的位置和姿态。 
此外，尽管以上描述了通过图像处理识别实际空间图像中含有的实际对象的示例，但是识别实际对象的方法不限于图像处理。例如，检测图像设备213所指向的方向以及移动终端20-1的当前位置、并基于检测结果估计在实际空间图像中含有的实际对象以及该实际对象在实际空间图像中的位置和姿态是可行的。 
虚拟对象DB 228是存储要叠加在实际对象上的虚拟对象的数据库。具体地，在虚拟对象DB 228中，虚拟对象的标识信息、实际对象的标识信息、指示相对于实际对象的显示位置和姿态的设置信息以及要被呈现给用户的虚拟对象是彼此关联的。虚拟对象可以是文本格式或图像格式。 
虚拟对象获取单元232可以获取与被图像识别单元224识别的实际对象对应的虚拟对象以及设置信息。例如，虚拟对象获取单元232从虚拟对象DB 228获取与被图像识别单元224识别的实际对象的标识信息关联的虚拟对象和设置信息。 
控制单元241控制移动终端20-1的全部操作。例如，控制单元241根据预定的转换准则使移动终端20-1的操作模式在包括实时识别模式和静止图像操作模式的多种操作模式中进行转换。 
实时识别模式是可以识别出在由成像设备213实时捕获的实际空间的运动图像中含有的实际对象并且通过将虚拟对象叠加到该实际对象上来创建实时识别屏幕的操作模式。另一方面，静止图像操作模式是通过将 虚拟对象叠加到由成像设备213捕获的静止图像上来创建静止图像操作屏幕的操作模式。注意，控制单元241能够基于任何操作模式下的用户操作来改变虚拟对象的显示。具体地，控制单元241能够基于用户操作来移动、放大/缩小或者卷动虚拟对象。上述静止图像操作模式下的静止图像可以是例如构成由用于对运动图像成像的部件所捕获到的运动图像的一帧或者是由用于对静止图像成像的部件所捕获到的静止图像。此外，上述静止图像可以是由所捕获到的多个静止图像组成的一个静止图像。例如，在移动终端20-1具有将多个静止图像合并成放大的静止图像的功能(如将成像设备的方向逐步移位而捕获到的多个静止图像合并成一个全景图画的“一扫全景(Swing Panorama)”功能)的情况下，移动终端20-1能够在静止图像操作模式下将虚拟对象叠加到一个放大的静止图像上。在这种情况下，也能够对一个放大的静止图像进行用户操作。此外，移动终端20-1可以显示新近在初始的静止图像操作屏幕上捕获的静止图像，并且当用户操作指示与成像设备的运动相对的方向时(如朝着与一扫方向相对的方向拖拽)，除了正被显示的静止图像之外还以更宽的视角显示(空间相邻的)过去的静止图像。在这种情况下，根据用户操作将虚拟对象从新近的静止图像的区域移动到过去的静止图像的区域是可行的。可以基于对每个图像中的内容的分析或者基于由传感器在捕获每个图像时测量的成像设备的位置和姿态来对放大的静止图像进行合成。 
实时识别屏幕与静止图像操作屏幕的布局示例 
以下参照图5描述实时识别屏幕与静止图像操作屏幕的布局。如图5所示，在实时识别模式下创建的实时识别屏幕P1包括站牌40和时间表52的显示，站牌40是实际对象，而时间表52是叠加到站牌40上的虚拟对象。为了保持实时识别屏幕P1，用户可以如图5所示保持移动终端20-1的成像方向指向站牌40。 
另一方面，在静止图像操作模式下创建的静止图像操作屏幕P2包括站牌40、时间表52、标签“时间表”62、标签“区域地图”64和返回键66的显示，站牌40是实际对象，时间表52是叠加到站牌40上的虚拟对象。 
控制单元241可以根据用户对标签“时间表”62、标签“区域地图”64等的操作来改变要显示的虚拟对象。例如，在用户选择了标签“区域地图”64的情况下，控制单元241将要被叠加到站牌40上的虚拟对象从时间表52变为区域地图。 
在静止图像操作模式下，可以如图5所示在无需用户使移动终端20-1的成像方向指向实际对象的情况下显示含有虚拟对象的静止图像操作屏幕P2。由此可以改进移动终端20-1对用户的可用性并且改进对虚拟对象的显示的可操作性。 
注意，返回键66是转换操作按钮的示例，且例如在用户键入返回键66时，控制单元241使操作模式从静止图像操作模式转换成实时识别模式。 
图6是示出静止图像操作屏幕的可替换示例的说明性实施例图。根据可替换示例的静止图像操作屏幕P3包括多个缩略图(S1、S2、S3……)、返回键66以及针对每个缩略图的附加信息68。控制单元241能够接受在静止图像操作屏幕P3上的缩略图选择操作并作为主项显示所选择的缩略图。注意，多个缩略图可以是构成在实时识别模式获得的运动图像的多个帧。此外，每个缩略图可以是实际空间的静止图像与虚拟对象的合成图像或者是不含有虚拟对象的、实际空间的静止图像。 
转换操作模式的准则 
以下说明控制单元241确定是否使操作模式转换的转换准则。 
首先，从实时识别模式转换为静止图像操作模式的准则可以是以下准则中的任何一个准则或者是以下准则的组合。 
(1-1)在实时识别模式下由图像识别单元224识别出实际对象。 
(1-2)操作体如用户的手指与触摸面板27接触。 
(1-3)操作体从触摸面板27移开。 
(1-4)在实际对象的判断范围内检测到操作体与触摸面板27接触或者操作体从触摸面板27移开。 
据此，控制单元241例如可以在由图像识别单元224识别出了实际对象并且在实际对象的判断范围内检测到操作体与触摸面板27的接触的情况下使操作模式转换为静止图像操作模式。注意，作为对实际对象的判断范围的附加解释，实际对象的判断范围是与实际对象的识别范围有关的范围，实际对象的判断范围可以是包括有实际对象的识别范围的范围或者是实际对象的识别范围的一部分。当用户在实际对象的判断范围内进行操作时，即使该操作在实际对象的识别范围之外，控制单元241也判断出选择了实际对象。 
注意，控制单元241可以将在满足向静止图像操作模式转换的准则的时间点处所获得的实际空间图像用作静止图像操作屏幕的静止图像、或者可以将在满足向静止图像操作模式转换的准则之后所获得的实际空间图像用作静止图像操作屏幕的静止图像。在后一种情况下，控制单元241可以指示成像设备213使用用于对静止图像成像的部件来捕获静止图像。 
接着，从静止图像操作模式转换为实时识别模式的准则可以是以下准则中的任何一个准则或者是以下准则的组合。 
(2-1)操作体如用户的手指与触摸面板27接触。 
(2-2)操作体从触摸面板27移开。 
(2-3)在实际对象的判断范围之外检测到操作体与触摸面板27的接触或者操作体从触摸面板27移开。 
(2-4)键入了返回键66。 
据此，控制单元241例如可以在实际对象的判断范围之外检测到操作体与触摸面板27的接触的情况下使操作模式转换为实时识别模式。 
如上所述，因为根据第一实施例的移动终端20-1具有静止图像操作模式，因此有可能在无需用户保持移动终端20-1的成像方向指向实际对象的情况下显示其中虚拟对象在显示屏26上被叠加到实际空间的静止图像上的静止图像操作屏幕。由此可以改进移动终端20-1对用户的可用性并改进虚拟对象的显示的可操作性。 
(移动终端的操作) 
以下参照图7和图8描述根据第一实施例的移动终端20-1的操作。如图7和图8所示，移动终端20-1能够以并行的方式执行识别处理和用户IF处理。 
图7是示出移动终端20-1在实时识别模式下的操作的流程图。如图7所示，在实时识别模式下，图像识别单元224首先确定从成像设备213输入的实际空间图像是否被更新(S304)。当实际空间图像被更新时，那么图像识别单元224试图识别在实际空间图像中含有的实际对象并识别实际对象的姿态(S308)。当在S308中识别出了实际对象时，虚拟对象获取单元232从虚拟对象DB 228获取与实际对象对应的虚拟对象，且控制单元241生成由虚拟对象获取单元232获取的虚拟对象的显示(S316)。注意，当确定实际空间图像没有被更新时(在S304中为否)，当在S308 中没有识别出实际对象时(在S312中为否)或者在S316的处理之后，重复自S304的处理。 
另一方面，当在S304中确定实际空间图像被更新时，控制单元241更新实时识别屏幕中的实际空间图像(S404)。进一步地，当在S316中生成了虚拟对象的显示时，控制单元241可以更新实时识别屏幕中的虚拟对象的显示(S408)。然后，在满足向静止图像操作模式转换的准则时，控制单元241使移动终端20-1的操作模式转换为静止图像操作模式(S412)。 
图8是示出移动终端20-1在静止图像操作模式下的操作的流程图。如图8所示，在静止图像操作模式下，控制单元241首先获取静止图像(S320)并读取在S308中识别的实际对象关于静止图像的姿态信息(S324)。注意，在针对静止图像操作屏幕最新捕获静止图像的情况下，可以进行新的静止图像中含有的实际对象的姿态的识别。然后，控制单元241生成由虚拟对象获取单元232获取的、与实际对象对应的虚拟对象的显示(S328)。 
另一方面，如果在S320中获取了静止图像(S420)，控制单元241在显示器26上显示静止图像(S424)。进一步地，控制单元241在显示器26上显示在S328中生成的虚拟对象的显示(S428)。然后，在满足向实时识别模式转换的准则时，控制单元241使移动终端20-1的操作模式转换为实时识别模式(S432)。另一方面，在检测到不是指示模式转换的操作的用户操作时，控制单元241根据用户操作改变应用的内部状态(S436)并重复自S424起的处理。 
2-2.第二实施例 
以下描述本公开内容的第二实施例。尽管在第一实施例中将用户的手指与触摸面板27接触或者将用户的手指从触摸面板27移开的明确操作描述为针对转换操作模式的准则，但在第二实施例中提出了用户转换操作模式的其他准则。 
图9是示出根据第二实施例的移动终端20-2的配置的功能框图。如图9所示，根据第二实施例的移动终端20-2包括显示器26、触摸面板27、运动传感器28、成像设备213、特征值DB 220、图像识别单元224、虚拟对象DB 228、虚拟对象获取单元232和控制单元242。显示器26、触摸面板27、成像设备213、特征值DB 220、图像识别单元224、虚拟对象DB 228和虚拟对象获取单元232的功能与第一实施例中所描述的功能相 同，以下主要对与第一实施例中的要素不同的要素进行描述。 
运动传感器28是检测移动终端20-2的运动的传感器。例如，运动传感器28检测沿着X轴方向、Y轴方向和Z轴方向(Gx、Gy、Gz)的加速，这三个方向可以是彼此垂直的。然而，注意，移动传感器28的检测目标不限于沿着三个维度的加速。例如，在成像设备213与运动传感器28的相对位置是已知的情况下，运动传感器28的检测目标可以是沿着一个维度的加速或者是沿着两个维度的加速。此外，运动传感器28可以是陀螺传感器。 
除了根据第一实施例的控制单元241的功能中的全部功能或者一些功能之外，控制单元242还具有基于由运动传感器28对运动的检测结果来控制操作模式的转换的功能。以下对其进行描述。 
在使用中，在实时识别模式下，用户可以如图5中左边所示的那样朝向实际对象举起移动终端20-2。另一方面，在静止图像操作模式下，用户可以如图5中右边所示的那样将移动终端20-2保持在相对于用户向下的视线的正确位置上。具体地，移动终端20-2在实时识别模式下的位置和姿态与移动终端20-2在静止图像操作模式下的位置和姿态可以是不同的。 
从这一点来说，在第二实施例中，要由用户在模式转换时向移动终端20-2给出的运动被感知为模式转换操作，且控制单元242基于由运动传感器28对运动的检测结果来使移动终端20-2的操作模式转换。 
例如，如果在预定的时间段内由运动传感器28检测到的运动检测结果(Gx、Gy、Gz)的幅度分量中的每个幅度分量或一个幅度分量或多个幅度分量的变化值大于设置值，则控制单元242会使移动终端20-2的操作模式转换。 
可替换地，在运动传感器28检测到第一运动模式时，控制单元242会使操作模式从实时识别模式转换为静止图像操作模式，而在运动传感器28检测到与第一运动模式不同的第二运动模式时，控制单元242会使操作模式从静止图像操作模式转换为实时识别模式。根据实际使用的情况，第一运动模式可以是下述模式：在该模式中，移动终端20-2可以从被举起的状态移动到处于相对于用户向下的视线的正确位置上的状态。此外，第二运动模式可以是第一运动模式的逆运动模式。 
然而，用作转换的准则的运动模式不限于以上示例，而各种运动模式可被定义为转换的准则。例如，包括移动终端20-2扫动、旋转等的运动 模式在内的各种运动模式都可以被定义为转换的准则。 
此外，控制单元242可以根据以上描述的与运动有关的转换的准则以及在第一实施例中描述的转换的准则的与(AND)或者或(OR)来控制操作模式的转换。例如，在用户的手指与触摸面板27接触(1-2)并且第一运动模式被运动传感器28检测到时，控制单元242可以使操作模式转换为静止图像操作模式。类似地，在用户的手指与触摸面板27接触(2-1)并且第二运动模式被运动传感器28检测到时，控制单元242可以使操作模式转换为实时识别模式。 
如上所述，根据第二实施例，将期望由用户在模式转换时给予移动终端20-2的运动用作针对转换的准则，由此减轻了用于模式转换的用户操作的负担。 
注意，会存在下述情况：其中，吸引用户兴趣的实际对象没有包含于在满足转换的准则的运动被运动传感器28检测到时所捕获的实时空间图像中。鉴于此，根据第二实施例的移动终端20-2可以存储在过去的预定时段期间所捕获的实际空间图像并在满足用于转换的准则的运动被运动传感器28检测到之前将该实际空间图像用作用于静止图像操作屏幕的静止图像。特别地，将在运动模式开始时的实际空间图像用作用于静止图像操作屏幕的静止图像是有效的。 
2-3.第三实施例 
以下，将对本公开内容的第三实施例进行描述。在本公开内容的第三实施例中，提出了对静止图像操作屏幕使用更高质量的静止图像的配置。 
图10是示出根据第三实施例的移动终端20-3的配置的功能性框图。如图10所示，根据第三实施例的移动终端20-3包括显示器26、触摸面板27、运动传感器28、成像设备213、特征值DB 220、图像识别单元224、虚拟对象DB 228、虚拟对象获取单元232和控制单元243以及模糊测量单元250。显示器26、触摸面板27、运动传感器28、成像设备213、特征值DB 220、图像识别单元224、虚拟对象DB 228以及虚拟对象获取单元232的功能与第二实施例中所描述的功能相同，以下主要对与第二实施例中的要素不同的要素进行描述。 
模糊测量单元250是质量测量单元，该单元缓存由图像设备213在实时识别模式下捕获的实际空间的运动图像并且在从实时识别模式转换为静止图像操作模式时检测过去N帧中的每帧中的模糊。例如，模糊测量 单元250可以通过离散余弦变换将每帧的图像数据变换成频率分量，并根据图像数据的频率分量测量每帧中的模糊。 
除了根据第二实施例的控制单元242的功能中的全部功能或者一些功能之外，控制单元243还具有对静止图像操作屏幕选择静止图像的功能。例如，控制单元243可以基于由模糊测量单元250的测量结果来在过去N帧中选择具有最小模糊的帧并且使用所选择的帧作为用于静止图像操作屏幕的静止图像。这样的配置使得能够在静止图像操作屏幕上显示优质的静止图像。 
注意，移动终端20-3可以存储实际对象以及已经由图像识别单元224针对每帧识别的实际对象的姿态作为每帧的识别结果，而控制单元243可以使用为所选择的帧存储的识别结果来生成静止图像操作屏幕。 
2-4.第四实施例 
以下，对本公开内容的第四实施例进行描述。尽管在第一实施例至第三实施例中描述了移动终端单独实施AR的示例，但是移动终端与安装在网络侧的服务器可以结合起来实施AR。 
图11是示出根据第四实施例的AR系统的图。如图11所示，根据第四实施例的AR系统包括移动终端20-4、网络12、AR服务器30以及作为实际对象的示例的站牌40。参照图12对移动终端20-4和AR服务器30的配置进行详细描述。 
图12是示出根据第四实施例的移动终端20-4和AR服务器30的配置的框图。如图12所示，根据第四实施例的移动终端20-4包括显示器26、触摸面板27、运动传感器28、成像设备213、特征值DB 220、图像识别单元224、控制单元244以及通信单元260。显示器26、触摸面板27、运动传感器28、成像设备213、特征值DB 220和图像识别单元224与第一实施例至第三实施例中所描述的相同，以下主要对与第一实施例至第三实施例中的要素不同的要素进行描述。 
通信单元260是与AR服务器30的接口，且其可用作向AR服务器30发送信息的发送单元和接收来自AR服务器30的信息的接收单元。例如，通信单元260请求AR服务器30发送与由图像识别单元224识别的实际对象对应的虚拟对象。通信单元260然后可以向AR服务器30发送由图像识别单元224识别的实际对象的标识信息。然后，通信单元260接收AR服务器30响应于上述请求发送的虚拟对象。 
除了根据第二实施例的控制单元242的功能中全部功能或者一些功能之外，控制单元244具有将由通信单元260接收到的虚拟对象叠加到静止图像上并创建静止图像操作屏幕的功能。 
另一方面，如图12所示，AR服务器30包括虚拟对象获取单元332、虚拟对象DB 328和通信单元360。 
虚拟对象DB 328可以包括存储要被叠加到实际对象上的虚拟对象的数据库。具体地，在虚拟对象DB 328中，虚拟对象的标识信息、实际对象的标识信息、指示相对于实际对象的显示位置和姿态的设置信息以及要被呈现给用户的虚拟对象是彼此关联的。虚拟对象可以是文本格式或图像格式。 
虚拟对象获取单元332从虚拟对象DB 328获取与被通信单元360接收的实际对象的标识信息关联的虚拟对象以及设置信息。 
通信单元360可以包括与移动终端20-4的接口，且用作向移动终端20-4发送信息的发送单元和接收来自移动终端20-4的信息的接收单元。例如，通信单元360接收来自移动终端20-4的实际对象的标识信息作为传输虚拟对象的请求，并向移动终端20-4发送由虚拟对象获取单元332获取的虚拟对象和设置信息。 
如上所述，根据第四实施例，可以通过将用于AR的功能中的一些功能结合到AR服务器30中来实施云计算。注意，尽管在第四实施例中描述了将虚拟对象DB和虚拟对象获取单元的功能结合到AR服务器30中的示例，要被结合到AR服务器30中的功能并不限于此。例如，图像识别单元和特征值DB的功能也可以结合到AR服务器30中。在这种情况下，移动终端20-4将由成像设备213所捕获的图像发送到AR服务器30，AR服务器30对实际对象进行识别并获取虚拟对象，然后AR服务器30将虚拟对象发送到移动终端20-4。 
此外，创建实时识别屏幕和静止图像操作屏幕的功能可以结合到AR服务器30中。在这种情况下，移动终端20-4将由成像设备213所捕获的图像发送到AR服务器30，而AR服务器30对实际对象进行识别、获取虚拟对象并叠加虚拟对象，然后AR服务器30将其中叠加了虚拟对象的实时识别屏幕或静止图像操作屏幕发送到移动终端20-4。在创建实时识别屏幕和静止图像操作屏幕的功能结合到AR服务器30中的情况下，AR服务器30用作显示控制装置。 
在上述AR系统中，当移动终端20-4在转换到静止图像操作模式时请求AR服务器30发送虚拟对象时，会担心出现从接收虚拟对象到显示虚拟对象的延迟。鉴于此，在有可能满足向静止图像操作模式转换的准则的情况下，根据第四实施例的移动终端20-4在满足向静止图像操作模式转换的准则之前请求AR服务器30发送虚拟对象。参照图13至图15对其进行具体描述。 
第一操作示例 
图13是示出第四实施例的第一操作示例的序列图。注意，在第一操作示例中，假设下述情况：从实时识别模式转换为静止图像操作模式的准则是用户点击触摸面板27，例如用户的手指与触摸面板27接触然后从触摸面板27移开。 
如图13所示，在实时识别模式中检测到用户的手指与触摸面板27接触时(S504)，通信单元260在转换到静止图像操作模式之前请求AR服务器30发送虚拟对象(S508)。 
AR服务器30的虚拟对象获取单元332响应于来自移动终端20-4的请求获取来自虚拟对象DB 328的虚拟对象(S512)，而通信单元360向移动终端20-4发送由虚拟对象获取单元332获取的虚拟对象(S516)。 
在检测到用户的手指从触摸面板27移开时(S520)，移动终端20-4的控制单元244转换为静止图像操作模式并在显示屏26上显示含有虚拟对象的静止图像操作屏幕(S524)。 
如上所述，在检测到用于转换为静止图像操作模式的用户操作的一部分时，移动终端20-4在转换到静止图像操作模式之前请求对虚拟对象的发送。这种配置使得在转换到静止图像操作模式时能够流畅地显示静止图像操作屏幕。注意，在尽管应用了本操作示例但仍然出现静止图像操作屏幕的显示延迟时，控制单元244会在显示器上显示“装载中(Loading)” 
第二操作示例 
图14是示出第四实施例的第二操作示例的序列图。注意，在第二操作示例中，假设下述情况：从实时识别模式转换为静止图像操作模式的准则是实际对象被图像识别单元224以实时识别模式识别出来以及用户点击触摸面板27。 
如图14所示，在实时识别模式中实际对象被图像识别单元224识别出来时(S604)，通信单元260可以在转换到静止图像操作模式之前请求 AR服务器30发送虚拟对象(S608)。 
AR服务器30的虚拟对象获取单元332可以响应于来自移动终端20-4的请求获取来自虚拟对象DB 328的虚拟对象(S612)，而通信单元360向移动终端20-4发送由虚拟对象获取单元332获取的虚拟对象(S616)。 
在用户点击触摸面板27时(S620)，移动终端20-4的控制单元244转换为静止图像操作模式并在显示屏26上显示含有虚拟对象的静止图像操作屏幕(S624)。 
如上所述，在满足转换为静止图像操作模式的准则的一部分时，移动终端20-4可以在转换到静止图像操作模式之前请求对虚拟对象的发送。这种配置使得在转换到静止图像操作模式时能够流畅地显示静止图像操作屏幕，就像第一操作示例那样。 
第三操作示例 
图15是示出第四实施例的第三操作示例的图。注意，在第三操作示例中，假设下述情况：从实时识别模式转换为静止图像操作模式的准则是用户的手指与触摸面板27接触以及检测到移动终端20-4的姿态的变化。 
如图15所示，在检测到用户的手指与触摸面板27接触时(S704)，通信单元260在转换到静止图像操作模式之前请求AR服务器30发送虚拟对象(S708)。 
AR服务器30的虚拟对象获取单元332响应于来自移动终端20-4的请求获取来自虚拟对象DB 328的虚拟对象(S712)，而通信单元360向移动终端20-4发送由虚拟对象获取单元332获取的虚拟对象(S716)。 
在运动传感器28检测到移动终端20-4的姿态的变化(预定运动模式)时(S720)，移动终端20-4的控制单元244进行到静止图像操作模式的转换，并在显示屏26上显示含有虚拟对象的静止图像操作屏幕(S724) 
在上述第三操作示例中，如在第二操作示例中那样，在转换到静止图像操作模式时能够流畅地显示静止图像操作屏幕。 
3.总结 
如上所述，因为根据本公开每个实施例的移动终端20都可以具有静止图像操作模式，所以能够显示静止图像操作屏幕，在该静止图像操作屏幕中虚拟对象被叠加到显示器26上的实际空间的静止图像上，而无需用户使移动终端20的成像方向指向实际对象。由此可以改进移动终端20 对用户的可用性并且改进了对虚拟对象的显示的可操作性。 
尽管以上参照附图对本公开内容的优选实施例进行了描述，但是本实用新型并不限于此。本领域技术人员应该理解，可以根据设计需要和其他因素出现各种修改、组合、子组合以及替换，只要这些修改、组合、子组合以及替换在权利要求或其等效内容的范围之内。 
例如，尽管被触摸面板27所检测到的在触摸面板27上的操作以及由移动传感器28检测到的移动终端20的运动被描述为对用作转换为静止图像操作模式的触发的用户操作的检测的示例，但是用户操作不限于此。检测用户操作的另一个示例是识别用户手势。可以基于由成像设备213所获取的图像来识别用户手势或者基于由另一个成像系统所获取的图像来识别用户手势。注意，成像设备213或者另一个成像系统可以通过如红外相机或者深度相机(Depth camera)的功能来对用户手势进行成像。 
此外，尽管在以上实施例中主要描述了显示控制设备是移动终端20的示例，但是显示控制设备可以是比移动终端20更大的设备，如电视或者显示设备。例如，通过使用从显示控制设备对用户成像的成像系统与显示控制设备连接或集成到其中的、能够显示用户的整个身体的大显示器，可以建立像镜子一样映出用户的功能而由此实施将虚拟对象叠加到用户上以允许对虚拟对象的操作的AR应用。 
此外，未必总是必须以根据在序列图或流程图中所示的顺序的时间顺序来进行本说明书中的移动终端20或AR服务器30的处理中的步骤。例如，移动终端20或AR服务器30的处理中的步骤可以以与流程图中所示的顺序不同的顺序来处理或并行处理。 
此外，创建下述计算机程序是可行的，该计算机程序使得结合到移动终端20或AR服务器30中的硬件如CPU、ROM和RAM执行与上述移动终端20或AR服务器30中的元素相同的功能。此外，还可以提供存储有该计算机程序的存储介质。 
此外，以下配置也在本公开内容的范围之内。 
(1)一种显示控制设备，包括控制单元，所述控制单元使得显示设备的显示在含有实际空间的运动图像的实际空间运动图像与下述合成图像之间转换，所述合成图像含有所述实际空间的静止图像以及与在所述静止图像中含有的实际对象对应的虚拟对象。 
(2)根据(1)所述的显示控制设备，其中，所述实际空间运动图像含有 正被成像设备成像的实际空间的运动图像。 
(3)根据(1)或(2)所述的显示控制设备，其中，对在所述合成图像中含有的所述虚拟对象的显示根据用户操作变化。 
(4)根据(1)至(3)中任一项所述的显示控制设备，还包括识别单元，所述识别单元识别在所述实际空间运动图像中的所述实际对象，其中，当所述实际对象被所述识别单元识别出时，所述控制单元使得所述显示设备的显示从所述实际空间运动图像转换为所述合成图像。 
(5)根据(1)至(4)中任一项所述的显示控制设备，还包括操作检测单元，所述操作检测单元检测用户操作，其中，当预定的用户操作被所述操作检测单元检测到时，所述控制单元使所述显示设备的显示转换。 
(6)根据(5)所述的显示控制设备，其中，所述操作检测单元检测安装在所述显示设备上的触摸面板上的预定用户操作。 
(7)根据(6)所述的显示控制设备，其中，当检测到在所述触摸面板上的实际对象的判断范围之内的用户操作时，所述控制单元使所述显示设备的显示从所述实际空间运动图像转换为所述合成图像。 
(8)根据(7)所述的显示控制设备，其中，当检测到在所述触摸面板上的实际对象的判断范围之外的用户操作时，所述控制单元使得所述显示设备的显示从所述合成图像转换为所述实际空间运动图像。 
(9)根据(8)所述的显示控制设备，其中，所述合成图像含有转换操作按钮，其中，当检测到所述触摸面板上的所述转换操作按钮上的用户操作时，所述控制单元使得所述显示设备的显示从所述合成图像转换为所述实际空间运动图像。 
(10)根据(5)至(9)中任一项所述的显示控制设备，其中，所述操作检测单元包括检测所述显示控制设备的运动的运动传感器，且其中当由所述运动传感器检测到第一运动模式时，所述控制单元使所述显示设备的显示从所述实际空间运动图像转换为所述合成图像。 
(11)根据(10)所述的显示控制设备，其中，当由所述运动传感器检测到与所述第一运动模式不同的第二运动模式时，所述控制单元使所述显示设备的显示从所述合成图像转换为所述实际空间运动图像。 
(12)根据(1)至(11)中任一项所述的显示控制设备，还包括与网络上的服务器通信的通信单元，其中，所述通信单元从所述服务器接收与所 述实际对象对应的所述虚拟对象。 
(13)根据(12)所述的显示控制设备，其中，当由所述操作检测单元检测到所述预定用户操作中的一部分时，所述通信单元请求服务器发送所述虚拟对象，以及其中，在由所述操作检测单元检测到所述预定用户操作的全部之后，所述控制单元使得所述显示设备的显示转换为所述合成图像。 
(14)根据(12)所述的显示控制设备，其中，当由所述识别单元识别出所述实际对象时，所述通信单元请求服务器发送所述虚拟对象，以及其中，在由所述操作检测单元检测到所述预定用户操作之后，所述控制单元使得所述显示设备的显示转换为所述合成图像。 
(15)根据(1)至(11)中任一项所述的显示控制设备，还包括测量构成所述实际空间运动图像的每帧的质量的质量测量单元，其中，所述控制单元基于所述质量测量单元的测量结果将构成所述实际空间运动图像的一帧选择为要包含在所述合成图像中的所述静止图像。 
(16)一种显示控制方法，所述显示控制方法包括使得显示设备的显示在含有实际空间的运动图像的实际空间运动图像与下述合成图像之间转换，所述合成图像含有所述实际空间的静止图像以及与在所述静止图像中含有的实际对象对应的虚拟对象。 
(17)一种程序，所述程序使得计算机起到下述显示控制设备的作用，所述显示控制设备包括控制单元，所述控制单元使得显示设备的显示在含有实际空间的运动图像的实际空间运动图像与下述合成图像之间转换，所述合成图像含有所述实际空间的静止图像以及与在所述静止图像中含有的实际对象对应的虚拟对象。 
(18)根据(17)所述的程序，其中，所述实际空间运动图像含有正被成像设备成像的实际空间的运动图像。 
(19)根据(17)或(18)所述的程序，其中，对在所述合成图像中含有的所述虚拟对象的显示根据用户操作变化。 
(20)根据(17)至(19)中任一项所述的程序，其中，所述显示控制设备还包括识别单元，所述识别单元识别在所述实际空间运动图像中的所述实际对象，其中，当所述实际对象被所述识别单元识别出时，所述控制单元使得所述显示设备的显示从所述实际空间运动图像转换为所述合成图像。 

Claims (6)

1.一种显示控制设备，包括： 
存储指令的存储器； 
图像获取单元，用于获取实际空间的图像； 
图像识别单元，用于在所述实际空间图像内检测感兴趣的对象； 
其特征在于， 
所述显示控制设备还包括静止图像获取单元，用于获得所述对象的静止图像；以及 
通过显示单元来显示叠加在所述静止图像上的与所述对象有关的虚拟图像， 
其中，所述图像获取单元、所述图像识别单元、所述静止图像获取单元和所述显示单元基于所述存储器存储的指令来进行操作。 
2.根据权利要求1所述的显示控制设备，还包括运动传感单元，其中，所述显示单元响应于通过所述运动传感单元获得的、所述显示控制设备的第一检测到的位置变化来显示被叠加在所述静止图像上的所述虚拟图像。 
3.根据权利要求1所述的显示控制设备，还包括通信单元，其中，通过所述通信单元从远程服务器获得所述虚拟图像。 
4.根据权利要求1所述的显示控制设备，其中，所述显示控制设备还包括成像设备，所述成像设备包括所述图像获取单元和所述静止图像获取单元，且所述静止图像获取单元通过成像获得所述静止图像。 
5.根据权利要求1所述的显示控制设备，其中所述显示控制设备是智能电话、个人数字助理、移动电话、便携式音乐播放设备、便携式视频处理设备以及便携式游戏机中的一个。 
6.根据权利要求1-5中任意一项所述的显示控制设备，其中，所述显示单元形成为所述显示控制设备的一部分，或者，所述显示单元是与所述显示控制设备分离的构件。 
CN2012201154018U 2011-03-31 2012-03-23 显示控制设备 Expired - Lifetime CN203224887U (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011078072A JP5765019B2 (ja) 2011-03-31 2011-03-31 表示制御装置、表示制御方法、およびプログラム
JP2011-078072 2011-03-31

Publications (1)

Publication Number Publication Date
CN203224887U true CN203224887U (zh) 2013-10-02

Family

ID=46930118

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2012201154018U Expired - Lifetime CN203224887U (zh) 2011-03-31 2012-03-23 显示控制设备
CN201210080649.XA Active CN102737228B (zh) 2011-03-31 2012-03-23 显示控制设备、显示控制方法和程序

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201210080649.XA Active CN102737228B (zh) 2011-03-31 2012-03-23 显示控制设备、显示控制方法和程序

Country Status (8)

Country Link
US (2) US9373195B2 (zh)
EP (1) EP2691835A4 (zh)
JP (1) JP5765019B2 (zh)
KR (1) KR20140009285A (zh)
CN (2) CN203224887U (zh)
BR (1) BR112013024386A2 (zh)
RU (1) RU2013143154A (zh)
WO (1) WO2012132334A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106340215A (zh) * 2016-11-09 2017-01-18 大连文森特软件科技有限公司 基于ar增强现实和自适应识别的乐器辅助学习体验系统
CN109144244A (zh) * 2018-07-03 2019-01-04 世雅设计有限公司 一种增强现实辅助的方法、装置、系统及增强现实设备

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9171384B2 (en) 2011-11-08 2015-10-27 Qualcomm Incorporated Hands-free augmented reality for wireless communication devices
US20130293580A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for selecting targets in an augmented reality environment
GB201216210D0 (en) * 2012-09-12 2012-10-24 Appeartome Ltd Augmented reality apparatus and method
JP6286123B2 (ja) * 2012-12-27 2018-02-28 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置、コンテンツ提供方法及びコンピュータプログラム
WO2014119098A1 (ja) * 2013-02-01 2014-08-07 ソニー株式会社 情報処理装置、端末装置、情報処理方法及びプログラム
US9367761B2 (en) * 2013-02-15 2016-06-14 Samsung Electronics Co., Ltd. Electronic device and object recognition method in electronic device
US9547917B2 (en) 2013-03-14 2017-01-17 Paypay, Inc. Using augmented reality to determine information
US9535496B2 (en) 2013-03-15 2017-01-03 Daqri, Llc Visual gestures
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
EP2983138A4 (en) * 2013-04-04 2017-02-22 Sony Corporation Display control device, display control method and program
KR102165444B1 (ko) * 2013-08-28 2020-10-14 엘지전자 주식회사 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
JP6318542B2 (ja) 2013-10-24 2018-05-09 富士通株式会社 表示制御方法、表示制御プログラムおよび情報処理装置
CN105684045B (zh) * 2013-11-13 2019-05-14 索尼公司 显示控制装置、显示控制方法和程序
JP6303550B2 (ja) * 2014-02-03 2018-04-04 ブラザー工業株式会社 表示プログラムおよび表示装置
JP6323040B2 (ja) 2014-02-12 2018-05-16 株式会社リコー 画像処理装置、画像処理方法およびプログラム
GB201404990D0 (en) * 2014-03-20 2014-05-07 Appeartome Ltd Augmented reality apparatus and method
CN103942049B (zh) 2014-04-14 2018-09-07 百度在线网络技术（北京）有限公司 增强现实的实现方法、客户端装置和服务器
US9342743B2 (en) * 2014-06-02 2016-05-17 Tesa Sa Method for supporting an operator in measuring a part of an object
US9412205B2 (en) 2014-08-25 2016-08-09 Daqri, Llc Extracting sensor data for augmented reality content
JP6361432B2 (ja) * 2014-10-01 2018-07-25 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
KR102358548B1 (ko) * 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
KR20160070874A (ko) * 2014-12-10 2016-06-21 브이앤아이 주식회사 모바일 기기를 이용한 위치기반 시설물 관리 시스템
RU2602386C1 (ru) * 2015-05-26 2016-11-20 Общество с ограниченной ответственностью "Лаборатория 24" Способ визуализации объекта
CA2989939C (en) * 2015-06-30 2022-05-31 Magic Leap, Inc. Technique for more efficiently displaying text in virtual image generation system
JP2017016466A (ja) * 2015-07-02 2017-01-19 富士通株式会社 端末制御方法、画像生成方法、端末制御プログラム、及び端末
CN105704383A (zh) * 2016-03-24 2016-06-22 徐亚红 趣味图像拍摄方法
US11062383B2 (en) 2016-05-10 2021-07-13 Lowe's Companies, Inc. Systems and methods for displaying a simulated room and portions thereof
CN109478339A (zh) * 2016-07-29 2019-03-15 三菱电机株式会社 显示装置、显示控制装置和显示控制方法
US10192115B1 (en) 2017-12-13 2019-01-29 Lowe's Companies, Inc. Virtualizing objects using object models and object position data
US10306394B1 (en) * 2017-12-29 2019-05-28 Samsung Electronics Co., Ltd. Method of managing a plurality of devices
CN111670431A (zh) * 2018-02-07 2020-09-15 索尼公司 信息处理装置、信息处理方法以及程序
US11132841B2 (en) 2018-11-30 2021-09-28 Facebook Technologies, Llc Systems and methods for presenting digital assets within artificial environments via a loosely coupled relocalization service and asset management service
CN109886199B (zh) * 2019-02-21 2022-04-12 阿波罗智联(北京)科技有限公司 信息处理方法、装置、车辆及移动终端
JP7398201B2 (ja) * 2019-03-29 2023-12-14 株式会社バンダイナムコエンターテインメント プログラム、電子機器およびサーバシステム
JP2022117599A (ja) * 2021-02-01 2022-08-12 キヤノン株式会社 画像処理装置、撮像装置、制御方法およびプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3937506B2 (ja) * 1997-05-12 2007-06-27 松下電器産業株式会社 データ発信装置、データ受信表示記録装置、および情報カメラシステム
DE10041104C1 (de) 2000-08-22 2002-03-07 Siemens Ag Einrichtung und Verfahren zur Kommunikation zwischen einer mobilen Datenverarbeitungsvorrichtung und einer stationären Datenverarbeitungsvorrichtung
JP2003323239A (ja) * 2002-05-08 2003-11-14 Sony Corp 情報処理装置及び情報処理方法、記憶媒体、並びにコンピュータ・プログラム
US20070035562A1 (en) * 2002-09-25 2007-02-15 Azuma Ronald T Method and apparatus for image enhancement
US7050078B2 (en) * 2002-12-19 2006-05-23 Accenture Global Services Gmbh Arbitrary object tracking augmented reality applications
US20060002590A1 (en) * 2004-06-30 2006-01-05 Borak Jason M Method of collecting information for a geographic database for use with a navigation system
US9530050B1 (en) * 2007-07-11 2016-12-27 Ricoh Co., Ltd. Document annotation sharing
JP5032798B2 (ja) * 2006-03-24 2012-09-26 富士フイルム株式会社 情報提供装置、情報提供システムおよび情報提供方法
JP4855130B2 (ja) * 2006-04-27 2012-01-18 京セラ株式会社 情報処理装置およびデータ記録保存方法
JP4333704B2 (ja) * 2006-06-30 2009-09-16 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置
JP2008017109A (ja) * 2006-07-05 2008-01-24 Renesas Technology Corp 携帯型撮像装置
US20080071559A1 (en) * 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
US20090237546A1 (en) 2008-03-24 2009-09-24 Sony Ericsson Mobile Communications Ab Mobile Device with Image Recognition Processing Capability
CN102124432B (zh) * 2008-06-20 2014-11-26 因文西斯系统公司 对用于过程控制的实际和仿真设施进行交互的系统和方法
JP5315111B2 (ja) 2009-03-31 2013-10-16 株式会社エヌ・ティ・ティ・ドコモ 端末装置、情報提示システム及び端末画面表示方法
KR101648339B1 (ko) 2009-09-24 2016-08-17 삼성전자주식회사 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 방법 및 장치
US20120120103A1 (en) * 2010-02-28 2012-05-17 Osterhout Group, Inc. Alignment control in an augmented reality headpiece
US8723888B2 (en) * 2010-10-29 2014-05-13 Core Wireless Licensing, S.a.r.l. Method and apparatus for determining location offset information
US8698843B2 (en) * 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106340215A (zh) * 2016-11-09 2017-01-18 大连文森特软件科技有限公司 基于ar增强现实和自适应识别的乐器辅助学习体验系统
CN106340215B (zh) * 2016-11-09 2019-01-04 快创科技（大连）有限公司 基于ar增强现实和自适应识别的乐器辅助学习体验系统
CN109144244A (zh) * 2018-07-03 2019-01-04 世雅设计有限公司 一种增强现实辅助的方法、装置、系统及增强现实设备

Also Published As

Publication number Publication date
US20140009494A1 (en) 2014-01-09
JP2012212343A (ja) 2012-11-01
WO2012132334A1 (en) 2012-10-04
US20160284133A1 (en) 2016-09-29
EP2691835A4 (en) 2014-12-17
RU2013143154A (ru) 2015-03-27
CN102737228B (zh) 2017-12-12
BR112013024386A2 (pt) 2019-09-24
EP2691835A1 (en) 2014-02-05
US10198867B2 (en) 2019-02-05
KR20140009285A (ko) 2014-01-22
JP5765019B2 (ja) 2015-08-19
US9373195B2 (en) 2016-06-21
CN102737228A (zh) 2012-10-17

Similar Documents

Publication Publication Date Title
CN203224887U (zh) 显示控制设备
JP6286123B2 (ja) 情報処理装置、コンテンツ提供方法及びコンピュータプログラム
US20130241821A1 (en) Image processing system, image processing method, and storage medium storing image processing program
CN103189864A (zh) 用于确定个人的共享好友的方法、设备和计算机程序产品
CN101489073B (zh) 信息处理装置以及信息处理方法
CN110888532A (zh) 人机交互方法、装置、移动终端及计算机可读存储介质
WO2013088637A2 (en) Information processing device, information processing method and program
CN103221968A (zh) 信息通知系统、信息通知方法、信息处理设备及其控制方法和控制程序
CN107179839A (zh) 用于终端的信息输出方法、装置及设备
WO2018135246A1 (ja) 情報処理システム及び情報処理装置
CN109669710B (zh) 便签处理方法及终端
CN110544287A (zh) 一种配图处理方法及电子设备
CN105683959A (zh) 信息处理设备、信息处理方法及信息处理系统
KR101964192B1 (ko) 시뮬레이션용 스마트 테이블 장치
CN102866825A (zh) 显示控制装置、显示控制方法和程序
EP4181097A1 (en) Non-transitory computer-readable recording medium and display method
JP2017019593A (ja) 倉庫管理システム及び携帯型装置
CN110750193A (zh) 一种基于人工智能的场景拓扑确定方法和装置
JP6857537B2 (ja) 情報処理装置
CN111681255B (zh) 一种对象识别方法和相关装置
JP5493581B2 (ja) 情報処理システム、情報処理装置、情報管理装置及びプログラム
CN113411653A (zh) 信息显示方法、设备和定位系统
CN115767078A (zh) 投屏时延的测试方法、装置及存储介质
CN113127582A (zh) 一种导航应用中个人信息页的显示方法、装置、及设备
CN116152289A (zh) 一种目标对象的跟踪方法、相关装置、设备以及存储介质

Legal Events

Date Code Title Description
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20131002