CN102246121B - 信息显示装置和信息显示方法 - Google Patents

信息显示装置和信息显示方法 Download PDF

Info

Publication number
CN102246121B
CN102246121B CN200980150013.4A CN200980150013A CN102246121B CN 102246121 B CN102246121 B CN 102246121B CN 200980150013 A CN200980150013 A CN 200980150013A CN 102246121 B CN102246121 B CN 102246121B
Authority
CN
China
Prior art keywords
information
image
real world
world image
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200980150013.4A
Other languages
English (en)
Other versions
CN102246121A (zh
Inventor
江村恒一
稻富康朗
上田纯子
金原寿树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chuang Long Viewpoint Technology Co ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN102246121A publication Critical patent/CN102246121A/zh
Application granted granted Critical
Publication of CN102246121B publication Critical patent/CN102246121B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Ecology (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Marketing (AREA)
  • Computer Graphics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

公开了能够易于观察地显示有关在现实世界影像中映出的对象物的信息中用户想知道的信息的信息显示装置。该信息显示装置(100)包括：输入现实世界影像的影像输入单元(300)；获取在输入的现实世界影像中映出的对象物和现实世界影像的视点之间的距离的距离获取单元(650)；输出重叠了有关对象物的信息与现实世界影像的影像的对象物重叠单元(710)；以及控制对象物重叠单元(710)输出的信息的信息输出控制单元(690)，信息输出控制单元(690)根据获取了的距离，确定对象物重叠单元(710)输出的信息的提示方式。

Description

信息显示装置和信息显示方法
技术领域
本发明涉及重叠地显示现实世界影像和有关映出在现实世界影像中的对象物的信息的信息显示装置和信息显示方法。
背景技术
在风景的摄影影像这种现实世界影像中，各种设施等的对象物被映出。在一个画面上重叠地显示现实世界影像和有关映出在该现实世界影像中的对象物的信息(以下称为“对象物信息”)的图像显示装置被应用于各个领域。这种技术称为“增强现实感”(AugmentedReality)，另外还称为“突出现实感”、“强化现实感”等。应用了这种技术的增强现实感装置在移动的同时随时获取信息时非常方便。
例如，在专利文献1和专利文献2中记载了由重叠地显示现实世界影像和对象物信息的装置(以下简称为“信息显示装置”)控制要显示的对象物信息的技术。
图1是表示专利文献1记载的信息显示装置的结构的图。图2是表示一例专利文献1记载的信息显示装置输入的现实世界影像的图。图3是表示一例图1所示的信息显示装置对应于图2所示的输入影像而显示的、重叠了现实世界影像和对象物信息的影像(以下称为“信息重叠影像”)的图。
如图2所示，在对象物11的附近，预先配置有用于识别该对象物的、独立的已知的标记(mark)12。
在图1中，信息显示装置20包括：输入现实世界的图像的图像输入单元21；从输入图像提取标记12的标记提取单元22；以及使用提取了的标记12运算位置姿态的标记识别单元23。进而，信息显示装置20还包括：获取与标记12预先进行了关联对应的对象物信息的关联信息获取单元24；进行对象物信息的加工处理的模型数据生成单元25；以及重叠显示输入图像和加工了的信息的显示单元26。其结果如图3所示，显示出图像33，该图像33重叠了包含对象物11的图像的现实世界的图像31、以及有关对象物11的对象物信息32。
另外，专利文献1记载的信息显示装置的模型数据生成单元25使正在显示的信息的描绘位置与输入图像的变化同步地变化，使其追随对象物的显示位置。因此，专利文献1记载的信息显示装置例如即使在环绕标本的周围转的同时进行摄影的情况下，也能够与输入图像的视点的移动(照相机的用户的移动)准确地同步而显示信息。
图4是表示专利文献2记载的信息显示装置的结构的图。在图4中，信息显示装置40包括：检测用户的视点的位置的视点位置检测单元41；检测显示器47的位置的显示器位置检测单元42；以及检测映出的对象物的对象位置检测单元43。并且，信息显示装置40包括：用于确定位于连结用户视点与显示器47的中心位置的线上的对象物的对象确定单元44；以及从存储装置获取对象物信息的对象信息检索单元45。进而，信息显示装置40包括根据用户视点与显示器47之间的距离，选择要显示的参照信息的详细程度的影像生成单元46。其结果是在用户视点接近显示器时，显示更详细的信息。
【专利文献1】日本专利特开2004-48674号公报
【专利文献2】日本专利特开平8-190640号公报
发明内容
发明所要解决的课题
然而，在专利文献1记载的技术和专利文献2记载的技术中，存在无法易于观察地显示用户想知道的信息的课题。
在专利文献1记载的信息显示装置中，例如，在现实世界影像中配置了标记的对象物存在多个时，不仅显示的信息的量增多，信息变得繁杂，而且不易观察现实世界影像。
对专利文献2记载的信息显示装置而言，虽然能够限制作为信息显示的对象的对象物，但在对于对象物的关注度与用户视点对于显示器的接近程度不对应时，可能会导致信息过多或者过少。
本发明的目的在于，提供能够易于观察地显示有关在现实世界影像中映出的对象物的信息中用户想知道的信息的信息显示装置和信息显示方法。
解决问题的方案
本发明的信息显示装置包括：影像输入单元，其输入现实世界影像；距离获取单元，其获取在输入的所述现实世界影像中映出的对象物和所述现实世界影像的视点之间的距离；对象物重叠单元，其输出重叠了有关所述对象物的对象物信息和所述现实世界影像的影像；以及信息输出控制单元，其控制所述对象物重叠单元输出的所述对象物信息，所述对象物信息是所述对象物的外观以外的信息，所述信息输出控制单元进行控制，使得在进行了指定有效时间段的操作时，将属于由该操作所指定的所述有效时间段的所述对象物信息，确定为由所述对象物重叠单元输出的所述对象物信息，并且，对于所获取的所述距离越短的所述对象物，由所述对象物重叠单元输出的所述对象物信息的内容越详细。
本发明的信息显示方法包括以下步骤：输入现实世界影像的步骤；获取在输入的所述现实世界影像中映出的对象物和所述现实世界影像的视点之间的距离的步骤；根据获取了的所述距离，确定有关所述对象物的对象物信息的提示方式的步骤；以及重叠并输出所述对象物信息与所述现实世界影像，以使其以确定了的提示方式被提示的步骤，所述对象物信息是所述对象物的外观以外的信息，在确定所述对象物信息的提示方式的所述步骤中，使得在进行了指定有效时间段的操作时，将属于由该操作所指定的所述有效时间段的所述对象物信息，确定为由所述对象物重叠单元输出的所述对象物信息，并且，对于所获取的所述距离越短的所述对象物，输出的所述对象物信息的内容越详细。
发明效果
根据本发明，以对应于现实世界影像的视点和对象物之间的距离的提示方式，提示与对象物有关的信息，因此，能够易于观察地提示与对象物有关的信息中用户想知道的信息。
附图说明
图1是表示现有的信息显示装置的结构的第一图。
图2是表示一例现有的信息显示装置的输入影像的图。
图3是表示一例现有的信息显示装置的信息重叠影像的图。
图4是表示现有的信息显示装置的结构的第二图。
图5是本发明的实施方式1的信息显示装置的外观图。
图6是表示实施方式1的信息显示装置的结构的方框图。
图7是表示一例实施方式1的对象物信息表的内容的图。
图8是表示一例实施方式1的显示信息确定规则的内容的图。
图9是表示实施方式1的信息显示装置的动作的流程图。
图10是表示一例实施方式1的输入影像的图。
图11是表示一例实施方式1的信息重叠影像的图。
图12是表示实施方式2的信息显示装置的结构的方框图。
图13是表示实施方式2的信息显示装置的动作的流程图。
图14是表示一例实施方式2中在Info模式下进行了变焦(zoom)操作时的显示影像的变化的图。
图15A～图15C是表示一例实施方式2中在Photo+Info模式下进行了变焦操作时的显示影像的变化的图。
图16A～图16C是表示一例实施方式2中在Photo+Info模式下进行了光圈操作时的显示影像的变化的图。
图17A～图17C是表示一例在Info模式下进行了锁焦(focuslock)操作时的、显示影像的变化的图。
图18是表示本发明的实施方式3的信息显示装置的结构的方框图。
图19是表示本发明的实施方式4的信息显示装置的结构的方框图。
图20A～图20C是表示一例实施方式4中在Photo+Info模式下进行了触摸操作时的显示影像的变化的图。
图21是表示本发明的实施方式5的信息显示装置的结构的方框图。
图22是表示实施方式5的对象物信息表的内容的一个例子的图。
图23A～图23C是表示一例实施方式5中在Photo+Info模式下进行了触摸操作时的显示影像的变化的图。
标号说明
100、100a、100b、100c、100d信息显示装置
200主体单元
300影像输入单元
400影像显示单元
400c、400d影像显示/操作输入单元
500操作接口单元
510操作输入单元
511操纵杆
512按钮
520模式切换输入单元
521开关
522滑动单元
610a动作控制单元
620透镜控制单元
630、630a影像识别单元
640自身位置姿态计算单元
650距离获取单元
660对象物测位单元
670终端通信单元
680对象物信息检索单元
690、690a、690d信息输出控制单元
700信息位置确定单元
710、710a对象物重叠单元
720通信网
730对象物信息数据库
740信息服务器
750b存储介质
760b记录/读出单元
具体实施方式
以下，参照附图详细地说明本发明的实施方式。
(实施方式1)
本发明的实施方式1是将本发明适用于一边显示现实世界影像时，一边等待摄影操作的数字静像照相机的例子。首先，说明本发明的实施方式1的信息显示装置的操作接口的概要。
图5是表示本实施方式的信息显示装置的外观图。图5是从上方观察了处于操作状态的信息显示装置时的俯视图。
在图5中，信息显示装置100包括：薄长方体的主体单元200、配置在主体单元200的外侧的影像输入单元300、影像显示单元400、以及操作接口单元500。操作接口单元500包括操作输入单元510和模式切换输入单元520。
影像输入单元300包括透镜、快门、以及摄像元件(均未图示)，其输入现实世界影像。影像输入单元300具有能操作聚焦、光圈、以及变焦的结构。
影像显示单元400例如具有液晶显示器(未图示)，进行图像和影像的显示。
主体单元200将影像输入单元300输入的现实世界影像显示到影像显示单元400，并进行摄影。另外，主体单元200将重叠了现实世界图像与在该现实世界影像中映出的对象物信息的信息重叠影像显示到影像显示单元400。此时，主体单元200获取现实世界影像的视点(信息显示装置100的位置)和对象物之间的距离，根据获取了的距离，确定显示的对象物信息的提示方式。
操作输入单元510接受用户操作，将接受了的用户操作反映在主体单元200输入的现实世界影像、和显示的对象物信息中。操作输入单元510包括操纵杆511和按钮512。操纵杆511是能够以按钮512为中心进行弧形旋转的旋钮。按钮512能够进行半按和全按的两级的按下操作。
模式切换输入单元520包括：开关521、以及使开关521在3处卡止位置之间滑动的滑动单元522，其接受用户对三种模式的切换操作，在该三种模式中主体单元200的动作不同。在本实施方式中，第一模式是仅显示现实世界影像的模式(以下称为“Photo模式”)。第二模式是仅显示对象物信息的模式(以下称为“Info模式”)。第三模式是显示重叠了现实世界影像和对象物信息的影像的模式(以下称为“Photo+Info模式”)。
接着，说明信息显示装置100的结构。
图6是表示信息显示装置100的结构的方框图。对与图5相同的部分标注相同的标号，适当省略对该部分的说明。
在图6中，信息显示装置100包括：操作输入单元510、模式切换输入单元520、动作控制单元610、透镜控制单元620、影像输入单元300、影像识别单元630、自身位置姿态计算单元640、距离获取单元650、对象物测位单元660、终端通信单元670、对象物信息检索单元680、信息输出控制单元690、信息位置确定单元700、对象物重叠单元710、以及影像显示单元400。
操作输入单元510将表示用户操作的内容的信息(以下称为“操作信息”)输出到动作控制单元610。
模式切换单元520将表示设定的模式的信息(以下称为“模式信息”)输出到动作控制单元610。
动作控制单元610根据所输入的模式信息，控制透镜控制单元620、信息输出控制单元690、以及对象物重叠单元710的动作。
具体而言，动作控制单元610在Photo模式时，一方面对于透镜控制单元620输出操作信息，另一方面停止信息输出控制单元690的动作，以使对象物重叠单元710仅进行现实世界影像的显示。另外，动作控制单元610在Photo+Info模式时，对于透镜控制单元620输出操作信息，并且使信息输出控制单元690动作，以使对象物重叠单元710进行信息重叠影像的显示。另外，动作控制单元610在Info模式时，停止透镜控制单元620的动作，并且停止信息输出控制单元690的动作，以使对象物重叠单元710固定显示正在显示中的信息重叠影像。
透镜控制单元620控制影像输入单元300的透镜。具体而言，透镜控制单元620根据输入的操作信息，控制影像输入单元300输入的现实世界影像的变焦的倍率、聚焦位置、以及光圈值。
影像输入单元300将输入的现实世界影像(以下称为“输入影像”)输入到影像识别单元630、信息位置确定单元700、以及对象物重叠单元710。另外，影像输入单元300将表示透镜的合焦点(以下称为“焦点”)的信息输入到影像识别单元630和对象物重叠单元710。
影像识别单元630识别映出在输入影像中的对象物。具体而言，影像识别单元630对于输入影像进行模式匹配(patternmatching)处理等图像识别处理，提取建筑物、广告牌等的对象物映出的输入影像上的区域(以下称为“对象物区域”)。然后，影像识别单元630将表示提取的对象物区域在输入影像上的位置的信息(以下称为“区域信息”)输出到距离获取单元650、对象物测位单元660、以及信息位置确定单元700。
再者，在存在多个对象物区域时，影像识别单元630为了对每个对象物进行后级的处理，优选对每个区域信息附加识别信息而进行输出。
自身位置姿态计算单元640计算输入现实世界影像的时刻的、信息显示装置100的位置和姿态。具体而言，自身位置姿态计算单元640使用角速度传感器和GPS(globalpositioningsystem，全球定位系统)传感器等，计算影像输入单元300的视点的位置和光轴方向。然后，自身位置姿态计算单元640将计算结果(以下称为“位置姿态信息”)输出到距离获取单元650和对象物测位单元660。
距离获取单元650获取从输入影像的视点到由影像识别单元630识别的对象物为止的水平距离(以下称为“对象物距离”)。
具体而言，距离获取单元650使用激光式的测距传感器等，分别测量从影像识别单元630到与各个对象物的区域信息对应的各个对象物为止的实际距离。然后，距离获取单元650将测得的实际距离，基于从位置姿态信息计算的对象物的方向的仰角换算成水平距离，并作为对象物距离输出到对象物测位单元660和信息输出控制单元690。再者，例如在地面的倾斜较大的区域的用途等，根据不同的用途，对象物距离也可以不采用水平距离而直接采用实际距离。
对象物测位单元660获取来自自身位置姿态计算单元640的位置姿态信息、来自影像识别单元630的区域信息、以及来自距离获取单元650的对象物距离。接着，对象物测位单元660从获取了的信息测量在输入影像中映出的对象物在现实世界中的位置(以下简称为“对象物的位置”)。进而，对象物测位单元660将通过纬度和经度表示测量结果的信息(以下称为“纬度经度信息”)输出到对象物信息检索单元680和信息输出控制单元690。
终端通信单元670通过因特网等通信网720，与具有对象物信息数据库(DB)730的信息服务器740进行通信。对象物信息数据库730预先存储有对象物信息表，该对象物信息表与对象物的位置对应关联地、对每个对象物信息存储了各种对象物信息。
图7是表示一例对象物信息数据库730存储的对象物信息表的内容的图。
如图7所示，对象物信息表810与对象物的ID811和对象物的位置812对应关联，描述了详细程度不同的等级1～等级4的对象物信息813～816。上述信息服务器740能够以位置812为索引，从对象物信息表810获取对应的ID811和等级1～等级4的对象物信息813～816。
等级1的对象物信息813是表示设施类别的记号。等级2的对象物信息814是设施的名称。等级3的对象物信息815是设施的话题信息。另外，等级4的对象物信息816是设施的详细信息。也就是说，等级1～等级4的对象物信息813～816按照该顺序，信息的详细程度提高。
例如，存在于“纬度：xxx1、经度：xxx2”这一位置的对象物分别与作为设施类别的“B”、作为设施名称的“X塔”对应关联。另外，存在于“纬度：xxx1、经度：xxx2”这一位置的对象物还分别与话题信息和详细信息对应关联。具体而言，分别与作为话题信息的“正在举办廊井降雪活动”、和作为详细信息的“13:00、15:00、17:00降雪...”对应关联。因此，在将“纬度：xxx1、经度：xxx2”这一纬度经度信息作为检索关键词时，能检索出这些对象物信息。
图6的对象物信息检索单元680以表示对象物的位置的纬度经度信息作为搜索关键词，检索对象物信息。
具体而言，对象物信息检索单元680通过终端通信单元670，将输入的纬度经度信息作为对于对象物信息数据库730的检索查询，发送到信息服务器740。然后，对象物信息检索单元680将从信息服务器740回送了的对象物信息，发送到信息输出控制单元690。这里回送的对象物信息为ID811和等级1～等级4的对象物信息813～816的所有。再者，在信息显示装置100事先确定作为显示对象的对象物信息的详细程度的等级时，对象物信息检索单元680也可以仅检索并获取该等级的对象物信息。
信息输出控制单元690根据对象物距离，控制对象物信息的提示方式。
具体而言，信息输出控制单元690预先存储显示信息确定规则，根据该显示信息确定规则，确定与作为显示对象的对象物有关的对象物信息、和作为显示对象的信息量不同的对象物信息。也就是说，信息输出控制单元690确定对象物、以及信息量的程度作为显示对象。然后，信息输出控制单元690将确定了作为显示对象的对象物信息(以下称为“显示对象物信息”)输出到信息位置确定单元700和对象物重叠单元710。这里，显示信息确定规则假设进行以下的规定，即：对象物距离越短的对象物，将详细程度的等级(level)越高的对象物信息确定为显示对象。
图8是表示一例显示信息确定规则的内容的图。
如图8所示，显示信息确定规则820对于每个对象物距离821的范围，规定对象物信息的显示与不显示、以及进行显示时的对象物信息的等级作为确定内容822。例如，对于“300m以上且不足400m”这一对象物距离821，规定了“等级1”这一确定内容822。这意味着在对象物距离为300m以上且不足400m时，将等级1的对象物信息(这里为表示设施类别的记号)确定为显示对象物信息。另外，在显示信息确定规则820中，在某范围内，对象物距离821越短，与详细程度的等级越高的对象物信息对应关联。因此，通过遵循显示信息确定规则820，对象物距离越短，所显示的对象物信息为越详细的内容。
图6的信息位置确定单元700检测输入影像的进深方向，确定各个显示对象物信息的显示位置，以在检测出的进深方向上对齐。接着，信息位置确定单元700将确定结果(以下称为“显示布局信息”)输出到对象物重叠单元710。具体而言，信息位置确定单元700从输入影像中包含的直线分量检测消失点。然后，信息位置确定单元700基于消失点、区域信息、以及显示对象物信息，沿着从消失点呈放射状延伸的线段、并且不与对象物区域重叠地确定各个显示对象物信息的显示位置。
再者，信息位置确定单元700也可以沿着连结多个对象物区域的边缘的线地确定各个显示对象物信息的显示位置。由此，信息位置确定单元700能够不与对象物区域重叠地、并且在与对象物在现实世界的配置关系对应的状态下，简单地确定各个显示对象物信息的显示位置。
对象物重叠单元710生成在输入影像上显示信息重叠影像的影像数据，并将生成的影像数据输出到影像显示单元400，该信息重叠影像在显示布局信息显示的位置上配置了显示对象物信息。具体而言，对象物重叠单元710在Photo模式时，生成仅显示输入影像的影像数据，在Info模式时、或者Photo+Info模式时，生成显示信息重叠影像的影像数据。
影像显示单元400将由对象物重叠单元710生成了的影像数据影像化后显示在液晶显示器上。
信息显示装置100例如具有CPU(centralprocessingunit，中央处理单元)、存储了控制程序的ROM(readonlymemory，只读存储器)等存储介质、RAM(randomaccessmemory，随机接入存储器)等工作用存储器等。此时，上述各个部分的功能通过CPU执行控制程序而实现。
根据这种信息显示装置100，能够将与对象物有关的信息以对应于输入影像的视点与对象物之间的距离的信息的提示方式，重叠在输入影像重叠上显示。
接着，说明具有以上说明的结构的信息显示装置100的动作。这里，说明Photo+Info模式下的动作。
图9是表示信息显示装置100的动作的流程图。
首先，在步骤S1010中，影像输入单元300输入现实世界影像，将输入影像传送到影像识别单元630、信息位置确定单元700、以及对象物重叠单元710。
图10是表示影像输入单元300所输入的输入影像的一个例子的图。这里，如图10所示，假设在输入影像830中，位于沿着道路831按从眼前往远的顺序排列的第一～第三对象物832-1～832-3被映出。第一对象物832-1～第三对象物832-3是不同设施的建筑物。
并且，在图9的步骤S1020中，影像识别单元630从输入影像提取和识别一个以上的对象物区域。例如，影像识别单元630从图10所示的输入影像830，提取并识别第一对象物区域833-1～第三对象物区域833-3作为第一对象物832-1～第三对象物832-3的各自的对象物区域。然后，影像识别单元630从所识别的对象物区域，选择其所有或者任意的对象物区域作为处理对象。
影像识别单元630例如在预先设定的阈值的数的范围内，或者优先选择识别率高的对象物区域，或者仅选择对准焦点的对象物区域和其前后的某个范围所包含的对象物区域。所谓识别率，例如是指当在一个影像中提取了100的对象物区域时，为了按照优先顺序进行处理而不是对它们进行均等的处理，表示基于对象物区域的特征的对象物区域的几率的指标。对象物区域的特征例如是背景与对象物的边界的像素值的倾斜的陡峭度、或者是对象物区域内的像素值较高的脊线的部分(边缘)围绕的区域的面积的大小等。这样，通过限制实际成为处理对象的对象物区域，能够减轻后级的处理负荷。
然后，在步骤S1030中，影像识别单元630从作为处理对象进行了选择的对象物区域中选择一个对象物区域。然后，影像识别单元630将选择了的对象物区域的区域信息发送到距离获取单元650、对象物测位单元660、以及信息位置确定单元700。
然后，在步骤S1040中，距离获取单元650基于从自身位置姿态计算单元640和影像识别单元630输入的信息，计算选择的对象物的对象物距离。然后，距离获取单元650将计算出的对象物距离发送到对象物测位单元660和信息输出控制单元690。
具体而言，首先，自身位置姿态计算单元640生成使用角速度传感器和GPS传感器等计算出的、影像输入单元300的视点的位置和光轴方向作为位置姿态信息，并发送到距离获取单元650和对象物测位单元660。然后，距离获取单元650使用激光式的测距传感器等，基于来自影像识别单元630的区域信息，分别测量到各个对象物为止的实际距离。然后，距离获取单元650将测得的实际距离基于从位置姿态信息计算的对象物的方向的仰角，换算成水平距离，作为对象物距离输出。
然后，在步骤S1050中，对象物测位单元660使用位置姿态信息、从位置姿态信息计算的对象物的方向的方位、以及对象物距离，计算与对象物区域对应的对象物的位置。接着，对象物测位单元660将计算出的对象物的位置的纬度经度信息传送到对象物信息检索单元680和信息输出控制单元690。
然后，在步骤S1060中，对象物信息检索单元680将以纬度经度信息作为检索关键词的检索查询发送到信息服务器740，获取对应的对象物信息。然后，对象物信息检索单元680将获取了的对象物信息，传送到信息输出控制单元690。
然后，在步骤S1070中，信息输出控制单元690确定作为显示对象物的对象物(以下称为“显示对象物”)。信息输出控制单元690例如确定与获取的对象物信息的所有对象物区域、焦点对准了的对象物区域对应的对象物，或者与包含在其周围范围中的对象物区域对应的对象物等。另外，例如，在指定了作为显示的对象物的对象物的属性(酒店、百货店等)时，信息输出控制单元690也可以将与指定了的属性对应的对象物确定为显示对象物。
然后，在步骤S1080中，信息输出控制单元690使用上述显示信息确定规则，以对象物距离越短，详细程度的等级越高的方式确定信息量。这里确定的信息量为提示显示对象物的对象物信息时的信息量。
然后，信息输出控制单元690将确定了的显示对象物、与符合确定了的信息量的对象物信息作为显示对象物信息，传送到信息位置确定单元700和对象物重叠单元710。
然后，在步骤S1090中，信息位置确定单元700从多个对象物区域的配置类型、包含在输入影像中的直线分量，计算表示输入影像的进深的线段。
然后，在步骤S1100中，信息位置确定单元700基于在步骤S1090中计算出的线段确定显示布局，将显示布局信息传送到对象物重叠单元710。
然后，在步骤S1110中，对象物重叠单元710生成根据显示布局信息配置了显示对象物信息的信息重叠影像的影像数据。
然后，在步骤S1120中，影像识别单元630判断在步骤S1020中作为处理对象选择了的对象物区域中，是否剩余未处理的对象物区域。在剩余未处理的对象物区域时(S1120：“是”)，影像识别单元630返回到步骤S1030，选择未处理的对象物区域，执行步骤S1030～S1110的处理。在其结果为存在多个显示对象物信息时，在步骤S1110中，生成重叠了多个对象物信息的影像数据。另外，在未剩余未处理的对象物区域时(S1120：“否”)，影像识别单元630进至步骤S1130。
在步骤S1130中，对象物重叠单元710将生成了的影像数据输出到影像显示单元400，显示信息重叠影像。
然后，在步骤S1140中，信息显示装置100判断是否通过用户操作等(例如，切换为Photo模式的操作等)指示了停止信息重叠影像的显示。信息显示装置100在未被指示停止信息重叠影像的显示时(S1140：“否”)，返回到步骤S1010，在指示了停止信息重叠影像的显示时(S1140：“是”)，结束一系列的处理。
图11是表示一例影像显示单元400所显示的信息重叠影像的图。这里，基于图7所示的对象物信息表810和图8所示的显示信息规则820，显示与图10所示的输入影像对应地显示的信息重叠影像。另外，图10所示的第一对象物832-1～第三对象物832-3是分别与图7所示的ID“001”、ID“002”、ID“003”相适应的对象物。
这里，假设第一对象物832-1～第三对象物832-3各自的对象物距离为150m、250m、以及350m。在这种情况下，对于第一对象物区域833-1～第三对象物区域833-3，分别确定等级3(话题信息)、等级2(设施名称)、等级1(表示设施类别的记号)的对象物信息的等级。然后，对于第一对象物区域833-1～第三对象物区域833-3，依序确定ID“001”的等级3的对象物信息、ID“002”的等级2的对象物信息、以及ID“003”的等级1的对象物信息作为显示对象物信息。
如图11所示，在信息重叠影像840中，与第一对象物区域833-1～第三对象物区域833-3对应的第一对象物信息841-1～第三对象物信息841-3被重叠描绘在输入影像830上。另外，第一对象物信息841-1～第三对象物信息841-3配置成沿着表示输入图像的进深的线段842(实际不显示)，并且不与第一对象物信息841-1～第三对象物信息841-3重叠。
另外，越接近输入图像830的视点，也就是说越靠近眼前，第一对象物信息841-1～第三对象物信息841-3的内容越详细。具体而言，例如，最靠近眼前的第一对象物信息841-1的信息量较多为20字符，远方的第三对象物信息841-3的信息量较少为1字符。
用户在移动的同时进行逐次的信息获取的情况下，通常，先对位于更近的位置的设施进行是否途经设施等的判断。为此，可以认为用户想详细地了解与位于更近的位置的设施有关的信息。另外，对于位于较远的位置的设施，显示某些信息，便于确定要进展的方面等。另一方面，若也详细地显示与位于较远的位置的设施有关的信息，则用户希望详细地了解的信息和输入图像不易观察。
因此，根据图11所示的信息重叠影像，能够使用户易于观察地显示用户想知道的信息，能够更适当地辅助用户的移动、行动。
再者，当输入影像中映出的对象物的像连续地移动时，信息显示装置100也可以追随对象物区域的图像，使显示中的对象物信息在画面上移动。通过这样设计，信息显示装置100能够省略步骤S1020～S1070的处理，减轻处理负荷。
另外，在对象物是建筑物等的固定物体时，信息显示装置100能够基于位置姿态信息的变化，重新计算表示对象物区域、对象物距离、进深的线段。由此，信息显示装置100能够简化步骤S1080～S1100的处理，减轻处理负荷。
另外，当存在多个对象物区域时，信息显示装置100也可以将步骤S1030～S1110一次性地汇总处理。
另外，信息显示装置100也可以同时并行进行步骤S1030～S1080的处理和步骤S1090的处理等的、可同时并行进行的多个处理。
如上所述，本实施方式的信息显示装置100能够以对应于现实世界影像的视点与对象物之间的距离的信息量，将与对象物有关的信息重叠显示在现实世界影像上。也就是说，本实施方式的信息显示装置100根据从携带信息显示装置100的用户到对象物为止的距离，在改变对象物信息的提示方式的同时，进行与现实世界影像的重叠显示。
由此，本实施方式的信息显示装置100能进行如下的对应于进深的显示，即：较近的对象物的信息显示得较多，较远的对象物的信息显示得较少。因此，本实施方式的信息显示装置100能够进行不因显示信息过多而造成混乱的显示，能够易于观察地显示用户想知道的信息。
再者，本实施方式的信息显示装置100也可以使用专利文献1记载的方法等、其他的方式，进行纬度经度信息的获取、对象物的确定或者对象物信息的确定。
(实施方式2)
本发明的实施方式2是使显示的对象物信息基于用户操作而改变的例子。
照相机的用户在关注到在输入影像中映出的某个对象物时，大多进行对该对象物的变焦操作、聚焦操作、光圈操作、以及锁焦操作等操作。反言之，成为这些操作的对象的对象物，是用户希望得到更详细的信息的对象物的可能性高。
于是，本实施方式的信息显示装置使操作单元510的用户操作反映在输入的现实世界影像中(影像的变焦、聚焦等)，并且与该现实世界影像联动地改变对象物信息。
首先，说明本实施方式的信息显示装置的结构。
图12是表示本实施方式的信息显示装置的结构的方框图，与实施方式1的图6对应。对与图6相同的部分附加相同的标号，并省略对这些部分的说明。
在图12中，在本实施方式的信息显示装置100a中，代替图6的动作控制单元610、影像识别单元630、信息输出控制单元690，以及对象物重叠单元710而包括与它们不同的动作控制单元610a、影像识别单元630a、信息输出控制单元690a、以及对象物重叠单元710a。
动作控制单元610a根据由模式切换输入单元520设定的模式，控制如何使操作输入单元510的用户操作反映于显示在所输入的现实世界影像的对象物信息上。
具体而言，动作控制单元610在Photo模式时，使用户操作反映在输入影像中，在Photo+Info模式时，进而使所显示的对象物信息与输入影像联动地变化。另外，在Info模式时，显示控制单元610仅使用户操作反映于所显示的对象物信息中，而不反映于输入影像(也就是透镜控制)中。
影像识别单元630a识别在输入影像中映出的对象物，并且选择位于焦点位置的对象物的对象物区域、或者包含其周围的对象物的对象物区域，输出对应的区域信息。具体而言，影像识别单元630a选择位于景深的范围内，对准了焦点的对象物的对象物区域。也就是说，影像识别单元630a通过变焦操作、聚焦操作、以及光圈操作，能够接受用户对显示对象物信息的对象物的选择。
信息输出控制单元690a根据对象物距离，控制要显示的对象物信息及其信息量。另外，信息输出控制单元690a在进行了光圈操作时，将位于景深的范围内的对象物确定为显示对象，在进行了变焦操作时，根据变焦的倍率，控制要显示的对象物信息。
对象物重叠单元710a根据显示布局信息配置显示对象物信息，并且，生成重叠了表示聚焦位置的图标的信息重叠影像的影像数据。另外，对象物重叠单元710a在进行了锁焦操作时，切换显示中的对象物信息的显示方式。
另外，动作控制单元610a在通过设置在信息显示装置100a的光圈调节单元(例如，使用操作输入单元510的操纵杆511)进行了影像输入单元300的光圈操作时，检测该操作，生成表示光圈操作的操作信息。
接着，说明信息显示装置100a的动作。
图13是表示信息显示装置100a的动作的流程图，与实施方式1的图9对应。对与图9相同的部分附加相同的步骤标号，省略对这些部分的说明。
在输入现实世界影像时(S1010)，在步骤S2010中，动作控制单元610a判断是否从操作输入单元510输入了操作信息。动作控制单元610a在输入了操作信息时(S2010：“是”)，进至步骤S2020，在未输入操作信息时(S2010：“否”)，进至图9的步骤S1020。操作信息例如是表示将操作输入单元510的操纵杆511向右移动了30度的信息。
在步骤S2020中，动作控制单元610a判断是否为Photo+Info模式或者Photo模式，也就是说，是否为进行透镜控制的模式。动作控制单元610a在为Photo+Info模式或者Photo模式时(S2020：“是”)，进至步骤S2030，在为Info模式时(S2020：“否”)，进至步骤S2040。
在步骤S2040中，动作控制单元610a判断是否为Photo+Info模式或者Info模式，也就是说，是否为包含对象物信息显示的模式。动作控制单元610a在为Photo+Info模式或者Info模式时(S2040：“是”)，进至步骤S2050，在为Photo模式时(S2040：“否”)，进至图9的步骤S1020。
在步骤S2050中，动作控制单元610a基于输入了的操作信息，判断是否进行了聚焦操作。动作控制单元610a在进行了聚焦操作时(S2050：“是”)，进至步骤S2060，在未进行聚焦操作时(S2050：“否”)，进至步骤S2070。
在步骤S2060中，动作控制单元610a使影像识别单元630a获取表示焦点的合焦距离的合焦距离信息，进至步骤S2070。影像识别单元630a例如获取透镜的变焦值和聚焦值，通过参照将这些值和合焦距离预先对应关联地进行了描述的距离表，获取合焦位置信息。
在步骤S2070中，动作控制单元610a基于输入了的操作信息，判断是否进行了光圈操作。动作控制单元610a在进行了光圈操作时(S2070：“是”)，进至步骤S2080，在未进行光圈操作时(S2070：“否”)，进至步骤S2090。
在步骤S2080中，动作控制单元610a使信息输出控制单元690a获取表示透镜的景深的景深信息，进至步骤S2090。信息输出单元690a例如获取透镜的变焦值、聚焦值、以及光圈值，通过参照将这些值和景深预先对应关联地进行了描述的景深表，获取景深信息。
在步骤S2090中，动作控制单元610a基于输入了的操作信息，判断是否进行了变焦操作。动作控制单元610a在进行了变焦操作时(S2090：“是”)，进至步骤S2100，在未进行变焦操作时(S2090：“否”)，进至步骤S2110。
在步骤S2100中，动作控制单元610a使信息输出控制单元690a获取表示变焦倍率的倍率信息，进至步骤S2110。信息输出控制单元690a例如获取透镜的变焦值，通过参照将该值和变焦倍率预先对应关联地进行了描述的倍率表，以获取倍率信息。
在步骤S2100中，动作控制单元610a基于输入了的操作信息，判断是否进行了锁焦操作。动作控制单元610a在进行了锁焦操作时(S2110：“是”)，进至步骤S2120，在未进行锁焦操作时(S2110：“否”)，进至图9的步骤S1020。
在步骤S2120中，动作控制单元610a使对象物重叠单元710a获取表示作为锁焦的对象物的合焦对象物信息，进至图9的步骤S1020。对象物重叠单元710a例如基于位于焦点的对象物的区域信息，获取合焦对象物信息。
然后，信息显示装置100a执行图9的步骤S1020～S1140，显示信息重叠影像。其中，各个步骤的处理根据上述步骤S2060、S2080、S2100、S2120的信息获取，进行与实施方式1不同的内容的处理。以下，说明与实施方式1不同的处理内容。
在步骤S1030中，影像识别单元630a基于在步骤S2060中获取了的合焦距离信息，判定以焦点或者焦点周围的对象物区域为代表的候补点或者候补区域。然后，影像识别单元630a使对象物重叠单元710a显示表示判定了的候补点或候补区域的标记。该标记显示例如影像识别单元630a仅选择焦点的周围的对象物区域，信息位置确定单元700基于区域信息确定标记的位置，对象物重叠单元710a将标记重叠在确定了的位置上。
然后，影像识别单元630a从候补点或候补区域确定可显示的信息量、提示方式。例如，影像识别单元630a基于对象物数量、对象物区域占所有输入影像的比率、以及所有输入影像中的对象物区域之外的区域的亮度和颜色的变化的程度等，确定包含可显示的信息量的提示方式。然后，影像识别单元630a比较对象物数量和各个对象物信息的信息量，选择候补点或候补区域，以使提示的信息量不过多。可显示对象物信息的区域是对象物区域之外的区域、或者对象物区域之外的区域除了对象物区域的一部分的区域。
再者，影像识别单元630a也可以接受用户的操作而指定候补点或候补点区域。此时，例如，影像显示单元400兼具有触摸板式的输入单元，根据用户所触摸的区域接受用户的选择。另外，影像识别单元630a也可以接受对方向键(cross-key)等其他操作单元的用户操作，进行操作的候补点或候补区域的移动、以及确定是选择还是非选择。
然后，影像识别单元630a将提取了的对象物区域的区域信息传送到距离获取单元650、对象物测位单元660、以及信息位置确定单元700，进至步骤S1040。在自动地或者通过用户操作选择了候补点或候补区域时，影像识别单元630a传送与选择了的点或区域对应的对象物区域的区域信息。
另外，在步骤S1070中，信息输出控制单元690a基于在步骤S2080中获取了的景深信息，将与位于景深的范围内的对象物对应的对象物信息确定为显示对象物信息。
其结果，在Photo+Info模式时，显示焦点附近的鲜明地映出了的对象物的对象物信息。
另外，在步骤S1080中，信息输出控制单元690a基于在步骤S2100中获取了的倍率信息，确定显示对象物信息，以使变焦的倍率越高，详细程度的等级越高。例如，信息输出控制单元690a根据变焦的倍率变更详细程度的等级，确定显示对象物信息。具体而言，将显示信息确定规则所规定的详细程度的等级，在为较小的变焦放大(zoomup)时提高一级，在为较大的变焦放大时提高两级。
其结果，在Photo+Info模式时，对象物信息的详细程度和对输入影像的变焦操作联动(同步)地改变，在Info模式时，仅对象物信息的详细程度改变。
另外，在步骤S1110中，对象物重叠单元710a基于在步骤S2120中获取了的合焦对象物信息，变更显示中的对象物信息的显示形态，将其和输入影像重叠输出。例如，对象物重叠单元710a提高显示中的对象物信息的透过率，使得能够透过对象物信息观察输入图像。
其结果，在Photo+Info模式时，对象物信息的显示形态和对于输入影像的锁焦操作联动(同步)地改变。另一方面，在Info模式时，仅对象物信息的显示形态改变。
另外，在Photo模式时，信息输出控制单元690a的动作被停止，因此，不进行对象物信息的显示。
再者，图13所示的流程图中，对可同时并行进行的处理也可以同时并行执行，这与图9的流程图相同。
以下，说明进行各种操作时的显示影像的变化的例子。
图14是表示一例在Info模式下进行了变焦操作时的、显示影像的变化的图，与实施方式1的图11对应。
首先，如图14A所示，假设焦点851位于第一对象物区域833-1，并仅显示第一对象物信息841-1。在该状态下，如图14B所示，当在Info模式下进行变焦放大的操作时，如图14C所示，在输入影像不被变焦放大的状态下，第一对象物信息841-1的详细程度的等级提高。
这样，通过仅可操作对象物信息的详细程度，用户能够在保持输入图像的状态的情况下，获得与所希望的对象物有关的更详细的信息。
图15是表示一例在Photo+Info模式下进行了变焦操作时的、显示影像的变化的图，与图14对应。
首先，如图15A所示，假设焦点851位于第一对象物区域833-1，仅显示第一对象物信息841-1。在该状态下，如图15B所示，在Photo+Info模式下进行变焦放大操作时，如图15C所示，输入影像被变焦放大。进而，如图15C所示，第一对象物信息841-1的详细程度的等级以与输入影像的变焦放大联动的形式提高。
这样，通过与普通的变焦操作联动地改变对象物信息的详细程度，用户以对要关注的对象物的变焦放大操作这种自然的操作，能够获得与所希望的对象物有关的更详细的信息。
图16是表示一例在Photo+Info模式下进行了光圈操作时的、显示影像的变化的图，与图11对应。
首先，如图16A所示，假设显示第一～第三对象物信息841-1～841-3。在该状态下，如图16B所示，假设在Photo+Info模式下进行了打开光圈的操作。于是，如图16C所示，例如，在焦点851的附近引导显示第一候补点852-1和第二候补点852-2。然后，最终的显示缩小为仅显示位于通过打开光圈的操作而被收窄的景深的范围内的显示、即缩小为仅显示与第二候补点852-2对应的对象物信息841-2。
这样，在本实施方式中，能够使对象物信息的详细程度与普通的光圈操作联动(同步)地改变。由此，用户通过在限定了关注的对象物时打开光圈这种自然的操作，能够获得与所希望的对象物有关的更详细的信息。另外，用户通过调整光圈，能够调整所显示的对象物信息的数量。
图17是表示一例在Info模式下进行了锁焦操作时的、显示影像的变化的图，与图15对应。
首先，图17A所示的例子假设仅显示第一对象物信息841-1。在该状态下，如图17B所示，在Info模式下进行锁焦的操作时，如图17C所示，第一对象物信息841-1为透过率50％。
这样，在本实施方式中，能够使对象物信息的显示形态和普通的锁焦操作联动地改变。由此，用户能够更准确地知道对该对象物进行了锁焦。另外，在透过的情况下，用户能够确认对象物信息，同时识别输入图像的整体。
这样，在本实施方式的信息显示装置100a中，用户能够简单地选择作为显示对象的对象物信息、所显示的对象物信息的详细程度。另外，在本实施方式的信息显示装置100a中，用户能够任意地选择是使所显示的对象物信息和对于输入影像的操作、也就是普通的照相机操作联动地改变；还是使其能独立地操作。因此，本实施方式的信息显示装置100a能够在现实世界影像的对象物信息中，更进一步易于观察、并且更进一步准确地显示用户想知道的信息。另外，本实施方式的信息显示装置100a能够简单地显示关于所希望的多个对象的对象物信息。也就是说，本实施方式的信息显示装置100a能够实现对于用户想知道的对象和用户要求的信息量的直观的控制，能够以适当的信息量只提供用户通过简单的操作想看的信息。
再者，本实施方式的信息显示装置100a的操作输入单元510的具体的操作内容，与调焦等的内部的调整内容的对应关系并无特殊的限制。另外，对象物信息的详细程度也可以使其可连续地改变。尤其是在操作输入单元510能任意地设定时间长度、旋转角度等连续的变量的情况下，信息显示装置100a也可以使对象物信息的详细程度与所设定的变量联动而连续地改变并显示。通常，变焦操作能够连续地改变变焦率。因此，可认为信息显示装置100a使对象物信息的详细程度与变焦率联动地改变。
另外，在本实施方式的信息显示装置100a中，设定为操作输入单元510的操纵杆511向右转时使对象物信息更详细，但本发明并不限于此。例如，本实施方式的信息显示装置100a既可以是在操纵杆向左拔时设定更粗略的详细程度，向右转时以更细的间隔设定详细程度，也可以使其具有与此左右相反的功能。
另外，操作输入单元510的形态并不限于上述内容，只要是能调整变焦的倍率等的形态即可。具体而言，操作输入单元510的形态例如也可以是使用影像输入单元300的透镜的光圈环等的形态、使用方向键等的形态等，能够进行与变焦操作独立的操作的形态。用户例如能够观察影像显示单元400所显示的光圈值，同时操作方向键等。
另外，模式切换输入单元520的形态并不限于上述内容，既可以使用“Info、Video+Info、Video”、“导航、移动、照相机”等其他标记，也可以采用刻度盘(dial)方式。
另外，进行了锁焦操作时的对象物信息的显示形态的变化，并不限于上述内容。例如，显示形态的变化也可以是变更到任意的透过率，或信息的突出显示等。突出显示例如包括字符的颜色、浓淡、亮度、粗细、以及字体的变化；字符的闪烁；围绕字符的框线的显示；突出对象物信息显示区域的边缘；以及变更背景的颜色和亮度。
另外，信息显示装置100a也可以根据作为显示对象的对象物的数量，改变对象物信息的详细程度的等级。具体而言，例如，在作为显示对象的对象物的数量少时，信息显示装置100a将对象物信息的详细程度的等级提高到高于显示信息确定规则规定的等级。
另外，信息显示装置100a也可以根据快门速度控制对象物信息的有效时间段。具体而言，例如，信息显示装置100a通过选择快的快门速度，提示与当前时刻或指定的时刻的前后或者之前或者之后的时间段较窄的时间内进行了关联对应的信息。或者，信息显示装置100a通过选择慢的快门速度，连续地控制是否提示与当前时刻或指定的时刻的前后或者之前或者之后的时间段较宽的时间内进行了关联对应的信息。
另外，信息显示装置100a也可以对应于其他的照相机操作和照相机设定(例如曝光补偿(感光度调整)的程度)，改变对象物信息的详细程度、显示形态。具体而言，例如，信息显示装置100a控制是提示从视点能观察的范围的设施的信息，还是连包含从视点无法观察的建筑物的背面的设施的信息都进行提示。
另外，信息显示装置100a也可以能够通过与照相机的摄影菜单同样的、刻度盘方式或者同等的菜单，选择餐厅信息、娱乐信息等作为显示的对象的对象物信息的类型。
另外，信息显示装置100a也可以能够改变指针对准的对象物区域、对象物信息的颜色。进而，信息显示装置100a也可以具有对象物信息的检索接口，将检索结果的对象物信息，改变其颜色、或者使其闪烁、或者以箭头标记等的指针进行指示，同时将其重叠在影像上显示。
(实施方式3)
本发明的实施方式3是将信息重叠影像记录到可装拆的存储介质的例子。
记录信息重叠影像，只要将生成了的信息重叠影像能够随后在其他场所使用，则易于将设施的场所、评价等的信息传递给第三者，便于使用。因此，在本实施方式中，不只是显示所生成的信息重叠影像，还将所生成的信息重叠影像记录到可装拆的存储介质中。
图18是表示本实施方式的信息显示装置的结构的方框图，与实施方式1的图6对应。对与图6相同的部分附加相同的标号，省略对其的说明。
在图18中，本实施方式的信息显示装置100b包括存储介质750b、以及记录/读出单元760b。存储介质750b与记录/读出单元760b连接。记录/读出单元760b配置在对象物重叠单元710与影像显示单元400之间。
存储介质750b是可装拆的记录介质，例如是SD存储卡。
记录/读出单元760b在为信息重叠影像记录模式时，将信息重叠影像的影像数据传输到影像显示单元400，同时将其记录到记录介质750b。另外，记录/读出单元760b在为信息重叠影像再现模式时，从记录介质750b读出记录介质750b所记录的信息重叠影像的影像数据，传送到影像显示单元400。
信息重叠影像记录模式和信息重叠影像再现模式的设定，例如只需通过操作输入单元510和动作控制单元610进行即可。另外，信息重叠影像的影像数据，既可以是合并了输入影像与对象物信息的图像的影像数据，或者也可以是以可再现信息重叠影像的状态分离为输入影像的数据和有关对象物信息的数据的数据。例如，有关对象物信息的数据，是关联对应于影像数据重叠时的、表示影像内的空间位置的坐标(显示布局信息)和表示影像的时间位置的时间码，记录了对象物信息的数据。
这种信息显示装置同时记录所拍摄的现实世界影像、和拍摄时的对象物信息，另外，能够通过其他的信息显示装置等读出并显示记录了的这些信息。
再者，作为记录介质，能够适用光盘、半导体存储器、CD(compactdisc，光盘)、DVD(digitalversatiledisk，数字多用途光盘)、以及BD(blu-raydisk，蓝光光盘)等存储设备、硬盘、网络上的任意的存储器、以及光存储器等新型存储器等各种存储介质。
(实施方式4)
本发明的实施方式4是使用触摸板接受用户操作的例子。
在通过显示器而不是取景器确认输入影像的同时进行摄影的用户也很多。对这样的用户而言，当关注到输入影像中映出的对象物时，若能够直接指定显示器上的对象物进行对于该对象物的聚焦操作和锁焦操作等，则使用方便性会更佳。因此，本实施方式的信息显示装置安装以触摸板构成的操作输入单元，实现上述操作。
首先，说明本实施方式的信息显示装置的结构。
图19是表示本实施方式的信息显示装置的结构的方框图，与实施方式2的图12对应。对与图12相同的部分附加相同的标号，并省略对其的说明。
在图19中，在本实施方式的信息显示装置100c中，代替图12的影像显示单元400而具有影像显示/操作输入单元400c。
影像显示/操作输入单元400c具有与液晶显示器(相当于实施方式2的影像显示单元400)一体型的触摸板(未图示)。影像显示/操作输入单元400c通过用户的触摸操作，至少接受将焦点设定在画面上的任意的位置的聚焦操作、以及保持现状的焦点距离的锁焦操作。
然后，影像显示/操作输入单元400c将表示接受了的触摸操作的内容的操作信息输出到动作控制单元610a。更具体而言，在进行了指定焦点的操作时，影像显示/操作输入单元400c将指示使透镜合焦在该被指定了的位置的操作信息，输出到动作控制单元610a。另外，在进行了锁焦操作时，影像显示/操作输入单元400c将表示进行了锁焦操作的操作信息，输出到动作控制单元610a。
接着，说明信息显示装置100c的动作。
用户例如用指尖触摸到触摸板的、想要确认对象物信息的对象物的影像的附近。于是，影像显示/操作输入单元400c将指定被触摸了的部位的位置作为焦点的操作信息输出到动作控制单元610a(图13的步骤S2010：“是”)。
之后的动作与实施方式2相同。也就是说，影像识别单元630a识别在输入影像中映出的对象物。然后，影像识别单元630a选择位于焦点位置的对象物的对象物区域、或者包含其周围的对象物的对象物区域，并输出对应的区域信息。其结果，由影像显示/操作输入单元400c显示聚焦在用户用指尖触摸了的部位的附近的影像、以及其附近的对象物的对象物信息。
这样，信息显示装置100c能够通过触摸操作，接受用户对于显示对象物信息的对象物的选择。
图20是表示一例在Photo+Info模式下进行了触摸操作时的、显示影像的变化的图，与图16对应。
首先，如图20A所示，假设存在第一对象物区域833-1～第三对象物区域833-3。在该状态下，如图20B和图20C所示，在Photo+Info模式下，用手指861对影像显示/操作输入单元400c进行触摸操作，在第一对象物区域833-1中指定了焦点的位置。于是，如图20C所示，例如，被指定了的位置862成为焦点并被引导显示，同时显示第一对象物信息841-1。
这样，本实施方式的信息显示装置100c通过对显示器的直接的指定操作，接受对于对象物的聚焦操作和锁焦操作等。由此，用户通过在显示画面上触摸要关注的对象物这种自然的操作，能够获得与所希望的对象物有关的更详细的信息。
再者，在不使触摸板操作反映在输入的现实世界影像中时，信息显示装置100c也可以将触摸板操作的操作信息输入到影像识别单元630。在这种情况下，例如，影像识别单元630只需提取被触摸了的位置的对象物区域，仅将提取了的对象物区域选择为处理对象即可。
另外，即使在没有大楼等明确的对象物的状况下，影像识别单元630也可以将影像整体或者影像的一部分作为对象物区域进行同样的处理。例如，在拍摄了大海和天空的影像或者仅拍摄了天空的影像中，也可以将天空的部分作为对象物，将与空间坐标进行了关联对应的信息显示为对象物信息。
(实施方式5)
本发明的实施方式5是使用触摸板接受更详细的用户操作的例子。
有时与显示器上的同一位置或者较窄的范围对应地注册了较多的对象物信息。因此，本实施方式的信息显示装置通过在触摸板上，从用户接受显示对象物的条件的提炼操作，进行显示对象物信息的提炼。
首先，说明本实施方式的信息显示装置的结构。
图21是表示本实施方式的信息显示装置的结构的方框图，与实施方式4的图19对应。对与图19相同的部分附加相同的标号，并省略对这些部分的说明。
在图21中，在本实施方式的信息显示装置100d中，代替图19的影像显示/操作输入单元400c、信息输出控制单元690a而具有与它们不同的影像显示/操作输入单元400d、信息输出控制单元690d。
影像显示/操作输入单元400d接受指定显示对象的条件的条件指定操作。这里，条件指定操作至少包括指定对象物距离的操作、以及指定对象物信息的有效时间的操作。所谓对象物信息的有效时间(以下，简称为“有效时间”)是代表对象物信息为有效的期间的日期时刻。在进行了条件指定操作时，影像显示/操作输入单元400d将表示条件指定操作的内容的操作信息输出到信息输出控制单元690d。在后面叙述关于条件指定操作的接受的详情。
信息输出控制单元690d根据从影像显示/操作输入单元400d输入的操作信息表示的条件指定操作，控制要显示的对象物信息。更具体而言，在进行了指定对象物距离的操作时，信息输出控制单元690d将与指定了的对象物距离符合的对象物的对象物信息确定为显示对象物信息。另外，在进行了指定有效时间的操作时，信息输出控制单元690d将与指定了的有效时间符合的对象物信息确定为显示对象物信息。
另外，在本实施方式中，假设在对象物信息数据库730中存储有与实施方式1～实施方式4不同的内容的对象物信息表。
图22是表示一例本实施方式的对象物信息表的内容的图。
如图22所示，对象物信息表810d不仅与对象物的ID811和对象物的位置812对应关联，而且与有效时间817d也对应关联地描述了对象物信息813～816。另外，在这里，对象物信息813～816的属性与实施方式1～实施方式4不同。
等级1的对象物信息813是与设施有关的普通使用者的投稿(口碑信息)的标签信息。等级2的对象物信息814是口碑信息的详细信息。等级3的对象物信息815是与设施有关的评语、话题信息。另外，等级4的对象物信息816是表示关于设施进一步参照外部的信息的参照源的URL(uniformresourcelocator，统一资源定位器)等的参照信息。也就是说，在等级1的对象物信息813～等级4的对象物信息816中，对于等级的数量、各个等级记载的信息能够自由地设定信息的粒度。
例如，“因代替输送而滞留”作为口碑信息的标签，与“纬度：xx1，经度：yy2”这一位置、和“2009/11/4、8:30”这一有效时间的组合对应关联。例如“举办现场直播”作为口碑信息的标签，与“纬度：xx1，经度：yy2”这一位置、和“2009/11/4，20:30”这一有效时间的组合对应关联。也就是说，即使是同一对象物，在有效时间不同时，与不同的对象物信息对应关联。
接着，说明信息显示装置100d的动作。
用户例如通过触摸到触摸板的、后述的指示符，进行条件指定操作。于是，影像显示/操作输入单元400d将表示条件指定操作的内容(对象物距离、有效时间)的操作信息输出到信息输出控制单元690d。
在输入了指定对象物距离的条件指定操作的操作信息时，信息输出控制单元690d将与指定了的对象物距离符合的对象物信息确定为显示对象物信息。另外，在输入了指定有效时间的条件指定操作的操作信息时，信息输出控制单元690d将与指定了的有效时间符合的对象物信息确定为显示对象物信息。
确定了显示对象物后的动作与实施方式4相同。其结果，影像显示/操作输入单元400d所显示的对象物信息缩小为与用户指定了的条件(对象物距离、有效时间)符合的对象物信息。
再者，也可以由对象物信息检索单元680进行对象物信息的提炼。在这种情况下，对象物信息检索单元680输入表示条件指定操作的内容的操作信息，进行以下的动作。
在输入了指定对象物距离的条件指定操作的操作信息时，对象物信息检索单元680例如计算以自身位置为中心并以所指定的对象物距离为半径的范围作为纬度经度信息。然后，对象物信息检索单元680将纬度经度信息作为搜索关键词，与实施方式2同样地，检索对象物信息。
具体而言，对象物信息检索单元680通过终端通信单元670，将纬度经度范围信息作为对于对象物信息数据库730d的检索查询，发送到信息服务器740。
然后，对象物信息检索单元680将从信息服务器740回送了的对象物信息，输出到信息输出控制单元690。对象物信息检索单元680对于有效时间也同样地输出到信息输出控制单元690。
以下，说明进行各种操作时的显示影像的变化的例子。
图23是表示在Photo+Info模式下进行了触摸操作时的、显示影像的变化的一个例子的图，与图16对应。对与图16相同的部分附加相同的标号，并省略有关这些部分的说明。
如图23所示，影像显示/操作输入单元400d显示的信息重叠影像840d具有距离指示符871和有效时间指示符872。距离指示符通过距离标记873显示目前被聚焦的各个对象物区域的对象物距离。有效时间指示符872通过时间标记874显示目前被聚焦的对象物区域的对象物信息的有效时间。这里，所谓被聚焦的对象物区域是指焦点或者焦点的周围的对象物区域。
影像显示/操作输入单元400d为了显示距离标记873和时间标记874，从信息输出控制单元690d预先获取被聚焦的各个对象物区域的对象物信息。
这里，假设第一对象物区域833-1和第二对象物区域833-2是被聚焦的对象物区域。
此时，距离指示符871显示分别与第一对象物区域833-1和第二对象物区域833-2对应的、表示150m的第一距离标记873-1、表示250m的第二距离标记873-2。
另外，有效时间指示符872显示与第一对象物区域833-1和第二对象物区域833-2对应地存在的各个对象物信息的、表示有效时间第一时间标记874-1和第二时间标记874-2。
影像显示/操作输入单元400d以默认方式成为各选择了一个任意的距离标记873和时间标记874的状态。这里，假设显示对象物信息的等级为等级1，默认选择了第一距离标记873-1。另外，假设与第一对象物区域833-1对应的第一时间标记873-1和第二时间标记873-2分别表示“8:30”、“20:30”，以默认方式选择第一时间标记873-1。
此时，如图23A所示，显示的对象物信息缩小为作为第一对象物区域833-1的对象物信息中，与有效时间“8:30”对应的信息的“因代替输送而滞留”。
假设在该状态下，如图23B和图23C所示，通过手指861触摸了第二时间标记873-2。于是，如图23C所示，显示的对象物信息变更为作为与有效时间“20:30”对应的信息的“举办现场直播”。
再者，优选信息重叠影像840d显示目前正在显示与哪个对象物距离和有效时间对应的对象物信息。这里，表示通过距离指示符871和有效时间指示符872的颜色进行该显示的例子，但也可以使用距离标记873和时间标记874的颜色变化、闪烁等。
这样，本实施方式的信息显示装置能够通过显示器的触摸操作进行所显示的对象物信息的提炼。另外，本实施方式的信息显示装置，能够通过从显示器所显示的对象物距离和有效时间中选择来进行提炼的条件的指定。
因此，即使在同一对象物被赋予多个对象物信息的情况、画面中的同一坐标或较窄的范围被赋予多个对象物信息的情况下，本实施方式的信息显示装置也易于进行阅览。并且，即使在画面上对象物未映出的情况下，本实施方式的信息显示装置也能对焦点位置周围的任意的对象的对象物信息进行检索、选择、以及阅览。也就是说，用户通过在显示画面上触摸要关注的对象物这种自然的操作，能够获得与所希望的对象物有关的更详细的信息。
再者，可指定的条件并不限于对象物距离和有效时间，可以采用与对象物信息表中包含的信息有关的各种条件。例如，可指定的条件也可以采用对象物信息的注册时间和设定时间等。
再者，在以上说明的各个实施方式中，说明了从预先确定了的信息服务器获取对象物信息，也可以使用搜索引擎在通信网上检索适当的对象物信息。
另外，在各个实施方式中，虽然说明了将对象物信息数据库配置在外部装置，经由通信网获取对象物信息，也可以采用信息显示装置预先具有对象物数据库的结构。另外，信息显示装置也可以仅在未保持所需的对象物信息的情况下，从外部装置获取该对象物信息。
另外，采用信息显示装置也可以采用将一次获取了的对象物信息存储在缓存器中，不再次从外部获取的结构。
也可以不预先对每个详细程度的等级准备对象物信息，而是信息显示装置使用文章概括功能等，编辑对象物信息以使其符合所指定的详细程度的等级。
另外，根据不同的用途，也可以设计成对象物距离越远为越详细的信息，或者聚焦位置越近为越详细的信息。另外，在后者的情况下，相对于从聚焦位置起算的距离既可以使信息的简化(详细化)的比率对称，也可以使其非对称。具体而言，例如，根据景深，对于比聚焦位置更靠近眼前的对象物减小简化(详细化)的比率，对于比聚焦位置处于更深位置的对象物扩大简化(详细化)的比率。
2008年12月25日提交的特愿第2008-331451号的日本专利申请所包含的说明书、附图以及说明书摘要的公开内容被全部引用在本申请。
工业实用性
本发明的信息显示装置和信息显示方法，作为能够易于观察地显示与在现实世界影像中映出的对象物有关的信息中用户想知道的信息的信息显示装置和信息显示方法是有用的。具体而言，本发明作为进行现实世界影像和信息的重叠显示的增强现实感系统是有用的，例如能够应用于训练、教育、宇宙开发、穿戴式(Wearable)系统、娱乐系统等用途。另外，本发明作为用户对希望想要得到的信息的对象及其信息量进行直观的控制的现实世界信息检索系统是有用的，例如能够应用于数字静像照相机、数字摄像机、汽车导航系统、用于移动电话的导航系统、计测测量系统等用途。

Claims (19)

1.信息显示装置，包括：
影像输入单元，其输入现实世界影像；
距离获取单元，其获取在输入的所述现实世界影像中映出的对象物和所述现实世界影像的视点之间的距离；
对象物重叠单元，其输出重叠了有关所述对象物的对象物信息和所述现实世界影像的影像；以及
信息输出控制单元，其控制所述对象物重叠单元输出的所述对象物信息，
所述对象物信息是所述对象物的外观以外的信息，
所述信息输出控制单元进行控制，使得在进行了指定有效时间段的操作时，将属于由该操作所指定的所述有效时间段的所述对象物信息，确定为由所述对象物重叠单元输出的所述对象物信息，并且，对于所获取的所述距离越短的所述对象物，使由所述对象物重叠单元输出的所述对象物信息的内容越详细。
2.如权利要求1所述的信息显示装置，还包括：
对象物测位单元，获得在所述现实世界影像中映出的所述对象物的位置的纬度经度信息；以及
对象物信息检索单元，在对每个所述对象物记载了该对象物的位置的纬度经度信息、以及具有有效时间段的事件信息或话题信息即所述对象物信息的对象物信息表中，将获得的所述纬度经度信息作为关键词来检索所述对象物信息，
所述对象物重叠单元输出重叠了检索出的所述对象物信息和所述现实世界影像的所述影像，
所述信息输出控制单元进行控制，使得由所述对象物重叠单元输出与通过所述操作所指定的所述有效时间段对应的所述对象物信息。
3.如权利要求1所述的信息显示装置，
所述距离越短，所述信息输出控制单元对于所述对象物重叠单元输出的所述对象物信息，确定越多的信息量和越突出的提示形态中的至少一者。
4.如权利要求1所述的信息显示装置，还包括：
自身位置姿态获取单元，其获取所述现实世界影像的视点的位置；以及
对象物测位单元，其获取在输入的所述现实世界影像中映出的对象物在现实世界中的位置，
所述对象物测位单元基于获取了的所述视点的位置、以所述视点为基准的对象物的距离、方位以及仰角，获取所述对象物的位置。
5.如权利要求3所述的信息显示装置，还包括：
影像识别单元，其从输入的所述现实世界影像识别在所述现实世界影像中映出的对象物，
所述信息输出控制单元使所述对象物重叠单元输出在与识别了的所述对象物有关的所述对象物信息中，与确定了的所述信息的提示方式对应的所述对象物信息。
6.如权利要求4所述的信息显示装置，
所述对象物测位单元基于识别了的所述对象物在所述现实世界影像上的区域、所述现实世界影像的视点以及视野，获取所述对象物的位置。
7.如权利要求3所述的信息显示装置，还包括：
透镜控制单元，其改变所述影像输入单元输入的所述现实世界影像的变焦的倍率，
所述现实世界影像的变焦的倍率越大，所述信息输出控制单元确定越多的信息量。
8.如权利要求3所述的信息显示装置，
作为信息显示的对象的对象物的数量越少，所述信息输出控制单元对于每个对象物的所述对象物信息确定越多的信息量。
9.如权利要求1所述的信息显示装置，
所述信息输出控制单元从在输入的所述现实世界影像中映出的对象物中，确定作为所述对象物信息的显示的对象的对象物。
10.如权利要求9所述的信息显示装置，
所述信息输出控制单元在规定的对象物数量的范围内，确定作为所述对象物信息的显示的对象的对象物。
11.如权利要求9所述的信息显示装置，还包括：
透镜控制单元，其改变所述影像输入单元输入的所述现实世界影像的合焦位置，
所述信息输出控制单元将接近所述合焦位置的对象物确定为所述对象物信息的显示的对象。
12.如权利要求11所述的信息显示装置，
所述透镜控制单元接受规定的操作并固定所述合焦位置，
在所述合焦位置被固定时所述对象物重叠单元改变正在提示的所述对象物信息的提示方式。
13.如权利要求9所述的信息显示装置，还包括：
透镜控制单元，其改变所述影像输入单元输入的所述现实世界影像的景深，
所述信息输出控制单元将位于所述景深的范围内的对象物确定为所述对象物信息的显示的对象。
14.如权利要求4所述的信息显示装置，
所述对象物重叠单元在识别了的所述对象物的所述现实世界影像上的区域对应关联地显示与该对象物有关的所述对象物信息。
15.如权利要求5所述的信息显示装置，还包括：
信息位置确定单元，在显示多个对象物的所述对象物信息时，在与所述多个对象物的现实世界的配置关系对应的位置上，确定所述多个对象物的所述对象物信息的显示位置。
16.如权利要求15所述的信息显示装置，
所述信息位置确定单元检测输入的所述现实世界影像的进深方向，确定多个对象物的所述对象物信息的显示位置，以在显示所述多个对象物的所述对象物信息时与所述进深方向对齐。
17.如权利要求1所述的信息显示装置，还包括：
操作输入单元，其接受用户操作；以及
动作控制单元，其切换并设定下列模式：使所述用户操作反映在输入的所述现实世界影像中的模式；使所述用户操作反映在提示的所述对象物信息中的模式；以及使所述用户操作反映在输入的所述现实世界影像中并且与输入的所述现实世界影像联动地改变所述对象物信息的模式。
18.如权利要求1所述的信息显示装置，还包括：
操作输入单元，其通过对由所述对象物重叠单元显示的所述现实世界影像的触摸板操作，接受用户操作。
19.信息显示方法，其包括以下步骤：
输入现实世界影像的步骤；
获取在输入的所述现实世界影像中映出的对象物和所述现实世界影像的视点之间的距离的步骤；
根据获取了的所述距离，确定有关所述对象物的对象物信息的提示方式的步骤；以及
重叠并输出所述对象物信息与所述现实世界影像，以使其以确定了的提示方式被提示的步骤，
所述对象物信息是所述对象物的外观以外的信息，
在确定所述对象物信息的提示方式的所述步骤中，使得在进行了指定有效时间段的操作时，将属于由该操作所指定的所述有效时间段的所述对象物信息，确定为由重叠并输出所述对象物信息与所述现实世界影像的步骤所输出的所述对象物信息，并且，对于所获取的所述距离越短的所述对象物，使输出的所述对象物信息的内容越详细。
CN200980150013.4A 2008-12-25 2009-12-22 信息显示装置和信息显示方法 Expired - Fee Related CN102246121B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008331451 2008-12-25
JP2008-331451 2008-12-25
PCT/JP2009/007113 WO2010073616A1 (ja) 2008-12-25 2009-12-22 情報表示装置および情報表示方法

Publications (2)

Publication Number Publication Date
CN102246121A CN102246121A (zh) 2011-11-16
CN102246121B true CN102246121B (zh) 2016-01-13

Family

ID=42287263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980150013.4A Expired - Fee Related CN102246121B (zh) 2008-12-25 2009-12-22 信息显示装置和信息显示方法

Country Status (5)

Country Link
US (1) US9204050B2 (zh)
EP (1) EP2378392B1 (zh)
JP (3) JP5328810B2 (zh)
CN (1) CN102246121B (zh)
WO (1) WO2010073616A1 (zh)

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
EP2378392B1 (en) * 2008-12-25 2016-04-13 Panasonic Intellectual Property Management Co., Ltd. Information displaying apparatus and information displaying method
JP5525201B2 (ja) 2009-07-28 2014-06-18 パナソニック株式会社 画像合成装置、画像符号化装置、コンピュータプログラム、記録媒体
US8611592B2 (en) * 2009-08-26 2013-12-17 Apple Inc. Landmark identification using metadata
US9420251B2 (en) 2010-02-08 2016-08-16 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
JP5512378B2 (ja) * 2010-04-28 2014-06-04 株式会社Ｎｔｔドコモ オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
KR101606727B1 (ko) * 2010-06-25 2016-03-28 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
JP2012029164A (ja) * 2010-07-26 2012-02-09 Konica Minolta Business Technologies Inc 携帯端末及び装置管理方法
KR101347518B1 (ko) * 2010-08-12 2014-01-07 주식회사 팬택 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버
KR101357262B1 (ko) * 2010-08-13 2014-01-29 주식회사 팬택 필터 정보를 이용한 객체 인식 장치 및 방법
KR101429250B1 (ko) * 2010-08-20 2014-09-25 주식회사 팬택 단계별 객체 정보 제공이 가능한 단말 장치 및 방법
CN102484678B (zh) * 2010-08-20 2017-03-01 松下电器（美国）知识产权公司 接收显示装置、信息发送装置、光无线通信系统、接收显示用集成电路、信息发送用集成电路、接收显示程序、信息发送程序及光无线通信方法
US8666978B2 (en) 2010-09-16 2014-03-04 Alcatel Lucent Method and apparatus for managing content tagging and tagged content
US20120067954A1 (en) * 2010-09-16 2012-03-22 Madhav Moganti Sensors, scanners, and methods for automatically tagging content
US8655881B2 (en) 2010-09-16 2014-02-18 Alcatel Lucent Method and apparatus for automatically tagging content
US8533192B2 (en) 2010-09-16 2013-09-10 Alcatel Lucent Content capture device and methods for automatically tagging content
JP5578719B2 (ja) * 2010-09-17 2014-08-27 株式会社 ミックウェア 情報システム、端末装置、広告出力方法、およびプログラム
JP2012065263A (ja) 2010-09-17 2012-03-29 Olympus Imaging Corp 撮影機器
JP5170223B2 (ja) * 2010-12-07 2013-03-27 カシオ計算機株式会社 情報表示システム、情報表示装置、情報提供装置、および、プログラム
KR101669119B1 (ko) * 2010-12-14 2016-10-25 삼성전자주식회사 다층 증강 현실 시스템 및 방법
US8514295B2 (en) * 2010-12-17 2013-08-20 Qualcomm Incorporated Augmented reality processing based on eye capture in handheld device
WO2012094564A1 (en) * 2011-01-06 2012-07-12 Veveo, Inc. Methods of and systems for content search based on environment sampling
JP5014494B2 (ja) * 2011-01-21 2012-08-29 パナソニック株式会社 情報処理装置、拡張現実感システム、情報処理方法、及び情報処理プログラム
JP5511084B2 (ja) 2011-02-08 2014-06-04 パナソニック株式会社 通信装置、通信システム、通信方法、及び通信プログラム
US8314790B1 (en) 2011-03-29 2012-11-20 Google Inc. Layer opacity adjustment for a three-dimensional object
US8576223B1 (en) * 2011-03-29 2013-11-05 Google Inc. Multiple label display for 3D objects
US20140300570A1 (en) * 2011-09-26 2014-10-09 Nec Casio Mobile Communications, Ltd. Mobile information processing terminal
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
JP5783885B2 (ja) * 2011-11-11 2015-09-24 株式会社東芝 情報提示装置、その方法及びそのプログラム
JP6121647B2 (ja) 2011-11-11 2017-04-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR20130056529A (ko) * 2011-11-22 2013-05-30 삼성전자주식회사 휴대용 단말기에서 증강현실 서비스를 제공하기 위한 장치 및 방법
TWI430012B (zh) * 2011-12-05 2014-03-11 Hannspree Inc 影像擷取觸控顯示器
WO2013099473A1 (ja) * 2011-12-27 2013-07-04 ソニー株式会社 サーバ
KR101303166B1 (ko) * 2012-01-26 2013-09-09 엘지전자 주식회사 이동 단말기 및 그의 사진 검색방법
US9773345B2 (en) * 2012-02-15 2017-09-26 Nokia Technologies Oy Method and apparatus for generating a virtual environment for controlling one or more electronic devices
JP6028351B2 (ja) * 2012-03-16 2016-11-16 ソニー株式会社 制御装置、電子機器、制御方法、及びプログラム
JP6056178B2 (ja) * 2012-04-11 2017-01-11 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
JP5921320B2 (ja) * 2012-04-27 2016-05-24 富士通テン株式会社 表示システム、携帯装置、車載装置、及び、プログラム
GB201208088D0 (en) * 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
US9147221B2 (en) * 2012-05-23 2015-09-29 Qualcomm Incorporated Image-driven view management for annotations
JP5983745B2 (ja) * 2012-06-29 2016-09-06 トヨタ自動車株式会社 画像情報提供装置、画像情報提供システム、画像情報提供方法
KR101899977B1 (ko) * 2012-07-10 2018-09-19 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
CN103577788A (zh) * 2012-07-19 2014-02-12 华为终端有限公司 增强现实的实现方法和装置
US9489702B2 (en) 2012-07-24 2016-11-08 Nec Corporation Information processing device, data processing method thereof, and program
TWI475474B (zh) * 2012-07-30 2015-03-01 Mitac Int Corp Gesture combined with the implementation of the icon control method
TWI451344B (zh) * 2012-08-27 2014-09-01 Pixart Imaging Inc 手勢辨識系統及手勢辨識方法
TWI494792B (zh) * 2012-09-07 2015-08-01 Pixart Imaging Inc 手勢辨識系統及方法
JP6007712B2 (ja) * 2012-09-28 2016-10-12 ブラザー工業株式会社 ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
US9501831B2 (en) * 2012-10-02 2016-11-22 Google Inc. Identification of relative distance of objects in images
JP6064510B2 (ja) * 2012-10-19 2017-01-25 トヨタ自動車株式会社 情報提供装置および情報提供方法
JP6157094B2 (ja) * 2012-11-21 2017-07-05 キヤノン株式会社 通信装置、設定装置、通信方法、設定方法、及び、プログラム
US9298970B2 (en) 2012-11-27 2016-03-29 Nokia Technologies Oy Method and apparatus for facilitating interaction with an object viewable via a display
JP6102944B2 (ja) * 2012-12-10 2017-03-29 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
JP5751430B2 (ja) * 2012-12-19 2015-07-22 コニカミノルタ株式会社 画像処理端末、画像処理システム、および画像処理端末の制御プログラム
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
GB2511386A (en) * 2012-12-21 2014-09-03 Syngenta Ltd Herbicidal compositions
JP5652467B2 (ja) * 2012-12-25 2015-01-14 カシオ計算機株式会社 情報表示システム、情報表示装置、情報提供装置、および、プログラム
JP6111659B2 (ja) * 2012-12-28 2017-04-12 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
EP2757772A3 (en) * 2013-01-17 2017-08-16 Canon Kabushiki Kaisha Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus
CN104246864B (zh) 2013-02-22 2016-06-29 索尼公司 头戴式显示器和图像显示装置
US9946963B2 (en) 2013-03-01 2018-04-17 Layar B.V. Barcode visualization in augmented reality
JP6160154B2 (ja) * 2013-03-22 2017-07-12 セイコーエプソン株式会社 頭部装着型表示装置を利用した情報表示システム、頭部装着型表示装置を利用した情報表示方法、および、頭部装着型表示装置
JP6315895B2 (ja) * 2013-05-31 2018-04-25 キヤノン株式会社 撮像装置、画像処理装置、撮像装置の制御方法、画像処理装置の制御方法、プログラム
KR20150008733A (ko) * 2013-07-15 2015-01-23 엘지전자 주식회사 안경형 휴대기기 및 그의 정보 투사면 탐색방법
JP6225538B2 (ja) * 2013-07-24 2017-11-08 富士通株式会社 情報処理装置、システム、情報提供方法および情報提供プログラム
JP6314427B2 (ja) * 2013-10-31 2018-04-25 キヤノンマーケティングジャパン株式会社 撮像装置、情報処理装置、制御方法およびプログラム
JP2015164001A (ja) * 2014-02-28 2015-09-10 株式会社丸山製作所 ガイド装置
CN103942049B (zh) * 2014-04-14 2018-09-07 百度在线网络技术（北京）有限公司 增强现实的实现方法、客户端装置和服务器
CN110989284A (zh) * 2014-04-22 2020-04-10 日本电信电话株式会社 视频呈现装置、视频呈现方法以及程序
DE102014208663A1 (de) * 2014-05-08 2015-11-12 Conti Temic Microelectronic Gmbh Vorrichtung und verfahren zur bereitstellung von informationsdaten zu einem in einem videobildstrom enthaltenen objekt einer fahrzeugumgebung
JP6326996B2 (ja) * 2014-06-13 2018-05-23 富士通株式会社 端末装置、情報処理システム、及び表示制御プログラム
JP2016004340A (ja) * 2014-06-16 2016-01-12 セイコーエプソン株式会社 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016018367A (ja) * 2014-07-08 2016-02-01 沖電気工業株式会社 情報処理装置、情報処理方法、及びプログラム
JP2016110245A (ja) * 2014-12-03 2016-06-20 株式会社Ｔ．Ｊ．Ｐｒｏｍｏｔｉｏｎ 表示システム、表示方法、コンピュータプログラム、コンピュータが読み取り可能な記憶媒体
JP6424601B2 (ja) * 2014-12-10 2018-11-21 富士通株式会社 表示制御方法、情報処理プログラム、及び情報処理装置
US9836814B2 (en) * 2015-01-09 2017-12-05 Panasonic Intellectual Property Management Co., Ltd. Display control apparatus and method for stepwise deforming of presentation image radially by increasing display ratio
US9918008B2 (en) * 2015-02-06 2018-03-13 Wipro Limited Method and device for assisting a user to capture images
JP5914714B2 (ja) * 2015-02-12 2016-05-11 オリンパス株式会社 撮影機器および撮影方法
CN106406507B (zh) * 2015-07-30 2020-03-27 株式会社理光 图像处理方法以及电子设备
JP2017054185A (ja) 2015-09-07 2017-03-16 株式会社東芝 情報処理装置、情報処理方法及び情報処理プログラム
JP6153984B2 (ja) * 2015-10-14 2017-06-28 株式会社日本総合研究所 宣伝情報提供システム、宣伝情報提供方法および宣伝情報提供プログラム
JP6065084B2 (ja) * 2015-10-30 2017-01-25 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2017096635A (ja) * 2015-11-18 2017-06-01 アイシン・エィ・ダブリュ株式会社 目的地設定システム、方法およびプログラム
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP6342089B2 (ja) * 2016-03-24 2018-06-13 三菱電機株式会社 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム
US10025376B2 (en) 2016-04-27 2018-07-17 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
EP3377962A1 (en) * 2016-04-27 2018-09-26 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
JP6440910B2 (ja) * 2016-07-29 2018-12-19 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
JP6930541B2 (ja) * 2016-08-19 2021-09-01 ソニーグループ株式会社 画像処理装置および画像処理方法
US10559087B2 (en) * 2016-10-14 2020-02-11 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same
JP7009057B2 (ja) 2016-11-15 2022-01-25 株式会社リコー 表示装置、表示システム、及びプログラム
JP6987208B2 (ja) * 2016-11-29 2021-12-22 パイオニア株式会社 表示制御装置、制御方法、プログラム及び記憶媒体
JP2018088118A (ja) * 2016-11-29 2018-06-07 パイオニア株式会社 表示制御装置、制御方法、プログラム及び記憶媒体
JP6193466B1 (ja) * 2016-12-09 2017-09-06 株式会社ドワンゴ 画像表示装置、画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム
JP6708760B2 (ja) * 2017-02-10 2020-06-10 シャープ株式会社 画像処理装置及び画像処理プログラム
KR20180131856A (ko) * 2017-06-01 2018-12-11 에스케이플래닛 주식회사 배송 물품 정보 제공 방법 및 이를 위한 장치
JP7065383B2 (ja) * 2017-06-30 2022-05-12 パナソニックＩｐマネジメント株式会社 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
US10607082B2 (en) * 2017-09-09 2020-03-31 Google Llc Systems, methods, and apparatus for image-responsive automated assistants
JP7013786B2 (ja) * 2017-10-16 2022-02-01 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
EP3716220B1 (en) * 2017-11-20 2024-02-21 Rakuten Group, Inc. Information processing device, information processing method, and information processing program
US11164380B2 (en) * 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
JP7110738B2 (ja) * 2018-06-05 2022-08-02 大日本印刷株式会社 情報処理装置、プログラム及び情報処理システム
US10719995B2 (en) * 2018-10-23 2020-07-21 Disney Enterprises, Inc. Distorted view augmented reality
US11321411B1 (en) * 2018-12-28 2022-05-03 Meta Platforms, Inc. Systems and methods for providing content
JP6720385B1 (ja) * 2019-02-07 2020-07-08 株式会社メルカリ プログラム、情報処理方法、及び情報処理端末
US10979672B1 (en) 2020-10-20 2021-04-13 Katmai Tech Holdings LLC Web-based videoconference virtual environment with navigable avatars, and applications thereof
CN112995507A (zh) * 2021-02-08 2021-06-18 北京蜂巢世纪科技有限公司 提示对象位置的方法及装置
JP7453193B2 (ja) 2021-09-27 2024-03-19 Kddi株式会社 ユーザの周辺状況に連動して音声合成に基づく音声を制御する携帯装置、プログラム及び方法
WO2023119527A1 (ja) * 2021-12-22 2023-06-29 マクセル株式会社 携帯情報端末および情報処理方法
CN115170629A (zh) * 2022-09-08 2022-10-11 杭州海康慧影科技有限公司 一种伤口信息获取方法、装置、设备及存储介质
JP2024055512A (ja) * 2022-10-07 2024-04-18 株式会社日立製作所 表示方法、表示システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1497244A (zh) * 2002-09-27 2004-05-19 佳能株式会社 信息处理方法和信息处理装置
CN101300459A (zh) * 2005-11-01 2008-11-05 松下电器产业株式会社 信息显示装置
CN101680766A (zh) * 2007-05-31 2010-03-24 松下电器产业株式会社 图像摄影装置、附加信息提供服务器及附加信息过滤系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815411A (en) 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
US6037936A (en) 1993-09-10 2000-03-14 Criticom Corp. Computer vision system with a graphic user interface and remote camera control
JPH08190640A (ja) 1995-01-12 1996-07-23 Hitachi Ltd 情報表示方法および情報提供システム
JP2000194467A (ja) * 1998-12-24 2000-07-14 Matsushita Electric Ind Co Ltd 情報表示装置、情報処理装置、機器制御装置、及び測距装置
JP4486175B2 (ja) 1999-01-29 2010-06-23 株式会社日立製作所 立体地図表示装置および方法
US20020075331A1 (en) * 2000-02-14 2002-06-20 Julian Orbanes Method and apparatus for addressing data objects in virtual space
JP3967866B2 (ja) * 2000-04-28 2007-08-29 パイオニア株式会社 ナビゲーション装置及びナビゲーションプログラムがコンピュータで読取可能に記録された情報記録媒体
JP3406965B2 (ja) 2000-11-24 2003-05-19 キヤノン株式会社 複合現実感提示装置及びその制御方法
JP2003167659A (ja) 2001-11-28 2003-06-13 Fujitsu Ltd 情報処理装置および情報オブジェクトの表示方法
JP2004048674A (ja) 2002-05-24 2004-02-12 Olympus Corp 視野一致型情報呈示システム、並びに、それに用いられる携帯情報端末及びサーバ
JP4298407B2 (ja) 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
JP4026146B2 (ja) 2004-01-20 2007-12-26 マツダ株式会社 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム
JP4061379B2 (ja) * 2004-11-29 2008-03-19 国立大学法人広島大学 情報処理装置、携帯端末、情報処理方法、情報処理プログラム、およびコンピュータ読取可能な記録媒体
US7720436B2 (en) * 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
JP4793685B2 (ja) * 2006-03-31 2011-10-12 カシオ計算機株式会社 情報伝送システム、撮像装置、情報出力方法、及び、情報出力プログラム
US20080136958A1 (en) 2006-12-11 2008-06-12 Pentax Corporation Camera having a focus adjusting system and a face recognition function
JP4743892B2 (ja) * 2007-02-08 2011-08-10 Ｋｄｄｉ株式会社 撮影画像に付加画像を重畳させて表示する端末及びプログラム
JP4600515B2 (ja) * 2008-05-07 2010-12-15 ソニー株式会社 情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラム
JP2010118019A (ja) 2008-11-14 2010-05-27 Sharp Corp 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体
US8397181B2 (en) * 2008-11-17 2013-03-12 Honeywell International Inc. Method and apparatus for marking a position of a real world object in a see-through display
EP2378392B1 (en) * 2008-12-25 2016-04-13 Panasonic Intellectual Property Management Co., Ltd. Information displaying apparatus and information displaying method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1497244A (zh) * 2002-09-27 2004-05-19 佳能株式会社 信息处理方法和信息处理装置
CN101300459A (zh) * 2005-11-01 2008-11-05 松下电器产业株式会社 信息显示装置
CN101680766A (zh) * 2007-05-31 2010-03-24 松下电器产业株式会社 图像摄影装置、附加信息提供服务器及附加信息过滤系统

Also Published As

Publication number Publication date
JPWO2010073616A1 (ja) 2012-06-07
CN102246121A (zh) 2011-11-16
EP2378392A4 (en) 2012-09-05
JP5328810B2 (ja) 2013-10-30
JP2013225311A (ja) 2013-10-31
WO2010073616A1 (ja) 2010-07-01
EP2378392A1 (en) 2011-10-19
JP5611412B2 (ja) 2014-10-22
JP5588542B2 (ja) 2014-09-10
JP2013211027A (ja) 2013-10-10
US9204050B2 (en) 2015-12-01
EP2378392B1 (en) 2016-04-13
US20110254861A1 (en) 2011-10-20

Similar Documents

Publication Publication Date Title
CN102246121B (zh) 信息显示装置和信息显示方法
US10438409B2 (en) Augmented reality asset locator
RU2421775C2 (ru) Устройство и способ обработки информации, и компьютерная программа
US8279173B2 (en) User interface for selecting a photo tag
RU2438175C2 (ru) Устройство обработки изображения и способ отображения изображения
JP4752827B2 (ja) 地図情報表示装置、地図情報表示方法、及びプログラム
US20130080974A1 (en) Region recommendation device, region recommendation method and recording medium
US20080282177A1 (en) User interface for editing photo tags
EP1990744B1 (en) User interface for editing photo tags
CA2630947C (en) User interface for selecting a photo tag
CN102263896A (zh) 图像处理单元、图像处理方法和程序
JP2009088903A (ja) 移動通信装置
KR20180098641A (ko) 멀티미디어 파일 관리 방법, 전자 장치, 및 그래픽 사용자 인터페이스
CN111680238B (zh) 信息分享方法、装置和存储介质
CN104255022B (zh) 为相机添加虚拟变焦能力的服务器、客户终端、系统和可读介质
CN106233283A (zh) 图像处理装置、通信系统以及通信方法和摄像装置
CN109697242B (zh) 拍照搜题方法、装置、存储介质和计算设备
KR102436018B1 (ko) 전자 장치 및 그 제어 방법
JP2012019374A (ja) 電子アルバム作成サーバー、情報処理装置、電子アルバム作成システム、及び、電子アルバム作成サーバーの制御方法
JP2014063300A (ja) 文字認識装置及び文字認識処理方法並びにプログラム
JP2010187119A (ja) 撮像装置および撮像装置用プログラム
KR101883568B1 (ko) 위치 정보가 수록된 정보 관리가 가능한 통신 단말기 및 통신단말기용 어플리케이션의 정보 제공 방법
BR112018013518B1 (pt) Método de gerenciamento de arquivos multimídia, dispositivo eletrônico e mídia de armazenamento legível por computador
JP2017091073A (ja) 画像検索条件設定装置および画像検索条件設定方法、画像検索装置および画像検索方法、ならびに、プログラムおよび記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151117

Address after: Osaka Japan

Applicant after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200610

Address after: Room 01, 6 / F, Mituo Road, 45 Singapore

Patentee after: Bingxi FUCE Private Ltd.

Address before: Osaka Japan

Patentee before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201109

Address after: Room C, 17th floor, Yuesheng Industrial Centre, 58 Dalian Pai Road, Kwai Chung, New Territories, Hong Kong, China

Patentee after: Chuang long viewpoint Technology Co.,Ltd.

Address before: Room 01, 6 / F, Mituo Road, 45 Singapore

Patentee before: Bingxi FUCE Private Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160113

CF01 Termination of patent right due to non-payment of annual fee