CN107404598A - 摄影装置、信息取得系统、程序及记录介质 - Google Patents

摄影装置、信息取得系统、程序及记录介质 Download PDF

Info

Publication number
CN107404598A
CN107404598A CN201710339570.7A CN201710339570A CN107404598A CN 107404598 A CN107404598 A CN 107404598A CN 201710339570 A CN201710339570 A CN 201710339570A CN 107404598 A CN107404598 A CN 107404598A
Authority
CN
China
Prior art keywords
foregoing
information
subject
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710339570.7A
Other languages
English (en)
Other versions
CN107404598B (zh
Inventor
井上英也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN107404598A publication Critical patent/CN107404598A/zh
Application granted granted Critical
Publication of CN107404598B publication Critical patent/CN107404598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207Discounts or incentives, e.g. coupons or rebates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00323Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a measuring, monitoring or signaling apparatus, e.g. for transmitting measured information to a central location
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253Position information, e.g. geographical position at time of capture, GPS data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3273Display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Emergency Management (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

摄影装置,具备:摄影部,拍摄被摄体;位置信息取得部,取得摄影位置的位置信息;控制部,根据前述位置信息取得与前述被摄体相关的信息,将前述被摄体的影像数据及与前述被摄体相关的信息显示于显示部;以及保持控制部,将保持前述被摄体的影像数据及与前述被摄体相关的信息的保持控制信号输出至前述控制部。

Description

摄影装置、信息取得系统、程序及记录介质
本申请是中国申请号为2011800086543,发明名称为“摄影装置、信息取得系统及程序”的专利申请的分案申请,原申请的申请日是2011年02月07日。
技术领域
本发明是关于具有在拍摄被摄体时取得拍摄被摄体的位置信息并将被摄体与位置信息建立对应关系的功能的摄影装置、以及使用该信息取得被摄体的信息的摄影装置、信息取得系统及程序。
本申请,基于2010年2月8日提出申请的日本特愿2010-025998号主张优先权,将其内容援用于此。
背景技术
以往,具有摄影功能的摄影装置(例如数字相机)等的携带信息机器等中,已有一种具有下述功能者,亦即检测该携带信息机器所位于的位置信息,并对应检测出的位置信息处理所拍摄的影像数据(参照例如专利文献1)。
[专利文献1]日本特开2004-15187号公报
发明内容
然而,例如包含上述专利文献1在内,使用者无法容易地得到使用者拍摄中的被摄体(例如建造物)为何的信息。
本发明的态样,其目的在于提供可充实使用者的活动的摄影装置、信息取得系统及程序。
本发明的态样的摄影装置,具备:摄影部,拍摄被摄体;位置信息取得部,取得摄影位置的位置信息;控制部,根据前述位置信息取得与前述被摄体相关的信息,将前述被摄体的影像数据及与前述被摄体相关的信息显示于显示部;以及保持控制部,将保持前述被摄体的影像数据及与前述被摄体相关的信息的保持控制信号输出至前述控制部。
本发明的态样的摄影装置,具备:纬度经度检测部,检测自身位置的纬度经度信息;方位角检测部,检测拍摄影像数据中的方位角;控制部,将位于前述纬度经度信息中的前述方位角方向的纬度经度范围的建造物被附加的AR信息,借由该纬度经度信息及该方位角取得并显示于显示部;以及保持控制部,在侦测使前述AR信息储存于存储部的动作后,将使前述AR信息与前述影像数据储存于存储部的保持控制信号对前述控制部输出。
本发明的态样的信息取得系统,具备摄影装置与信息检索系统;前述摄影装置是上述任一者的摄影装置。
本发明的态样的信息取得系统,由摄影装置与信息检索系统构成,该信息检索系统借由从前述摄影装置发送的纬度经度信息及方位角,抽出位于该纬度经度信息中的前述方位角方向的纬度经度范围的建造物,将附加于该抽出的该建造物的信息发送至前述摄影装置;前述摄影装置具备:纬度经度检测部,检测自身位置的纬度经度信息;方位角检测部,检测拍摄影像数据中的方位角;控制部,将位于前述纬度经度信息中的前述方位角方向的纬度经度范围的建造物被附加的AR信息,借由该纬度经度信息及该方位角取得并显示于显示部;以及保持控制部,在侦测使前述AR信息储存于存储部的动作后,将使前述AR信息与前述影像数据储存于存储部的保持控制信号对前述控制部输出;前述信息检索系统具备:数据库,储存有使建造物的建造物识别编号及该建造物的纬度经度信息对应的地图数据、以及使前述建造物识别编号及该建造物识别编号所显示的建造物的前述AR信息对应的建造物表;以及信息检索服务器,借由从前述摄影装置发送的前述纬度经度信息及前述方位角,从前述地图数据检索位于前述纬度经度信息中的前述方位角方向的纬度经度范围的建造物的建造物识别编号,借由被检索出的前述建造物识别编号,从前述建造物表读出附加于该建造物识别编号所显示的建造物的前述AR信息,并将所读出的建造物的前述AR信息发送至前述摄影装置。
本发明的态样的程序,用以使计算机执行上述任一者的摄影装置的功能的程序,其用以使计算机执行:输入拍摄被摄体的摄影位置的位置信息的步骤;根据前述位置信息取得与前述被摄体相关的信息的步骤;将前述被摄体的影像数据及与前述被摄体相关的信息显示于显示部的步骤;以及将保持前述被摄体的影像数据及与前述被摄体相关的信息的保持控制信号输出至控制部的步骤。
本发明的态样的程序,用以使计算机执行上述任一者的摄影装置的功能的程序,其用以使计算机执行:输入纬度经度检测部所检测的自身位置的纬度经度信息的步骤;输入方位角检测部所检测的拍摄影像数据中的方位角的步骤;将位于前述纬度经度信息中的前述方位角方向的纬度经度范围的建造物被附加的AR信息,借由该纬度经度信息及该方位角取得并显示于显示部的步骤;以及在侦测使前述AR信息储存于存储部的动作后,将使前述AR信息与前述影像数据储存于存储部的保持控制信号对前述控制部输出的步骤。
根据本发明的态样,提供可充实使用者的活动的摄影装置、信息取得系统及程序。
附图说明
图1显示本发明的一实施形态的信息取得系统的构成例的方块图。
图2显示储存于图1中的数据库的建造物表构成例的概念图。
图3显示以数字相机拍摄中的影像的信息检索处理流程的流程图。
图4显示显示于数字相机的显示影像的概念图。
图5显示显示于数字相机的显示影像的概念图。
图6显示显示于数字相机的显示影像的概念图。
图7显示以数字相机拍摄后的影像的信息检索处理流程的流程图。
图8显示从输入于数字相机的店铺信息检索信息的处理流程的流程图。
图9显示具有取得及储存AR(扩张现实)信息的功能的信息取得系统的方块图。
图10显示建物的现实影像与记载有该建物的各AR信息的标志(假想记述)影像的显示部中的合成影像的图。
图11显示储存于图9中的AR信息存储部的AR信息表的图。
图12显示检索建造物的AR信息的检索范围的图。
图13显示图9中的信息检索系统的动作例的流程图。
【主要元件符号说明】
1 数字相机 2 信息检索系统
3 无线基地台 4 信息通讯网
11 控制部 12 收发讯部
13 摄影部 14 GPS
15 存储部 16 方位感测器
17 显示部 18 计时器
19 导航部 21 信息检索服务器
22 数据库 30 AR信息存储部
31 保持控制部
具体实施方式
以下,参照图式说明本发明一实施形态的摄影装置及信息取得系统。图1显示本实施形态的摄影装置及信息取得系统的构成例的方块图。
图1中,信息取得系统由摄影装置一例的数字相机1与信息检索系统2构成,数字相机1通过无线通讯与无线基地台3进行数据通讯,通过此无线基地台3及网际网路等信息通讯网4,与信息检索系统2(或后述的信息检索服务器21)进行数据的收发送。此外,本实施形态的摄影装置,如上述的数字相机1或具备摄影机的行动电话等的具有摄影功能的携带型终端。例如,数字相机1具有浏览功能,其具有控制部11、收发讯部12、摄影部13、GPS(GlobalPositioning System,全球定位系统)14、存储部15、方位感测器16(方位角检测部)、显示部17、以及计时器18。此处,本实施形态的无线通讯,不使用线作为传送路,而包含电波、光或音波等的通讯者。
摄影部13,具有CCD(Charge Coupled Device,电荷耦合元件)或CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化半导体)影像感测器、透镜等,将拍摄被摄体(所拍摄的对象物)后的影像数据对上述控制部11输出。以下说明中,作为一例,本实施形态的被摄体表示建造物(包含店铺的商业大楼、包含学校及医院的公共建物、工厂、包含公寓的住宅、铁塔、桥、水坝、游乐园、铜像等的人工建造物等)。GPS14(位置信息取得部、纬度经度检测部),当对其输入指示来自使用者的摄影的控制信号(例如,检测到已按下摄影钮B1一事的未图示周边电路所输出的控制信号)、或指示信息检索的控制信号(例如,检测到已借由使用者触碰显示检索等的图像(标识)而选择图像一事的未图示周边电路所输出的控制信号),即取得数字相机1的纬度、经度的信息(纬度经度信息、位置信息),并对控制部11输出。此外,本实施形态的位置信息取得部(纬度经度检测部)只要能取得摄影装置13的位置者亦可为其他构成,例如亦可利用无线基地台3来取得摄影装置13的位置信息。
方位感测器16(方位角检测部、方位信息取得部)由电子罗盘等构成,当对其输入指示来自使用者的摄影的控制信号(例如,检测到已按下摄影钮B1一事的未图示周边电路所输出的控制信号)、或指示信息检索的控制信号(例如,检测到已借由使用者触碰显示检索等的图像(标识)而选择图像一事的未图示周边电路所输出的控制信号)时,摄影部13中例如串联配置的CCD及透镜,检测出此串联方向的方位并作为方位信息输出至控制部11。此外,方位感测器16亦可检测从使用者观看的被摄体的方向(亦即摄影方向)的方位,并作为方位信息输出至控制部11。此处,当采用方位角作为方位信息时,例如以上述位置信息的纬度经度为中心点,以北为基准(0度),顺时针绕东(90度)、南(180度)、西(270度),以度、分、秒的单位表现方位角。
控制部11,当从未图示周边电路对其输入指示使用者按下摄影钮B1等的摄影的控制信号时,即对所拍摄的影像数据赋予影像识别信息,并将就各该影像识别信息拍摄的影像数据与从计时器18取得的时刻数据、位置信息及方位信息彼此对应地依摄影顺序写入存储部15。
显示部17,显示摄影部13所拍摄的影像数据、或通过使用者选择为欲显示的影像而由控制部11从存储部15读出的影像数据。
又,显示部17,如后所述是借由上述控制部11的控制,进行从信息检索系统2接收的影像数据或使用者输入的文字数据等的显示。
收发讯部12,通过无线通讯与无线基地台3进行收发讯,通过信息通讯网4在与信息检索系统2之间进行影像数据、文字数据或控制信号等数据的收发讯。
其次,信息检索系统2,如图1所示具有信息检索服务器21与数据库22。此外,数据库22亦可设于信息检索服务器21内的存储媒体(例如存储器或HDD等),亦可设于外接的存储媒体或其他终端的存储媒体。
如图2所示的建造物表,在数据库22储存有用以识别建造物的建造物识别信息、建造物的名称即建造物名称、建造物信息(地址、电话号码、种类、以建造物为中心的周边影像数据等信息)、建造物的纬度经度等的位置信息、建造物的说明(若是店铺则为该店铺所记载的信息)、投稿信息(曾造访过的使用者的评价等评论及使用者所投稿的影像数据等)。
又,于数据库22储存有以纬度经度为二维平面的座标轴配置有所登录的各建造物的地图数据。此地图数据中,各建造物显示于与上述建造物识别信息对应的纬度经度的位置。
信息检索服务器21,使用被输入的上述位置信息及方位信息,从位置信息所显示的纬度经度的位置,在方位信息所示的方向上寻找位于最近距离的建造物,并取得所寻找出的建造物的建造物识别信息。
又,信息检索服务器21,从上述建造物表检索与经寻找而取得的建造物的建造物识别信息对应的建造物,并将检索出的建造物的各信息(建造物名称、建造物信息等)发送至数字相机1。此外,信息检索服务器21,亦可视例如收发讯数据容量等的必要情形,选择性地发送对数字相机1发送的上述建造物的各信息。此时,信息检索服务器21,亦可借由既定的操作(例如来自数字相机1的要求等)等再度将上述建造物的各信息中剩余的信息发送至数字相机1。
<以数字相机1拍摄中的影像的信息检索>
其次,使用图1及图3、以及图4至图6说明本实施形态的动作。图3显示在将数字相机1朝向建造物拍摄中的状态下欲进行信息检索时本实施形态的信息检索处理的动作例的流程图。图4至图6,显示数字相机1的显示部17所显示的画面及数字相机的摄影钮B1的配置的图。
以下说明中,说明例如使用者一边步行于闹区,一边寻找吃晚餐的餐厅的状态。
使用者一边徘徊于闹区,一边将数字相机1的镜头朝向具有中意外观的餐厅(步骤S1),当发现欲取得信息的外观的餐厅时,即如图4所示,触碰(按下)设于数字相机1的影像显示栏MP的浏览图像I1,借此选择浏览图像I1(步骤S2)。
此时,控制部11在上述摄影状态下,将从摄影部13输入的摄影部13拍摄中的影像数据,如图4所示通过显示部17于影像显示栏MP显示拍摄中的餐厅的影像数据。此外,本实施形态中的影像显示栏MP(影像显示部),以触控面板(包含例如感压类型、静电类型、或音波类型等)构成。
此外,上述步骤S2,亦可在按下数字相机1的摄影钮B1后,一边观看显示所拍摄的上述餐厅影像的影像显示栏MP,一边触碰浏览图像I1来作选择。
借由触碰浏览图像I1,即从未图示的周边电路对控制部11输出表示已选择浏览图像I1一事的信号。接着,控制部11,借由表示已选择所输入的浏览图像I1一事的信号,检测出已选择浏览图像I1一事,并对摄影部13的拍摄中的上述餐厅的影像数据赋予影像识别信息,与该影像识别信息对应地将影像数据与拍摄时刻写入存储部15,以储存该影像数据(步骤S3)。
又,控制部11,在浏览图像I1被触碰时,将GPS14所取得的位置信息与方位感测器16所取得的方位信息作为关连信息,对应于上述影像识别信息而写入存储部15,并加以储存(步骤S4)。
接着,控制部11在将影像数据及上述关连信息写入存储部15后,即将用以识别数字相机1的相机识别信息(赋予使用者的使用者识别信息或赋予数字相机1的识别信息)、包含上述位置信息与上述方位信息的检索要求信号通过收发讯部12往信息检索系统2发送(步骤S5)。此外,控制部11在上述步骤S3~步骤S5中,亦可不将上述影像数据及上述关连信息等写入存储部15而通过收发讯部12将上述检索要求信号往信息检索系统2发送。
其次,在信息检索系统2中,当信息检索服务器21从数字相机1接收上述检索要求信号时,即根据检索要求信号所含的位置信息及方位信息从数据库22的地图数据抽出检索对象的建造物。接着,信息检索服务器21借由此建造物识别信息,从图2的建造物表将该建造物表中的各信息以包含建造物识别信息的方式作为检索结果信息对数字相机1发送(步骤S7)。此时,例如信息检索服务器21,读出在检索要求信号通过收发讯部12从数字相机1发送时所附加的数字相机1在网路上的位址,并对此位址发送检索结果信息。
此外,上述步骤S7中,信息检索服务器21在储存于数据库22的使用者登录表中,亦可仅在检测出检索要求信号所含的相机识别信息已登录于上述使用者登录表时,根据检索要求信号所含的位置信息及方位信息从数据库22的地图数据抽出检索对象的建造物。此时,信息检索服务器21在检测出检索要求信号所含的相机识别信息未登录于上述使用者登录表时,例如只要根据相机识别信息将需要使用者登录的信息对数字相机1发送即可。
接着,数字相机1中,当控制部11通过收发讯部12从信息检索系统2接收上述检索结果信息后,如图5所示通过显示部17在信息显示栏SP显示建物信息(步骤S8)。例如,当建造物为餐厅时,即会显示是何种种类(中式、和风、法式、义式等)的餐厅的信息、餐厅的电话号码、地址等。此外,图5所示的信息显示栏SP仅为本实施形态的一例,亦可在上述餐厅的影像重叠信息显示栏SP的一部分来显示。又,信息显示栏SP是上述影像显示栏MP的一部分,借由触碰例如上述浏览图像I1或后述的CM图像I2等并选择后来显示。
又,当使用者触碰CM图像I2后,上述周边电路则将表示已选择CM图像I2一事的信号输出至控制部11。
借此,控制部11借由被输入已选择上述CM图像I2一事的信号,检测出已选择CM图像I2一事,并将检索结果信息所包含的餐厅广告信息(菜单、座位数、店内影像、主厨今日的推荐料理等)通过显示部17显示于信息显示栏SP。又,当该广告信息包含店内影像等的影像数据时,控制部11将该影像数据显示于信息显示栏SP。
又,当使用者触碰投稿阅览图像I3时,上述周边电路则将表示已选择投稿阅览图像I3一事的信号输出至控制部11。
借此,控制部11借由被输入已选择投稿阅览图像I3一事的信号,检测出已选择投稿阅览图像I3一事,并将检索结果信息所包含的其他使用者写入的投稿信息(评论)通过显示部17显示于信息显示栏SP。又,当上述投稿信息有多个时,控制部11例如依照所投稿的日期顺序将多个投稿信息显示于信息显示栏SP。
当该投稿信息亦包含影像数据,如包含其他使用者所拍摄的各料理的照片或店内部的影像数据时,控制部11将该影像数据通过显示部17显示于信息显示栏SP。
接着,在图5中,控制部11例如检测出表示以从信息显示栏SP左端往右方向滑动的方式触碰一事的信号时,即结束信息显示栏SP的显示,而如图4所示于影像显示栏MP通过显示部17显示上述餐厅的影像。此外,控制部11例如亦可在信息检视栏SP显示投稿信息的显示中,检测出表示选择了投稿阅览图像I3一事的信号时,即结束信息显示栏SP的显示或投稿信息的显示。
又,控制部11例如亦可在信息显示栏SP显示建物信息后显示广告信息(或投稿信息)时,与建物信息一起显示广告信息,亦可在从信息显示栏SP删除建物信息后显示广告信息。
此外,控制部11在检测出表示已触碰显示于信息显示栏SP的该店内影像等一事的信号时,即将该店内影像的放大影像或缩小影像显示于信息显示栏SP(或影像显示栏MP)。
又,当使用者触碰邮件图像I4后,上述周边电路则将表示已选择邮件图像I4一事的信号输出至控制部11。
借此,控制部11借由被输入显示已选择上述邮件图像I4一事的信号,检测出已选择邮件图像I4一事,并将如图6所示的输入栏IP通过显示部17显示于影像显示栏MP的一部分。此处的输入栏IP,由供使用者输入信息等的文字栏T、触碰画面型键盘部K构成。此输入栏IP是供使用者输入后述投稿信息、店铺名称或年度时等使用。
使用者使用触碰画面型键盘部K在输入栏IP的文字栏T写入本身吃过的料理、店内的气氛、或店员的服务品质等投稿信息。接着,使用者借由再度触碰邮件图像I4,控制部11即检测出已选择邮件图像I4一事,而将记载于文字栏T的文字信息及显示于影像显示栏MP的影像数据与相机识别信息及建造物识别信息一起作为投稿信息,通过收发讯部12将包含该投稿信息的检索要求信号发送至信息检索系统2。
接着,当信息检索服务器21从数字相机1接收上述检索要求信号后,即对数据库22的建造物表的投稿栏写入与建造物识别信息对应输入的新投稿信息。此外,信息检索服务器21在将写入于投稿写入栏(文字栏T)的投稿信息写入数据库22的建造物表的投稿栏前,亦可在数据库22的使用者登录表中,仅在检测出检索要求信号所含的相机识别信息的有无、检测出已登录有相机识别信息时,将上述投稿信息写入数据库22的建造物表的投稿栏。
其次,控制部11进行是否已选择结束图像E的检测(步骤S9)。此处,当使用者触碰上述结束图像E后,上述周边电路则将表示已选择结束图像E一事的信号输出至控制部11。
接着,控制部11借由被输入已选择结束图像E一事的信号,检测出已选择结束图像E一事时,即结束信息检索的处理。
另一方面,控制部11在未被输入表示已选择结束图像E一事的信号而未检测出已选择结束图像E一事时,即将处理返回步骤S1,继续数字相机1的摄影处理及信息检索处理。
又,控制部11亦可在选择浏览图像I1时,使发送至信息检索系统2的检索要求信号包含所拍摄的影像数据。接着,信息检索服务器21亦可借由从地图数据抽出的建造物的建造物识别信息,通过影像辨识比较从建造物表检索的建造物信息的周边影像数据与所发送的影像数据,并从影像数据抽出特征量,与所储存的周边影像数据的特征量比较,检测是否为设定了类似度的数值以上,借此判定是否对应于所拍摄的建造物。
此时,当判定周边影像数据的建造物与影像数据的建造物为非相同而作为比较结果时,信息检索服务器21,亦可借由位置信息及方位信息从地图数据抽出距离次一接近的建造物,并再度进行特征量的比较,并进行新抽出的建造物的周边影像数据与拍摄中的影像数据的类似性的评价。
此外,本实施形态的浏览图像I1,亦可与上述摄影钮B1同样地作为浏览钮(未图示)设于摄影装置1。此时,上述浏览钮的功能与上述浏览图像I1的功能相同。又,本实施形态的摄影钮B1,亦可借由操作未图示的切换部来发挥浏览钮的功能。此时则不需要浏览图像I1或浏览钮。
<以数字相机1拍摄后的影像的信息检索>
其次,使用图1及图7、以及图4至图6说明本实施形态的动作。图7在借由数字相机1拍摄建造物后,读出储存于存储部15的影像数据,并对该影像数据进行信息检索的情形下,显示本实施形态的信息检索处理的动作例的流程图。
以下说明中,表示例如使用者一边徘徊于新宿的闹区,一边寻找吃晚餐的餐厅,并在拍摄数个餐厅的影像数据后从其中寻找用餐的餐厅的状态例。
使用者一边徘徊于闹区,一边将数字相机1朝向具有中意外观的餐厅(步骤S11),之后当发现欲进行信息检索的外观的餐厅时,即按下设于数字相机1的摄影钮B1(快门)(步骤S12)。此处,控制部11将摄影部13拍摄中的影像数据如图4所示般于显示部17的影像显示栏MP显示拍摄中的餐厅的影像数据。
其次,借由使用者按下摄影钮B1,周边电路即对控制部11输出表示已按下摄影钮一事的信号。
接着,控制部11借由被输入表示已按下摄影钮B1一事的信号,检测出已按下摄影钮B1一事,并对摄影部13拍摄中的上述餐厅的影像数据赋予影像识别信息,与该影像识别信息对应地将影像数据与摄影时刻写入存储部15并加以储存(步骤S13)。
接着,控制部11在摄影钮B1被按下的时点,将GPS14所取得的位置信息与方位感测器16所取得的方位信息与上述影像识别信息对应地写入存储部15并加以储存(步骤S14)。
其次,当使用者欲进行拍摄的餐厅的信息收集时,使用者即触碰已拍摄影像的读出图像R。借此,周边电路即对控制部11输出表示已选择读出图像R一事的信号。此处,控制部11借由是否被输入表示已选择读出图像R一事的信号,来进行于存储部15是否储存有影像的判定(步骤S15)。
此时,当被输出表示已选择读出图像R一事的信号时,控制部11即检测出已选择读出图像R一事,并开始信息的搜索,因此将处理往步骤S16推进。此外,读出图像R亦可作成读出钮(未图示)。此时,读出钮只要如摄影钮B1般设于数字相机1本体即可。
另一方面,当未输入表示已选择读出图像R一事的信号时或于存储部15未储存有图像时,控制部11由于即进行新的影像处理,因此将处理返回至步骤S11。
接着,控制部11在使用者触碰读出图像R而从周边电路被输入表示已选择读出图像R一事的信号后,即从存储部15依时间序列拍摄的顺序依序读出影像数据(步骤S16),并将影像数据作为照片影像依照预先设定的各张数(或将影像数据依各张)通过显示部17显示于影像显示栏MP。
又,当照片影像难以进入一页时(或依各张显示时),若使用者将显示于影像显示栏MP的影像以滑动于既定方向的方式触碰时,即将前页或次页的照片影像显示于影像显示栏MP。此时,控制部11借由检测出表示已将显示于影像显示栏MP的影像以滑动于既定方向的方式触碰一事的信号,即将前页或次页的照片影像通过显示部17显示于影像显示栏MP。
其次,使用者例如借由触碰从照片影像中选择有兴趣的餐厅的影像,进而触碰浏览图像I1后,周边电路即将所选择的影像识别信号与表示已选择浏览图像I1一事的信号对控制部11输出。
借此,控制部11当被输入表示已按下浏览图像I1一事的信号后,借由所选择的影像数据的影像识别信息,从存储部15读出与该影像识别信息对应的位置信息及方位信息,并将包含相机识别信息、位置信息及方位信息的检索要求信号通过收发讯部12往信息检索系统2发送(步骤S17)。
以下的步骤S6~S8的处理,由于与图3的步骤S6~步骤S8的处理相同,因此省略说明。其次,控制部11进行是否已选择结束图像E的检测(步骤S18)。此时,控制部11,当通过使用者触碰结束图像E而从周边电路输入表示已选择结束图像E一事的信号时,即结束浏览的处理。另一方面,控制部11在未被输入表示已选择结束图像E一事的信号时,即将处理返回步骤S16,继续来自照片影像的影像的选择处理。
<来自已输入数字相机1的店铺信息的信息检索>
其次,使用图1及图8、以及图4至图6说明本实施形态的动作。图8显示在使用者对数字相机1输入店铺名称,借此从储存于数据库22的对应店铺名称的图2的建造物表,欲进行所输入的店铺名称的餐厅等的信息检索时,本实施形态的信息检索处理的动作例的流程图。
以下说明中,显示例如欲在原宿吃晚餐时,欲确认从朋友听说的餐厅的信息的状态。当使用者借由触碰选择检索图像I5后,上述周边电路则将表示已选择检索图像I5一事的信号输出至控制部11。
借此,控制部11借由被输入表示已选择检索图像I5一事的信号,检测出已选择检索图像I5一事,并将如图6所示的输入栏IP通过显示部17显示于影像显示栏MP的一部分。
接着,使用者对输入栏IP的文字栏T使用触碰画面型键盘部K写入欲进行检索的餐厅的店铺名称(步骤S21),使用者再度触碰检索图像I5(步骤S22)。
借此,周边电路将表示已选择检索图像I5一事的信号与输入在文字栏T的店铺名称的文字数据对控制部11输出。接着,控制部11借由表示已选择检索图像I5一事的信号的输入,检测出已选择检索图像I5一事,读入输入于上述文字栏T的店铺名称的数据,并与自身的相机识别信息一起作为检索要求信号,通过收发讯部12将此检索要求信号对信息检索系统2发送(步骤S23)。
其次,当服务器21输入上述检索要求信号后,即从数据库22中的建造物表读出与上述店铺名称对应的建造物(店铺)的信息(店铺信息、图2的表中的各信息)(步骤S24)。
在读入上述店铺信息后,服务器21即将该取得的上述店铺信息往数字相机1发送(步骤S25)。
当通过收发讯部12接收店铺信息后,控制部11即通过显示部17在图5的影像显示栏MP显示建物信息所含的店铺周边的影像数据,且在信息显示栏SP显示建物信息(步骤S26)。例如显示餐厅是何种种类(中式、和风、法式、义式等)的餐厅的信息与电话号码等。
又,当使用者借由触碰选择CM图像I2后,控制部11即检测出已选择CM图像I2一事,并将检索结果信息所包含的餐厅广告信息(菜单、或主厨今日的推荐料理等)通过显示部17显示于信息显示栏SP。
又,当使用者借由触碰选择投稿阅览图像I3后,周边电路则将表示已选择投稿阅览图像I3一事的信号输出至控制部11。
控制部11借由被输入表示已选择投稿阅览图像I3一事的信号,检测出已选择投稿阅览图像I3一事,并将检索结果信息所包含的其他使用者写入的投稿信息通过显示部17显示于信息显示栏SP。
此外,当有多个投稿信息时,控制部11将该多个投稿信息依序通过显示部17显示于信息显示栏SP。又,控制部11,当投稿信息亦包含影像数据时,将该影像数据通过显示部17显示于信息显示栏SP。
接着,控制部11进行是否已选择结束图像E的检测(步骤S27)。此结束图像E的选择的检测,由于与<以数字相机1拍摄中的影像的信息检索>中的(图3中的)步骤S9的处理相同,因此省略说明。
此时,控制部11在从周边电路被输入表示使用者已借由触碰结束图像E而选择结束图像E一事的信号时,即结束浏览的处理。另一方面,控制部11当未被输入表示已选择结束图像E一事的信号时,即将处理返回步骤S21,而继续店铺信息的检索。
<对登录于数据库22的店铺的收费处理>
数据库22的建造物表,亦可在上述建造物为店铺(亦包含餐厅或公司)时,依该各店铺储存有折扣优惠券的数据。
接着,服务器21于检索结果信息附加折扣优惠券信息,并往数字相机1发送。
使用者当使用上述折扣优惠券信息用餐或购物时,信息检索服务器21,根据有否使用折扣优惠券信息来检测使用者有否有用餐或购物。例如,当上述折扣优惠券信息显示于数字相机1的信息显示栏SP的条码(包含二维条码)等时,由店铺的读取机读取该条码,将从数字相机1发送的相机识别信息及购物(或用餐)的费用与显示已使用折扣优惠券一事的利用信息往信息检索系统2发送。
借此,当信息检索服务器21接收上述利用信息后,即从数据库22读出与附加于该利用信息的相机识别信息对应的历程信息,而在信息的利用阶段中(进行信息检索而利用该店铺?或观看店铺所提供的信息而利用该店铺?或观看投稿信息而利用该店铺等的信息),亦即以与将数据库22的信息利用至何种程度对应的信息提供费,对使用者所利用的店铺进行不同的收费。又,信息检索服务器21将依照各相机识别信息进行了信息检索的阶段及利用了折扣优惠券信息的历程写入储存于数据库22的历程表。
在该条码包含显示店铺的建造物识别信息。在数据库22设有收费表,其储存与该建造物识别信息对应的对应于各店铺的收费历程与收费的累计值。
接着,信息检索服务器21对应于建造物识别信息,将与所利用的金额及上述信息的利用阶段对应的收费作为历程写入上述收费表,并加算新的收费于累计值以进行累计值的更新。
<对使用者的点数的附加处理>
信息检索服务器21,就使用者每次在店铺利用折扣优惠券信息而使用折扣优惠券信息时的利用金额所对应(例如将利用金额乘以点数系数所计算出者)的点数,在数据库22的使用者登录表中将求出的点数对应于相机识别信息予以累计。
又,信息检索服务器21将针对发送投稿信息来的使用者预先设定的数值的点数对应于相机识别信息累计于上述使用者登录表。上述点数亦可代替金钱,在支付价款中与折扣优惠券信息一起使用。
<投稿信息的显示顺序>
此处,信息检索服务器21,亦可在最初阶段将昵称与标题作为投稿信息与投稿识别信息一起对数字相机1发送。接着,控制部11最初是于信息显示栏SP仅显示多个昵称与标题。接着,使用者则从该多个显示者中,触碰选择有兴趣的投稿信息的昵称与标题。借此,周边电路则将显示已选择昵称与标题一事的信号与已选择的投稿信息的投稿识别信息对控制部11发送。
借此,控制部11对信息检索系统2发送投稿识别信息与投稿信息发送要求。
借此,信息检索服务器21将与所发送的投稿识别信息对应的文字数据及影像数据(投稿信息整体)对数字相机1发送。此处,信息检索服务器21对各投稿信息赋予用以识别的投稿识别信息,并与相机识别信息对应地写入使用者登录表而加以储存。
此外,本实施形态中,控制部11亦可在通过收发讯部12接收来自信息检索系统2的文字数据及影像数据后,于信息显示栏SP显示文字数据,并将影像数据显示于影像显示栏MP。
又,信息检索服务器21在使用者登录表中,从使用者登录表检索与所参照的投稿信息对应的投稿识别信息,并增加与该投稿识别信息对应的相机识别信息的参照次数。
接着,信息检索服务器21在使用者选择投稿信息的最初的昵称及标题的显示阶段,将依照投稿信息的被选择次数多寡顺序,亦即参照次数较多的使用者的昵称与标题显示于信息显示栏SP的顺位为上位的显示表,往数字相机1发送。
借此,控制部11即依照上述显示表,于信息显示栏SP依序显示昵称与标题。
<过去的影像数据的显示处理>
又,本实施形态中,数据库22亦可具有过去影像表,其将依各年度拍摄各纬度经度的建物及风景的影像数据对应于各经度纬度而予储存。
当使用者借由触碰选择过去影像图像I6后,上述周边电路则将表示已选择过去影像图像I6一事的信号输出至控制部11。
借此,控制部11借由被输入表示已选择过去影像图像I6一事的信号,检测出已选择过去影像图像I6一事,并将如图6所示的输入栏IP通过显示部17显示于影像显示栏MP的一部分。
接着,使用者使用触碰画面型键盘部K于文字栏T写入年度(例如西元)后,即触碰过去影像图像I6(或浏览图像I1)。
借此,周边电路将表示已选择过去影像图像I6一事的信号与上述年度的文字数据往控制部11发送。当控制部11检测出显示已选择过去影像图像I6一事的信号后,即读入文字数据(显示被写入于文字栏T的年度)。
在读入年度的数据后,控制部11即将过去影像检索要求与读入的年度、位置信息、方位信息、相机识别信息一起往信息检索系统2发送。
其次,在信息检索系统2中,信息检索服务器21选择与基于建造物的位置信息(从显示于影像显示栏MP的数字相机1所接收)的纬度经度对应的过去影像表。接着,信息检索服务器21读入该选择的过去影像表中与方位信息及年度对应的影像数据,并将读出的影像数据发送至数字相机1。数字相机1将与从信息检索服务器21接收的上述年度对应的影像数据通过显示部17显示于影像显示栏MP。此外,信息检索服务器21,当有对上述读出影像数据的附加信息时,将读出影像数据与该信息发送至数字相机1。
借此,使用者可得到过去各年度有何种建造物,或仅有风景而无其他影像等的信息。
此处,信息检索服务器21当无法检索对应的纬度经度的过去影像表时,即检索位于方位信息的方向的纬度经度且为最接近的纬度经度的过去影像表,从该表进行影像数据的抽出。
又,若检索对象的年度是无照片的时代,亦可将该时代所描绘的风景画或凭想象作成的CG(Computer Graphics)的影像数据代替照片的影像数据,与年度对应地储存于存储部15的上述过去影像表。
<AR(Augmented Reality:扩张现实)信息的显示处理>
如已述般,图1的构成中,控制部11将从GPS14得到的显示数字相机1自身的存在位置的纬度经度信息(位置信息)、以方位感测器16(方位角检测部)得到的显示数字相机1的光学轴方向(所摄影的方向)的方位角所构成的方位信息等,对摄影部13拍摄被摄体后的影像数据附加影像识别信息,并依摄影顺序写入存储部15。
对于此图1的构成,如图9所示,作为AR信息的取得及储存用的功能而新附加了保持控制部31与AR信息存储部30。图9显示具有取得及储存AR信息的功能的信息取得系统构成例的方块图。
本实施形态的AR信息,是显示图2所示的建物表所示的各种信息(与被摄体相关的信息)。例如,AR信息包含用以识别建造物的建造物识别信息、建造物的名称即建造物名称、建造物信息(地址、电话号码、种类、以建造物为中心的周边影像数据等信息)、建造物的纬度经度等的位置信息、建造物的说明(若是店铺则为该店铺所记载的信息)、投稿信息(曾造访过的使用者的评价等评论及使用者所投稿的影像数据等)。此处,建物识别信息亦可是显示储存有建造物信息的场所的URL。
控制部11,亦可构成为由使用者任意设定是否要将此AR信息中的任一者设为对通过影像(拍摄被摄体后的影像)的影像数据重叠显示的标志(扩张现实的物件)。
此处,所谓通过影像,是将摄影部13成像于摄影元件的影像连续地作为影像数据往控制部11输出,控制部11依序显示于显示部17的影像数据。
保持控制部31检测要求AR信息的保持的动作。换言之,保持控制部31检测使摄影部13成像于CCD等元件而显示于显示部17的影像数据与位于此影像数据内(位于影像的视角内)的AR信息储存于AR信息存储部30的保持时点。此外,AR信息存储部30亦可作成设于信息检索系统2的构成。
此处,控制部11预先使显示焦距及倍率等与视角的对应的表储存于存储部15,借由在取得影像数据时的焦距及倍率等求出影像的视角信息。
图10显示建物T1至T4的现实影像(通过影像)与作为记载有该建物T1至T4各个的AR信息的扩张现实的物件的标志(例如记载有作为扩张现实的建造物信息的标志)TB1、TB2、TB3、TB4的影像的在显示部17的合成影像(AR影像)的图。
又,本实施形态中的数字相机1有取得AR信息的AR信息取得模式或通常摄影模式。控制部11借由设于数字相机1壳体的AR信息取得模式的按钮(AR信息取得钮ARB1)的按下、或触碰显示于显示部17的AR信息取得模式的图像(AR信息取得图像ARI1),控制部11,借由检测出来自开关的信号而检测出按钮的按下或借由触碰感测器检测出显示部17中的图像的触碰,来进行设为AR信息取得模式或通常摄影模式的任一者的控制。
又,本实施形态中的数字相机1具有在AR信息取得模式的情形下将AR信息作为标志显示(合成影像数据与AR信息的扩张现实的物件)的模式(AR显示模式)或非显示(仅显示影像数据)的模式(AR非显示模式)。控制部11借由设于数字相机1壳体的显示/非显示按钮(AR切换纽ARB2)的按下而产生来自开关的信号、或显示于显示部17的显示/非显示图像(AR切换图像ARI2)的触碰,控制部11借由感测器检测出按钮的按下或图像的触碰,而进行设为显示或非显示的任一者的控制。
此处,在显示部17,在显示元件上设有透明的触碰感测器,在触碰图像后,借由已触碰该处碰感测器,而将被触碰的区域的座标值作为检测信号往控制部11发送。控制部11能使触碰感测器的座标与显示的显示元件的座标一致,借由检测信号的座标值判定显示中的影像(显示于显示部17的图像显示任一应用程序的启动等?或识别作为缩图影像显示的影像数据的影像识别信息等)。
控制部11,每于数字相机1的方位角(方位信息)变化时,将被保持时显示于显示部17的拍摄影像数据后的纬度经度信息(位置信息)、方位信息及视角信息与AR信息取得要求一起通过收发讯部12往信息检索系统2发送。此外,控制部11亦可借由定期地或使用者的指示,将位置信息及AR信息取得要求通过收发讯部12往信息检索系统2发送,来取得AR信息。又,控制部11亦可借由定期地或使用者的指示,将借由保持控制部31保持的影像数据及AR信息取得要求通过收发讯部12往信息检索系统2发送,来取得AR信息。
此处,控制部11针对方位角的变化,就既定周期检测方位角,当方位角从已储存于存储部15的方位角存储部的方位角超过预先设定的角度而变化时,即检测为方位角的变化,使此时点的方位角新储存于方位角存储部。
信息检索服务器21在从数字相机1接收AR信息取得要求后,即根据附加于AR信息取得要求的纬度经度信息、方位信息及视角信息,从视角信息求出已求出的纬度经度信息所显示的纬度经度的座标位置至检索AR信息的纬度经度的座标位置为止的检索距离。
又,信息检索服务器21从记载有视角信息与对应该视角的检索距离的数据库22的检索距离表读出对应视角信息的检索距离,借此求出AR信息的检索距离。
图12显示检索建造物的AR信息的检索范围的图。
接着,信息检索服务器21借由基于纬度经度信息的座标位置、数字相机1的透镜的光轴的方位角、检索距离,求出图12所示的检索范围,从数据库22的地图数据读出位于此检索范围的建造物识别信息。
又,信息检索服务器21借由已读出的建造物识别信息,从数据库22内的建造物表读出建造物的AR信息。
信息检索服务器21将已读出的AR信息与对应的建造物识别信息一起对数字相机1发送。
借此,控制部11对基于数字相机1的纬度经度信息的座标值,配合基于AR信息所含的纬度经度信息所示的纬度经度信息的座标值,于影像数据(通过影像)叠合此AR信息的标志(扩张现实的物件)的影像而合成,在显示部17以图10所示的状态显示。
又,控制部11在从保持控制部31接收保持控制信号后,即将被保持时的纬度经度信息、方位信息及视角信息与因AR信息取得要求而从信息检索系统2发送的AR信息及识别此AR信息的建造物的建造物识别信息,就保持时的影像数据的各影像识别信息进行对AR信息存储部30记录的处理。
图11显示储存于图9中的AR信息存储部30的AR信息表的构成的图。AR信息表是就各影像识别信息储存于AR信息存储部30。
控制部11,将如上述就各影像识别信息生成,建造物识别信息(显示储存有建造物的AR信息的场所的URL)、此建造物的AR信息(包含纬度经度信息)、被输入保持控制信号而被保持时的数字相机1本身的纬度经度信息、方位信息及视角信息对AR信息存储部30作为AR信息表写入储存。
又,控制部11在被输入保持控制信号后,则使在该时点成像于摄影部13的摄影元件的影像数据与对此影像数据赋予的影像识别信息对应地写入存储部15并加以储存。
此处,作为用以指示保持AR信息的输入的动作,保持控制部31例如具有检测手段(检测借由按下设于数字相机1壳体的AR信息取得钮ARB1而产生的来自开关的信号)、或由触碰感测器检测已触碰显示于显示部17的显示AR信息取得的图像(AR信息取得图像ARI1)一事的检测手段等。
接着,保持控制部31在被按下AR信息取得钮时或显示AR信息取得的图像被触碰时,即检测出记录影像数据与AR信息的信号已被输入,对控制部11输出进行保持控制的保持控制信号。如此,保持控制部31借由使用者对数字相机1的作用(动作、操作、动作),检测出记录影像数据与AR信息的信号已被输入,对控制部11输出进行保持控制的保持控制信号。
又,保持控制部31,例如,作为保持AR信息的动作,亦可借由加速度感测器检测出数字相机1被急遽地移动(为了易看清楚画面而将数字相机1朝向下方、挥动等的动作),并将此检测时点作为保持的时点。
在使用上述加速度感测器的加速度检测中,保持控制部31在从加速度感测器被供应预先设定的阈值以上的加速度数据后,即作为保持指示的控制信号,将保持控制信号对控制部11输出。如此,保持控制部31借由终端(例如数字相机1)的作用,检测出记录影像数据与AR信息的信号已被输入,对控制部11输出进行保持控制的保持控制信号。
又,保持控制部31,例如,作为保持AR信息的动作,亦可借由在预先设定的检测范围的时间内移动了检测影像特征点而由此特征点预先设定的距离来检测,或借由摄影元件输出的影像数据的对比已超过预先设定的差分而变化,检测出影像数据中的影像图案的变化,并将此检测时点作为保持的时点。
在上述影像图案的变化的检测中,保持控制部31在检测出预先设定的阈值以上的影像图案的变化后,将保持控制信号作为进行保持控制的控制信号对控制部11输出。
又,保持控制部31,例如,作为保持AR信息的动作,亦可使用仰角感测器检测出数字相机1的角度急遽变化(借由为了易看清楚画面而将数字相机1朝向下方、挥动等的动作而移动),并将此检测时点作为保持的时点。
在使用上述仰角感测器的仰角信息的检测中,保持控制部31在从仰角感测器被供应预先设定的阈值以上的仰角变化后,即将保持控制信号作为进行保持控制的控制信号对控制部11输出。如此,保持控制部31借由终端(例如数字相机1)的作用,检测出记录影像数据与AR信息的信号已被输入,对控制部11输出进行保持控制的保持控制信号。
又,控制部11,在指示使用上述的加速度感测器、影像图案的变化及仰角感测器的保持的动作时,由于取得在接收保持控制信号时的影像数据所对应的AR信息,因此需使每次AR信息取得要求所得的影像数据及对应此影像数据的建造物识别信息与此建造物的AR信息、纬度经度信息、方位信息及视角信息在既定时间内、例如1秒间储存于AR信息存储部30的缓冲部。
因此,控制部11,将对应AR信息取得要求的影像数据及对应此影像数据的建造物识别信息与此建造物的AR信息、纬度经度信息、方位信息及视角信息在既定时间内、例如1秒间储存于AR信息存储部30的缓冲部并加以储存(快取)。
接着,控制部11在被输入保持控制信号后,接受保持控制信号前一刻或预先设定的时间前的AR信息取得要求时,即将从信息检索系统2得到而储存于缓冲部的、就对应影像识别信息的各AR信息取得要求所得到的影像数据及对应此影像数据的建造物识别信息与此建造物的AR信息、纬度经度信息、方位信息及视角信息,作为附加了时刻信息的AR信息表对AR信息存储部30写入并加以储存。
又,控制部11将影像数据与此影像识别信息一起写入存储部15并加以储存。
又,控制部11及保持控制部31亦可构成为即使设定为AR显示设为非显示的非显示模式,亦进行AR信息的取得或AR信息的保持处理。
借由上述的处理,控制部11在显示使保持的影像的AR信息时,借由基于AR显示确认的钮(AR切换钮ARB2)(设于数字相机1壳体)的按下的指示信号、或基于AR显示确认的图像(AR切换钮ARI2)(显示于显示部17)的触碰的指示信号,比较来自储存于AR信息存储部30的AR信息表的时刻信息与内部时钟的时刻,从AR信息存储部15选择最新时刻的AR信息表并读出,而与从信息检索系统2发讯时同样地于显示部17将影像数据与AR信息的标志一起显示。此外,控制部11亦可定期地从信息检索服务器21取得上述最新时刻的AR信息表,亦可根据上述指示信号从信息检索服务器21取得上述最新时刻的AR信息表。又,控制部11在AR信息取得模式的情形,亦可借由接收使保持时的保持控制信号而显示使保持的影像的AR信息。
又,控制部11亦可构成为从存储部15读出储存于AR信息存储部30的影像识别信息所对应的影像数据,并将所读出的影像数据的缩图影像显示于显示部17。控制部11亦可构成为借由使用者触碰显示于显示部17的该缩图影像而选择影像数据。控制部11借由与所选择的缩图影像被赋予对应关系的影像识别信息,从AR信息存储部30读出此影像识别信息的AR信息表,并对显示部17进行显示。
此时,如上所述,使用者能选择AR信息的显示/非显示。
此处,控制部11只要将记载于建造物表的用以识别建造物的建造物识别信息、建造物的名称即建造物名称、建造物信息、建造物的纬度经度等的位置信息、建造物的说明、投稿信息全部作为AR信息储存于存储部15等,即使在与无线基地台3的无线不通的场所,亦即离线的情形,控制部11亦能对储存于AR信息存储部30的影像数据如图1所示地附加AR信息的标志并显示于显示部17。
又,只要非在离线下使用,控制部11亦可构成为先将为了AR信息取得要求所必需的数字相机1的纬度经度信息、方位角信息及视角信息作为AR信息表加以储存,而在选择影像数据时再度对信息检索系统进行AR信息取得要求。
借由上述的构成,使用者即使不将数字相机1的摄影方向朝向欲取得AR信息的方向,例如即使在将数字相机1置于桌上而观看显示部17画面的状态下,亦能一边观看欲取得AR信息的方向的影像数据、一边确认AR信息。
又,控制部11在成为AR信息取得模式的情形下,从保持控制部31接收保持控制信号后,即将用以催促输入使用者ID的显示与显示有英文字母及数字的按键的图像一起显示使用者ID写入栏。
借由使用者触碰显示有英文字母及数字的按键的图像,控制部11即检测出对应的文字数据并写入内部缓冲体,且于使用者ID写入栏显示内部缓冲体的文字数据。
接着,控制部11借由检测出位于显示有英文字母及数字的按键的图像的输入(enter)键已被触碰,而将内部缓冲体的文字列固定为使用者ID。
控制部11于AR信息表附加储存于内部缓冲体的使用者ID并加以储存。
在使用者欲参照AR信息时而选择影像数据后,即将用以催促输入使用者ID的显示与显示有英文字母及数字的按键的图像一起显示使用者ID写入栏。
借由检测出显示有英文字母及数字的按键的图像已被触碰,控制部11即检测出对应的文字数据并写入内部缓冲体,且于使用者ID写入栏显示内部缓冲体的文字数据。
接着,控制部11借由检测出位于显示有英文字母及数字的按键的图像的输入键已被触碰,而进行对应内部缓冲体的文字列的使用者ID、及与所选择的影像数据的影像识别信息对应的AR信息表被附加的使用者ID的比较。
控制部11,在使用者输入的使用者ID与附加于AR信息表的使用者ID为相等时,即于显示部17进行将影像数据与AR信息合成的影像(AR影像)的显示,另一方面,在与附加于AR信息表的使用者ID为相异时,即仅显示影像数据。
借由此构成,数字相机1能依各影像特定使用者(或使用者ID)并进行AR信息的显示。
又,控制部11在不显示其他使用者登录于信息检索系统2的AR信息或其他使用者已取得的AR信息而欲显示自身登录的AR信息或自身取得的AR信息时,将使用数字相机1的使用者作为使用者表如通讯录般预先存放于存储部15或数据库22,在欲参照AR信息的图像(AR切换图像ARI2)被触碰后,控制部11即将从使用者表取得的使用者名的名单(或使用者ID的名单)显示于显示部17。
接着,亦可构成为,在使用者从此名单触碰自身的使用者ID后,控制部11即从AR信息存储部30读出附加有与此被触碰的使用者ID相同的使用者的AR信息表,从存储部15读出具有与此AR信息表的影像识别信息相同的影像识别信息的影像数据并作为缩图影像显示于显示部17。此外,亦可构成为,控制部11在显示有上述名单的状态下,基于其他使用者已被选择的信号,从AR信息存储部30读出附加有与该其他使用者ID相同的使用者的AR信息表,从存储部15读出具有与此AR信息表的影像识别信息相同的影像识别信息的影像数据并作为缩图影像显示于显示部17。
又,亦可构成为,控制部11在使各影像识别信息的AR信息表储存于AR信息存储部30时,不仅从信息检索系统2接收的AR信息,亦对此AR信息附加与AR信息建立关联的参数或摄影时日(时刻信息)作为AR关联信息,与各建造物识别信息对应地储存于AR信息表。
借此方式,例如使用者在使10年前的影像数据、AR信息及AR关联信息显示于显示部17时,按下显示于显示部17的AR日期检索的图像(AR日期检索图像ARI3)后,控制部11即借由感测器检测出已按下AR日期检索的图像,并将输入日期的输入栏与显示有英文字母及数字的按键的图像一起显示于显示部17。
接着,在使用者借由显示有英文字母及数字的按键的图像对输入栏输入日期后,控制部11即从AR信息存储部30检索附加有与此日期相同的日期的AR信息表并抽出。
接着,控制部11读入与被抽出的AR信息表对应的影像识别信息,从存储部15读入此影像识别信息的影像数据,并作为缩图影像显示于显示部17。
借由使用者触碰显示于显示部17的缩图影像,控制部11借由显示部17的感测器检测出该缩图影像已被触碰,侦测被触碰而被选择的影像数据的影像识别信息。
接着,控制部11从存储部15读出与被选择的影像数据的影像识别信息对应的影像数据并显示于显示部17。
进而,控制部11读入与影像识别信息对应的AR信息表,并将AR信息及AR关联信息叠合于先前显示的影像数据而成的合成影像(AR影像)显示于显示部17。
借由上述的构成,使用者能通过显示部17观看10年前的影像数据与位于此影像数据的建造物的10年前的AR信息。
又,借由触碰显示于显示部17的现在的AR信息显示图像(AR切换钮图像ARI2),控制部11即借由触碰感测器的检测信号侦测出现在的AR信息显示图像已被触碰,并从AR信息存储部30抽出此影像数据的影像识别信息的AR信息表。
接着,控制部11从AR信息表附加在现在至过去的期间(本实施形态的情形为10年间)取得AR信息时的纬度经度信息、方位信息及视角信息,并对信息检索系统2附加AR信息检索要求。此外,控制部11亦可从信息检索系统2取得现在至过去的期间(本实施形态的情形为10年间)的所有AR信息。
信息检索服务器21在从数字相机1接收AR信息检索要求后,即从数据库22的地图数据抽出借由附加于此AR信息取得要求的纬度经度信息、方位信息及视角信息所求的检索范围中的建造物的建造物识别信息。
接着,信息检索服务器21从数据库22的建造物表读出与建造物识别信息对应的建造物的AR信息,并对数字相机1发送。
借此,控制部11对过去的影像数据重叠现在位于该处的建造物的AR信息来显示。
借由此构成,能容易地确认过去与现在的建造物的变迁。
又,在被摄体的摄影当时(例如10年前)的AR信息依时日顺序等保存于信息检索系统2的数据库22时,控制部11亦可根据现在或过去的时刻信息(例如,现在、10年前等),取得该时刻信息的AR信息并显示于显示部17。使用者能从现在回朔至过去依时间序列观看与影像数据对应的AR信息。
又,在已说明的就影像数据的各影像识别信息设定使用者ID的构成中,能借由作成能附加多个使用者ID的构成来限定AR信息仅对多个友人(使用者)间揭示。又,亦可构成为就各建造物识别信息设定使用者ID并就各建造物的AR信息进行管理。此情形下,设定进行使用者ID写入的模式,控制部11就各建造物催促使用者ID的输入。
又,任一使用者ID均未设定时,则为公开显示,亦即为不限定观看的人(使用者),任一个人(使用者)均能观看的状态。
控制部11仅在于与所选择的影像数据对应的AR信息表附加有使用者ID时,才将输入使用者ID的栏与显示有英文字母及数字的按键的图像显示于显示部17。
如上所述,使用使用者ID的AR信息的显示的组合有以下5种类。
(1)现在(或过去)的影像数据及现在(或过去)的影像数据内的建造物的AR信息的合成影像
附加有使用者ID,能显示的使用者的限定显示
(2)现在(或过去)的影像数据及现在(或过去)的影像数据内的建造物的AR信息的合成影像
未附加有使用者ID,任一使用者均能显示的开放显示
(3)位于现在(或过去)的影像数据及现在(或过去)的影像数据的检索范围中的现在建造物的AR信息的合成影像
附加有使用者ID,能显示的使用者的限定显示
(4)位于现在(或过去)的影像数据及现在(或过去)的影像数据的检索范围中的现在建造物的AR信息的合成影像
未附加有使用者ID,任一使用者均能显示的开放显示
(5)仅现在(或过去)的影像数据的显示(AR信息非显示)
又,控制部11能借由基于AR使用者切换图像ARI4的选择的信号切换使用了上述使用者ID的AR信息的显示。
其次,使用图13说明本发明的其他实施形态即图9的信息检索系统的动作。图13显示本发明的其他实施形态的信息检索系统的动作例的流程图。
在使用者触碰显示于显示部17的AR信息取得模式的图像(AR信息取得图像ARI1)后,控制部11检测出AR信息取得模式的图像已被触碰,将数字相机1设为AR信息取得模式。
控制部11使从摄影部13连续供应的影像数据显示于显示部17(步骤S31)。
接着,控制部11从GPS14与方位感测器16的各个分别读入显示纬度精度的座标值的纬度经度信息(位置信息)、显示数字相机1的光学轴的方位角的方位信息(步骤S32)。
此时,控制部11依据焦距及倍率,从储存于存储部15的就焦距及倍率的组合附有对应视角信息的表读出视角信息,求出对信息检索系统2进行AR信息取得要求时的数字相机1中的视角信息。
在得到纬度经度信息、方位信息及视角信息后,控制部11对AR信息取得要求赋予数字相机1的相机识别信息、纬度经度信息、方位信息及视角信息,并往信息检索系统2发送(步骤S33)。
信息检索服务器21,从数字相机1所供应的纬度经度信息、方位信息及视角信息求出建造物的检索的检索范围,从数据库22的地图数据检索检索范围内的建造物,使用在此检索范围内检索出的建造物的建造物识别信息,从建造物表读出AR信息(步骤S34)。
接着,信息检索服务器21将已读出的AR信息与此AR信息的建造物识别信息一起对与相机识别信息对应的数字相机1发送。
其次,控制部11依据自身的纬度经度信息、方位信息视角信息与检索距离(从信息检索系统2附加于AR信息而被发送)与被供应的AR信息所含的建造物的纬度经度信息,计算在显示部17的影像数据显示座标中的各建造物的座标位置,并在显示影像数据后,将影像数据中的建造物各自的AR信息作为标志显示(步骤S35)。
接着,控制部11判断从方位感测器16供应的方位角是否已变化既定角度(距离)(步骤S36)。亦即,控制部11求出从方位感测器16供应的方位角与储存于方位角存储部的方位角的差分,比较此差分与预先设定的角度(角度的阈值)。
此时,控制部11在差分已超过(或以上)既定角度(角度的阈值)而变化时,即判断为方位角已变化,使处理返回步骤S31,另一方面,在差分未超过(或以上)既定角度(角度的阈值)而变化时,即判断为方位角未变化,使处理进至步骤S37。
其次,控制部11进行是否已从保持控制部31被供应保持控制信号的判定(步骤S37)。
此时,控制部11在被输入保持控制信号后,即使处理进至步骤S38,另一方面,在未被输入保持控制信号时,即使处理返回步骤S36。
此处,保持控制部31例如比较来自加速度感测器的加速度数据与预先设定的加速度数据的阈值,在从加速度感测器供应的加速度数据超过加速度数据的阈值(或以上)时,生成保持控制信号往控制部11发送。另一方面,保持控制部31,在从加速度感测器供应的加速度数据为加速度数据的阈值以下(或未满)时,则不进行将保持控制信号往控制部11发送的处理。
接着,控制部11将从GPS14与方位感测器16的各个所取得的分别显示纬度精度的座标值的纬度经度信息(位置信息)、显示数字相机1的光学轴的方位角的方位信息写入存储部15并加以储存(步骤S38)。其次,控制部11使处理进至步骤S36(返回)。
在AR信息取得模式的情形,不论在AR信息的显示及非显示的任一者,均反复图13的流程图。
如上述,根据本实施形态,能改变数字相机1的摄影方向,亦即将摄影方向改变至与已取得AR信息的方向相异的方向,使显示部17移动至使用者最容易观看的位置,而在已取得AR信息时的影像数据中进行AR信息的确认。
例如,能保持位于影像数据(为来自东京车站北口的影像数据)的建造物的AR信息,而于餐厅的表上确认来自东京车站北口的影像数据的建造物的AR信息。又,使用者能保持从现在位置往北方向的建造物的AR信息,在保持后使数字相机1朝向与北方向相异的方向(例如地面的方向或东方向)的状态下确认所保持的影像数据的建造物的AR信息。又,本实施形态的数字相机1即使在与无线基地台3不进行通讯的离线的情形,亦能进行上述的处理。
其次,说明数字相机1的导引功能。已借由使用者而成为AR信息取得模式且影像数据及AR信息显示为标志。又,在保持AR信息后的AR信息确认模式亦能进行相同的处理。
在触碰显示于显示部17的导引图像后,控制部11即借由触碰感测器检测出已触碰导引图像,启动导引程序(导引部)。
控制部11将催促触碰(触碰要求导引的建造物的标志)的显示显示于显示部17。
在使用者触碰要求导引的建造物的标志后,控制部11检测出与被触碰的建造物的标志对应的建造物识别信息,从AR信息存储部30读入与显示中的影像数据的影像识别信息对应的AR信息表。
接着,控制部11依据此AR信息表,从与所检测出的建造物识别信息对应的AR信息读入建造物的纬度经度信息,附加数字相机1现在位置的纬度经度信息与建造物的纬度经度信息,作为导引要求对信息检索系统2发送。
信息检索服务器21在接收导引要求后,即从储存于数据库22的地图数据检索被附加的数字相机1的纬度经度信息与建造物的纬度经度信息间的最短路径(或多条路径)。
亦即,信息检索服务器21从地图数据抽出距离纬度经度信息所示数字相机1所位于的座标值最近的十字路口,作为开始十字路口。
同样地,信息检索服务器21从地图数据抽出距离纬度经度信息所示建造物所位于的座标值最近的十字路口,作为结束十字路口。
接着,信息检索服务器21依据地图数据的道路网路,生成连结开始十字路口至结束十字路口的多条道路路线的组合,选择各个组合的距离为最小的路径,例如以抽出最短路径的狄克斯特拉(Dijkstra)法等可有效率地解出已知的最短路径问题的图形理论中的算式,抽出合计距离为最小的道路路线的组合。
接着,信息检索服务器21将显示开始十字路口至结束十字路口的道路路径的地图的影像数据对已进行导引要求的数字相机1发送。此处,信息检索服务器21将地图的影像数据中的导引路径(连结开始十字路口至结束十字路口的道路路径)的显示色以与其他道路不同色生成地图的影像数据。
控制部11将所接收的地图的影像数据变更为自身的显示部17能显示的大小,将变更后的地图的影像数据显示于显示部17。
接着,控制部11将显示自身位置的标记重叠配置于对应以GPS14取得的纬度经度位置的显示于显示部17的地图的影像数据上的位置。借此,使用者能一边确认自身标记的移动,一边接受开始十字路口至结束十字路口的导引的导引服务。
又,亦可从数字相机1对其他使用者的其他数字相机发送影像数据及此影像数据的建造物的AR信息,进行与其他使用者的信息共有。
进而,亦可从数字相机1将影像数据及此影像数据内的建造物的AR信息上传至SNS(Social Networking Service,社会性网路服务)等网页,而将信息与多数个其他数字相机共有。此情形下,借由先于AR信息表附加使用者ID,仅已辨识使用者ID的使用者能在此SNS阅览或追加对应影像数据的AR信息。
此处,SNS服务器具有存放影像数据及AR信息的AR信息共有数据库。
使用者能从数字相机1对自身欲登录的影像数据及对应此影像数据的AR信息附加使用者信息,并加以登录。
此处,在使用者触碰显示于显示部17的使用者登录的图像后,控制部11即借由触碰感测器检测出已触碰图像,将登录画面显示于显示部17。于此登录画面,亦包含与使用者所取得的AR信息对应的影像数据的缩图影像与显示有英文字母及数字的按键的图像。
在此登录画面中,使用者从缩图影像选择欲登录的影像数据,输入对此影像数据的使用者ID与使用者自身的名称(或昵称)并触碰输入图像,借此控制部11即存取于SNS服务器,将此影像数据及AR信息与登录要求一起发送。
SNS服务器在接收此登录要求后,即生成使用者自身的名称(或昵称)的档案,将被登录要求的影像数据及AR信息写入AR信息共有数据库并加以储存。此档案是与图11的AR信息表相同的构成。
接着,在使用者触碰显示于数字相机1的显示部17的AR信息参照图像后,控制部11即借由触碰感测器检测出已触碰图像,将参照画面显示于显示部17。在此参照画面,亦包含显示有英文字母及数字的按键的图像。
其次,在此登录画面中,使用者借由触碰显示有英文字母及数字的按键的图像来输入欲参照的使用者名称(或昵称)及使用者ID并触碰输入图像,借此控制部11即存取于SNS服务器,将此名称(或昵称)及使用者ID与影像数据及AR信息参照要求一起发送。
SNS服务器在接收参照要求后,借由被附加于参照要求的名称(或昵称)检索AR信息共有数据库,抽出相同的名称(或昵称)的档案。
接着,SNS服务器从此档案的AR信息中读出附加有与所接收的使用者ID相同的使用者ID的影像识别信息及对应此影像识别信息的影像数据,将已读出的AR信息及影像数据对数字相机1发送。
控制部11将被输入的影像数据及AR信息如已说明般显示于显示部17。
其次,在使用者触碰显示于数字相机1的显示部17的AR信息变更图像后,控制部11即借由触碰感测器检测出已触碰图像,将变更画面显示于显示部17。于此登录画面,亦包含与读入的AR信息对应的影像数据的缩图影像、信息记录栏与显示有英文字母及数字的按键的图像。
接着,在此变更画面中,使用者从缩图影像选择欲变更的AR信息的影像数据后,控制部11即借由触碰感测器检测出被选择的影像数据,将已选择的影像数据显示于显示部17,于此显示的影像数据上与各建造物的位置对应地重叠显示AR信息的标志。
接着,使用者借由触碰选择欲变更的AR信息的标志,并借由触碰显示有英文字母及数字的按键的图像来于信息写入栏输入已追加或编辑的文字列及使用者ID,并触碰输入键(输入图像),控制部11即将已输入信息写入栏的文字列作为新的建造物的AR信息,作为包含使用者名称、使用者ID的变更要求将影像识别信息及建造物识别信息与已变更的AR信息一起往SNS服务器发送。
SNS服务器在接收变更要求后,借由被附加于变更要求的名称(或昵称)检索AR信息共有数据库,抽出相同的名称(或昵称)的档案。
接着,SNS服务器进行被附加于影像识别信息的使用者ID是否与被附加于所接收的变更要求的使用者ID一致的判定,在不一致时即不进行任何动作而将无法变更一事通知数字相机1。
另一方面,SNS服务器,在被附加于AR信息的使用者ID与被附加于所接收的变更要求的使用者ID一致时,即变更此影像识别信息中的建造物识别信息的AR信息。
又,亦可将用以实现图9中的数字相机1的控制部11、保持控制部31的AR信息保持功能的程序记录于计算机可读取记录媒体,将记录于此记录媒体的程序读入计算机系统,并借由实行以进行AR信息的控制。
又,亦可将用以实现图9中的信息检索服务器21的AR信息检索功能的程序记录于计算机可读取记录媒体,将记录于此记录媒体的程序读入计算机系统,并借由实行以进行AR信息的检索控制。
此外,此处所称的「计算机系统」包含OS或周边机器等硬件者。
又,「计算机系统」只要是利用WWW系统的情形,则亦包含具备网页提供环境(或显示环境)。
又,「计算机可读取记录媒体」是指软盘、光磁盘、ROM、CD-ROM等的可搬送媒体、内装于计算机系统的硬盘等储存装置。进而,「计算机可读取记录媒体」,亦包含如通过网际网路等网路或电话线等的通讯线路发送程序时的通讯线在短时间动态地保持程序者,或在该情形下的服务器或作为客户端的计算机系统内部的挥发性存储器(RAM)般保持有一定时间程序者。又,上述程序亦可用以实现前述功能一部分的程序,进而,亦可将前述的功能组合于已记录于计算机系统的程序来加以实现。
以上,虽参照图式详述了本发明的实施形态,但具体构成不限于此实施形态,亦包含在不脱离本发明要旨的范围的设计等。

Claims (68)

1.一种摄影装置,其特征在于,具备:
本体;
摄影部;
计算机,构成为将以前述摄影部取得的被摄体影像与根据位置信息取得部所取得的位置信息或对前述被摄体影像的影像辨识的结果而取得的被摄体信息显示于前述摄影装置的显示部,根据使用者动作输出保持控制信号,前述保持控制信号由前述计算机使显示于前述显示部的前述被摄体影像与前述被摄体信息保持于前述显示部,且在前述使用者动作结束后也使前述被保持的被摄体影像与前述被保持的被摄体信息持续显示于前述显示部;以及
操作部,用于在显示前述被保持的被摄体影像与前述被保持的被摄体信息的期间发布投稿信息。
2.如权利要求1的摄影装置,其特征在于其中,前述计算机,能切换前述被摄体信息对前述显示部的显示及非显示。
3.如权利要求1或2的摄影装置,其特征在于其中,前述计算机,根据前述保持控制信号将前述被保持的被摄体影像与前述被保持的被摄体信息发送到其他终端。
4.如权利要求1至3中任意一项的摄影装置,其特征在于其中,前述显示部,具有在显示前述被保持的被摄体影像与前述被保持的被摄体信息的期间能触碰操作的触控面板。
5.如权利要求1至4中任意一项的摄影装置,其特征在于其中,前述操作部,具有用于在显示前述被保持的被摄体影像与前述被保持的被摄体信息的期间输入前述投稿信息的输入部。
6.如权利要求1至5中任意一项的摄影装置,其特征在于其中,前述操作部的至少一部分设于前述显示部。
7.如权利要求1至6中任意一项的摄影装置,其特征在于其中,前述显示部,具有在显示前述被保持的被摄体影像与前述被保持的被摄体信息的期间显示与前述投稿信息的发布操作相关的图标。
8.如权利要求1至7中任意一项的摄影装置,其特征在于其中,前述被摄体信息包含优惠券信息;
前述计算机,根据前述保持控制信号将前述优惠券信息保持于前述显示部。
9.如权利要求1至8中任意一项的摄影装置,其特征在于其中,前述使用者动作包含以下动作中的至少一个:按下设于前述本体的按钮的动作、触碰前述显示部的动作、使前述本体移动的动作、使前述本体姿势变化的动作、检测出影像的特征点在既定设定时间内移动既定距离的动作、检测出影像数据的对比超过既定的差分而变化的动作、检测出阈値以上的影像图案的变化的动作。
10.如权利要求1至9中任意一项的摄影装置,其特征在于其中,前述计算机,在检测出前述保持控制信号时,即将前述被保持的被摄体信息往外部发送。
11.如权利要求1至10中任意一项的摄影装置,其特征在于其中,前述计算机在前述保持之后,通过触碰前述显示部而进一步取得前述被摄体信息。
12.如权利要求1至11中任意一项的摄影装置,其特征在于其中,前述计算机在前述保持之后,通过触碰前述显示部而取得与前述被摄体信息不同的第2被摄体信息。
13.如权利要求1至12中任意一项的摄影装置,其特征在于其中,前述被摄体信息包含优惠券信息。
14.如权利要求1至13中任意一项的摄影装置,其特征在于其中,前述被摄体信息包含重叠于前述被摄体影像而显示、在前述使用者动作结束后也持续显示于前述显示部的图标。
15.如权利要求1至14中任意一项的摄影装置,其特征在于其中,前述被摄体信息包含过去的信息。
16.一种信息取得系统,其特征在于,具备:
摄影装置与信息检索系统;
前述摄影装置是权利要求1至15中任一项的摄影装置。
17.一种能以电脑读出的非暂时性的记录介质,储存有使计算机执行摄影装置的功能的程序,其特征在于:
前述计算机执行下述步骤:
根据所取得的位置信息或对以前述摄影装置的摄影部取得的被摄体影像的影像辨识的结果取得被摄体信息的步骤;
将前述被摄体影像与前述被摄体信息以AR显示于显示部的步骤;
根据前述AR显示时的使用者动作输出保持控制信号的步骤,前述保持控制信号是用以将前述被摄体影像与前述被摄体信息保持于前述显示部,且在前述使用者动作结束后也使前述被保持的被摄体影像与前述被保持的被摄体信息持续显示于前述显示部;以及
在显示前述被保持的被摄体影像与前述被保持的被摄体信息的期间发布投稿信息的步骤。
18.一种摄影装置,其特征在于,具备:
本体;
摄影部;以及
计算机;
构成为将以前述摄影部取得的被摄体影像与根据位置信息取得部所取得的位置信息或对前述被摄体影像的影像辨识的结果而取得的被摄体信息显示于前述摄影装置的显示部,根据伴随使用者动作的前述本体的运动输出保持控制信号,前述保持控制信号在由前述计算机使显示于前述显示部的前述被摄体影像与前述被摄体信息保持于前述显示部,且在前述使用者动作结束后也使前述被保持的被摄体影像与前述被保持的被摄体信息持续显示于前述显示部。
19.如权利要求18的摄影装置,其特征在于其中,前述计算机,能切换前述被摄体信息对前述显示部的显示及非显示。
20.如权利要求18或19的摄影装置,其特征在于其中,前述计算机,根据前述保持控制信号将前述被保持的被摄体影像与前述被保持的被摄体信息发送到其他终端。
21.如权利要求18至20中任意一项的摄影装置,其特征在于其中,前述显示部,具有在显示前述被保持的被摄体影像与前述被保持的被摄体信息的期间能触碰操作的触控面板。
22.如权利要求18至21中任意一项的摄影装置,其特征在于其中,前述操作部,具有用于在显示前述被保持的被摄体影像与前述被保持的被摄体信息的期间输入前述投稿信息的输入部。
23.如权利要求18至22中任意一项的摄影装置,其特征在于其中,前述操作部的至少一部分设于前述显示部。
24.如权利要求18至23中任意一项的摄影装置,其特征在于其中,前述显示部,具有在显示前述被保持的被摄体影像与前述被保持的被摄体信息的期间显示与前述投稿信息的发布操作相关的图标的模式。
25.如权利要求18至24中任意一项的摄影装置,其特征在于其中,前述被摄体信息包含优惠券信息;
前述计算机,根据前述保持控制信号将前述优惠券信息保持于前述显示部。
26.如权利要求18至25中任意一项的摄影装置,其特征在于其中,前述使用者动作包含以下动作中的至少一个:按下设于前述本体的按钮的动作、触碰前述显示部的动作、使前述本体移动的动作、使前述本体姿势变化的动作、检测出影像的特征点在既定设定时间内移动既定距离的动作、检测出影像数据的对比超过既定的差分而变化的动作、检测出阈値以上的影像图案的变化的动作。
27.如权利要求18至26中任意一项的摄影装置,其特征在于其中,前述计算机,在检测出前述保持控制信号时,将前述被保持的被摄体信息往外部发送。
28.如权利要求18至27中任意一项的摄影装置,其特征在于其中,前述计算机在前述保持之后,通过触碰前述显示部而进一步取得前述被摄体信息。
29.如权利要求18至28中任意一项的摄影装置,其特征在于其中,前述被摄体信息包含优惠券信息。
30.一种信息取得系统,其特征在于,具备:
摄影装置与信息检索系统;
前述摄影装置是权利要求18至29中任一项的摄影装置。
31.一种能以电脑读出的非暂时性的记录介质,储存有使计算机执行摄影装置的功能的程序,其特征在于:
前述计算机执行下述步骤:
根据所取得的位置信息或对前述被摄体影像的影像辨识的结果取得被摄体信息的步骤;
将以前述摄影装置的摄影部取得的被摄体影像与前述被摄体信息以AR显示于显示部的步骤;
根据伴随前述AR显示时的使用者动作的前述摄影装置的运动输出保持控制信号的步骤,前述保持控制信号是用以将前述被摄体影像与前述被摄体信息保持于前述显示部,且在前述使用者动作结束后也使前述被保持的被摄体影像与前述被保持的被摄体信息持续显示于前述显示部。
32.一种服务器,其特征在于:
能与权利要求1至15、18至29中任意一项的摄影装置收发送信号,从数据库取得前述被摄体信息而将前述被摄体信息往前述摄影装置发送。
33.一种摄影装置,其特征在于,具备:
摄影部,拍摄被摄体;
位置信息取得部,取得摄影位置的位置信息;
控制部,根据指示前述被摄体的拍摄的控制信号,使前述摄影部拍摄前述被摄体,且根据前述位置信息取得与前述被摄体相关的信息,使前述被摄体的影像数据及与前述被摄体相关的信息显示于显示部;以及
保持控制部,根据在将前述被摄体的影像数据及与前述被摄体相关的信息显示于前述显示部时的使用者动作,将与前述控制信号不同的保持控制信号输出至前述控制部;
所谓前述保持控制信号,是以前述控制部保持显示于前述显示部的前述被摄体的影像数据及与前述被摄体相关的信息,且在根据前述使用者动作输出前述保持控制信号后也使前述被保持的影像数据与前述被保持的与前述被摄体相关的信息显示于前述显示部的信号。
34.如权利要求33的摄影装置,其特征在于其中,前述控制部,能切换与前述被摄体相关的信息对前述显示部的显示及非显示。
35.如权利要求33或34的摄影装置,其特征在于其中,前述控制部,在前述被摄体的摄影中接收前述保持控制信号的情形时,将所保持的前述被摄体的影像数据及与前述被摄体相关的信息显示于前述显示部。
36.如权利要求33至35中任一意项的摄影装置,其特征在于其中,前述控制部,将根据前述保持控制信号所保持的与前述被摄体相关的信息与前述被摄体的影像数据发送到其他终端。
37.如权利要求33至36中任一意项的摄影装置,其特征在于其中,与前述被摄体相关的信息是AR信息。
38.如权利要求33至37中任一意项的摄影装置,其特征在于其中,前述控制部,在已接收前述保持控制信号的情形时,在摄影方向未朝向欲取得与前述被摄体相关的信息的方向的状态下,将前述保持的前述被摄体的影像数据及与前述被摄体相关的信息显示于前述显示部。
39.如权利要求33至38中任一意项的摄影装置,其特征在于其中,前述显示部具有触控面板。
40.如权利要求33至39中任一意项的摄影装置,其特征在于其中,与前述被摄体相关的信息包含优惠券信息。
41.如权利要求33至40中任一意项的摄影装置,其特征在于其中,前述控制部,使供使用者输入投稿信息的输入栏显示于前述显示部。
42.一种信息取得系统,其特征在于,具备:
权利要求33至40中任一项的摄影装置;以及
服务器。
43.一种程序,其特征在于:
用以使摄影装置所具备的计算机执行以下步骤:
根据指示被摄体的拍摄的控制信号,使摄影装置所具备的摄影部拍摄前述被摄体的步骤;
输入拍摄前述被摄体的摄影位置的位置信息的步骤;
根据前述位置信息取得与前述被摄体相关的信息的步骤;
将前述被摄体的影像数据及与前述被摄体相关的信息显示于摄影装置所具备的显示部的步骤;
根据在前述被摄体的影像数据及与前述被摄体相关的信息显示于前述显示部时的使用者动作,将与前述控制信号不同的保持控制信号输出的步骤;以及
根据前述保持控制信号保持显示于前述显示部的前述被摄体的影像数据及与前述被摄体相关的信息,且在根据前述使用者动作输出前述保持控制信号后也使前述被保持的影像数据与前述被保持的信息显示于前述显示部的步骤。
44.一种摄影装置,具备:
本体;
摄影部;
控制部,取得AR信息;
第1储存部,暂时储存影像数据与前述AR信息;
保持控制部,根据动作输出保持控制信号;以及
第2储存部,根据前述保持控制信号,储存储存于前述第1储存部的前述影像数据与前述AR信息。
45.如权利要求44的摄影装置,其特征在于其中,前述控制部,根据与前述保持控制信号不同的控制信号,使前述影像数据与前述AR信息储存于前述第1储存部。
46.如权利要求44或45的摄影装置,其特征在于其中,前述控制部,在前述摄影部的摄影中使前述影像数据与前述AR信息储存于前述第1储存部,根据在前述摄影部的摄影中的前述动作将前述影像数据与前述AR信息建立关联关系后储存于前述第2储存部。
47.一种摄影装置,具备:
本体;
摄影部;
位置信息取得部;
方位角检测部;
控制部,每于前述本体的方位角变化时取得AR信息;以及
保持控制部,输出基于动作的保持控制信号。
48.一种摄影装置,具备:
本体;
摄影部;
控制部,使用位置信息或影像辨识的结果取得AR信息,具有显示前述AR信息的显示模式与不显示前述AR信息的非显示模式;以及
保持控制部,在前述非显示模式中执行前述AR信息的保持处理。
49.一种摄影装置,其特征在于,具备:
摄影部,拍摄被摄体;
位置信息取得部,取得摄影位置的位置信息;
控制部,根据前述位置信息取得与前述被摄体相关的信息,将前述被摄体的影像数据及与前述被摄体相关的信息显示于显示部;以及
保持控制部,根据在将前述被摄体的影像数据及与前述被摄体相关的信息显示于前述显示部时的使用者动作,将保持控制信号输出至前述控制部;
前述保持控制信号,是以前述控制部使显示于前述显示部的前述被摄体的影像数据及与前述被摄体相关的信息保持于前述显示部,且在前述使用者动作结束后也使前述被保持的影像数据与前述被保持的信息显示于前述显示部。
50.如权利要求49的摄影装置,其特征在于其中,前述控制部,能切换与前述被摄体相关的信息对前述显示部的显示及非显示。
51.如权利要求49或50的摄影装置,其特征在于其中,前述控制部,在前述被摄体的摄影中接收前述保持控制信号的情形时,将所保持的前述被摄体的影像数据及与前述被摄体相关的信息显示于前述显示部。
52.如权利要求49至51中任意一项的摄影装置,其特征在于其中,前述控制部,将根据前述保持控制信号所保持的与前述被摄体相关的信息与前述被摄体的影像数据发送到其他终端。
53.如权利要求49至52中任意一项的摄影装置,其特征在于其中,与前述被摄体相关的信息是AR信息。
54.如权利要求49至53中任意一项的摄影装置,其特征在于其中,前述控制部,在已接收前述保持控制信号的情形时,在摄影方向未朝向欲取得与前述被摄体相关的信息的方向的状态下,将所保持的前述被摄体的影像数据及与前述被摄体相关的信息显示于前述显示部。
55.如权利要求49至54中任意一项的摄影装置,其特征在于其中,前述显示部,具有在显示所保持的前述被摄体的影像数据及与前述被摄体相关的信息的期间能触碰操作的触控面板。
56.如权利要求49至55中任意一项的摄影装置,其特征在于其中,进一步具备:操作部,用于发布所保持的前述被摄体的影像数据及/或与前述被摄体相关的投稿信息。
57.如权利要求49至56中任意一项的摄影装置,其特征在于其中,前述显示部,具有用于在显示所保持的前述被摄体的影像数据及与前述被摄体相关的信息的期间输入投稿信息的输入部。
58.如权利要求49至56中任意一项的摄影装置,其特征在于其中,前述显示部,具有在显示所保持的前述被摄体的影像数据及与前述被摄体相关的信息的期间显示与前述投稿信息的发布操作相关的图标的模式。
59.一种摄影装置,具备:
本体;
摄影部;以及
控制部;
前述控制部,能以下述模式动作:
AR显示模式,将透过前述摄影部的实时被摄体影像与根据摄影位置的位置信息及/或根据对前述被摄体影像的影像辨识结果所取得的被摄体信息显示于显示部;以及
保持模式,根据前述AR显示模式中的使用者动作而开始,即使在前述使用者动作结束后前述本体的位置及/或姿势变化,仍持续将以前述AR显示模式显示的前述被摄体影像及前述被摄体信息显示于前述本体的显示部。
60.一种摄影装置,具备:
本体;
摄影部;以及
控制部;
前述控制部,能以下述模式动作:
AR显示模式,将透过前述摄影部的被摄体的实时被摄体影像与根据摄影位置的位置信息及/或根据对前述被摄体影像的影像辨识结果所取得的被摄体信息显示于显示部;以及
保持模式,根据前述AR显示模式中的使用者动作而开始,即使在前述使用者动作后前述摄影部不朝向前述被摄体,仍持续将以前述AR显示模式显示的前述被摄体影像及前述被摄体信息显示于前述本体的显示部。
61.一种信息取得系统,其特征在于,具备:
摄影装置与信息检索系统;
前述摄影装置是权利要求49至60中任意一项的摄影装置。
62.一种摄影装置,其特征在于,具备:
摄影部,拍摄被摄体;
位置信息取得部,取得摄影位置的位置信息;
控制部,根据前述位置信息或前述被摄体的影像数据的影像辨识结果取得与前述被摄体相关的信息,将前述被摄体的影像数据及与前述被摄体相关的信息显示于显示部;以及
保持控制部,将保持前述被摄体的影像数据及与前述被摄体相关的信息的保持控制信号输出至前述控制部。
63.如权利要求62的摄影装置,其特征在于其中,前述控制部,根据从前述保持控制部接收的前述保持控制信号,将前述被摄体的影像数据及与前述被摄体相关的信息显示于前述显示部。
64.如权利要求62或63的摄影装置,其特征在于其中,前述控制部,能切换与前述被摄体相关的信息对前述显示部的显示及非显示。
65.如权利要求62至64中任意一项的摄影装置,其特征在于其中,前述控制部,在前述被摄体的摄影中接收前述保持控制信号的情形时,将所保持的前述被摄体的影像数据及与前述被摄体相关的信息显示于前述显示部。
66.如权利要求62至65中任意一项的摄影装置,其特征在于其中,前述控制部,将根据前述保持控制信号所保持的与前述被摄体相关的信息与前述被摄体的影像数据发送到其他终端。
67.如权利要求62至66中任意一项的摄影装置,其特征在于其中,与前述被摄体相关的信息是AR信息。
68.一种信息取得系统,其特征在于,具备:
摄影装置与信息检索系统;
前述摄影装置是权利要求62至67中任意一项的摄影装置。
CN201710339570.7A 2010-02-08 2011-02-07 摄影装置、信息取得系统、程序及记录介质 Active CN107404598B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-025998 2010-02-08
JP2010025998 2010-02-08
CN201180008654.3A CN102763404B (zh) 2010-02-08 2011-02-07 摄影装置、信息取得系统及程序

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201180008654.3A Division CN102763404B (zh) 2010-02-08 2011-02-07 摄影装置、信息取得系统及程序

Publications (2)

Publication Number Publication Date
CN107404598A true CN107404598A (zh) 2017-11-28
CN107404598B CN107404598B (zh) 2020-11-17

Family

ID=44353435

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202011217327.6A Active CN112565552B (zh) 2010-02-08 2011-02-07 摄影装置、信息取得系统、记录媒体及服务器
CN201180008654.3A Active CN102763404B (zh) 2010-02-08 2011-02-07 摄影装置、信息取得系统及程序
CN201710339570.7A Active CN107404598B (zh) 2010-02-08 2011-02-07 摄影装置、信息取得系统、程序及记录介质

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202011217327.6A Active CN112565552B (zh) 2010-02-08 2011-02-07 摄影装置、信息取得系统、记录媒体及服务器
CN201180008654.3A Active CN102763404B (zh) 2010-02-08 2011-02-07 摄影装置、信息取得系统及程序

Country Status (6)

Country Link
US (7) US9420251B2 (zh)
EP (1) EP2536124B1 (zh)
JP (3) JPWO2011096561A1 (zh)
CN (3) CN112565552B (zh)
BR (1) BR112012019407A2 (zh)
WO (1) WO2011096561A1 (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009037835B4 (de) 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US9420251B2 (en) * 2010-02-08 2016-08-16 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
CN102934157B (zh) * 2011-03-04 2016-02-03 松下电器产业株式会社 显示装置及显示方向切换方法
CN102355550A (zh) * 2011-11-16 2012-02-15 天津三星光电子有限公司 一种具有gps定位功能的数码相机
WO2013084337A1 (ja) * 2011-12-08 2013-06-13 キヤノン株式会社 撮像装置、およびその制御方法、プログラム
US20130257900A1 (en) * 2012-03-30 2013-10-03 Nokia Corporation Method and apparatus for storing augmented reality point-of-interest information
JP5955662B2 (ja) * 2012-06-25 2016-07-20 アルパイン株式会社 拡張現実システム
US8743224B2 (en) 2012-07-13 2014-06-03 Intel Corporation Context based management for secure augmented reality applications
JP6004807B2 (ja) * 2012-07-24 2016-10-12 キヤノン株式会社 画像処理装置、その制御方法、プログラム
US9589000B2 (en) 2012-08-30 2017-03-07 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
US20150248438A1 (en) * 2012-09-21 2015-09-03 Hao Wang Device and method for recording thermal imaging information
WO2014047876A1 (en) 2012-09-28 2014-04-03 Intel Corporation Determination of augmented reality information
KR101962134B1 (ko) * 2012-10-24 2019-07-17 엘지전자 주식회사 컨텐츠 제공 방법 및 이를 위한 디지털 디바이스
TWI571827B (zh) * 2012-11-13 2017-02-21 財團法人資訊工業策進會 決定3d物件影像在3d環境影像中深度的電子裝置及其方法
JP2014131207A (ja) * 2012-12-28 2014-07-10 Sharp Corp 携帯情報端末
CN103104792B (zh) * 2013-01-22 2016-01-27 Tcl集团股份有限公司 仿生摄像头、驱动仿生摄像头的偏置方法、及媒体终端
US9412201B2 (en) * 2013-01-22 2016-08-09 Microsoft Technology Licensing, Llc Mixed reality filtering
JP6265621B2 (ja) * 2013-04-18 2018-01-24 キヤノン株式会社 表示制御装置およびプログラム
KR102249886B1 (ko) * 2014-02-14 2021-05-10 삼성전자 주식회사 웹 페이지 전환 방법 및 이를 이용하는 휴대 단말기, 이 방법을 실행하기 위한 프로그램이 기록되어 있는 비휘발성 기록매체
JP6613553B2 (ja) * 2014-09-30 2019-12-04 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
US10571145B2 (en) * 2015-04-07 2020-02-25 Mitsubishi Electric Corporation Maintenance support system for air conditioners
US9943262B2 (en) * 2015-10-26 2018-04-17 Sk Planet Co., Ltd. System and method for providing walking path guidance service based on measurement of motion of user
JP2017134467A (ja) * 2016-01-25 2017-08-03 富士通株式会社 情報処理装置、情報処理方法および情報処理プログラム
US10154080B2 (en) * 2016-05-23 2018-12-11 Accenture Global Solutions Limited Enhancing digital content provided from devices
US11876941B1 (en) 2016-06-20 2024-01-16 Pipbin, Inc. Clickable augmented reality content manager, system, and network
US11785161B1 (en) 2016-06-20 2023-10-10 Pipbin, Inc. System for user accessibility of tagged curated augmented reality content
JP6281609B2 (ja) * 2016-07-28 2018-02-21 株式会社Jvcケンウッド 情報生成装置、情報付加装置及び情報表示装置
US10334160B2 (en) * 2016-09-28 2019-06-25 Casio Computer Co., Ltd. Imaging apparatus capable of automatic photography, image playback apparatus which plays back automatically photographed image, image playback method, and imaging method
JP2018097581A (ja) * 2016-12-13 2018-06-21 富士ゼロックス株式会社 情報処理装置およびプログラム
JP2018106307A (ja) * 2016-12-23 2018-07-05 株式会社tiwaki 仮想内容記憶方法
US10380544B2 (en) * 2016-12-24 2019-08-13 Motorola Solutions, Inc. Method and apparatus for avoiding evidence contamination at an incident scene
CN107194370B (zh) * 2017-06-10 2023-12-19 国网浙江省电力公司台州供电公司 基于地理位置信息的影像智能分析方法
US10521961B2 (en) 2017-12-10 2019-12-31 International Business Machines Corporation Establishing a region of interest for a graphical user interface for finding and depicting individuals
US10338768B1 (en) 2017-12-10 2019-07-02 International Business Machines Corporation Graphical user interface for finding and depicting individuals
JP7144164B2 (ja) * 2018-03-19 2022-09-29 株式会社Lifull 情報提供システム、サーバ装置、及び端末用プログラム
US10565764B2 (en) 2018-04-09 2020-02-18 At&T Intellectual Property I, L.P. Collaborative augmented reality system
US10536809B1 (en) * 2018-06-28 2020-01-14 Homerun Labs, Inc. System and method for detection of a structure
US11227007B2 (en) * 2019-07-23 2022-01-18 Obayashi Corporation System, method, and computer-readable medium for managing image
JP6852202B1 (ja) * 2020-01-14 2021-03-31 株式会社梓設計 情報表示装置、情報表示方法及びプログラム
TWI737371B (zh) * 2020-06-30 2021-08-21 國立成功大學 虛實整合系統與方法
KR20220114336A (ko) * 2021-02-08 2022-08-17 현대자동차주식회사 사용자 단말 및 그 제어 방법
WO2023095770A1 (ja) * 2021-11-24 2023-06-01 日本電気株式会社 拡張現実表示装置、サーバ装置、拡張現実表示システム、拡張現実表示方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1203369A (zh) * 1997-03-27 1998-12-30 日本电信电话株式会社 标定观测图象的装置和系统
CN1742265A (zh) * 2003-11-25 2006-03-01 索尼株式会社 服务管理设备和方法,以及服务提供系统和方法
JP2006295827A (ja) * 2005-04-14 2006-10-26 Sony Ericsson Mobilecommunications Japan Inc 携帯端末装置
JP2009017540A (ja) * 2007-05-31 2009-01-22 Panasonic Corp 画像撮影装置、付加情報提供サーバ及び付加情報フィルタリングシステム

Family Cites Families (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0438573A (ja) * 1990-06-04 1992-02-07 Toshiba Corp 画像表示装置
US6282362B1 (en) * 1995-11-07 2001-08-28 Trimble Navigation Limited Geographical position/image digital recording and display system
JP3738310B2 (ja) * 1997-08-04 2006-01-25 カシオ計算機株式会社 カメラ
JP4009887B2 (ja) * 1998-10-20 2007-11-21 富士フイルム株式会社 カメラ
JP4274656B2 (ja) * 1999-12-08 2009-06-10 カシオ計算機株式会社 カメラ装置及び被写体名称表示方法
US7028263B2 (en) * 2000-07-19 2006-04-11 Research In Motion Limited User interface and method for viewing short messages on a wireless device
JP3925057B2 (ja) 2000-09-12 2007-06-06 カシオ計算機株式会社 カメラ装置、撮影範囲表示システム、及び撮影範囲表示方法
US7016899B1 (en) * 2000-09-21 2006-03-21 Lenovo (Singapore) Pte. Ltd. Camera device, methods and program products for location and environmental stamping of images, communications and other applications
JP2002344792A (ja) * 2001-02-16 2002-11-29 Fuji Photo Film Co Ltd 情報伝送システム
WO2003049424A1 (fr) * 2001-12-03 2003-06-12 Nikon Corporation Appareil electronique, camera electronique, dispositif electronique, appareil d'affichage d'image et systeme de transmission d'image
JP4158376B2 (ja) 2001-12-07 2008-10-01 株式会社ニコン 電子カメラおよび画像表示装置および画像表示方法
JP3893983B2 (ja) * 2002-01-17 2007-03-14 ソニー株式会社 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム
JP2004015187A (ja) 2002-06-04 2004-01-15 Fuji Photo Film Co Ltd 撮影補助システム、デジタルカメラ、及びサーバ
JP2004297478A (ja) * 2003-03-27 2004-10-21 Fuji Photo Film Co Ltd デジタルカメラ
JP2004341960A (ja) 2003-05-16 2004-12-02 Sony Corp 位置依存情報検索方法、位置依存情報検索装置、位置依存情報提供装置、および位置依存情報検索プログラム
US20050046706A1 (en) * 2003-08-28 2005-03-03 Robert Sesek Image data capture method and apparatus
JP4419621B2 (ja) 2004-03-17 2010-02-24 アイシン・エィ・ダブリュ株式会社 旅行計画作成管理システム
JP2006003963A (ja) 2004-06-15 2006-01-05 Hitachi Omron Terminal Solutions Corp 地域案内システム
JP4363642B2 (ja) * 2004-07-02 2009-11-11 富士フイルム株式会社 地図表示システム及びデジタルカメラ
JP4054018B2 (ja) 2004-12-14 2008-02-27 株式会社ナビタイムジャパン 空席経路探索システム、空席経路探索装置および端末装置
US7720436B2 (en) 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
JP4632793B2 (ja) 2005-01-12 2011-02-16 京セラ株式会社 ナビゲーション機能付き携帯型端末機
US20060190812A1 (en) * 2005-02-22 2006-08-24 Geovector Corporation Imaging systems including hyperlink associations
JP2006235979A (ja) 2005-02-24 2006-09-07 Toshiba Corp 情報提供システム及び情報提供方法
JP2006238220A (ja) * 2005-02-25 2006-09-07 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及びプログラム
JP4366601B2 (ja) 2005-03-18 2009-11-18 ソニー株式会社 タイムシフト画像配信システム、タイムシフト画像配信方法、タイムシフト画像要求装置および画像サーバ
JP2006350879A (ja) * 2005-06-20 2006-12-28 Nikon Corp 情報提供システム
JP2008001383A (ja) * 2006-06-21 2008-01-10 Mitsubishi Gas Chem Co Inc 多層ボトル
JP4863274B2 (ja) 2006-09-20 2012-01-25 ソニー エリクソン モバイル コミュニケーションズ, エービー 行動案内装置、行動予定処理方法、行動案内システム、及び行動予定処理プログラム
JP2008076734A (ja) 2006-09-21 2008-04-03 Seiko Epson Corp 眼鏡装置及び画像生成方法
JP2008111693A (ja) 2006-10-30 2008-05-15 Sony Ericsson Mobilecommunications Japan Inc 移動体装置および目標物情報検索方法
US20080147730A1 (en) * 2006-12-18 2008-06-19 Motorola, Inc. Method and system for providing location-specific image information
JP2008160631A (ja) 2006-12-26 2008-07-10 Funai Electric Co Ltd 携帯機器
JP4479929B2 (ja) 2007-02-01 2010-06-09 日本電気株式会社 撮影画像利用システムおよび撮影画像利用方法
JP4914268B2 (ja) * 2007-03-29 2012-04-11 株式会社日立製作所 検索サービスサーバの情報検索方法。
JP5194650B2 (ja) 2007-08-31 2013-05-08 株式会社ニコン 電子カメラ
US8180396B2 (en) * 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
KR100914848B1 (ko) * 2007-12-15 2009-09-02 한국전자통신연구원 혼합현실 시스템 및 그 구현 방법
JP2010025998A (ja) 2008-07-15 2010-02-04 Ricoh Co Ltd クリーニング装置、定着装置及び画像形成装置
US9191238B2 (en) * 2008-07-23 2015-11-17 Yahoo! Inc. Virtual notes in a reality overlay
EP2325768A4 (en) * 2008-08-08 2016-08-17 Nikon Corp RESEARCH ASSISTANCE SYSTEM, RESEARCH ASSISTANCE METHOD, AND RESEARCH ASSISTANCE PROGRAM
TWI403156B (zh) * 2008-08-08 2013-07-21 尼康股份有限公司 Carrying information machines, photographic devices, and information acquisition systems
EP2327003B1 (en) * 2008-09-17 2017-03-29 Nokia Technologies Oy User interface for augmented reality
CN102246121B (zh) * 2008-12-25 2016-01-13 松下知识产权经营株式会社 信息显示装置和信息显示方法
TWI514337B (zh) * 2009-02-20 2015-12-21 尼康股份有限公司 Carrying information machines, photographic devices, and information acquisition systems
US8682391B2 (en) * 2009-08-27 2014-03-25 Lg Electronics Inc. Mobile terminal and controlling method thereof
KR101648339B1 (ko) * 2009-09-24 2016-08-17 삼성전자주식회사 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 방법 및 장치
US20110093890A1 (en) * 2009-10-21 2011-04-21 John Araki User control interface for interactive digital television
US9766089B2 (en) * 2009-12-14 2017-09-19 Nokia Technologies Oy Method and apparatus for correlating and navigating between a live image and a prerecorded panoramic image
US20110161875A1 (en) * 2009-12-29 2011-06-30 Nokia Corporation Method and apparatus for decluttering a mapping display
US9420251B2 (en) * 2010-02-08 2016-08-16 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
KR101691034B1 (ko) * 2010-08-03 2016-12-29 삼성전자주식회사 3차원 그래픽 기반 단말기에서 객체 렌더링 시 부가정보 합성 장치 및 방법
US20120038668A1 (en) * 2010-08-16 2012-02-16 Lg Electronics Inc. Method for display information and mobile terminal using the same
KR101260576B1 (ko) * 2010-10-13 2013-05-06 주식회사 팬택 Ar 서비스를 제공하기 위한 사용자 단말기 및 그 방법
KR101688155B1 (ko) * 2010-10-25 2016-12-20 엘지전자 주식회사 이동 단말기의 정보 처리 장치 및 그 방법
US9245307B2 (en) * 2011-06-01 2016-01-26 Empire Technology Development Llc Structured light projection for motion detection in augmented reality
US8749396B2 (en) * 2011-08-25 2014-06-10 Satorius Stedim Biotech Gmbh Assembling method, monitoring method, communication method, augmented reality system and computer program product
JPWO2013039025A1 (ja) * 2011-09-16 2015-03-26 Necカシオモバイルコミュニケーションズ株式会社 情報管理編集機能を備えた情報処理装置
US8902344B2 (en) * 2011-12-28 2014-12-02 Canon Kabushiki Kaisha Display control apparatus, image capture apparatus, display control method, and image capture apparatus control method
US8610663B2 (en) * 2012-02-06 2013-12-17 Lg Electronics Inc. Portable device and method for controlling the same
JP5966510B2 (ja) * 2012-03-29 2016-08-10 ソニー株式会社 情報処理システム
KR101923929B1 (ko) * 2012-06-06 2018-11-30 삼성전자주식회사 증강 현실 서비스를 제공하는 이동통신 단말기 및 증강 현실 서비스에 대한 화면으로의 화면 전환 방법
KR20140038577A (ko) * 2012-09-11 2014-03-31 한국과학기술연구원 메타데이터를 이용한 콘텐츠 추천
KR101962134B1 (ko) * 2012-10-24 2019-07-17 엘지전자 주식회사 컨텐츠 제공 방법 및 이를 위한 디지털 디바이스
US9547697B2 (en) * 2012-12-21 2017-01-17 Google Inc. Aggregating interactions for content items
JP2015005026A (ja) * 2013-06-19 2015-01-08 京セラドキュメントソリューションズ株式会社 機器管理端末、機器管理システム、及び機器管理プログラム
US9230473B2 (en) * 2013-06-24 2016-01-05 Microsoft Technology Licensing, Llc Dual duty cycle OLED to enable dynamic control for reduced motion blur control with constant brightness in augmented reality experiences
EP3015954B1 (en) * 2013-06-26 2022-05-25 Sony Interactive Entertainment Inc. Information processing device, control method for information processing device, program, and information storage medium
US9401849B2 (en) * 2013-07-02 2016-07-26 Hitachi, Ltd. Network construction support system and method
JP6132719B2 (ja) * 2013-09-18 2017-05-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
KR102114618B1 (ko) * 2014-01-16 2020-05-25 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
JP2015141259A (ja) * 2014-01-28 2015-08-03 アルパイン株式会社 地図情報表示装置および地図情報表示方法
KR102182162B1 (ko) * 2014-02-20 2020-11-24 엘지전자 주식회사 Hmd 및 그 제어 방법
WO2015159561A1 (ja) * 2014-04-16 2015-10-22 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
US9526983B2 (en) * 2014-06-04 2016-12-27 Chih-Feng Lin Virtual reality avatar traveling control system and virtual reality avatar traveling control method
US9632664B2 (en) * 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9678566B2 (en) * 2015-06-03 2017-06-13 Oculus Vr, Llc Hand-held controllers for virtual reality system
CN108228120A (zh) * 2016-12-13 2018-06-29 腾讯科技(深圳)有限公司 一种ar场景下的多屏联动方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1203369A (zh) * 1997-03-27 1998-12-30 日本电信电话株式会社 标定观测图象的装置和系统
CN1742265A (zh) * 2003-11-25 2006-03-01 索尼株式会社 服务管理设备和方法,以及服务提供系统和方法
JP2006295827A (ja) * 2005-04-14 2006-10-26 Sony Ericsson Mobilecommunications Japan Inc 携帯端末装置
JP2009017540A (ja) * 2007-05-31 2009-01-22 Panasonic Corp 画像撮影装置、付加情報提供サーバ及び付加情報フィルタリングシステム

Also Published As

Publication number Publication date
US11741706B2 (en) 2023-08-29
US11455798B2 (en) 2022-09-27
CN102763404A (zh) 2012-10-31
US9756253B2 (en) 2017-09-05
US9420251B2 (en) 2016-08-16
CN112565552A (zh) 2021-03-26
US10452914B2 (en) 2019-10-22
EP2536124B1 (en) 2019-03-27
CN112565552B (zh) 2023-04-18
CN107404598B (zh) 2020-11-17
US20210319222A1 (en) 2021-10-14
WO2011096561A1 (ja) 2011-08-11
US11048941B2 (en) 2021-06-29
EP2536124A4 (en) 2015-01-14
US20170330037A1 (en) 2017-11-16
EP2536124A1 (en) 2012-12-19
JP2016192767A (ja) 2016-11-10
JP2017200208A (ja) 2017-11-02
BR112012019407A2 (pt) 2018-03-20
US20110193985A1 (en) 2011-08-11
JP6156549B2 (ja) 2017-07-05
US20230351746A1 (en) 2023-11-02
CN102763404B (zh) 2017-06-06
US20200050859A1 (en) 2020-02-13
JPWO2011096561A1 (ja) 2013-06-13
US20160323515A1 (en) 2016-11-03
US20220392217A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
CN102763404B (zh) 摄影装置、信息取得系统及程序
JP6958673B2 (ja) 携帯情報機器、情報取得システム、及びプログラム
KR102228366B1 (ko) 여행 정보 관리를 위한 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1242876

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant