CN101680766B - 图像摄影装置、附加信息提供服务器及附加信息过滤系统 - Google Patents

图像摄影装置、附加信息提供服务器及附加信息过滤系统 Download PDF

Info

Publication number
CN101680766B
CN101680766B CN2008800176726A CN200880017672A CN101680766B CN 101680766 B CN101680766 B CN 101680766B CN 2008800176726 A CN2008800176726 A CN 2008800176726A CN 200880017672 A CN200880017672 A CN 200880017672A CN 101680766 B CN101680766 B CN 101680766B
Authority
CN
China
Prior art keywords
mentioned
information
additional information
video camera
photography
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008800176726A
Other languages
English (en)
Other versions
CN101680766A (zh
Inventor
向井务
池田洋一
山冈胜
佐藤孝广
大岛光昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101680766A publication Critical patent/CN101680766A/zh
Application granted granted Critical
Publication of CN101680766B publication Critical patent/CN101680766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203Spatial or amplitude domain methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203Spatial or amplitude domain methods
    • H04N1/32208Spatial or amplitude domain methods involving changing the magnitude of selected pixels, e.g. overlay of information or super-imposition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • H04N21/25841Management of client data involving the geographical location of the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/475End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6581Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17318Direct or substantially direct transmission and handling of requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253Position information, e.g. geographical position at time of capture, GPS data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3273Display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3278Transmission

Abstract

根据从地图服务器发送的路标信息,仅显示用户希望的路标信息。摄影机(102)具有:摄影部(114),摄影数字图像;通信部(112),从对于与上述摄影构件所摄影的上述数字图像中包括的各对象分别对应的多个附加信息进行保持的预定的地图服务器(120),取得该多个附加信息;显示信息提取部(113),从上述通信部(112)所取得的该多个附加信息中,选择所显示的附加信息;以及重复显示处理部(116)和显示部(117),与上述摄影构件所摄影的上述数字图像一起,在该多个附加信息之中,仅显示上述显示信息提取部(113)所选择的附加信息。

Description

图像摄影装置、附加信息提供服务器及附加信息过滤系统
技术领域
本发明涉及在对于由摄像机等摄影机所摄影的图像、重复与被摄影的被摄体有关的路标信息的装置中,用于过滤所示的路标信息的装置。
背景技术
以往,存在以下景观显示系统,即:在显示对景观进行摄影的装置的摄影图像的显示器上,与景观重复地显示景观的名字等、景观的属性信息(路标信息)。通过该景观显示系统,例如在希望知道作为旅行目的地等的大楼的名字时,面对摄影机,就能够知道该大楼的名称。
在专利文献1中,公开了以下技术,即:包括取得景观信息的景观标记终端、以及通过通信线路与其连接的景观标记服务器,将由景观标记终端取得的景观和从景观标记服务器发送的标记信息,重复显示在图像中的路标所对应的位置上,从而使用者能够知道位于由装置摄影的图像中的路标的名字。专利文献1所公开的景观标记系统公开了以下技术,即:使真实风景与其图像的对应变得容易,对通过汽车导航等的移动路径的确认进行支援。
图1是专利文献1所公开的景观标记系统的结构图。景观标记终端在摄影时取得摄影时位置、摄像机角度、焦点距离等,并发送给景观标记中心。景观标记中心预先将计算机上的地图数据制作为三维数据。景观标记中心根据从景观标记终端接收的信息,在计算机上的三维空间内,制作从图像摄影时的景观标记终端能够看到的景观的计算机图形图像。根据制作的计算机图形图像,取得以景观的构造物名等为代表的地理信息,并发送给景观标记终端。
景观标记终端将接收的地理信息,重复显示在作为真实风景的图像的构造物被认为要描绘的位置上。
专利文献1:日本特许第3225882号公报
但是,在专利文献1中,以明确真实风景与摄影图像的对应为目的来重复显示路标,所以在目的为对于图像中重复显示的建筑物名或设施名等路标信息进行阅览本身的情况下,如果摄影的图像中包括的路标的数量较多,则在摄影机上显示的路标名的数量也增多。但是,由于摄影机的显示图像较小,所以如果显示较多的路标的名称则难以辨认,因此存在对于使用者来说阅览性恶化的问题。例如,在大楼街区对远方的大楼进行摄影的情况下,存在如下问题,即:附近的大楼的名称都被显示,对于用户而言,难以取得建筑物与路标的对应。
另外,以往不存在摄影机与建筑物之间的距离、和从摄影机得到的构造物的图像在垂直方向的相关,所以存在难以在实际的构造物的位置上重复显示路标信息的问题。在专利文献1中,为了解决该问题,通过制作计算机图形图像来进行视野空间的制作。即,在专利文献1中,为了取得所摄影的景观的路标信息,而在景观标记中心中,预先将计算机上的地图数据制作为三维的数据。接着,景观标记终端(摄影机)将位置信息、摄像机角与焦点距离、图像尺寸信息发送至景观标记中心,在景观标记中心中,求出从摄影机能够看到的景观的视野空间,取得该视野空间中存在的构造物信息。另外,为了取得构造物的信息,需要在摄影机的位置信息、摄像机角和摄影距离、图像尺寸信息每次变化时都计算视野空间,存在用于取得路标信息的服务器的计算量变得庞大的问题。
另外,在专利文献1中,摄影机具有:图像处理构件,将取得的图像分割为多个被摄体的部分区域。即,摄影机需要进行边缘提取,存在摄影机的运算量变得庞大的问题。
发明内容
本发明鉴于上述情况而做成,为了解决上述问题,本发明采用以下手段。
即,一种图像摄影装置,具有:摄影构件,摄影数字图像;附加信息取得构件,从对于与上述摄影构件所摄影的上述数字图像中包括的各对象分别对应的多个附加信息进行保持的预定的保持装置,取得该多个附加信息;选择构件,从上述附加信息取得构件所取得的该多个附加信息中,选择所显示的附加信息;以及显示构件,与上述摄影构件所摄影的上述数字图像一起,在该多个附加信息之中,仅显示上述选择构件选择的附加信息。
由此,能够显示有用的附加信息,而且避免显示的附加信息过多,并显示合适的数量的附加信息。
根据本发明,能够避免显示的附加信息过多,并显示合适的数量的附加信息。
附图说明
图1是现有例的结构图。
图2是本发明的一个实施方式的结构图。
图3是过滤器信息检测部的结构图。
图4是表示摄影机向地图服务器发送的数据的一个例子的图。
图5是表示摄影机从摄影开始至发送发送摄影属性信息为止的一个实施例的流程图。
图6是表示到地图服务器取得路标、并向摄影机发送为止的一个实施例的流程图。
图7是表示地图服务器取得路标信息的范围的一个例子的图。
图8是表示地图服务器向摄影机发送的路标信息的范围的一个例子的图。
图9是表示到摄影机取得路标、并重复显示为止的一个实施例的流程图。
图10是表示在摄影机的过滤中使用的网格构造的一个例子的图。
图11是表示摄影机的显示过滤方法的一个例子的图。
图12是表示缩放(zoom)量与显示区域的对应表的一个例子的图。
图13是表示路标的详细信息的取得方法的一个例子的图。
图14是表示路标的详细信息的取得方法的一个例子的图。
图15是表示基于阶层的过滤的方法的一个例子的图。
图16是表示本发明的第二实施方式的结构图的一个例子的图。
图17是第二实施方式的系统概略图。
图18是表示摄影机从摄影开始至发送发送摄影属性信息为止的一个实施例的流程图。
图19是表示地图服务器的、从路标制作到向摄影机发送为止的一个实施例的流程图。
图20是表示本发明的第二实施方式的结构图的一个例子的图。
图21是表示本发明的第二实施方式的结构图的一个例子的图。
图22是表示本发明的第二实施方式的结构图的一个例子的图。
图23是表示本发明的第三实施方式的结构图的一个例子的图。
图24是表示本发明的第三实施方式的摄影机向地图服务器发送的数据的一个例子的图。
图25是表示地图服务器的、从路标制作到向摄影机发送为止的一个实施例的流程图。
图26是表示到摄影机取得路标、并重复显示为止的一个实施例的流程图。
图27是表示基于优先度的显示路标的一个例子的图。
图28是表示本发明的第四实施方式的结构图的一个例子的图。
图29是表示本发明的第四实施方式的摄影机向地图服务器发送的数据的一个例子的图。
图30是表示地图服务器的、从路标制作到向摄影机发送为止的一个实施例的流程图。
图31是表示到摄影机取得路标、并重复显示为止的一个实施例的流程图。
图32是表示地图服务器向摄影机发送的路标的范围的一个例子的图。
图33是表示本发明的结构图的一个例子的图。
图34是表示摄影机向地图服务器发送的数据的一个例子的图。
图35是表示本发明的结构图的一个例子的图。
图36是表示摄影机向地图服务器发送的数据的一个例子的图。
图37是表示摄影机向地图服务器发送的数据的一个例子的图。
图38是表示路标信息的重复显示方法的一个例子的图。
图39是表示路标信息的重复显示方法的一个例子的图。
图40是表示路标信息的重复显示方法的一个例子的图。
图41是表示路标信息的重复显示方法的一个例子的图。
图42是表示路标信息的重复显示方法的一个例子的图。
图43是表示路标信息的重复显示方法的一个例子的图。
图44是表示路标信息的重复显示方法的一个例子的图。
图45是表示路标信息的重复显示方法的一个例子的图。
图46是表示路标信息的重复显示方法的一个例子的图。
图47是表示路标信息的重复显示方法的一个例子的图。
图48是表示路标信息的重复显示方法的一个例子的图。
图49是表示路标信息的重复显示方法的一个例子的图。
图50是表示路标信息的重复显示方法的一个例子的图。
图51是表示路标信息的重复显示方法的一个例子的图。
图52是表示本发明的实际图像与CG图像的显示状态的图。
图53是表示本发明的实际图像与CG图像的显示状态的图。
图54是表示本发明的实际图像与CG图像的显示状态的图。
图55是表示本发明的实际图像与CG图像的显示状态的图。
图56是表示本发明的实际图像与CG图像的显示状态的图。
图57是表示本发明的实际图像与CG图像的显示状态的图。
图58是表示本发明的实际图像与CG图像的显示状态的图。
图59是表示本发明的实际图像与CG图像的显示状态的图。
图60是表示本发明的实际图像与CG图像的显示状态的图。
图61是表示本发明的实际图像与CG图像的显示状态的图。
图62是表示本发明的实际图像与CG图像的显示状态的图。
图63是表示本发明的实际图像与CG图像的显示状态的图。
图64是表示本发明的实际图像与CG图像的显示状态的图。
图65是表示本发明的对实拍图像和其他图像进行合成的方法的图。
图66是本发明的图像的合成方法的流程图。
图67是本发明的图像的合成方法的流程图。
图68是本发明的图像的合成方法的流程图。
图69是本发明的第七实施方式的结构图的一个例子的图。
图70是表示到摄影机根据输入的方位来重复显示路标为止的一个实施例的流程图。
图71是表示将路标信息与摄影时的方位一起显示的一个例子的图。
图72是表示摄影机向地图服务器发送的数据的格式的一个例子的图。
符号说明
102摄影机
103位置信息取得部
104位置信息检测部
105位置信息输出部
106摄影方向取得部
107摄影方向检测部
108摄影方向输出部
109过滤器信息检测部
110过滤器信息输出部
111过滤器信息取得部
112通信部
113显示信息提取部
114摄影部
115图像处理部
116重复显示处理部
117显示部
118地图数据库
119路标信息提取部
120地图服务器
121摄影机属性信息生成部
122摄影范围信息取得部
550轨
具体实施方式
以下,参照附图说明本发明的一个实施方式所涉及的景观过滤系统。
(第一实施方式)
第一实施方式所涉及的图像摄影装置(摄影机102)是一种图像摄影装置,具有:摄影部(摄影部114、图像处理部115),摄影数字图像;附加信息取得部(通信部112),从对于与上述摄影部所摄影的上述数字图像中包括的各对象分别对应的多个附加信息进行保持的预定的保持装置(地图服务器120),取得该多个附加信息;选择部(显示信息提取部113),从上述附加信息取得部所取得的该多个附加信息中,选择所显示的附加信息;以及显示部(重复显示处理部116、显示部117),与上述摄影部所摄影的上述数字图像一起,在该多个附加信息之中,仅显示上述选择部选择的附加信息。
因此,数字图像中包括着对应的对象的全部附加信息之中的、仅选择的有用的附加信息与数字图像一起显示,能够显示有用的附加信息,并且避免显示的附加信息过多,来显示合适的数量的附加信息。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,该图像摄影装置具备:摄影位置取得部(位置信息取得部103),取得由上述摄影部摄影上述数字图像的摄影位置;以及,摄影方向取得部(摄影方向取得部106),取得由上述摄影部摄影上述数字图像的摄影方向;上述附加信息取得部从与摄影位置及摄影方向进行对应地存储从该摄影位置向该摄影方向在数字图像中摄影的对象的附加信息的预定的附加信息存储装置(地图服务器120),取得与取得的上述摄影位置和上述摄影方向进行了对应的各附加信息。
因此,在图像摄影装置中,分别取得用于确定数字图像中摄影的区域,并确定作为位置被包括在该区域中的对象的、数字图像中包括的各对象的摄影位置以及摄影方向,并取得与取得的这些摄影位置以及摄影方向相对应的、这些包括的各对象的各附加信息,由此,例如,无需将数字图像发送至附加信息存储装置,并从发送的数字图像中,在摄影位置或摄影方向不明的状态下,通过该数字图像的复杂的解析处理等,在图像摄影装置中取得所需的附加信息等的、复杂的结构,能够通过简单的结构,在图像摄影装置中取得所需的附加信息。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述多个附加信息分别包括与该附加信息有关的上述对象的位置,上述摄影部取得摄影上述数字图像的缩放比,上述选择部选择包括以下位置的附加信息,该位置为:对应了相对于取得的上述缩放比、扩大得越大的缩放比与越远的距离建立对应的、缩放比与距离之间的预定的缩放比对应关系的距离,是离取得的上述摄影位置的距离。
因此,在以扩大得越大的缩放比进行摄影、越远的距离的位置的对象对用户来说越关心的情况下,显示越远的位置的对象的附加信息,能够更加准确地显示用户关心的对象的附加信息。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,摄影方向取得部,取得由上述摄影部摄影上述数字图像的摄影方向;上述选择部根据取得的上述摄影位置、上述摄影方向和上述缩放比,选择包括以下位置的附加信息,该位置为:离取得的该摄影位置的距离被包括在与取得的上述缩放比建立了对应的范围中,而且,离取得的该摄影位置的方向为:计算作为上述摄影方向的位置范围,被包括在计算出的上述位置范围中。
因此,显示从进行了摄影的摄影位置、进行了摄影的摄影方向的位置范围的位置的附加信息,从而不仅对于到显示附加信息的对象的位置为止的距离,而且对于摄影的摄影位置以及摄影方向,也选择表示有用的情况的附加信息,并进行显示,能够更加准确可靠地选择有用的附加信息,并进行显示。
而且,显示位于适度拓广的位置范围的附加信息,能够更可靠地显示有用的附加信息。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,上述图像摄影装置还具有:手抖动检测部,检测摄影者使该图像摄影装置运动的手抖动;上述显示部在上述手抖动检测部检测出摄影者的手抖动的期间,继续显示在检测的开始时由上述显示部显示的上述附加信息。
因此,在检测出手抖动、而取得的缩放比不适合用于显示的附加信息的选择的期间,将变得不适合的紧前的、在检测的开始时显示的附加信息继续显示,避免了显示混乱,继续进行规整的显示,即使存在手抖动时,也能够合适地进行显示。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述多个附加信息分别包括与该附加信息有关的上述对象的位置,上述摄影部取得摄影上述数字图像的焦点距离,上述选择部选择包括以下位置的附加信息,该位置为:对应了相对于取得的上述焦点距离、越远的焦点距离与越远的距离建立对应的、焦点距离与距离之间的预定的焦点距离对应关系的距离,是离取得的上述摄影位置的距离。
因此,在进行对越远的距离进行摄影的、越远的焦点距离下的摄影,越远的距离的位置的对象对用户来说越关心的情况下,显示越远的位置的对象的附加信息,能够更加准确、可靠地显示用户关心的对象的附加信息。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述图像摄影装置还具有:人物识别部,识别摄影中的人物;以及人物对焦部,使焦点对准由上述人物识别部识别的人物;上述摄影部取得拍摄上述数字图像的缩放比,上述选择部在上述人物对焦部使焦点对准人物而上述摄影部摄影上述数字图像的情况下,根据取得的上述缩放比,选择以下位置的附加信息,该位置为:对应了相对于该缩放比、扩大得越大的缩放比与越远的距离建立对应的、缩放比与距离之间的预定的缩放比对应关系的距离,是离取得的上述摄影位置的距离。
因此,在进行由人物识别部识别人物并由人物对焦部使焦点对准人物时的、不表示对用户有用的附加信息的焦点距离下的摄影的情况下,不根据焦点距离而根据缩放比来进行选择,设置识别人物而使焦点对准人物的功能,并且通过缩放比来进行附加信息的选择,从而能够合适地选择附加信息并进行显示。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述附加信息分别包括与该附加信息有关的上述对象的位置,上述摄影部取得摄影上述数字图像的视野角,上述选择部选择位置被包括在从取得的上述摄影位置、观察取得的上述视野角的预定的范围中的附加信息。
因此,选择位于从摄影的摄影位置观察摄影的视野角的、在显示数字图像时关心的预定的范围中的对象的附加信息,能够更加准确地选择合适的附加信息并进行显示。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述选择部对于每个按预定的每个单位角度、对从取得的上述摄影位置观察取得的上述视野角的区域进行了分割的各部分区域,分别选择位置被包括在该部分区域中的预定的个数的上述附加信息。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述附加信息为:下位的阶层包括阶层信息,该阶层信息从包括由比该下位的阶层更上位的阶层所包括的对象的一部分构成的对象的多个阶层之中,确定包括该附加信息的对象的阶层;上述选择部从上述多个阶层中,在位置被包括在上述部分区域中的附加信息之中,选择包括了用于在该各选择阶层之中确定某一个的阶层信息的附加信息的个数的合计数为预定个数以下且为1以上的选择阶层,并选择所选择的各选择阶层的上述附加信息。
因此,能够选择与个数对应的合适的阶层的附加信息,并进行显示。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述多个附加信息分别包括与该附加信息有关的上述对象的位置,上述选择部选择在从取得的上述摄影位置、观察取得的上述摄影方向的预定的视野空间中包括上述位置的附加信息。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述选择部对于将上述视野空间分割的预定的每个网格,分别选择包括了该网格所包括的位置的附加信息。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述选择部选择包括以下位置的附加信息,该位置被包括在按照将上述视野空间分割的、离取得的上述摄影位置的距离相互不同的多个部分区域,分别预定个数的该部分区域中。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述附加信息为:下位的阶层包括阶层信息,该阶层信息从包括由比该下位的阶层更上位的阶层所包括的对象的一部分构成的对象的多个阶层之中,确定包括该附加信息的对象的阶层;上述选择部从上述多个阶层中,在包括被分割的上述部分区域所包括的位置的选择信息之中,选择包括了确定该各选择阶层的阶层信息的选择信息的合计数为上述预定个数以下且为1以上的选择阶层,并选择所选择的各选择阶层的上述附加信息。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述选择部在位置被包括在分割的上述部分区域中的附加信息超过预定个数的情况下,在该部分区域的各附加信息之中,从包括离取得的上述摄影方向的角度最小的位置的附加信息开始,到包括上述预定的个数次序小的位置的附加信息为止,选择各附加信息。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述多个附加信息分别包括与该附加信息有关的上述对象的分类,上述选择部从上述附加信息取得部取得的多个附加信息之中,选择分类为预定的分类的附加信息。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述分类包括类别、受欢迎位次、检索位次的至少某一个。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述图像摄影装置还具有:识别信息保持部,保持对用户进行识别的用户识别信息;以及用户信息取得部,将保持的上述用户识别信息,发送至保持用户识别信息与分类的预定的分类对应信息的信息提供服务器,从上述信息提供服务器,取得使上述分类对应信息与发送的上述识别信息相对应的分类;上述选择部将取得的上述分类用作上述预定的分类,来选择附加信息。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述图像摄影装置还具有:用户信息接受部,从用户接受上述预定的分类,作为上述预定的分类;上述选择部根据附加信息所包括的分类、以及接受的分类,来选择附加信息。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述多个附加信息分别包括与该附加信息有关的上述对象的高度;上述选择部选择包括的高度为预定的高度以下的附加信息。
因此,选择易于看到、易于引起关心、高度高的对象的附加信息,并进行显示,能够准确地显示易于引起关心的合适的附加信息。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述选择部对于每个从取得的上述摄影位置、观察取得的上述摄影方向的预定的视野空间被分割为离上述摄影位置的距离相互不同的预定的多个部分区域的各部分区域,分别选择位置被包括在该部分区域中的预定的个数的附加信息。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述多个附加信息分别包括根据与上述附加信息有关的上述对象的高度、将上述多个附加信息分类为多个高度阶层的高度阶层分类;上述选择部对于每个上述各部分区域,分别选择与对应于该部分区域的上述预定的个数相对应的高度阶层分类,并选择包括了所选择的高度阶层分类的附加信息。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述选择部在位置被包括在部分区域中的附加信息的个数超过了上述预定的个数的情况下,在该各附加信息之中,选择从高度最高的附加信息开始、到高度为上述预定的个数次序高的附加信息为止的各附加信息。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述多个附加信息分别包括与该附加信息有关的上述对象的位置;上述图像摄影装置还具有:析像度取得部,取得上述显示部进行显示时的析像度;上述选择部根据取得的上述摄影位置、上述摄影方向和上述析像度,在上述位置被包括在从取得的上述摄影位置观察取得的上述摄影方向的预定的区域中的附加信息之中,选择与取得的该析像度对应了以下析像度对应关系的个数的附加信息,上述析像度对应关系为:析像度越大则与越多的个数相对应的、析像度与个数之间的预定的析像度对应关系。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述附加信息分别包括与该附加信息有关的上述对象的位置;上述图像摄影装置具有:显示区域信息检测部,取得上述显示部的显示区域的大小;上述选择部根据取得的上述摄影位置、上述摄影方向和上述显示区域的大小,在上述位置被包括在从取得的上述摄影位置观察取得的上述摄影方向的预定的区域中的附加信息之中,选择与取得的该显示区域的大小对应了以下显示区域对应关系的个数的附加信息,上述显示区域对应关系为:显示区域的大小越大则与越多的个数相对应的、显示区域的大小与个数之间的预定的显示区域对应关系。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,该图像摄影装置还具备:详细信息取得部,将识别附加信息的识别符,发送至保持附加信息的详细信息的预定的详细信息保持装置,从该详细信息保持装置,取得通过发送的上述识别符来识别的上述附加信息的详细信息。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,该图像摄影装置还具备:详细信息取得部,将识别附加信息的识别符,发送至保持附加信息的详细信息的保存地址的预定的保存地址保持装置,从该保存地址保持装置,取得通过发送的上述识别符来识别的附加信息的详细信息的保存地址,通过对所取得的上述保存地址所表示的访问目的地进行访问,从该访问目的地取得上述详细信息。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,与上述附加信息对应的详细信息,是与该详细信息有关的附加信息所具有的信息以外的其他信息,而且,包括与该对象有关的、互联网上的网络内容,该对象的计算机图形(CG)模型,以及在该摄影之前摄影的、描绘出该对象的类似图像的至少某一个;上述详细信息取得部取得通过上述附加信息所具有的上述识别符来识别的、该图像摄影装置所连接的预定的网络上的服务器中存放的上述详细信息。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述图像摄影装置还具有:详细信息请求接受部,接受操作者的详细信息取得请求;上述详细信息取得部在接受到上述详细信息取得请求的情况下,取得上述详细信息。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述详细信息请求接受部,在进行了使上述数字图像中包括的对象的图像扩大的缩放操作的情况下,接受该缩放操作,作为扩大的上述数字图像中描绘的对象的详细信息的详细信息取得请求。
由此,仅通过进行将持有关心的对象的图像扩大的缩放操作的操作,就能够自然、简单地接受详细信息取得请求。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述多个附加信息分别包括与该附加信息有关的上述对象的位置;上述选择部,在通过操作者的操作变更了上述摄影部摄影上述数字图像的缩放比时,根据变更后的缩放比重新选择在上述显示部上显示的附加信息;上述详细信息请求部,在根据通过上述操作变更了的缩放比来选择的附加信息的数量为预定的个数以下的情况下,将该操作作为上述详细信息取得请求接受。
另外,第一实施方式所涉及的附加信息提供服务器(地图服务器120)是一种附加信息提供服务器,具有:数据库(地图数据库118),保持对象的附加信息;接收部,从预定的其他装置接收数字图像被摄影的摄影位置和摄影方向;附加信息提取部(路标信息提取部119),根据上述接收信息,按照与附加信息有关的对象的位置是否为与接收的摄影位置和摄影方向相对应的位置,从上述数据库提取与上述数字图像中包括的各对象相对应的多个附加信息;以及发送部,将提取的上述附加信息发送至上述其他装置。
另外,第一实施方式所涉及的附加信息提供服务器是一种附加信息提供服务器,其特征在于,上述附加信息提取部在提取出上述多个附加信息之后,提取作为位置被包括在上述数字图像的区域的周边区域中的对象的上述附加信息的周边附加信息;上述发送部将提取的附加信息和提取的周边附加信息,发送至上述其他装置。
另外,第一实施方式所涉及的附加信息提供服务器是一种附加信息提供服务器,其特征在于,上述附加信息提供服务器从上述其他装置,接收从接收的上述摄影位置朝向接收的上述摄影方向进行摄影的摄影的缩放比,从上述数据库提取位置被包括在以下部分区域中的对象的附加信息;该部分区域为:位于从接收的上述摄影位置朝向接收的摄影方向的预定的位置的区域之中的,从接收的上述摄影位置,具有对应了相对于接收的缩放比,缩放比扩大得越大则与越远的距离相对应的、缩放比与距离的预定的缩放比对应关系的距离的预定的部分区域。
另外,第一实施方式所涉及的附加信息提供服务器是一种附加信息提供服务器,其特征在于,上述附加信息提供服务器为:上述接收部接收上述数字图像被摄影时的焦点距离,上述附加信息提取部从上述数据库提取位置被包括在以下部分区域中的对象的附加信息;该部分区域为:位于从接收的上述摄影位置朝向接收的摄影方向的预定的区域之中的,从接收的上述摄影位置,具有对应了相对于接收的焦点距离,越远的焦点距离与越远的距离相对应的、焦点距离与距离的预定的焦点距离对应关系的距离的预定的部分区域。
另外,第一实施方式所涉及的附加信息提供服务器是一种附加信息提供服务器,其特征在于,上述接收部接收上述数字图像被拍摄时的视野角;上述附加信息提取部从上述数据库,提取位置被包括在从接收的上述摄影位置以接收的视野角、朝向接收的摄影方向的预定的区域中的对象的附加信息。
另外,第一实施方式所涉及的附加信息提供服务器是一种附加信息提供服务器,其特征在于,上述附加信息分别包括与该附加信息有关的上述对象的分类;上述附加信息提取部仅提取包括的分类为预定的分类的附加信息。
另外,第一实施方式所涉及的附加信息提供服务器是一种附加信息提供服务器,其特征在于,上述附加信息分别包括与该附加信息有关的上述对象的高度;上述附加信息提取部仅提取包括的高度为预定的高度以上的附加信息。
另外,第一实施方式所涉及的附加信息提供服务器是一种附加信息提供服务器,其特征在于,上述附加信息提供服务器为:上述接收部接收上述数字图像被摄影的析像度;上述附加信息提取部仅提取对应了以下析像度对应关系的个数的附加信息,该析像度对应关系为:对于接收的析像度,析像度越大则与越多的个数相对应的、缩放比与个数之间的预定的析像度对应关系。
另外,第一实施方式所涉及的附加信息提供服务器是一种附加信息提供服务器,其特征在于,上述附加信息提供服务器为:上述接收部从上述其他装置,接收显示上述数字图像的显示区域的大小;上述附加信息提取部仅提取对应了以下显示区域对应关系的个数的附加信息,该显示区域对应关系为:对于接收的上述显示区域的大小,显示区域的大小越大则与越多的个数相对应的、显示区域的大小与个数之间的预定的显示区域对应关系。
另外,第一实施方式所涉及的附加信息提供服务器是一种附加信息提供服务器,其特征在于,上述附加信息提供服务器进一步还具备:属性信息保持部,保持摄影者的属性信息;以及识别信息接收部,从上述其他装置,接收对摄影上述数字图像的摄影者进行识别的识别信息;
上述附加信息提取部具有:属性信息取得部,通过上述属性信息保持部,取得通过接收的上述识别信息来识别的上述摄影者的属性信息。
另外,第一实施方式所涉及的附加信息提供服务器是一种附加信息提供服务器,其特征在于,还具备:识别符接收部,从上述其他装置,接收对上述附加信息进行识别的识别符;以及详细信息发送部,将保存了通过接收的识别符来识别的上述附加信息的详细信息的保存地址,发送给上述其他装置。
另外,第一实施方式所涉及的附加信息提供服务器是一种附加信息提供服务器,其特征在于,还具备:识别符接收部,接收对保持的上述附加信息进行识别的识别符;以及详细信息发送部,在接收到上述识别符时,从预定的详细信息数据库,取得通过接收的上述识别符来识别的上述附加信息的详细信息,并将取得的详细信息发送至上述其他装置。
另外,第一实施方式所涉及的附加信息提供服务器是一种附加信息提供服务器,其特征在于,上述详细信息是与该详细信息有关的附加信息所具有的信息以外的其他信息,而且,包括与该附加信息所对应的对象有关的、互联网上的网络内容,该对象的计算机图形(CG)模型,以及在该摄影之前摄影的、描绘出该对象的类似图像的至少某一个;上述附加信息提供服务器具有:数据库,存放上述详细信息。
另外,上述第一实施方式所涉及的附加信息过滤系统(系统101)是一种附加信息过滤系统,具有:图像摄影装置(摄影机102),摄影数字图像;以及附加信息提供服务器(地图服务器120),将由该图像摄影装置摄影的对象的附加信息发送至该图像摄影装置;上述图像摄影装置具有:摄影部(摄影部114、图像处理部115),摄影上述数字图像;摄影位置取得部,取得由上述摄影部摄影数字图像的摄影位置;摄影方向取得部,取得由上述摄影部摄影数字图像的摄影方向;发送部,将取得的上述摄影位置和上述摄影方向发送给上述附加信息提供服务器;附加信息取得部,从进行了发送的上述信息提供服务器,取得与上述摄影部所摄影的上述数字图像中包括的各对象分别对应的多个附加信息;选择部,从上述附加信息取得部所取得的该多个附加信息中,选择所显示的附加信息;以及显示部,与上述摄影部所摄影的上述数字图像一起,显示上述选择部所选择的附加信息;上述附加信息提供服务器具有:接收部,从上述图像摄影装置接收上述摄影位置和上述摄影方向;数据库,保持与上述数字图像的上述各对象有关的上述多个附加信息;附加信息提取部,根据上述接收信息,按照与附加信息有关的对象的位置是否为与接收的摄影位置和摄影方向相对应的位置,从上述数据库提取上述多个附加信息;以及发送部,将提取的附加信息发送至上述图像摄影装置。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述显示部将上述选择部所选择的附加信息,显示在与从取得的上述摄像位置朝向选择的该附加信息的上述对象的位置的方位相对应的、该图像摄影装置的左右方向的位置上。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述显示部将上述选择部所选择的附加信息,显示在与从取得的上述摄影位置到选择的该附加信息的上述对象的位置为止的距离相对应的、该图像摄影装置的上下方向的位置上。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,上述显示部显示上述摄影部所取得的上述数字图像,并且在显示的该数字图像上显示框,在上述选择部所选择的附加信息之中,仅将显示的上述框的内部所包括的对象的附加信息,与该数字图像一起显示。
另外,第一实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,显示的上述框是具有与上述显示部所显示的数字图像的高度相等的高度的矩形框;上述显示部在显示的数字图像的水平方向的中央部显示该框。
另外,第一实施方式的A方式所涉及的景观过滤装置具备:摄影部,摄影数字图像;摄影位置信息取得部,取得由上述摄影部摄影数字图像的位置信息;摄影方向取得部,取得由上述摄影部摄影数字图像的方位;附加信息取得部,根据上述摄影的场所和上述摄影的方位,取得与上述摄影部所摄影的上述数字图像中包括的被摄体信息相对应的、以被摄体名称等为代表的附加信息;选择部,从上述附加信息取得部所取得的多个附加信息中,选择所显示的附加信息;以及显示部,在上述摄影部所摄影的上述数字图像上,重复显示上述选择部所选择的附加信息。
另外,第一实施方式的B方式所涉及的景观过滤装置包括摄影数字图像的图像摄影装置、以及发送与被摄体相关联的附加信息的附加信息提供服务器;上述图像摄影装置具有:摄影位置信息取得部,取得由上述摄影部摄影数字图像的位置信息;摄影方向取得部,取得由上述摄影部摄影数字图像的方位;发送部,将上述摄影的场所和上述摄影的方位发送给附加信息提供服务器;附加信息取得部,从上述信息提供服务器,根据上述摄影部所摄影的上述摄影的场所和上述摄影的方位,取得与上述摄影部所摄影的上述数字图像中包括的被摄体信息相对应的、以被摄体名称等为代表的附加信息;选择部,从上述附加信息取得部所取得的多个附加信息中,选择所显示的附加信息;以及显示部,在上述摄影部所摄影的上述数字图像上,重复显示上述选择部所选择的附加信息;上述附加信息提供服务器具有保持与对象相关联的附加信息的数据库,并具有:接收部,接收上述摄影的场所和上述摄影的方位;附加信息提取部,根据上述接收信息,从上述数据库提取与数字图像中包括的每个被摄体相对应的多个附加信息;以及发送部,发送上述提取信息。
根据这些A方式、B方式,能够在摄影机上仅显示遵循使用者的目的的信息,对于用户来说,路标信息的一览性能够改善。另外,发送路标信息的地图服务器无需计算摄影机的视野空间,所以能够减少地图服务器的用于路标信息取得的运算量。另外,能够不进行视野空间的计算,而使显示在摄影机上的路标信息,以用户易于与实际的景观进行对应的方式进行显示。另外,能够减少摄影机中的运算量。
图2~12、图38~44、图47~50、图45、图13~14是与第一实施方式有关的图。
图2是本发明的第一实施方式的结构图。
本第一实施方式所涉及的整体结构(系统101)大体划分为由摄影机102和地图服务器120构成。
摄影机102如下所示,由摄影机属性信息生成部121生成与摄影机102有关的辅助信息,由通信部112将生成的辅助信息发送给地图服务器。摄影机102例如代表性地设想为数字静止摄像机等。
另外,摄影机102由位置信息取得部103、摄影方向取得部106、过滤器信息取得部111、摄影范围信息取得部122、摄影机属性信息生成部121、通信部112、显示信息提取部113、摄影部114、图像处理部115、重复显示处理部116和显示部117构成。
首先,位置信息取得部103由取得摄影机的位置信息的位置信息检测部104以及输出该位置信息的位置信息输出部105构成。位置信息取得部103是测定、输出摄影机102的位置的装置。
其中,作为由位置信息检测部104检测位置信息的方法,代表性地优选使用GPS(全球定位系统:Global Postioning System)。但是,关于由位置信息检测部104对位置信息的取得,不一定限定于GPS的利用,可以适用通过使用GPS和加速度传感器、方位传感器从而检测GPS所不能使用的场所中的位置的技术,通过该结构也具有同等的效果。
另外,由位置信息检测部104检测位置信息的方法,也可以是如下说明的方法。即,也可以例如在观光地等众多用户进行摄影的场所,预先将位置信息记载在招牌等上,用户通过手动取得位置信息。由此,在无法取得GPS的位置信息的情况下,也可以取得位置信息。另外,由此还能够期待信息的测定误差变小的效果。另外,还可以将位置信息预先作为QR码显示在招牌上,摄影机通过对该QR码进行摄影来读入位置信息。由此,用户无需通过手动来输入位置信息,方便性提高,位置信息的输入错误也得以消失。另外,即使不生成附带位置信息的QR码,而构成为从无线LAN或短距离无线等的无线基站广播与位置信息有关的信息,摄影机通过通信部112取得位置信息,也能够取得与GPS同等的效果。另外,也可以将通信部112(图2)作为与位置信息取得用的通信部不同的通信部。这是因为,位置信息取得用的无线通信利用只有短距离才能通信的通信方式,从而进一步提高位置信息的取得精度。
另外,位置信息取得部103也可以是与摄影机102不同的装置。例如也可以构成为利用便携式电话的位置信息测定功能,从便携式电话向摄影机通过短距离通信来发送位置信息。由此,摄影机无需另外具有取得位置信息的传感器,能够期待摄影机的小型化、轻量化的效果。
接着,摄影方向取得部106由取得表示摄影机102的透镜所朝向的方向的方向信息的摄影方向检测部107、以及输出摄影方向信息的摄影方向输出部108。摄影方向取得部106是检测、输出摄影机的方向信息的装置。作为检测摄影方向的方法,例如可以利用电子罗盘。
接着,摄影范围信息取得部122取得由摄影机摄影的范围的信息(范围信息)。所谓范围信息,表示摄影机102进行摄影的摄影范围,例如优选取得“10度~270度”等的信息,但不一定限定于此,也可以是透镜的缩放信息和摄像机的广角信息等。另外,在摄影机102使用缩放功能等、摄影机102限定了可摄影的功能的情况下,摄影机102也可以取得可摄影的最大的摄影范围信息。这是因为,在摄影机102取得路标信息的情况下,在通过开关的切换或缩放量的变更来改变摄影范围时也平滑地显示路标信息。
其中,将摄影机102测定的位置信息和摄影方向信息等、为了提取路标信息而由摄影机102取得的信息,总称为摄影机属性信息。
接着,说明摄影机属性信息生成部121。由位置信息取得部103、摄影方向取得部106、摄影范围信息取得部122制作的信息作为由摄影机属性信息生成部121附加了头等的包(称为摄影机属性信息),从通信部112(图2)所具备的发送部,发送给地图服务器120。即,摄影机属性信息生成部121取得制作的各信息,将取得的信息作为摄影机属性信息发送至地图服务器120。
其中,优选地图服务器120的地址预先登录在摄影机102的存储器中,但也可以设为能够通过用户的登录来改变。由此,例如在地图服务器120的地址改变的情况下,也可以向新的地图服务器120发送上述摄影机属性信息。另外,在其他的地图服务器120新开始了服务的情况下,用户的系统转移也变得顺利。
接着,通信部112经由无线通信,将位置信息取得部103取得的位置信息、以及摄影方向取得部106取得的摄影方向信息,发送给地图服务器120。
其中,通信部112优选利用无线LAN,但不一定限定于此,也可以使用便携式电话、PHS、WiMAX(全球微波互联接入:WorldwideInteroperability for Microwave Access)等的基站通信,也可以构成为暂且向其他的通信装置发送摄影机属性信息,其他的通信装置向地图服务器120发送摄影机属性信息。例如,可以构成为:摄影机102(摄影方向取得部106)向便携式电话,通过无线LAN、UWB或ZigBee等的短距离通信来发送摄影机属性信息,便携式电话将被发送至该便携式电话的摄影机属性信息,向地图服务器120发送。摄影机102通过短距离通信向其他的通信装置发送数据,而其他的通信装置向地图服务器120发送摄影机属性信息,从而首先能够缩小摄影机102的通信部112。另外,还能够缩小摄影机102的摄影机属性信息发送的功率,所以能够延长摄影机102的可利用时间。
另外,具有这样的通信部112的摄影机102也可以在与地图服务器120的通信由于电波环境的恶化等而变得不可能的情况下,将位置信息和摄影信息暂时保存在摄影机102的存储器中,在与地图服务器120的通信变得可能之后,对地图服务器120,通过通信部112发送所保存的位置信息和摄影信息,对于由发送而得到的路标信息,附加所摄影的图像的头,也可以通过接近通信,将位置信息和摄影信息发送至能够与地图服务器120进行通信的其他设备(例如便携式电话),由其他设备取得来自地图服务器120的路标信息。
接着,地图服务器120包括地图数据库118和路标信息提取部119。
首先,地图数据库118与位置信息一起保持着与路标有关的信息(路标信息)。地图数据库118存放由路标的ID、路标名称、纬度、经度、住所、电话号码、属性名称、阶层位次、优先度等构成的路标信息。路标信息所包括的阶层位次以阶层管理多个路标信息,例如大楼的路标信息和在该大楼中入住的店铺的路标信息具有相同的纬度、经度,通过预先将大楼路标的阶层位次设定得比店铺路标的阶层位次高,从而能够以阶层存放大楼及其中的店铺的路标。进而,路标信息设为包括地图数据库所保存的全部的数据、属性、原数据(metadata)。代表性地可以举出A大楼、B寺院、C山等建筑物或构造物的名字,餐饮店、娱乐设施等的属性信息,餐饮店的URL信息或优惠券信息,经由地图服务器得到的由用户制作的内容、原数据等,但不一定限定于此。例如,与地图服务器联动的社会网络服务(SNS)所包括的由用户制作的日记、图像、影像、原数据等的内容信息也称为路标信息。
接着,路标信息提取部119根据从摄影机102取得的摄影机属性信息,从地图数据库118,提取由摄影机102摄影的图像所包括的路标信息、以及该图像的周边的路标信息,并发送给摄影机102。路标信息提取部119发送周边的路标信息,从而在用户对摄影机102进行移镜头或缩放的情况下,也能够将过去发送的这些周边的路标信息用于摄影机102,无等待时间地显示路标信息。
其中,优选地图服务器120所发送的路标信息仅设为建筑物的名字等主要信息,URL或原数据等信息进而在从摄影机102侧存在请求的情况下再次发送,或预先由摄影机102预先发送并指定希望的路标信息的种类。由此,路标信息提取部119从地图数据库118提取的数据的量减少,所以能够期待提取速度变快的效果。另外,地图服务器120向摄影机102发送的路标信息的数据尺寸也变小,所以还能够期待到摄影机102取得路标信息为止的等待时间变短的效果。
接着,摄影机102的通信部112中的接受部将从地图服务器120接收的路标信息发送给显示信息提取部113。
接着,过滤器信息取得部111由过滤器信息检测部109和过滤器信息输出部110构成,该过滤器信息检测部109在从地图服务器120取得的路标信息之中,检测与用于仅显示用户所要求的路标信息的过滤有关的信息;该过滤器信息输出部110发送由该过滤器信息检测部109检测的上述信息。
图3是表示过滤器信息检测部109的详情的图。
过滤器详细检测部109由显示析像度详细检测部201和用户种类检测部202构成,通过这些检测信息的组合来进行过滤。
首先,显示析像度信息检测部201是使摄影机102所摄影的图像信息和路标信息重复显示的显示部127(图2)的析像度信息。其中,显示析像度信息检测部201也可以存储析像度信息。
接着,用户选择种类检测部202检测用户的显示路标的种类信息。在此,举出用户的显示路标的种类的一个例子。作为路标的种类,可以举出都市或地区名、饭店或咖啡店、酒馆作为代表的餐饮店、住宿设施、地图服务器的公共团体所制作的类别、超市或便利店、电影或DVD的租赁、药店或银行购物中心或百货店等作为代表的与购物或服务有关的类别,机场或车站、加油站等作为代表的与交通有关的类别。山或河流的名字作为代表的与地势有关的类别。寺庙佛堂、温泉等作为代表的与观光地有关的类别,公园或学校、医院、图书馆、邮政局等的设施类别,显示交通信息的交通信息类别等,但不一定要限定于此。
另一方面,显示学校提取部113(图2)根据从过滤器信息取得部111取得的过滤信息,过滤路标信息。关于具体的过滤方法留待后述。进行了过滤的路标信息通过显示信息提取部113,发送给重复显示处理部116。
摄影机102通过摄影机114取得景观,并由图像处理部115进行了图像处理之后,将景观数据发送给重复显示处理部。
接着,在重复显示处理部116中,进行在由图像处理部115取得的景观数据上覆盖显示由显示信息提取部113提取的路标信息的处理。其中,重复显示处理部116在通过用户操作等而不进行重复显示的情况下,不重复显示路标信息,而将图像处理部115的图像数据发送给显示部117。
接着,显示部117进行摄影信息与路标信息的重复的显示。其中,显示部117也可以具有:搭载了按钮或触摸面板功能、通过接受用户操作来显示更详细的路标信息等的处理功能。
图4是表示摄影机102向地图服务器120发送的数据的格式的一个例子的图。
在摄影机102向地图服务器120发送的数据中,如图4所示,附加了测位时刻、表示摄影的位置信息的纬度信息和经度信息、表示摄影方向的相对于正北的行进方向、摄影范围信息、还有摄影机102的ID信息。
其中,摄影机102的ID信息用于地图服务器120识别哪台摄影机102进行了访问。只要是能够唯一识别摄影机102的ID即可。无线通信装置的MAC地址等也能够得到同等的效果。另外,摄影机102的ID不一定必须对1台摄影机102是1个。例如,在多个用户使用摄影机102的情况下,也可以对每个用户制作ID。
其中,在此,发送的数据的数据格式不一定要限定于此。尤其是为了提高位置信息的精度信息,可以将GPS的品质、能够接收的GPS卫星的数量、差速器GPS(DGPS)的时期(エイジ)、DPS基准站的ID等,附加至数据格式中,通过来自DGPS的校正计算,提高位置信息的精度。
在此,说明摄影机102的模式。摄影机102具备:通常摄影模式,用于进行图像摄影;路标显示摄影模式,用于一边在画面上显示路标,一边进行图像摄影或周边信息的取得;以及再现模式,用于在画面上再现所摄影的图像;用户经由摄影机102的操作接口,能够设定为任意的模式。
这样,在路标显示摄影模式下,用户将摄影机102面对摄影对象,从而将摄影对象和与摄影对象相对应的路标信息作为图像显示在画面上。以下,说明摄影机102在路标显示摄影模式下取得摄影对象的路标信息的处理。
图5是摄影机102对风景进行摄影、并将摄影机属性信息发送给地图服务器120为止的一系列的流程图。
首先,若由用户通过SW等进行了向路标显示模式的切换(步骤401),则摄影机102向路标显示模式转移(步骤402)。摄影机102的摄影机属性信息生成部121(图2)制作摄影机属性信息(步骤404),并将该信息发送给地图服务器120(405)。
其中,在此,说明摄影机102的变形例。在摄影机属性信息中,包括摄影机102的位置信息、以及与摄影方向有关的信息,但也可以将这些位置信息检测部104和摄影方向检测部107不设在摄影装置主体(摄影机102)上,而在与摄影装置主体(摄影机102)不同的装置中分离构成。例如,也可以构成为:对于由具备位置信息检测部104和摄影方向检测部107的便携式电话取得的位置信息和摄影方向的全部或某一个,通过摄影装置(摄影机102)的接收部(参照图2所示的通信部112)接收。由此,摄影机102通过具备短距离无线的通信装置,就能够从该便携式电话取得位置信息和摄影方向信息的双方或某一方,因此,不具备检测位置信息或摄影方向的传感器等的检测部,所以具有摄影机102能够小型化的优点。
其中,在此,说明步骤405中由摄影机102进行的摄影机属性信息的发送的处理的详细内容。摄影机102使用地图服务器120的网络地址,对于由网络地址表示的服务器进行发送,从而向地图服务器120进行发送。然后,摄影机102使用摄影装置作为装置设定信息存放在存储区域中的地址,来作为地图服务器120的网络地址(URL)。其中,该存放的地图服务器120的地址也可以设为用户能够使用摄影装置的操作接口来变更为任意的地址。
图6是地图服务器120接收摄影机属性信息、并向摄影机102发送路标信息为止的一系列的流程图。
地图服务器120首先对是否接收了摄影机属性信息进行检查(步骤501)。在接收了摄影机属性信息之后,地图服务器120解析摄影机属性信息,向地图数据库(地图DB)118访问(步骤502),取得摄影机102所摄影的景观中包括的路标信息(摄影范围路标信息)(步骤503)。地图服务器120将取得的摄影范围路标信息发送至摄影机102(步骤504)。在将摄影范围路标信息发送至摄影机102之后,地图服务器120取得摄影范围周边的路标信息(摄影周边路标信息)(步骤505),将取得的摄影周边路标信息发送给摄影机102(步骤506)。
接下来,对于地图服务器120在步骤505中、根据之前在步骤503中接收的摄影机属性信息来取得路标信息的方法,进行详细的说明。
图7是表示根据摄影机属性信息来从地图服务器120取得路标信息的区域的图。
地图服务器120接收从摄影机102发送的包括位置信息、方向信息的摄影机属性信息(图6的步骤501),地图服务器120的路标信息提取部119从地图数据库118中,提取比从摄影机属性信息获得的摄影范围(图7中由虚线表示的摄影机的摄影范围)稍大的范围(摄影范围路标信息取得范围)的地图上的路标信息(步骤503)。
在此,该摄影范围如图7所示,是扇形的范围,扇形的中心角的位置是摄影的位置,扇形的中心角的二等分线、即图7中的向上方向的箭头线,与摄影机102进行摄影的摄影方向一致,扇形的中心角是摄影机属性信息中包括的摄影范围信息。
另外,关于摄影范围路标信息取得范围所成的扇形的半径、即摄影范围路标信息取得范围的圆弧离摄影机102的距离,使用地图服务器120所保持的规定值。
其中,该规定值优选从摄影机102将半径设定为5km的范围。这是在假设摄影机102位于地上1.5m的高度时的大致的到水平线为止的距离。其中,关于该规定值,不一定必须为5km。例如,也可以根据摄影机102的位置信息和地图服务器120中保存的标高信息,来计算摄影机102的位置的高度,进而据此将摄影机102离地上的高度假设为1.5m等,将根据摄影机102的高度计算的到地平线为止的距离,设为地图服务器120所具有的上述路标信息提取部119所提取的路标的半径、即上述规定值,从而能够以更高的精度来限定路标信息的范围。
图8是表示地图服务器120向摄影机102发送的路标信息的范围的一个例子的图。
在之前的图7中表示的摄影周边路标信息取得范围设为:比起该范围的内侧的摄影范围路标信息取得范围,进一步扩大扇形的角度的范围。如图8所示,地图服务器120在对摄影机102首先发送摄影范围路标信息之后(图6的步骤504),取得摄影周边路标信息取得范围的路标信息(步骤505),并向摄影机102发送(步骤506)。这样,首先缩短到制作摄影范围的路标信息为止的等待时间,并且摄影机102事先保持摄影范围周边的路标信息,从而在摄影机移镜头的情况下,产生以下效果,即:能够不再次等待地图服务器120的路标信息取得处理,迅速地显示路标信息。
其中,在图8中,作为一个例子,示出以下例子,即:摄影周边路标信息取得范围的扇形的角度是大致250度~大致110度的范围内的250-110=140度,摄影范围路标信息取得范围的扇形的角度是大致237度~大致128度的范围内的237-128=109度(<140度),摄影范围的扇形的角度(摄影视场角)是大致210度~大致155度的范围内的、210-155=55度(<82度<140度)。
路标信息提取部119(图2)从地图数据库118提取路标信息,将这些提取出的多个路标信息,对于将摄影机属性信息发送而来的摄影装置进行发送。
摄影装置的接收部(参照图2所示的通信部112)接收从地图服务器120发送的路标信息,显示部117将接收部所接收的路标信息的全部或部分,与摄影部114以及图像处理部115所取得的摄影图像一起,显示在摄影机102所具有的画面上。摄影装置将显示路标信息的全部的路标全显示模式、或显示部分的路标部分显示模式,作为路标显示设定信息,事先存放在摄影机102所具有的存储部的存储区域中。
其中,像这样的路标显示设定也可以设为用户能够使用摄影装置的操作接口变更为任意的路标显示模式,即,摄影部102接受操作接口的操作,对存放的路标显示设定信息进行变更。
图9是摄影机102显示路标信息、并在显示部117上进行重复显示的处理的流程图。
摄影机102所进行的对摄影范围路标信息的动作,与对摄影周边路标信息的动作基本上相同,因此,在此统一将其称为路标信息,以下对于该路标信息的过滤方法进行说明。
摄影机102若从地图服务器120接收路标信息(步骤801:是),则在该接收的路标信息之中,取得用于过滤所显示的路标信息的过滤信息(步骤803)。关于过滤信息,在后面详述。摄影机102根据过滤信息,对接收的路标信息进行过滤,通过显示部117,在摄影的图像所描绘的景观上重复并显示路标信息。
摄影机102检查是否从地图服务器120取得了路标信息(801)。然后,摄影机102如果接收到路标信息,则接下来进行对是否显示所接收的全部的路标的判定处理。摄影机102将用于确定是否显示全部的路标的全部路标的显示设定存放在存储部中,在由该显示设定确定为全部显示的情况下(步骤802:是)判定为显示所接收的全部的路标,在没有确定的情况下(步骤802:否),判定为不显示全部的路标,而仅显示部分。
其中,像这样的全路标的显示设定优选由用户设定。例如,也可以由用户切换路标显示按钮,从而摄影机102切换全路标显示和仅显示进行了过滤的路标的模式。
在显示全路标的情况下(步骤802:是),摄影机102使从该摄影机102的透镜取得的摄影风景、以及从地图服务器120取得的路标信息,通过重复显示处理部116,进行重复显示(步骤805)。
另一方面,在不显示全路标的情况下(步骤802:否),摄影机102仅显示进行了过滤的路标信息(步骤803~805)。显示信息提取部113首先通过过滤器信息取得部111,取得与路标信息的过滤有关的信息(步骤803),通过取得的过滤信息,提取所显示的路标信息(步骤804)。重复显示处理部116使提取的路标信息与由图像处理部115得到的风景图像重复显示(步骤805)。
以下,说明过滤方法。
摄影机102在设定为路标部分显示模式的情况下,显示信息提取部113在从地图服务器120接收的路标信息之中,提取所显示的路标信息。摄影机102根据从该摄影机102的各部取得的摄影机属性信息,来进行过滤。更具体而言,摄影机102按照摄影机102的缩放的大小,将表示路标信息的区域通过离摄影位置的距离进行限定,即,限定为与该距离相对应的对应区域,进而,按照可显示的析像度,变更所显示的路标的名字。
在地图服务器120中,如上所述,阶层化地保存着路标信息。更详细地,在地图服务器120中,层越深(阶层越大),保存着更详细的路标信息。例如,在上位的阶层中保存着大楼街区的名字,在其下位的层中保存着大楼的名字,进而在其下位的层中保存着大楼之中的租户的名字。即,地图服务器120与路标信息一起,存储作为整体的上位的路标的上位的路标信息与作为该上位的路标所成的整体中包括的一部分的、下位的路标的下位的路标信息之间的阶层关系,由此,存储的路标信息被阶层化。
摄影机102为了显示从地图服务器120发送的路标信息,将摄影机102所摄影的空间,根据离摄影机102的距离,分割为多个区域。然后,摄影机102根据摄影机的析像度信息,决定对每一个区域所能显示的最大路标数。摄影机102在析像度越大的情况下,使能显示的最大路标数越大。
图10是表示对路标信息进行划分的空间的名称的图。
在地图服务器120所具有的地图数据库118(图2)所保持的路标信息中,包括表示该路标信息的路标的位置属于图10所示的各空间(网格区域)之中的哪一个空间的位置信息。
摄影机102的附近如图10所示,按照离摄影机102的距离是否为预定的范围,分割为多个区域。在图10中,作为一个例子,示出摄影机102的附近被分割为3个区域。这样,这些被分割的各区域按照离摄影机102的距离,将近距离设为第一区域,将中距离设为第二区域,将远距离设为第三区域。
另外,摄影机102的附近如图10所示,按照离摄影机102的摄影方向的角度是否为预定的范围,分割为多个区域,摄影范围被分割为水平方向的这些各区域。以后,将这些被分割的各区域称为域(range)。这样,将摄影方向附近的范围设为第一域,将更广角的范围设为第二域,将进一步更广角的范围设为第三域。
在以下的说明中,将由区域或域分割的空间的一个成为网格区域。
若摄影机102进行缩放,则摄影的摄影范围的域的宽度也缩小。若使摄影机102的缩放比增大,则摄影范围的角度变小。摄影机102与此对应,使过滤中使用的域的角度缩小。例如若事先设定为将摄影范围分解为3个域,则如果缩放比增大,则使用的域的宽度变小,如果缩放比增大,则使用的域的宽度也相对变宽。
其中,关于区域、域或阶层的数量,不一定必须限定于在此记载的数量。其中,在摄影机102中,为了透镜分割,优选具有多轴的传感器。即,优选摄影机102在进行通常的摄影时,通过检测水平方向的偏差的电子罗盘,检测摄影机102所面向的方向,在摄影机102为了摄影垂直方向长的图像而倾斜90度来利用的情况下,切换至对于在通常摄影的方向为垂直方向、即在90度倾斜的摄像机102为水平方向的偏差进行检测的电子罗盘,通过该电子罗盘,设定摄影机102所朝向的方向、或域的划分。由此,在使摄影机102旋转90度的情况下,也能够正确地进行域的设定和摄影方向的检测。
摄影机102通过该摄影机102进行摄影的析像度,来决定一个网格区域中显示的路标数的上限。析像度越大,每一个区域所能显示的路标数越大。
其中,以下,作为一个例子,说明每一个网格区域所显示的上限的路标数(每个网格区域最大显示路标数)为2的情况。其中,以下,为了标记的方便,有时将网格区域简称为区域。
其中,对于这些方面,在后面更加详细地说明。
图11是表示每个各阶层的路标数、以及实际显示的路标的阶层的图。
在地图服务器120所具有的地图数据库118(图2)所保持的路标信息中,包括表示该路标信息的路标所属的阶层的阶层信息。该阶层信息如果比该路标以外的其他路标的该阶层小,则表示该路标比该其他路标更下位,如果相同则表示同位,如果大则表示下位上位。该阶层信息是上述存储的阶层关系。
这样,摄影机102通过显示信息提取部113,在从地图服务器120取得的路标信息之中,提取由该各路标信息中包括的阶层信息来确定的部分的路标信息,即进行选择,在各路标信息之中,显示所提取的路标信息。
例如,在图11中,作为一个例子,示出以下例子,即:将位于第三区域的第一域的情况通过与其位置相对应的叉号示出的路标信息属于第一阶层,包括表示第一阶层的阶层信息,在图11的第二层的栏中的、通过第三区域的第二域之中的叉号表示的、与上述第一阶层的路标信息不同的路标信息,属于第二阶层的路标信息。
摄影机102在不超过每一个网格区域所能显示的路标数的范围内,显示到阶层最深的路标的路标信息。
这样,摄影机102在最上位、即图11中的第一层的阶层的路标数不超过每个网格区域最大显示路标数的情况下,从靠近中心部的域的网格区域开始,在不超过每个网格区域最大显示路标数的范围内,显示路标。
现在,设每个区域最大显示路标数为2。第三区域为:第一层中的合计的路标数是1,第二层中的合计的路标数是2,第三层中的合计的路标数是4,因此,在第三区域中,作为与每个区域最大显示路标数2相同的合计的路标数的、第二层的路标为止的各阶层的路标信息被显示。另外,说明第二区域,则第三层的路标数是1,第四层的路标数是2,因此,在第二区域中,显示第四层的路标。另外,第一区域的第一层的路标数已经超过了最大显示路标数2。此时,摄影机102按照域,对显示的路标进行过滤。即,由于第一区域一第一域的路标数为2,第一区域-第二域的路标数为4,所以此时,显示第一区域-第一域的路标。
其中,也可以通过摄影机102的缩放量来提取所显示的区域。
图12是表示缩放量与显示区域的对应表的一个例子的图。
摄影机102在通过缩放量进行提取的情况下,如下说明,进行由图12说明的处理,来进行提取。
摄影机102的附近按照离摄影位置的距离,分割为3个区域,设摄影装置具有光学缩放(基于物理透镜驱动的缩放)为1倍~10倍的缩放摄影功能,摄影机102在1倍~3倍缩放的情况下提取第一区域(近距离区域)的路标信息,在3倍~6倍缩放的情况下提取第二区域(中距离区域)的路标信息,在6倍~10倍的情况下提取第三区域(远距离区域)的路标信息。即,在缩放小的情况下,通过摄影机102提取靠近摄影位置的路标,在缩放大的情况下,通过摄影机102提取远离摄影位置的路标。由此,能够仅显示用户希望知道的区域的路标信息,因此提高了用户的方便性。
其中,作为路标阶层位次的选择方法,存在提取第二阶层以上的阶层位次的路标的方法、提取路标数最小的阶层位次的路标的方法、提取用户预先设定的阶层位次的路标的方法。另外,也可以自动选择阶层位次,以最接近于路标显示上限数。
另外,显示区域不一定必须限定于由缩放量来决定的结构,也可以不按照缩放量,而按照摄影机102的焦点距离来变更显示区域。即,在图11中进行说明,在摄影机102的焦点距离近的情况下,显示第一区域中存在的被摄体的路标,在摄影机102的焦点距离远的情况下,显示第三区域中存在的被摄体的路标。如果摄影机102中带有自动对焦功能,则用户能够不进行摄影机102的缩放按钮的操作,而取得用户希望知道的被摄体的路标信息。
另外,在摄影机102中带有在识别人的面部时将焦点对准该面部的面部识别对焦功能的情况下,也可以搭载以下功能,即:摄影机102在面部识别对焦功能不工作的情况下,通过焦点距离来决定显示路标的区域,若面部识别对焦功能工作,则转移至通过摄影机102的缩放功能来决定路标的显示区域的模式。由此,在搭载了面部识别对焦功能的摄影机102中,如果在景观中出现步行者的面部,则焦点距离改变,而显示区域不发生急剧变化,带来路标显示区域的稳定化。
另外,摄影机102在利用摄影距离以及阶层位次所提取出的路标信息超过了规定的路标显示上限数的情况下,通过选择1个或多个优先度来提取路标信息。例如,作为路标优先度的选择方法,存在提取规定的优先度以上的路标的方法、提取优先度最高的路标的方法、提取用户预先设定的优先度的路标的方法。另外,也可以自动选择优先度,以最接近于路标显示上限数。
其中,也可以通过在水平方向上对显示路标信息的区域进行分割,摄影机102根据像这样分割的分割区域,来提取路标。例如,在水平方向的摄影视场角为90度的情况下,将左侧30度作为左区域,将中央30度作为中央区域,将右侧30度作为右区域,提取规定的区域中包括的路标信息。作为从水平方向分割区域之中设定规定的区域的方法,存在固定设定为中央区域的方法、用户利用摄影装置的操作接口进行设定的方法等。尤其是,对于用户设定区域的情况,也可以由用户在摄影前设定水平方向分割区域来作为摄影装置的设定信息,也可以在通过显示部117进行了路标以及摄影图像的显示后,选择水平方向分割区域并再设定。
重复显示处理部使全部的路标信息(路标全显示模式时)或由显示信息提取部113提取的路标信息(路标部分显示模式时)与摄影图像重合,并制作在画面上显示的显示图像。以下表示代表性的路标信息显示方法。
图38是表示路标显示画面的一个例子的图。
其中,图38的上部所示的,显示了山的棱线、A服装店或C服装店等所面对的道路等的图像的,图像显示的区域之中所示的“W旅馆”或“Y宾馆”等的各文字,分别仅是为了说明方便而附加的文字,不是摄影机102所显示的文字。
另一方面,在图38的下部所示的,格子状的矩形区域是摄影机102显示路标信息的路标信息显示部分,该路标显示部分所示的“C服装店”、“A服装店”等的各文字,是摄影机102作为路标信息在路标显示部分显示的文字。
摄影机102具备上部的图像显示的区域、以及设置在图像显示的区域的下部的、路标显示部分。路标显示部分在与摄影的被摄体所存在的网格区域的水平方向的相同位置,显示路标名。由此,对于用户而言,能够期待易于把握被摄体和与其相对应的路标的对应的效果。另外,路标显示部分将离摄影机的距离远的区域的路标显示在显示区域的上部,将离摄影机的距离近的区域的路标显示在显示区域的下部。另外,路标显示部分对于相同区域的路标,也将离摄影机的距离远的被摄体显示在显示部的上部,将离摄影机的距离近的被摄体显示在显示部的下部。用户能够期待以下效果,即:根据被摄体的区域,通过改变显示的显示部分,能够知道摄影机与被摄体的大致的距离,而且能够在视觉上知道摄影机与被摄体的相对的远近。
进而,摄影机对最靠近摄影机的方向、而且最靠前的路标名进行标记并强调显示。作为标记的例子,优选将指示器按钮对准上述路标名放置。用户访问在显示部的中心、而且靠前的路标的信息的频度高,所以在详细显示路标时,能够期待无需用户的指示器移动的处理的效果。
另外,也可以在路标名的旁边,显示从摄影机到对应的被摄体为止的直线距离、或访问到被摄体所需的路径距离。通过了解到被摄体为止的距离,用户能够探讨向被摄体进行访问的移动手段。
另外,也可以不在画面下部,而在画面上部、画面左端或画面右端,设置路标显示区域。在画面左端或画面右端设置显示区域的情况下,按照从摄影位置向被摄体的方向,在显示区域内左右排列该被摄体的路标名称,并且按照从摄影位置到被摄体的距离,在显示区域内上下排列该被摄体的路标名称,来进行显示。
图39是表示在画面右端显示路标的情况的画面显示的一个例子的图。在图39中,是从接近于摄影位置的路标开始依次、从画面下部到画面上部排列显示的图。
由此,能够获得路标的显示位置与从摄影机到被摄体的距离的相对的对应,对于远方的被摄体等、以肉眼无法分辨哪一个在远方的被摄体,用户也能够在视觉上掌握哪一个被摄体较远这样的信息。另外,也可以按照路标的水平方向的位置进行分割,将路标分割为多列。
图40是表示使路标显示为2列的情况的显示部的一个例子的图。通过设为多列显示路标,有容易把握路标的水平方向的位置的优点。
图41是表示在与区域相对应的显示部分、显示该区域的路标的显示部的一个例子的图。
如图41那样,也可以构成为:位于离摄影机在远方的第三区域的被摄体的路标名在显示部的右上部进行显示,位于第二区域的被摄体的路标名在显示部的右中部进行显示,位于摄影机附近的第一区域的被摄体的路标在显示部的右下部进行显示。由此,用户易于知道显示的是路标存在于哪个区域的被摄体的信息,因此,例如在大楼街区等大量路标存在的地域中进行使用的情况下,将被摄体与路标的对应弄错的可能性下降。
路标信息的重复显示方法也可以构成为:用户通过设定所显示的路标的类别,来进一步对画面显示的路标进行过滤。
图42是表示摄影装置的操作菜单画面的一个例子的图。
用户在摄影前使用摄影装置的操作菜单,事先选择优先显示的路标的类别,则能够显示符合用户的喜好的路标。
在图42的例子中,在进行优先显示的路标的类别设定中,将“时尚”、“娱乐”、“公共”、“交通”、“住宿”、“餐饮”、“受欢迎地点”、“其他”作为可选择的类别进行显示,但不限定于此。另外,上述类别选择项之中,对于“受欢迎地点”,可以将摄影时的URL访问数为高位的路标作为优先显示的路标,也可以在摄影机的图像所包括的路标的HP之中,对位于检索服务的检索排名的高位的路标进行显示。另外,在上述类别选择项之中,在选择了“其他”的情况下,也可以设为:用户使用画面上显示的软件键盘等来输入任意的类别关键词,对路标信息内含有该类别关键词的路标进行优先显示。
图43是表示被摄体的详细信息显示方法的一个例子的图。
使得从路标之中,用户能够使用摄影装置的操作接口选择一个任意的路标,来显示详细的路标信息。例如,存在以下方法,即:在路标显示区域内显示用于路标选择的指示器,使用多数数字静止摄像机所搭载的十字(上下左右方向)按键,使指示器移动并进行路标的选择。若选择了路标,则在画面中显示路标详细信息显示区域,在该显示区域内,显示ID、路标名称、路标URL、纬度、经度、住所、电话号码、属性名称、阶层位次、优先度。
其中,关于路标的选择,也可以构成为:使摄影装置的画面成为能够检测用户的手指的接触的触摸式画面,用手指触摸在该触摸式画面上显示的路标来进行选择。通过使画面成为触摸式,从而无需用于路标选择的指示器,因此存在能够实现摄影机的小型化、显示画面的大型化的优点。
在所选择的路标具有路标URL的信息、在路标详细信息显示区域上显示路标URL的情况下,用户使用摄影装置的操作接口将URL所示的主页显示在画面上。在路标详细信息显示区域中显示着路标URL的状态下,若用户通过摄影装置的操作按键,选择了路标URL,则摄影装置中内置的网络浏览器启动,从互联网读入被选择的URL所示的主页,并在画面上显示主页。
其中,在难以在摄影装置中搭载网络浏览器的情况下,也可以设为将选择的路标URL发送至便携式电话等搭载了网络浏览器的外部设备。
其中,摄影机也可以构成为:在访问路标URL时,发送摄影机固有的ID。由此,摄影机所访问的HP知道哪一台摄影机访问了HP,所以例如在餐饮店等,对于来自摄影机的访问,能够显示与通常的PC等的互联网访问不同的优惠券信息等。这是因为,来自摄影机的访问示出持有摄影机的用户在被摄体的附近的可能性较高,所以能够进行更有效的招徕顾客的宣传。除此以外,也可以利用摄影机位于被摄体的附近的可能性较高的情况,仅对从摄影机访问的用户显示限时服务的广告页面,由此,实现了用户的方便性和服务提供公司的有效宣传。
其中,在图43中,示出了从路标之中、用户能够使用摄影装置的操作接口选择一个任意的路标,来显示详细的路标信息的方法,但如果显示的路标数为规定值以下,则也可以显示带详细信息的路标。由此,能够省去用户选择路标、并按下详细显示按钮等的进行详细显示的处理。
另外,也可以不进行详细显示,而是如果显示的路标为规定值以下,则访问该路标的URL,显示URL目的地的信息。比起详细显示的内容,URL目的地的信息量更多,所以通过该功能,用户能够知道被摄体的更详细的信息。
图44是表示摄影机根据缩放操作访问URL的变形例的图。
其中,如图44所示,也可以构成为:在通过摄影装置的缩放操作、在画面中以最大缩放倍率仅显示1个路标的情况下,若用户进一步进行扩大(zoom in)操作,则网络浏览器启动,自动访问在画面上显示的路标的URL。通过如此,用户仅进行缩放操作,就能够顺利地访问路标的URL。在画面中放大显示的路标不具有URL信息的情况下,优选不启动网络浏览器。
图47是表示本发明所涉及的、重复显示方法的其他结构的图。
在画面下部,设置显示路标信息中包括的路标的名称的显示区域。以摄影的被摄体和与该被摄体对应的路标名称在画面的显示区域内沿水平方向一致的方式,来进行显示。而且,按照从摄影位置到被摄体的距离,在显示区域内上下排列该被摄体的路标名称,来进行显示。例如,在画面下部进行2个路标显示的情况下,按照第1行、第2行的顺序,到进行路标信息的被摄体为止的距离增大。
在显示画面4601中示出缩放为一倍时的路标显示方法,在显示画面4602中示出缩放为5倍时的路标显示方法的一例。摄影机在缩放较小时显示附近的路标,在缩放较大时显示远方的路标。
按照缩放量,通过改变路标的显示区域,例如,在用户通过缩放希望知道远方的地域的名称的情况下,用户通过缩放功能使远方的路标显示,从而使附近的路标不显示,能够仅使远方的路标信息显示。
其中,在显示的路标名称超过了规定的字数的情况下,摄影机可以省略超过了规定字数的部分的名称来进行显示,也可以缩小名称来进行显示。由此,在被摄体的名称较长的情况下,也能够在保持被摄体与路标的水平方向的对应关系的状态下,进行路标与被摄体的重复显示。
另外,也可以信息地图服务器(地图服务器)预先对于名称较长的路标附加短的简易名称,将简易信息和正式名称发送给摄影机。由此,能够对于摄影机中的名称较长的路标显示,使用简易名称,进而通过用户操作,来显示详细信息。
通过计算机能力高的地图服务器保持简易名称和正式名称,并将其发送给摄影机,从而能够提高摄影机对路标显示的反应,用户的方便性提高。
另外,通过在地图服务器中登录路标时,事先登录较长的正式名称的路标和简易名称的路标名,从而能够以对于用户而言易懂的简易标记来显示路标名。
其中,也可以构成为:在摄影机向地图服务器发送的摄影机属性信息中,发送用于计算摄影机可显示的路标名的长度的信息,根据该信息,地图服务器决定简易显示的名称。作为用于得知可显示的路标名的长度所需的信息,优选为析像度信息。在析像度高的摄影机中显示路标的情况下,对较长的名称进行路标名的简略化,在析像度低的摄影机中显示路标的情况下,对较短的名称进行路标名的简略化。由此,能够以最适于显示装置的析像度的长度来显示路标。
其中,也可以构成为:通过在水平方向限定作为显示对象的路标的位置,来进一步对画面显示的路标进行过滤。例如,如图45所示,在画面中央附近显示从画面上部到下部的矩形框,从位于与该矩形框内相对应的位置的路标之中,在缩放小时显示附近的路标,在缩放大时显示远方的路标。通过这样的结构,比起仅利用与缩放相对应的过滤的情况相比,更能够提取路标。另外,限定路标的矩形框的大小优选设置经由摄影装置(摄影机)的操作接口由用户通过摄影机的缩放按钮或指示器按键变更为任意的宽度的机构,或能够从预先准备的多个矩形宽度之中进行选择。由此,能够仅显示用户希望知道的范围的路标数。另外,也可以构成为通过缩小显示范围来显示更详细的信息。
另外,也可以附加以下功能,即:使摄影机的显示部具有触摸面板功能,按照用户向摄影机放置的2根手指的宽度,用户能够变更路标的显示范围。由此,用户能够不仅将路标显示范围选择为中心部,而且选择为显示部的右端的一部分,具有路标显示范围的选择宽度变广的优点。
图48是表示摄影机根据路标信息中包括的高度信息来进行过滤的变形例的图。
也可以构成为根据路标信息中包括的高度信息,来进一步对画面显示的路标进行过滤。例如,如图48所示,在对路标密集的地点进行摄影的情况下,在通过与上述缩放对应的过滤来提取的路标之中,从高度信息大的路标开始依次选择进行显示。可以考虑到,高度大的路标被其他路标全部遮挡的情况较少。因此,通过从高度信息大的路标开始依次选择进行显示,能够避免对没有进行用户的视野(摄影画面)的路标的显示。
其中,在本实施例中,设为按照从摄影位置到被摄体的距离,在显示区域内上下排列该被摄体的路标名称来进行显示,但也可以按照摄影装置(摄影机)的操作接口上的用户操作,来切换路标显示区域的显示/非显示。例如,存在以下结构,即:用户刚进行了任意的操作之后,显示路标显示区域,从显示开始经过规定时间后,设为不显示路标显示区域。如果这样,能够仅在用户需要的情况下显示路标。
图49是表示摄影机显示路标周边的地图信息的变形例的图。
摄影机如图49所示,在进行特定的路标信息的详细显示的情况下,也可以对进行详细显示的路标周边的地图信息进行显示。由此,能够观察到路标周边的地理。
图50是表示摄影机与摄影机的位置信息相对应地显示地变形例的图。
摄影机如图50所示,也可以与摄影机的位置信息相对应地显示。由此,存在能够容易地掌握从当前地点向详细显示的路标的物理访问路径和相对的位置关系的优点。
图45是表示摄影机显示带状的区域的变形例的图。
摄影机也可以构成为:在希望缩小路标显示范围的情况下,在摄影图像的显示中,通过摄影机的缩放按钮的操作,如图45那样显示带状的区域,仅显示该带状的区域的路标信息。带状的区域可以构成为通过缩放按钮的操作而成为从显示部的中心部开始左右对称的范围,进而也可以通过缩放按钮来决定带状的区域,进而也可以通过指示器按键等使带状的区域左右运动来决定显示路标信息的区域。由于通常缩放按钮是图像摄影时用于显示区域的扩大、缩小的按钮,所以构成为通过缩放按钮的操作来变更显示区域,由此用户能够在扩大、缩小路标信息的显示区域时以直觉来进行操作。
图13是表示摄影机1201等所涉及的变形例的图。
利用图13,对于基于用户操作和互联网访问的路标的详细信息显示进行说明。地图服务器1204所具有的数据库中保持着路标特定的ID和URL信息。地图服务器1204在向摄影机1201发送的路标信息中,不附加URL信息。
在摄影机1201中,像数据1202那样,存放着路标的ID(LM-ID)、名称等URL以外的数据(1)。现在,设LM-ID是J-126574,路标的名字是富士宾馆。
说明通过用户操作来访问富士宾馆的URL信息的动作。
如果用户通过对重复显示的富士宾馆的点击,进行对富士宾馆的URL信息取得的请求,则摄影机1201向地图服务器1204发送特定的LM-ID信息(2)。即,此时发送富士宾馆的LM-ID“J-126574”。在地图服务器1204中,保持着LM-ID的详细信息和计数器,如果特定的LM-ID的详细信息的发送请求从摄影机1201发送至地图服务器1204,则将该特定的LM-ID的URL信息发送给摄影机1201,并且对访问数进行结算(3)。在对访问计数器进行结算之后,地图服务器1204向摄影机1201发送被发送的ID的URL信息(4)。此时,接收了富士宾馆的ID的地图服务器1204增加富士宾馆的访问计数器,并将富士宾馆的URL信息发送给摄影机1201。摄影机1201如果从地图服务器1204取得了URL信息(5),则访问URL的目的地的第二服务器1205(6)。第二服务器1205如果被这样访问,则向摄影机1201发送URL目的地的信息(7)。取得了URL目的地的信息的摄影机1201像显示画面1203那样,在画面上显示URL目的地所记载的详细信息(8)。
根据图13的结构,地图服务器1204能够了解用户对URL进行了访问的路标信息。由此,地图服务器1204能够了解受欢迎的路标的信息,并且通过对摄影机1201的访问数进行计数,能够由对摄影机1201所访问的被摄体的URL进行管理的人员进行计费,还有地图服务器1204的管理者能够得到经济效果的优点。另外,在地图服务器1204向摄影机1201发送URL信息时,还可以将与用户进行了访问请求的路标信息相关联的附加信息发送给摄影机1201。
图14是表示摄影机1201等所涉及的变形例的图。
另外,摄影机1201的URL访问也可以如图14那样构成。首先,摄影机1201将特定的LM-ID的信息发送给地图服务器1204(2)。地图服务器1204增加LM-ID的计数器(3),访问与LM-ID相对应的URL(4)。第二服务器1205将地图服务器1204所访问的、与LM-ID相对应的URL目的地的信息送还给地图服务器1204(5)。地图服务器1204对URL目的地的信息附加附加信息,并向摄影机1201进行数据的发送(6)。得到了URL信息的摄影机1201在画面上显示URL的信息和附加信息(8)。根据该结构,地图服务器1204能够将与用户进行了访问请求的路标信息相关联的附加信息发送给摄影机1201。
作为附加信息,优选与进行了访问请求的路标信息相关联的广告等,但不一定必须限定于此。例如,在路标是餐饮店或宾馆的情况下,作为附加信息,可以显示优惠券。
另外,也可以地图服务器1204事先管理其他摄影机1201的访问履历,例如在某用户访问了富士宾馆的情况下,显示其他用户在访问富士宾馆的前后所访问的路标信息。由此,能够推荐被认为是用户接下来希望访问的路标信息。
摄影机1201在访问URL时,通过经由地图服务器1204来进行访问的图14的方式,地图服务器1204能够管理摄影机1201的访问履历。由此,能够由对摄影机1201所访问的被摄体的URL进行管理的人员进行计费,还有地图服务器1204的管理者能够得到经济效果的优点。另外,登载广告作为附加信息的情况下,地图服务器1204的管理者能够进行从广告的委托人的计费,也有能够得到经济效果的优点。
(第二实施方式)
第二实施方式所涉及的附加信息过滤系统是一种附加信息过滤系统,其特征在于,具有:图像摄影装置,摄影数字图像;以及图像显示装置,与上述数字图像一起,显示与该数字图像中包括的各对象分别对应的多个附加信息;上述图像摄影装置具有:摄影部,摄影上述数字图像;摄影位置取得部,取得由上述摄影部摄影上述数字图像的摄影位置;摄影方向取得部,取得由上述摄影部摄影上述数字图像的摄影方向;以及输出部,输出上述摄影部所摄影的上述数字图像、上述位置信息取得部所取得的摄影位置、以及上述摄影方向取得部所取得的摄影方向;上述图像显示装置具有:输入部,输入被输出的上述数字图像、上述摄影位置和上述摄影方向;附加信息取得部,取得与输入的上述摄影位置和上述摄影方向相对应的、与上述数字图像中包括的对象分别对应的上述多个附加信息;选择部,从上述附加信息取得部所取得的上述多个附加信息中,选择所显示的附加信息;以及显示部,与输入的上述数字图像一起,显示上述选择部所选择的附加信息。
另外,第二实施方式所涉及的附加信息过滤系统是一种附加信息过滤系统,其特征在于,具有:图像摄影装置,摄影数字图像;图像显示装置,与上述数字图像一起,显示附加信息;以及附加信息提供服务器,将上述数字图像中包括的各对象的附加信息发送至上述图像显示装置;上述图像摄影装置具有:摄影部,摄影上述数字图像;摄影位置取得部,取得由上述摄影部摄影上述数字图像的摄影位置;摄影方向取得部,取得由上述摄影部摄影上述数字图像的摄影方向;以及输出部,输出上述摄影部所摄影的上述数字图像、上述位置信息取得部所取得的摄影位置、以及上述摄影方向取得部所取得的摄影方向;上述图像显示装置具有:输入部,输入被输出的上述数字图像、上述摄影位置和上述摄影方向;附加信息取得部,将输入的上述摄影位置和上述摄影方向发送至上述附加信息提供服务器,从该上述附加信息提供服务器,取得与发送的上述摄影位置和上述摄影方向相对应的与上述数字图像中包括的各对象相对应的多个附加信息;选择部,从上述附加信息取得部所取得的上述多个附加信息中,选择所显示的附加信息;以及显示部,与输入的上述数字图像一起,显示上述选择部所选择的附加信息;上述附加信息提供服务器具有:数据库,保持对象的附加信息;接收部,接收被发送的上述摄影位置和上述摄影方向;附加信息提取部,从上述数据库,提取与接收的上述摄影位置和上述摄影方向相对应的、与上述数字图像中包括的各对象相对应的上述多个附加信息;以及发送部,将提取的上述附加信息发送至上述图像显示装置。
图16~17、图46、图18~图22是与第二实施方式有关的图。
图16是表示本发明的一个实施例所涉及的系统1501的结构图。
第二实施方式所涉及的系统1501大体划分,由摄影机1502、显示机1550和地图服务器120构成。
在本实施例中,在摄影机1502所摄影的图像上,由显示机1550重复显示路标信息。通过像这样将摄影机和显示机分离的结构,能够使显示机大型化,而且使得例如通过自宅等中设置的显示机、在将外出时摄影的图像上合成路标信息并进行显示这样的使用方法成为可能。
图17是表示第二实施方式的利用方法的一个例子的图。
摄影机1601利用可移动型外部存储器1602,使摄影的图像信息和摄影属性信息移动至显示机1603。显示机1603通过地图服务器1504取得路标信息,进行重复显示。显示机1603一般具有比摄影机1601更高性能的处理器,另外,具有访问互联网的手段,因此通过这样构成,在该摄影机1601上无需搭载由摄影机1601访问地图服务器1504的装置,所以摄影机1601的小型化成为可能。另外,能够在具有比摄影机1601更大的画面的显示机1603上,对重复显示的摄影图像进行显示,另外,能够通过显示机1603的操作按钮或遥控器来设定显示项目等,因此用户的方便性提高。
摄影机1502由位置信息取得部103、摄影方向取得部106、摄影范围信息取得部122、摄影机属性信息生成部1521、外部存储器控制部1541、摄影部1514、图像处理部1515构成。
摄影机1502如下所示,通过摄影机属性信息生成部1521生成与该摄影机1502有关的辅助信息,通过外部存储器控制部1541,将生成的辅助信息与摄影的图像一起,存储至外部存储器控制部1541所保持的可移动型外部存储器中。
摄影机1502代表性地设想为数字静止摄像机,外部存储器控制部1541所保持地可移动型外部存储器代表性地设想为非易失性存储卡等。
首先,位置信息取得部103是测定并输出摄影机1502的位置的装置。
接着,位置信息取得部103进行与第一实施方式中的图2的位置信息取得部103相同的处理。其中,通过将摄影机设为具备无线LAN或短距离无线等的通信部的结构,从而即使不生成带位置信息的QR码,也能够从无线LAN或短距离无线等的无线基站接收被广播的与位置信息有关的信息,所以能够得到与GPS同等的效果。
接着,摄影方向取得部106是检测摄影机1502的方向信息、并输出所检测出的方向信息的装置。摄影方向取得部106进行与第一实施方式中的图2的摄影方向取得部106同样的处理。
其中,也可以将这些位置信息检测部104和摄影方向检测部107分离构成为与摄影机1502主体不同的装置。例如,也可以构成为:通过摄影装置(摄影机1502)的接收部,接收由具备位置信息检测部104和摄影方向检测部107的便携式电话所取得的位置信息和摄影方向的全部或某一个。由此,在便携式电话上具备位置信息,并且摄影机具备短距离无线的通信装置,从而能够取得位置信息和摄影方向的双方或某一方,因此,由于不具备检测位置信息或摄影方向的传感器,具有能够实现小型化的优点。
接着,摄影范围信息取得部122取得摄影机1502摄影的范围的信息。摄影范围信息取得部122与第一实施方式中的图2的摄影范围信息取得部122进行同样的处理。
另外,摄影机1502在检测到摄影机1502所具备的快门的按下等时,通过摄影部1514取得景观图像,由图像处理部1515进行对取得的景观图像的图像处理之后,由外部存储器控制部1541,将进行了图像处理后的图像数据存储至可移动型外部存储器中。在该图像数据的存储时,摄影机属性信息生成部1521将位置信息取得部103、摄影方向取得部106、摄影范围信息取得部122所制作的信息(成为摄影机属性信息)作为图像头数据,发送至外部存储器控制部1541。外部存储器控制部1541将从摄影机属性信息生成部1521接收的图像头数据,存储至可移动型外部存储器中存放的图像数据的头部分中。
其中,作为图像头的格式,例如以Exif(可交换图像文件格式:Exchangeable image file format)规格为代表,优选生成遵循这样的规格的图像头的结构。
摄影机1502的外部存储器控制部1541所保持的可移动型外部存储器设为相对于摄影机1502以及显示机1550可插拔的结构,在摄影机1502上存储了摄影机属性信息以及图像信息的可移动型外部存储器从摄影机1502上拔出并插入显示机1550。显示机1550代表性地设想为电视或PC等具有大型地显示器的装置。
另外,显示机1550由外部存储器控制部1544、过滤器信息取得部111、通信部1512、显示信息提取部1513、重复显示处理部1516、显示部1517构成。
为了使用户能够从可移动型外部存储器所存储的图像数据之中,检索及指定希望阅览的图像数据,显示机1550经由显示机1550所具备的操作接口接受用户的输入。
首先,外部存储器控制部1544从在内部保持的可移动型外部存储器所存储的图像数据之中,将用户所指定的图像数据发送至重复显示处理部1516。另外,外部存储器控制部1544与此时同时与图像数据一起,将作为图像头数据存储的摄影机属性信息发送至通信部1512。
接着,在通信部1512中,在通信部1512所发送的摄影机属性信息上,附加通信用头信息等,并将其从发送部发送给地图服务器120。优选地图服务器120的地址预先登录在显示机的内部存储器中,但也可以通过用户的输入操作能够变更地图服务器120的地址。由此,例如在地图服务器120的地址改变的情况下也能够应对。另外,在其他的地图服务器120新开始服务的情况下,用户的系统转移也变得顺利。
其中,通信部1512优选使用无线或有线LAN,但不一定必须限定于此,也可以使用便携式电话、PHS、WiMAX等的基站通信,也可以构成为暂且向其他的通信装置发送摄影机属性信息,其他的通信装置向地图服务器120发送摄影机属性信息。例如,可以构成为:向便携式电话,通过无线LAN、UWB或ZigBee等的短距离通信来发送摄影机属性信息,便携式电话向地图服务器120发送摄影机属性信息,显示机1550通过短距离通信向其他通信装置发送数据,利用其他通信装置向地图服务器120发送摄影机属性信息,由此,首先能够缩小显示机1550的通信部1512。另外,还能够缩小显示机1550的摄影机属性信息发送的功率。
另外,地图服务器120将与路标有关的信息(路标信息)发送至显示机1550。地图服务器120进行与第一实施方式中的图2的地图服务器120相同的处理。其中,路标信息提取部119根据从摄影机1502取得的摄影机属性信息,从地图数据库118发送摄影机1502所摄影的图像中包括的全路标信息。
另外,显示机1550的通信部1512中的接收部将从地图服务器120接收的路标信息发送给显示信息提取部1513。
接着,过滤器信息取得部111由过滤器信息检测部109和过滤器信息输出部110构成,该过滤器信息检测部109在从地图服务器120取得的路标信息之中,检测与用于仅显示用户所要求的路标信息的过滤有关的信息;该过滤器信息输出部110发送所检测的信息。过滤器信息取得部111进行与第一实施方式中的图2的过滤器信息取得部111同样的处理。
接着,过滤器信息检测部109的详情与如图2所示第一实施方式表示的结构相同。
接着,显示信息提取部1513根据从过滤器信息取得部111取得的过滤信息,对路标信息进行过滤。关于具体的过滤方法,适用与第一实施方式所公开的过滤方法相同的处理方法。进行了过滤的路标信息被发送给重复显示处理部1516。
其中,在本实施例中,设为显示机1550在该显示机1550中输入了来自用户的图像选择指定操作的情况下,执行将摄影机属性信息发送给地图服务器120、并从地图服务器120接收路标信息这一系列的处理,但并不限定于这样的路标取得处理执行的定时。例如,也可以是:显示机1550在插入可移动型外部存储器时,在规定时间没有输入来自用户的操作的情况下,对于可移动型外部存储器内的全图像数据,按照图像数据的FAT(文件分配表:File Allocation Table)顺序或图像摄影时刻顺序等的顺序,以后台执行路标取得处理。通过在进行用户操作之前,在空闲时事先取得路标,从而大幅减少在重复显示图像以及路标时用于取得路标的等待时间,用户能够舒适地进行显示机1550的操作。
接着,在重复显示处理部1516中,进行以下处理,即:在从外部存储器控制部1544取得的景观图像数据上重叠显示由显示信息提取部1513提取的路标信息。在通过用户操作等不进行重复显示的情况下,不重复显示路标信息,而将图像数据原样发送给显示部1517。
接着,显示部1517进行摄影信息与路标信息的重复的显示。
图46是表示显示机1550和遥控器4501的图。其中,如图46所示,也可以在显示机1550上搭载着主体操作按钮、操作遥控器4501等,具有通过接受用户操作来显示更详细的路标信息等的处理功能。
显示机1550向地图服务器120发送的数据的格式,与第一实施方式中作为一例由图4所示的数据格式相同。
显示机1550具备用于在画面上再现摄影的图像的通常的再现模式、以及用于一边图像显示路标一边进行图像的阅览或与路标相关的详细信息的取得的路标显示模式,用户能够经由显示机1550的操作接口设定为任意的模式。在路标显示模式下,用户经由显示机1550的操作接口,选择显示机1550所保持的可移动型外部存储器内的图像数据,从而将选择图像和与选择图像相对应的路标信息作为图像显示在画面上。以下,接着说明在路标显示模式下,取得选择图像中包括的对路标信息的处理。
图18是显示机1550再现景观图像数据、并将摄影机属性信息发送给地图服务器120为止的一系列的流程图。
显示机1550如果首先通过SW等,进行了向路标显示模式的切换(401),则转移至路标显示模式(402)。这样,显示机1550的通信部1512将摄影机属性信息发送给地图服务器(405)。
地图服务器120的网络地址(URL)使用显示机1550作为装置设定信息而存放在内部存储区域中的网络地址。其中,该地图服务器120的地址也可以能够由用户使用显示机1550的操作接口变更为任意的地址。
图19是地图服务器120接收摄影机属性信息、并向摄影机1502发送路标信息为止的一系列的流程图。
地图服务器120首先对是否接收了摄影机属性信息进行检查(501)。
在接收了摄影机属性信息之后,地图服务器120解析摄影机属性信息,对地图数据库(地图DB)进行访问(502),取得图像数据的景观中包括的路标信息(摄影范围路标信息)(503),并发送至显示机(504)。
对于地图服务器根据摄影机属性信息取得路标信息的方法,与第一实施方式中的处理方法相同。
图7是表示地图服务器根据摄影机信息取得路标信息的区域的图。在第二实施方式中,也使用第一实施方式的说明中的该图7。
地图服务器120接收从显示机1550发送的包括位置信息、方向信息的摄影机属性信息,地图服务器120的路标信息提取部119从地图数据库118中,提取比从摄影机信息获得的摄影范围稍大的范围的地图上的路标信息。该摄影范围是扇形的范围,扇形的中心角的位置是摄影装置(摄影机1502)的位置,扇形的中心角的二等分线与摄影方向一致,扇形的中心角是摄影机属性信息中包括的摄影范围信息。另外,关于扇形的半径、即摄影范围路标信息取得范围的圆弧离摄影机1502的距离,使用地图服务器120所保持的规定值。该规定值优选从摄影机1502将半径设定为5km的范围。这是在假设摄影机1502位于地上1.5m的高度时的大致的到水平线为止的距离。
路标信息提取部119从地图数据库118中提取路标信息,将这些提取的多个路标信息,对于将摄影机信息发送而来的显示机1550进行发送。
显示机1550的接收部(参照图16的通信部1512)接收从地图服务器120发送的路标信息,将接收的路标信息的全部或部分与从外部存储器控制部1544取得的摄影图像一起显示在显示机1550所具有的画面上。显示机1550将对接收的路标信息的全部进行显示的路标全显示模式、或将部分进行显示的路标部分显示模式,作为路标显示设定信息,事先存放在内部存储区域中。
其中,路标显示设定也可以设为用户能够使用显示机1550的操作接口,变更为任意的路标显示模式。
显示机1550显示路标信息、并在显示部1517上重复显示的流程,与第一实施方式中作为一个例子由图9示出的流程图相同。
路标信息的过滤方法设为与第一实施方式所说明的过滤方法同样的方法适用于本实施例。
图20是表示摄影机1902为将缩放信息存储在可移动型外部存储器中的结构的图。
其中,在利用摄影机1902的缩放信息来进行路标的过滤的情况下,摄影机属性信息必须事先包含摄影机1902中的图像摄影时的缩放信息。图20表示摄影机1902取得缩放信息、并作为摄影机属性信息存储在可移动型外部存储器中的结构。缩放信息取得部1960由取得摄影机1902的缩放倍率的缩放信息检测部1961、以及将取得的缩放倍率输出的缩放信息输出部1962构成。
对于在用户所选择的图像数据上重复显示所对应的路标信息的显示处理、方法,设为将与第一实施方式所说明的显示方法相同的方法适用于本实施例。在本实施例中的显示机1950所具备的画面上,进行向显示画面下部的路标重复显示、向显示画面横向的路标重复显示、利用路标信息所具有的类别信息的路标重复显示等第一实施方式中的路标显示。
其中,在第二实施方式中,对于摄影机利用可移动型外部存储器向显示机发送图像信息和摄影机属性信息的方法进行了说明,但为了传输这些信息,不一定必须使用可移动型外部存储器。
例如,可以取代外部存储器控制部1541,而在摄影机和显示机上搭载短距离无线装置,由此通过无线通信来进行数据的传输。作为短距离无线的方式,优选UWB(超宽带:Ultra Wide Band),但通过ZigBee、无线LAN的自组(ad hoc)功能、Bluetooth(蓝牙,注册商标)等也能够实现。通过替代可移动型外部存储器而具有无线通信,用户无需在摄影机和显示机上装卸可移动型外部存储器,并且能够缩短数据传输的等待时间。
另外,在使用短距离无线通信的情况下,也可以构成为:不复制向显示机、向摄影机的外部存储器控制部保存的信息,而通过依次访问摄影机,来取得数据或摄影机属性信息。由此,在显示机中不残留由摄影机取得的信息,而能够进行路标信息的重复显示,所以存在以下优点,即:不需要例如在第三人设置的显示机上显示路标信息时为了摄影者的隐私保护而将摄影机的数据从显示机上删除的处理。
其中,在第二实施方式中,对于通过显示机所具备的操作按钮或遥控器来接受用户的操作输入的结构进行了说明,但并不限定于这些操作输入接口。例如,通过在显示机上连接鼠标等二维指示装置,用户能够对显示机的画面中显示的指示器进行操作,同样地输入在画面中重复显示的路标信息的选择等的操作。另外,也可以构成为:通过在用户的身体的一部分或显示机测设置对用户的姿势或动作进行检测的动作传感器,用户通过自身的身体的姿势或运动(姿态),在显示机上输入操作。通过使用像这样的二维指示装置或动作传感器来接受用户的操作输入,即使在用户处在离开显示机的位置的情况下,也能够实现比利用操作按钮或遥控器的操作更直观而且平滑的操作。
另外,在第二实施方式中,作为代表性的显示机举出了电视机,但显示机并不限定于此。例如,也可以将具备硬盘等大容量存储装置和能够取得可移动型外部存储器中存放的数据的外部存储器控制部的个人计算机或硬盘录像机等作为显示机。在这些具有存储装置的设备中,广泛采用了将用户所摄影的图像数据从可移动型外部存储器转发至存储装置并进行保存的结构。在这样的结构中,不仅对于可移动型外部存储器中存放的图像数据,而且对于用户过去摄影并转发至存储装置的图像数据,也能够进行本实施例中说明的、路标信息的重复显示。
进而,在将个人计算机或硬盘录像机作为显示机的情况下,也可以构成为:不仅经由显示机的操作接口在由用户选择的图像数据上重复显示路标信息,而且从设备所具备的存储装置中保存的图像数据之中,将在与选择的图像数据的摄影位置接近的位置上摄影的图像数据,缩小显示在选择的图像数据之上。通过这样的结构,对于用户,有易于在选择的图像数据的附近检索过去摄影的图像数据的效果。
其中,在第二实施方式中,构成为在显示机上进行与图像数据相对应的路标信息的过滤以及向图像数据的重复显示,但也可以构成为将进行了过滤的路标信息存储在可移动型外部存储器等的存储区域中。例如,在图像数据的头数据部分,存储与图像数据相对应的路标信息。通过这样的结构,即使在将存放了带路标信息的图像数据的可移动型外部存储器,移动至与地图服务器的通信困难的数字静止摄像机等其他设备的情况下,也能够在其他设备的画面上进行路标信息向图像数据的重复显示。
其中,也可以进行包括同一路标信息或摄影地信息在内的图像数据的一览显示,或根据路标信息或摄影地信息,在设备所具有的存储装置中分文件夹进行保存。进而,为了提高图像数据的检索性,也可以将路标信息或摄影地信息作为图像数据的检索关键词。
其中,在第二实施方式中,构成为地图服务器提取与图像摄影范围相对应的路标信息,显示机对提取的路标信息进行过滤并在图像上进行重复显示,但也可以构成为:地图服务器进行路标信息的提取及过滤,显示机将由地图服务器进行了过滤的路标信息重复显示在图像上。
图21是表示地图服务器进行过滤的结构的说明图。
例如,如图21所示,将过滤器信息提取部111所输出的过滤器信息,作为摄影机属性信息的一部分发送至通信部512,通信部512向地图服务器发送包括过滤器信息在内的摄影机属性信息。在地图服务器中设置显示信息提取部1513,显示信息提取部1513利用从显示机发送的摄影机属性信息中包括的过滤器信息,对路标信息提取部119所输出的路标信息进行过滤,并发送给显示机。
通过这样的结构,在显示机侧不进行处理负担较大的路标信息的过滤,所以能够实现显示机的处理速度提高、成本下降。
图22是表示地图服务器具有过滤器信息取得部111等的系统的图。
进而,作为其他结构,如图22所示,地图服务器具有过滤器信息提取部111以及过滤器信息存储部2160,对于用户经由互联网终端上的网络浏览器等预先登录在过滤器信息取得部111中的过滤器信息,由过滤器信息存储部2160事先进行保持,并按照来自显示机侧的请求,进行路标信息的过滤。通过这样的结构,在显示机侧无需设置过滤器信息取得部,所以能够谋求显示机的处理速度提高、成本下降,并且能够在地图服务器上一维管理多个用户的过滤信息,所以能够容易地掌握本实施方式中的系统的用户的系统利用状况。
(第三实施方式)
图23~图27是第三实施方式所涉及的图。
对于本发明的第三实施方式进行说明。在第三实施方式中,作为由摄影机显示的路标信息的过滤的材料,利用公共站点所具有的摄影者的喜好度。将其称为SNS(社会性网络服务:Social Network Service)过滤。地图服务器通过公共站点,根据摄影者的喜好度,在路标信息上附加显示的优先度。
图23是表示第三实施方式中的结构图的图。
图23所示的本发明的一个实施例的结构图大体划分为由摄影机2202和地图服务器2209、以及公共服务器2205构成。
摄影机2202在第一实施方式所示的结构上进而具有公共用户ID取得部2203。公共用户ID取得部2203取得用于地图服务器2209访问公共站点的信息。所取得的信息包括公共站点的URL、用户ID。
公共用户ID优选预先登录在摄影机上,但也可以通过用户操作进行登录操作。
摄影机属性信息生成部121在第一实施方式中利用图4说明的向地图服务器2209发送的包中,进一步附加与公共特定ID有关的信息。所谓公共特定ID,是确定摄影者所登录的公共团体的ID,优选为某个公共站点的ID,但不一定必须限定于此,如果预先在公共站点中登录了摄影机的ID,则也可以用摄影机的ID代替。
其中,在访问公共站点时需要密码等的认证的情况下,也可以在摄影机中事先保存密码,并与ID一起发送。在公共站点侧,也可以构成为:在来自(预先登录的)摄影机的访问时,仅返还用于过滤的限定的信息。
地图服务器2209由地图数据库118、路标信息提取部2207以及公共ID变换部2206构成。
地图数据库118保持着与路标有关的信息(路标信息)。
公共ID变换部2206将从摄影机2202接收的公共特定ID变换为公共站点的ID,并向公共服务器2205发送。公共数据库2204保持着公共服务器2205中的用户数据。
在此进行公共服务器的说明。公共服务器的主要目的在于,提供加深公共服务器中登录的用户的交流的场所。用户与其他用户共享简介、日记、商品的评论记事、用户与哪个用户认识等这样的信息。
喜好度提取部2208从公共数据库2204,取得用户的喜好度信息。其中,关于取得方法,可以从简介栏取得用户的简介信息,也可以从用户的日记的内容进行数据挖掘,不一定必须限定于此。作为喜好度信息的一个例子,可以举出用户的年龄、性别、未婚/已婚有关的信息、兴趣、特长、职业、年收入、居住地域信息。
路标信息提取部2207根据喜好度信息,通过地图数据库118,提取与用户的喜好度之间吻合性高的路标信息。此时,与用户的喜好度之间吻合性高的路标信息分配较高的优先度。例如在对于寺庙佛堂具有兴趣的用户的情况下,寺庙佛堂的路标信息的优先度变高。在对于登山具有兴趣的用户的情况下,与山或河流等的地理的信息有关的路标信息的优先度变高。
图24是表示摄影机2202向地图服务器2209发送的数据格式的一个例子的图。
附加测位时刻、表示摄影的位置信息的纬度信息和经度信息、表示摄影方向的相对于正北的行进方向、摄影范围信息、还有摄影机的ID信息。摄影机2202的ID信息用于识别哪台摄影机2202访问了地图服务器2209。只要是能够唯一识别摄影机2202的ID即可。
还包括公共站点的URL和确定公共团体的ID信息。在此,确定公共团体的ID信息只要预先由地图服务器2209将唯一确定摄影机2202的ID和公共站点的URL建立对应,则不一定必须要每次都发送URL信息。另外,如果由地图服务器2209预先登录了公共站点的ID信息和唯一确定摄影机2202的ID信息,则也可以用摄影机的ID替代公共确定ID信息。另外,存在多个用户利用一台摄影机2202的情况。用户在利用摄影机2202对被摄体进行摄影之前,通过开关操作等来对哪个用户进行利用的这样的信息进行切换。公共团体的ID对于每个用户不同,因此如果预先在摄影机2202中登录每个用户的ID信息,则通过基于开关操作的利用用户的切换,能够将利用的用户的ID信息发送至地图服务器2209。
摄影机2202摄影风景、将摄影机属性信息发送给地图服务器2209为止的一系列的流程与第一实施方式中利用图5说明的方法相同。其中,摄影机2202的摄影机属性信息生成部121在位置信息取得部103、摄影方向取得部106和摄影范围信息取得部122的信息之外,还附加公共用户ID取得部2203的信息。摄影机2202向地图服务器2209发送的数据的格式如图24所说明的。
图25是地图服务器2209接收摄影机属性信息、并向摄影机2202发送路标信息为止的一系列的流程图。地图服务器2209首先对是否接收了摄影机属性信息进行检查(501)。
接着,地图服务器2209访问公共服务器,根据公共站点中的摄影者的属性信息提取喜好度信息(2407)。
在提取喜好度信息之后,地图服务器2209访问地图数据库(地图DB)118(502),根据提取的喜好度,在路标信息上附加优先度(2408),取得摄影机2202所摄影的景观中包括的路标信息(摄影范围路标信息)(503)。在将摄影范围路标信息发送至摄影机2202之后,地图服务器2209取得摄影范围周边的路标信息(摄影周边路标信息)(505),将摄影周边路标信息发送给摄影机(506)。
图26是摄影机2202显示路标信息、并在显示部117上重复显示的流程图。
对于摄影范围路标信息和摄影周边路标信息的动作基本相同,所以在此统一将其称为路标信息,以下,对于该路标信息的过滤方法进行说明。
摄影机2202检查是否从地图服务器2209取得了路标信息(801)。然后,摄影机2202如果接收到路标信息,则接下来进行对是否显示所接收的全部的路标的判定处理。全路标的显示设定优选由用户设定。例如,也可以通过切换路标显示按钮,从而切换全路标显示和仅显示进行了过滤的路标的模式。在显示全路标的情况下,使从摄影机2202的透镜取得的摄影风景、以及从地图服务器2209取得的路标信息进行重复显示(805)。在不显示全路标的情况下,摄影机2202取得基于SNS过滤的摄影者的喜好度上表的优先度和过滤器信息取得部111的信息(2503),据此决定所显示的路标信息(2504)。重复显示处理部116将决定的路标信息和由图像处理部115得到的风景图像重复显示(805)。
图27是显示的路标信息的说明图。
域以及区域定义与实施例1中说明的相同。图27中,数字是利用了SNS过滤的路标显示的优先度信息。摄影机2202限制每个区域中显示的路标的数量。具体而言,摄影机2202从优先度最高的路标信息进行显示。另外,摄影机2202在存在多个相同优先度的路标信息、超过了最大路标信息显示数的情况下,优先显示域较小的区、即朝向摄影机2202的摄影方向的路标信息。现在,图27中表示例如将每一个区域的最大显示路标数设为2时的全路标的优先度与实际显示的路标的图。在第一区域中,优先度为3的路标有1个,优先度为2的路标有1个,所以显示这2个路标信息。在第二区域中,优先度为3的路标信息有3个。此时,优先显示位于域较小的区中的路标信息。即,显示存在于第一域中的路标信息。在第三区域中,显示优先度最高的优先度3的路标。
显示方法设为将与第一实施方式中说明的显示方法相同的方法适用于本实施例。图42所示的路标优先显示类别,在类别之中进一步通过喜好度来显示优先度高的路标信息。
其中,在第三实施方式中,通过用户操作,能够切换利用SNS的过滤方法、以及实施方式1中的显示方法。由此,用户在路标信息的提取中,能够从更多的选择项中选择提取方法。
(第四实施方式)
图28~30、图32、图31是第四实施方式所涉及的图。
在第四实施方式中,对于以下结构进行说明,即:在摄影机102向地图服务器120发送的摄影机属性信息中附加用于对显示的路标进行过滤的信息,在地图服务器120中,进行对由摄影机102重复显示的路标的过滤。其中,本实施方式在第一至第三的全部实施方式中,通过将摄影机102中的用于过滤的功能转移至地图服务器120来实现,所以本实施方式设为代表性地通过扩展实施方式1来进行说明。另外,将进行与实施方式1不同的动作的部分作为中心进行说明。
图28是第四实施方式的系统的结构图。
摄影机属性信息生成部121根据位置信息取得部103所取得的位置信息、摄影方向取得部106所取得的摄影方向信息、过滤器信息取得部111所取得的过滤信息、摄影范围信息取得部122所取得的摄影范围信息,生成摄影机属性信息,并向地图服务器120发送。地图服务器120通过路标信息提取部119,根据摄影机属性信息,将摄影机102的摄影范围中包括的路标信息从地图数据库118中取得,并且利用来自过滤器信息取得部111的信息,通过显示信息提取部2713提取显示路标信息。图像处理部115对摄影部114所取得的摄影信息进行处理。摄影机102的重复显示处理部116对显示路标信息和从图像处理部115取得的景观的信息进行合成,显示部117对景观和路标进行重复显示。
图29是表示摄影机102向地图服务器120发送的数据的格式的一个例子的图。
在实施例1所说明的格式的基础上,进一步附加由过滤器信息取得部111取得的信息。关于过滤器信息,设为将与第一实施方式所说明的显示方法相同的方法适用于本实施例。关于摄影机102向地图服务器120发送摄影机属性信息的动作,利用图5在实施方式1中进行了说明。
图30是表示地图服务器120接收摄影机属性信息、并发送由摄影机102进行重复显示的路标信息为止的流程的一个例子的流程图。
地图服务器120在确认了摄影机属性信息的接收之后(501),根据摄影机属性信息访问地图数据库(502)。
图32是表示摄影范围的图。
地图服务器首先取得如图32所示的摄影范围的路标信息。接着,从摄影范围路标信息中,提取实际向摄影机发送的摄影范围显示路标信息(2907),并将提取的摄影范围显示路标信息发送给摄影机(2904)。若将显示路标信息发送至摄影机,则地图服务器接着取得摄影机的摄影区域的周边的路标信息(505),从其中取得摄影机在移镜头时显示的路标信息(摄影周边显示路标信息)(2908),并将取得的信息发送给摄影机(2906)。其中,在本实施方式中,摄影机在位置信息、摄影方向的信息以由系统决定的值以上变动时,再次将摄影机属性信息发送给地图服务器,更新显示路标信息。在移镜头的情况下,在摄影周边显示路标信息的区域中摄影机的摄影方向产生变动时,优选再次将摄影机属性信息发送给地图服务器。
图31是表示从摄影机取得要显示的路标信息之后、到与摄影风景重复显示为止的流程的一个例子的流程图。
在本实施方式中,摄影机若接收到摄影范围显示路标信息,则立即将该信息与摄影风景重复显示。
关于重复显示的方法,设为将与第一实施方式中说明的显示方法相同的方法适用于本实施例。
(第五实施方式)
(1)第五实施方式所涉及的第一方式是一种虚拟世界提供装置,具备:
摄影图像显示部,显示对现实的世界的一部分进行了摄影的摄影图像;
第一对应关系保持部,对于现实的世界的一部分、与将上述现实的世界进行了虚拟化的预定的虚拟世界中的与该一部分相同的部分之间的预定的第一对应关系进行保持;以及
虚拟世界提供部,在提供上述虚拟世界时,在显示的上述摄影图像中摄影的上述现实世界的上述一部分上,从对应了保持的上述对应关系的该虚拟世界的部分开始提供。
根据该方式,从与摄影的现实的世界的一部分相对应的部分开始虚拟世界的提供,例如,没有对开始的部分的位置、方向、区域进行指定的复杂的操作,能够简单地从适合的部分开始虚拟世界的提供。
其中,虚拟世界提供部也可以在显示摄像图像时,若预定的开始条件成立,则自动地从上述部分开始虚拟世界的提供。
(2)第五实施方式所涉及的第二方式是上述第一方式的虚拟世界提供装置,
还具备:摄影位置取得部,取得对显示的上述摄影图像进行摄影的摄影位置;
还具备:第二对应关系保持部,对于摄影图像的摄影位置、与在该摄影位置摄影的现实的世界的一部分之间的第二对应关系进行保持;
上述虚拟世界提供部从相对于取得的上述摄影位置、对应了保持的该第二对应关系的,且相对于现实的世界的一部分、对应了保持的上述第一对应关系的上述虚拟世界的部分,开始虚拟世界的提供。
根据该方式,例如无需解析摄影图像的内容而确定所对应的虚拟世界的部分的复杂的处理等,仅仅通过利用摄影位置的简单的结构,能够从对应的部分开始提供。
(3)第五实施方式所涉及的第三方式是上述第二方式所涉及的虚拟世界提供装置,
还具备:辅助取得部,对显示的上述摄影图像进行摄影的摄影方向(或摄影方向和摄影视场角);
上述第二对应关系将摄影位置以及摄影方向(或摄影位置、摄影方向及摄影视场角)与上述一部分进行对应;
上述虚拟世界提供部从与取得的摄影位置以及摄影方向(或摄影位置、摄影方向以及摄影视场角)相对应的部分,开始上述虚拟世界的提供。
根据该方式,开始虚拟世界的提供的部分与摄影方向等也对应,精度变得更高,能够精度更高地从合适的部分开始提供。
图52~图62、图64是第五实施方式所涉及的图。
在第五实施方式中,说明以下方法,即:将利用现实图像来显示的真实图像,无缝置换为根据位于服务器的三维影像数据来制作的计算机图形、即CG图像,该现实图像是利用实施例1~4中使用的摄像机或带摄像机的便携式电话或带摄像机的笔记本个人电脑等的摄影装置来摄影的现实图像。
图52是由摄像机摄影的真实图像501a表示最初摄影的图像的图。
若将该图像通过电子或光学缩放等进行扩大,则在真实图像501b之后得到真实图像501c。在进一步扩大的步骤520a中,在设定为若满足“一定的条件”则自动切换为CG图像的模式的情况下,切换为CG图像510a,显示出对象物530c所示的高精度的CG图像。在此,若具体叙述“一定的条件”,则是在真实图像的画面内的实质的像素数为一定值以下、例如R1以下的情况下,自动从真实图像切换为CG图像。另一方面,在步骤520a中设定为即使析像度或总像素数为一定值以下也不切换为CG图像的模式的情况下,或与对象物530a对应的CG图像不存在的情况下,将扩大的真实图像501e保持原状显示。此时,为了保持原状地电子扩大对象物530a,显示出能看到图像的像素或点的不佳画质的对象物530b。在本发明中,通过从真实图像自动切换为CG图像510a,具有能够以精细的图像观察对象物或能够进入虚拟商店或虚拟美术馆的效果。
说明获得该CG图像510a的方法,在本发明的摄影机102中,如图1等所示,得到摄影装置的摄影时的位置信息、摄影方向和摄影范围这3个信息。将这些信息发送至地图服务器120。这样,在地图服务器120中,根据摄影位置、摄影方向和摄影范围的信息,利用地图数据库118之中的3维信息,进行3维的图像处理,从而生成如图52的CG图像510a所示的高精度的CG图像,并利用互联网等网络,发送至摄影机102,将该CG图像显示在显示部117上。
其中,在像民用摄像机那样摄影机102的位置、摄影方向、摄影范围等的信息的精度不佳的情况下,由摄影机102将真实图像501a或/且501c的数据或粗数据发送至服务器,在服务器侧生成位置、方向、范围与该真实图像接近的CG图像510a,并对生成的CG图像与真实图像进行图案匹配,从而得到正确的位置、摄影方向和摄影范围。在真实图像501上对CG图像510通过图案匹配等进行对照,从而能够弥补摄影装置的位置、摄影方向、摄影范围等的摄影数据的不正确。
返回图52的CG图像510a,在本发明中不仅得到精细的图像。假如存在对象物530c的内部的3D的CG图像的情况下,通过按压前进按钮或扩大按钮,能够经过建筑物的入口即对象物530c而进入建筑物的内部。尚且留待后述,但本发明中,能够在虚拟空间上设定虚拟的轨550,因此能够以简单的操作来进行移动。CG图像510b表示建筑物的内部。此时,右侧的绘画即对象物530d为:若利用十字型的开关按压前进按钮和右方向按钮,或将带摄像机的便携式电话那样的摄影机102向右旋转,则通过6轴加速度、角速度传感器等摄影方向传感器来检测到右方向的旋转,因此,如CG图像510c所示,能够观察到右侧的绘画530d。另外,能够使摄影机102在前后方向向前倾斜则前进,在前后方向向后倾斜则后退。
以上为本发明的概略,利用图53等的附图,对动作详细说明。
图53是表示实际摄影的实际图像501f的图。
在步骤520b中,若选择了Zoom in,则在步骤520c中,进行Zoom in(扩大),像实际图像501g那样,大楼530e被扩大。此时,存在建筑物的内部的3D数据的情况下,显示标记540a。
在步骤520d中选择了扩大的情况下,若在步骤520f中成为一定的析像度或一定的像素数以下,则变换为CG图像510d所示的3D的CG图像。即使不在步骤520d中扩大,也在步骤520e中通过点击等选择标记540a,从而切换至CG图像510e。若在CG图像510d之后在步骤520g中选择了扩大,则如CG图像510e所示,门530f打开,能够无缝进入建筑物530e的内部。若在步骤520h中进一步选择前进,则前进至如CG图像510f所示的饭店的前台。若在步骤520i中向左旋转摄影机102,或按压左箭头,则如步骤510g所示,能够看到左侧的房间,能够看到桌子530g。此时,通过替代CG图像510g而显示实际的饭店的室内的静止图像照片,从而有能够向客人传达店内的气氛的效果。另外,若替代CG图像510g而显示室内的当前的视频影像,则有得知饭店的当前的拥挤情况或空闲的位子的情况的效果。其中,此时,为了防止客人的个人信息被显示,可以通过进行面部识别,在面部的部分涂上颜色等,来保护客人的个人信息。为了进一步保护个人信息,而仅在客人没有就座的位子上附加标记,或在有就座的位子上使由CG制作的虚拟的人物就座,从而能够保护个人信息并且向操作者传达空位情况和室内的气氛。
像图53的CG图像510g那样存在桌子530g,在图54的步骤520j中若选择了Zoom in,则像CG图像510h那样,在桌子530g上有菜单530h,在步骤520k中若选择了Zoom in,则在CG图像510i中显示菜单530h的内容。若在步骤520m中选择了“结束”,则返回至如CG图像510j所示的门530f所位于的入口。若在步骤520n中选择了Zoom out,则在设定为滞后模式的情况下,不返回真实图像,而仍然以CG图像510k显示建筑物530e的左侧的建筑物530i,所以若在步骤520p中将摄像机向左,在步骤520q中进行Zoom in(扩大),则像CG图像510m那样,显示附加了标记540b的入口的门530j。若在步骤520r中进一步扩大,则像CG图像510n那样,门530j被扩大,若进一步扩大或在轨550上前进,则像图55的CG图像510p那样,门530j打开,能够无缝进入建筑物内部。若在步骤520s中进行扩大,则能够看到里面的门530k,若在步骤520t中进一步扩大,则像CG图像510r那样,门530k打开,若在步骤520u中进行扩大,则在CG图像510s中显示商品530m,若在步骤521a中进一步扩大或前进,则像CG图像510t那样,显示商品530m的价格等的属性信息。若在步骤521b中选择了“返回”,则如图56所示,像CG图像510u、510v、510w那样,依次后退,像CG图像511a那样,返回建筑物的入口530j。若在步骤521d中选择了“返回现实真实图像”,则像真实图像501g那样返回真实图像。
若在步骤521e中将摄像机向右,则像真实图像501h那样显示2个右侧的建筑物530p,若在步骤521f中将摄像机向右,则像图57那样在中心部显示作为入口的门530q。若在步骤521g中选择“扩大”,则扩大或在轨550上前进,若该图像的析像度或实际的总像素数为一定值以下,则从实际图像切换至CG图像511b,若在步骤521i中选择了“扩大”,则无缝显示像CG图像511c那样的建筑物的内部。通过在轨550上前进并在步骤521j中将摄像机向右、或选择十字开关的右方向箭头,从而右侧的墙壁的绘画530r像CG图像511d那样显示。在没有轨550的情况下,若在步骤521k中将摄像机向上并在步骤521m中选择“放大”,则像CG图像511e那样显示标记540c和绘画530r,在步骤521n中进一步扩大,显示CG图像511f。由于像这样三维的输入较难,因此存在3D空间内的移动对初学者来说操作困难的问题,但该问题能够通过后述的轨550来解决。若在图58的步骤521p中选择“缩小”,则像CG图像511g那样缩小,在步骤521q中设定1打开的情况下,若前进至步骤521r并将摄像机向上而将画面的中心对准标记540c,并在步骤522a中选择“决定”,则像CG图像511i那样,显示绘画530r的商品的信息,例如价格、大小、材质。另一方面,在步骤521q中设定1关闭的情况下,通过前进至步骤522b并打开属性SW,从而显示CG画面511i。在步骤522c中操作者选择了“购入”的情况下,对显示了计费信息的CG图像511j进行显示,在步骤522d中计费。在步骤522c中没有选择“购入”的情况下,在前进至步骤522e并选择了“缩小”的情况下,像CG画面511k那样缩小,若在步骤522f中选择了“缩小”,则在步骤522g中设定3“打开”时显示缩小的CG图像511m和表示左方向的箭头540d,显示向进来的入口返回的方向。
若前进至图59的步骤522j并将摄像机向左,则显示CG图像511n和表示返回的方向的箭头540e,若在步骤522k中选择“缩小”,则像CG图像511p那样,显示原来的门530q和表示返回的方向的箭头540f,若在步骤522m中选择“缩小”,则显示像CG图像511q那样的入口530q。
在此,若返回前图的图58的步骤522g并在设定3“关闭”时前进至步骤522i并选择“返回”,则跳至下图的图59的CG图像511q并返回。在前进至步骤522n而“设定4”打开时,缩小并显示真实图像501j。在步骤522m中“设定4”关闭时,自动返回真实图像501j。若前进至步骤522r并将摄像机向右,则像真实图像501k那样,显示右侧的建筑物的入口530s。若前进至步骤522s并选择“扩大”,则像真实图像501m那样,显示标记540g和入口530s。在此,在返回步骤522n而“设定4”打开时,在步骤522q中缩小的情况下,在成为一定析像度以上的画质或总像素数成为R1以上的时刻,从CG图像切换为真实图像501j。
在此,在前进至下图的图60的步骤522t而“设定5”打开时,若在步骤523a中zoom in(扩大),为一定的析像度或总像素数以上,则前进至步骤523b并原样显示真实图像,在步骤523a中,在成为一定的析像度或总像素数以下的时刻,从真实图像切换至CG图像511r。若前进至步骤523c并进行扩大,则门530s打开,进入虚拟商店等的内部。在步骤522t中设定5打开时,若前进至步骤522u并点击,则跳至CG图像511s。在虚拟商店中设有轨550f、550h、550g的情况下,操作变得容易,留待后述。在前进至步骤523d来观察店内并在步骤523e中进行购物的情况下,在步骤523f中计费,并在步骤523g中向建筑物之外移出。在返回步骤523e并不进行购物的情况下,在步骤523g中向建筑物之外移出。
在步骤523h中“设定6”关闭时,具有滞后特性。在“设定6”打开时,没有滞后特性。若返回图52,则在步骤510a中显示画面的总像素数达到R1的时刻,从真实图像自动切换至CG画面。在前进至图60的步骤523j并缩小时,若成为与前进至步骤523k并从真实图像切换至CG图像时相同的析像度R1,则自动切换至真实图像501n。
在步骤523h中“设定6”关闭时,由于具有滞后特性,因此前进至步骤523m并缩小,在步骤523n中,即使成为上次从真实图像切换至CG画面的总像素数R1,也不从CG图像切换至真实图像。成为比总像素数R1大的像素数R2即R1<R2的像素数时,才开始从CG图像切换至真实图像501p。通过具有这样的滞后特性,在作为切换点的总像素数R1前后,能够防止CG图像与真实图像频繁交替切换而画面闪烁。另外,通过将设定6设为关闭来具有滞后特性,操作者能够长久地留在虚拟空间中。
其中,在本发明中,从真实图像切换至CG图像的总像素数R1根据初始的图像中的对象物或路标的数量来变化。在电子缩放的情况下,像图52的真实图像501a那样,在对象物或路标的数量多的情况下,切换的实际总像素数R1设定为比对象物的数量少时小的值。
反而,在初始的图像中,在对象物或路标的数量少的情况下,切换总像素数R1设定为较大的数。
在对原来的真实图像进行电子扩大时,对象物的图像渐渐劣化,但通过使用本方式,在对象物的数量少的情况下,在扩大的情况下总像素数多的时刻,切换至CG图像,因此,在扩大的较早阶段切换至CG图像。在进行电子扩大时,在对象物少的情况下在较早的阶段进行切换,因此,具有从真实图像迅速切换至CG图像的效果。在对象物多的情况下,由于在某种程度上需要电子缩放,因此在较晚的阶段从真实图像切换至CG图像。因此,具有能够迅速进行操作的效果。
另外,在使用光学缩放的情况下,按照每个对象物的总像素数,自动切换为CG图像。在图52的真实图像501a的情况下,每个对象物的总像素数少。但是,在光学缩放的情况下,像真实图像501c那样,若进行缩放,则每个对象物的总像素数增多。因此,在光学缩放的情况下,在每个对象物的总像素数P1成为某一定以上的值的情况下,从真实图像切换至CG图像。由此,具有在对象物少的情况下能够从真实图像迅速自动切换至CG图像的效果。
在下图的图61中,若在步骤523v中将摄像机向右,则得到真实图像501q。若在步骤523q中将摄像机向右并在步骤523r中扩大,则扩大的真实图像501r若在步骤523s中扩大,则得到进一步扩大的真实图像501s。
若进一步在步骤523t中进行扩大,则得到建筑物530t被扩大的真实图像501t。此时,与其他建筑物不同,该建筑物530t在正面或侧面没有入口,所以仅扩大真实图像无法进入建筑物内部。因此,在步骤523u中“设定7”打开时,通过在步骤524a中选择虚拟模式,从而即使在像素数多的情况下也能够变换为CG图像512a并进入虚拟空间。在CG图像512a中,设有轨550a、550b、550c,因此通过在轨上行进,无需3维的复杂操作,因此操作变得简单。在步骤524b中“设定8”关闭时,前进至步骤524c并前进,在轨550b上前进。在下图的图62的步骤524e中,在“设定9”关闭时,在步骤524g中在轨530b上向左转,并在轨550c上前进。若在步骤524h中选择了“前进”,则达到轨550c与550d的分支点。在前进至步骤524i而“设定10”关闭时,在步骤524d中轨550c与轨550d的分支点上,若向左转则如CG图像512e所示,成为在正面能够看到入口530u的状态。若在步骤524k中选择“前进”,则能够像CG图像512f那样在轨550d上前进并进入建筑物的内部。在步骤524m中进入建筑物内部。在建筑物内部,若在轨550d和轨550e上前进,则能够自动进入左侧的房间530x。
此时,由于预先在3D空间内设置了虚拟的轨550,因此操作者的操作变得简单。如果存在轨,则操作仅为“前进”、“后退”、“右转”、“左转”这4个开关即可,因此具有能够以1个操作按钮在虚拟空间内移动的效果。在该虚拟轨上,预先将虚拟的人在进入了的时候根据轨上的人的位置来观察的方向、观察的高度、观察的范围与轨上的位置信息进行关联并预先设定。因此,如2张之前的图的图60的CG图像511s所示,进入了虚拟商店的虚拟人最初在轨550f上前进,在轨550f与550h的分支点上选择“右转”,从而面对绘画530y的方向,在轨550h上仅选择“前进”,就前进至绘画530y之前,在到达了轨550h的终端的时刻,在该轨上的位置上预先设定的“虚拟的摄影摄像机的摄影方向”、“观察的高度(视点)”、“观察的范围(缩放化)”处设定了图像,因此,存在能够得到例如如图57的CG图像511e所示的最容易观察的图像的效果。
如果是以往的没有轨的方法,像前图的图57的情况那样,操作者需要由人来控制3维的方向,因此,需要在步骤521j中将摄像机朝向右方向并前进,在步骤521k中将摄像机向上,在步骤521m中扩大。该操作需要微妙的操作,因此,在不熟练的初学者的情况下,由于到进入虚拟商店、进而看到绘画530r为止需要3维的复杂操作,因此要求几十次的操作。但是,像本发明那样存在虚拟的轨,对于轨的每个位置,预先设定:“观察的高度”、“观察的方向”、“观察的范围”,因此,到达图57的绘画530r的CG图像511e为止,仅按下“前进”按钮、“右转”按钮和“前进”按钮这3个按钮,来打开、关闭即可。因此,能够大幅减少操作者的操作输入数,具有操作性提高的显著的效果。
在此,若返回图61的步骤524b,则在“设定8”打开时,通过按压步骤524d的跳转按钮,跳转至CG图像512f,能够从该建筑物530t的入口进入内部的虚拟商店。另外,若返回图62的步骤524i,则在“设定10”打开时,仅通过点击标记540g(步骤524j),就能够进入虚拟商店的内部。若在步骤524m中进入建筑物的内部,并调查内部(步骤524n),并在步骤524p中选择“返回”,则在步骤524q中出现“打电话?”和“电话号码”的显示,如果在步骤524s中OK,则在步骤524t中是带摄像机的便携式电话的情况下,自动对该电话号码打电话,并进入步骤525a。另外,如步骤524r所示,显示预约情况,显示“进行预约?”的询问,在步骤524u中OK而且在步骤524v中能够预约时,在步骤524w中预约并前进至步骤525a。其中,如果在CG空间取得了空位信息,也可以在上述店铺的预约步骤中进一步追加预约座位的步骤。由此,用户在CG空间上掌握自己所喜好的座位的基础上,能够预约店铺和入座的座位。另外,也可以构成为:在CG空间上,取得了空座信息的情况下,用户在空着的座位之前,按压预约按钮,或通过面向座位进一步缩放等的处理,打开座位的预约画面,在CG空间的空座之前,能够预约店铺、以及希望入座的座位。由此,用户能够预先了解自己入座的座位的形象,而且能够对更接近自己希望入座的座位的形象的座位进行预约。在步骤525a中“设定9”打开的情况下,进入CG图像512g。在步骤525a中“设定9”关闭的情况下,跳转并前进至CG图像512h。在此,说明从轨550脱离的情况的图像。在显示CG图像512g之后,若将摄像机朝向左方向,则显示建筑物530t位于中心的CG图像512h。若在步骤525d中进行缩小,而步骤525e的“设定11”打开时,在步骤525f中析像度或真实图像的总像素数为一定值R3以上时,从CG图像切换至真实图像501u并显示。即,在“设定11“打开时若进行缩小,并成为一定的析像度,则一边具有滞后特性,一边自动切换至真实图像。另外,在“设定11”关闭时,不切换至真实图像,而能够像CG图像512i那样,仍然在CG图像的状态下观察摄像机所朝向的方向的图像。
在显示CG图像512i的状态下,若在步骤525g中将摄像机朝向右方向,则像CG图像512j那样,在画面的中央部显示右侧相邻的建筑物530v。若在步骤525h中选择扩大,则如CG图像512k所示,扩大显示入口530w,在此若进行扩大,则门打开,能够进入建筑物530v的内部。
通过像这样在虚拟空间上设置轨,操作性显著改善。另外,在从真实图像切换至CG图像时,由于具有滞后特性,因此具有图像的显示稳定等的效果。
其中,在第五实施方式中轨550重叠在CG图像上显示,但也可以如图64所示,在真实图像的图像513a上显示轨551a。此时,进行真实图像与CG图像的图案匹配,校正真实图像与CG的偏差。然后,通过仅将CG图像中的轨551a~551d重叠在真实图像上显示,能够在图像513a上显示轨551。此时,虽然摄像机的摄影方向因为手抖动或摄像机摇动等而左右、上下改变,但通过6轴的加速度传感器或角速度传感器来检测该摇动量。通过测定摄像机的摄影方向的摇动量,并按照该摇动量使轨551在图像上移动,从而能够使真实图像的道路或通路与轨551一致。此时,若利用手抖动校正功能来校正手抖动,则能够减少轨的校正量。
另外,在使用者希望寻找特定的领域的店铺、例如饭店的情况下,在步骤526a中,若将显示模式设定为饭店,则在图像513a上,显示出仅表示向饭店的分支点的轨551b、551c、551d。在此,若设定收费为50美元以下,则仅显示向50美元以下的饭店的分支点的轨551c和551d。另外,对于向营业时间外的饭店的轨551,不显示或者用点线显示轨。其中,仅显示了图像513a,但即使图像513a是CG图像,也能够得到同样的效果。
若在步骤526b中将显示模式设定为酒吧,则在图像513b上,显示出仅表示向酒吧的分支点的轨551f和551g。此时,显示图像无论为真实图像和CG图像都能够得到相同的效果。在真实图像的情况下,按照摄像机的运动,移动轨551a等轨,使真实图像与轨551a等一致。在CG图像的情况下,在摄像机的运动、例如将摄像机向右的情况下,通过加速度传感器或角速度传感器来检测摄像机的运动,并校正CG图像和轨550,使摄像机的摄影方向的真实图像与CG图像一致。在CG图像的显示中,可以检测由摄像机得到的真实图像的图像的运动,来校正CG图像,也可以通过真实图像与CG图像的图案匹配来校正CG图像并校正真实图像与CG图像的偏差。
作为轨551的显示方法,像图像513c那样,对表示在画面上的下一个分支点上可行进的轨的箭头540h、箭头540i进行显示。若使用者在步骤526c中按压右方向的按钮,则在步骤526d中显示了CG图像的情况下,像图513d那样,显示CG图像的店铺的门。若像图60的步骤523c那样,在门前按压前进按钮,则如CG图像511s所示,进入店铺之中,能够在店铺之中的轨550f、550h、550g上行进并观察菜单或商品。在本发明中,对于向营业时间外的饭店的轨,设为能够用点线来显示并区别,但能够进入营业时间外的饭店之中。在进入其中而且喜欢的情况下,能够在虚拟空间中取得预约,因此具有饭店不会让客人流失的经济效果。此后的动作在前面已经详细说明,所以省略说明。
在返回步骤526d而图像513c显示了真实图像的情况下,显示真实图像的图像513e,并显示轨551b和箭头540k。在此,若在步骤526e中使用者选择了“右方向”,则从真实图像切换至CG图像,并显示像CG图像513d那样的门530s。此后,若进入图60的步骤523c,并选择前进“上按钮”,则能够像CG511s那样进入虚拟的店内。此时,也可以从真实图像的步骤526e前进至图53的CG图像510d或步骤520g或图54的步骤520r。
这样,使用者即使不进入现实的店铺之中,也能够了解店铺的内部的气氛、拥挤程度、计费。另外,还能够进行饭店的预约或商品的购入。根据本发明,能够提高使用者的方便性。
如上,根据本发明,能够切换真实图像和虚拟空间的CG图像,所以在由带摄像机的便携式电话摄影真实图像时,能够按照需要从现实的世界自动进入虚拟世界的CG图像,所以对于使用者,能够得到如实施例所述的显著效果。
其中,在步骤622m以及步骤623h中停止了照片的自动合成处理,但也可以在处理停止后,通过用户的手动操作,转移至进行合成用背景照片的选择以及与人物图像的合成的处理。如果这样,则即使是包括不需要的对象物的背景照片,用户也能够对于允许了能够容忍与人物图像的合成的照片进行选择,能够得到与人物图像的合成照片。
其中,在步骤624f中用户拒绝合成照片的购入的情况下,在步骤624中停止处理,但也可以设为其后能够再次购入无水印的高析像度合成照片。例如,事先设为在拒绝购入合成照片时,将带水印的合成照片或低析像度的合成照片保存在终端侧,在服务器侧将对应的无水印的高析像度合成照片保存一定期间(例如7天),用户在一度拒绝了购入合成照片之后,在终端上再现显示带水印的合成照片或低析像度的合成照片时,再次向用户询问是否购入合成照片。如果这样,则即使在之后变得希望购入合成照片的情况下,也无需再次重复合成处理,能够减轻服务器侧的处理负荷,并且,只要调出终端所保存的带水印的合成照片或低析像度的合成照片,就能够购入高析像度合成照片,所以也提高了用户的方便性。
在此,说明具体的操作方法。
在本发明中,具有:能够在3维空间中自由移动的模式,将移动仅限制为在3维空间的地表或建筑物、台阶的地面上站立的人的视点的高度的2维模式,以及在该2维空间上设置轨并能够在轨上移动的轨(1维)模式这3种模式。作为从2维模式或3维模式转移至轨模式的方法,首先,有设定为在轨上移动的情况下自动转移至轨模式的的方法。接着,有设定为在轨上移动时按压或点击轨模式的按钮时转移至轨模式的方法。
说明从2维模式或3维模式转移至轨(1维)模式的情况,在图64的图像513a中,若将轨551a和轨551b的分支点560a设为第n个分支点,则显示从图像的视点为人站立在前一个分支点、即第n一1个分支点或分支点560a的面前的轨551上的位置时的高度的视点观察到的图像。说明了在步骤526c中按压右方向的按钮的实施例,但在此,若假设不按压右方向按钮而按压前进按钮,则视点移动至位于分支点560a,而分支点560b最靠前显示。构成为:在显示分支点560b时,若按压前进按钮,则视点移动至分支点560b,分支点560c最靠前显示。
像这样仅对按钮进行1次按压或单击,视点就按一个个分支点移动,所以在轨即一维模式下,基本上是一维的移动,而且间断移动,因此具有操作比三维模式或二维模式明显简单的效果。
但是,在分支点之间较大的情况或分支点不在附近的情况下,通过单击,视点位置一下向远处的地点跳转。这样,有可能使用者迷失自己的位置。为了避免这种情况,在分支点的间隔较大时,对于被附加了位于轨的两侧的标记的每个建筑物设定视点停止位置,或在将2个分支点之间等分的位置上设定视点停止位置,由此能够防止通过单击而视点位置大为变化。
如上所述,可以预想,将来会发生以下问题,即:如果通过按钮的单击而视点位置大为变化,则使用者迷失自己的位置。但是,根据本发明,能够防止视点大为变化,因此具有能够防止使用者迷失自己的位置的效果。其中,表示了轨设在2维的平面上的实施例,但若在台阶上或电梯的地面上设置轨,则也可以在高度不同的上下层移动。通过该方法,除了空中以外,能够通过轨模式移动。对于从轨模式转移至2维、3维模式,能够通过按压模式变更按钮来变更。
(第六实施方式)
第六实施方式所涉及的图像摄影装置是一种图像摄影装置,其特征在于,图像摄影装置还具有:人物选择部,接受从上述显示部所显示的上述数字图像内的人物之中选择人物的预定的操作;上述详细信息取得部从网络上的预定的服务器,取得描绘了与该附加信息有关的附加信息所对应的对象的图像,作为上述详细信息;上述显示部对于描绘了选择的人物以外的人物的、上述数字图像中的该对象的图像区域,将取得的上述图像合成。
第六实施方式所涉及的附加信息提供服务器是一种附加信息提供服务器,其特征在于,从上述其他装置,接收描绘了一个人以上的人物的图像、以及特定不合成类似图像的非编辑区域的特定信息;作为与上述附加信息相对应的详细信息,从上述数据库,取得描绘了该附加信息所对应的对象、而且在上述数字图像的摄影的过去摄影的类似图像;对于在接收的上述数字图像的上述非编辑区域以外描绘了人物的该对象的图像区域,对取得的上述类似图像进行合成。
图65~图68是第六实施方式所涉及的图。
在第六实施方式中,说明在人物照片中消除特定的人物以外的对象物的方法。
图65是表示终端641和服务器642的图。
首先说明概况,如图65所示,说明得到描绘了人物631a、631b、631c、631d的真实图像601a和背景的背景图像611a的方法。
在步骤621a中,终端641将数据,真实图像601a的图像数据、位置、摄影方向、摄影高度、摄影范围等发送给服务器642。
服务器642若被发送了图像数据等,则从服务器642中蓄积的图像数据库643,检索位置数据、摄影方向、摄影高度、摄影范围与真实图像601a最相似的图像,取出或通过合成制作没有描绘人物的背景图像611a,将这样取得的背景图像611a,发送至摄像机或个人计算机等终端641。
接着,在步骤621b中,终端641从真实图像601a切割出并制作仅有人物图像631a的真实图像601b。
然后,在步骤621c中,同样由终端641将从服务器642发送的背景图像611a和由该终端641制作的仅有人物的真实图像601b合成,生成合成图像605a。
接着,利用图66、图67、图68的流程图说明更详细的动作。
图66是第六实施例所涉及的系统的流程图。
说明图66的流程图。
在步骤622a中,终端641得到摄像机的位置数据、摄影方向、摄影时间,根据情况得到天气、太阳角度的数据,并将得到的位置数据等从终端641发送至服务器642。在此,在步骤622b中,在没有天气数据时,前进至步骤622c,访问天气服务器,根据位置、时间数据,得到摄影时间的摄影地域的天气数据。在有天气数据的情况下,前进至步骤622c。
然后,在步骤622c中,服务器642访问位于服务器642之中的蓄积了照片的数据的照片数据库643(图65),检索摄影时间、位置、方向、望远比(摄影范围)相同的照片。
在步骤622d中,服务器642例如进行检查或判定等,通过检查等,在存在日期时间相同的图像数据(是)时,前进至步骤623a,在不存在日期时间相同的图像数据(否)时,前进至步骤622e,根据摄影日期时间,检查是否存在10天以内的其他日子的相同时间范围、相同天气的照片数据,在是的情况下前进至步骤623a。在否的情况下,前进至步骤622g,检查是否有照片摄影时的太阳角度的数据,在否的情况下前进至步骤622f,从摄影位置和日期时间,根据服务器等的数据,计算太阳角度,并前进至步骤622j。在步骤622j中,在离摄影日30天以内的其他日子,检查是否有相同太阳角度、相同天气的照片数据,在是的情况下,前进至步骤623a,在否的情况下,前进至步骤622k,检查其他年中是否有相同时间范围、相同天气的图像数据,在是的情况下前进至步骤623a,否的情况下在步骤622m停止。
图67是在图66的流程图的处理之后的处理的流程图。
进入下图的图67,在步骤623a中,为了切割出原来的照片的601a的希望留下的人物或对象物,而选择特定的人物。此时,通过面部识别来选择特定的人物。在有多个人物的情况下,附加优先度。在选择的人物的图像上重叠了其他的人物或对象物的情况下,也添加该对象物。在步骤623b中,对于作为背景的背景图像611a,进行面部识别、人识别,选择描绘的人物最少的照片。检查在步骤623c中描绘的人物是否为0个人,在是的情况下前进至步骤624a,在否的情况下,在原来的照片图像601a中,在相当于描绘了希望留下的人物图像631a的图像区域的背景照片1(611b)的相同图像区域中,检查是否没有描绘人物等,在是的情况下,即没有描绘防碍的图像的情况下,前进至步骤624a,在否的情况下,即描绘了防碍的人物图像的情况下,前进至步骤623e,从照片服务器642的数据库643的多个真实图像601c和真实图像602e等之中,寻找在相当于上述防碍的人物图像631h的图像区域中没有描绘人物的照片2(601e),如果是则在步骤623f中,制作仅将背景图像1(601d)的不需要的人物图像631h的图像区域由背景图像2(601e)的相同图像区域置换的背景照片3(601f),并前进至步骤604a。在该背景照片3(601f)中,在人物图像631a的区域中,没有描绘防碍的人物。在返回步骤623e并为否的情况下,在步骤623g中,检查背景图像1(611b)的其他人的人物图像631h是否比原来的照片601a的人物图像631a靠后。在是的情况下,虽然在背景照片中描绘了多余的人物,但由于比原来的照片的人物图像631a靠后,因此能够作为背景照片使用,所以前进至步骤624a。在步骤623g为否的情况下,无法消除多余的人物图像,因此在步骤623h停止。
图68是图67的流程图的处理之后的处理的流程图。
前进至图68,在步骤624a中在PC或摄像机等终端的显示部上显示背景照片,在步骤624b中摄影者选择OK的情况下,在服务器侧,在步骤624c中,制作将切除了原来的照片的人物图像631a的图像贴在背景照片2或3上的合成照片。在步骤624d中,将在合成照片上附加了眼睛能到看到的水印的合成照片或使合成照片的图像劣化的合成图像、和表示对于合成照片的价款的计费数据,从服务器发送给摄像机等终端,在步骤624e中在用户的终端的显示部上显示,在步骤624f中,仅在用户输入了购入指令的情况下(是),从终端向服务器发送包括信用卡号码或电子货币信息的计费承诺数据,在步骤624i中,服务器若完成了结算等计费手续,则将析像度高的没有水印的合成照片从服务器发送至终端,在步骤624k中,由终端接受合成照片的数据,并在画面上显示,在步骤624m中结束操作。
(第七实施方式)
第七实施方式所涉及的附加信息过滤系统是一种附加信息过滤系统,其特征在于,具有:图像摄影装置,摄影数字图像;以及附加信息提供服务器,将摄影的对象的附加信息发送至上述图像摄影装置;上述图像摄影装置具有:图像摄影部,摄影上述数字图像;缩放比取得部,取得由上述摄影部摄影上述数字图像的缩放比;摄影位置取得部,取得由上述摄影部摄影数字图像的摄影位置;将取得的上述缩放比和上述摄影位置发送给预定的附加信息提供服务器的发送部;附加信息取得部,从上述附加信息提供服务器,取得与发送的上述摄影位置和上述缩放比相对应的、上述摄影部所摄影的上述数字图像中包括的各对象分别对应的多个附加信息;上述附加信息包括上述对象的位置;具有:方位输入部,接受来自操作者的输入,取得操作者通过该输入而指定的方位;显示部,按照由上述方位输入部取得的方位,显示上述摄影部所摄影的上述数字图像,并且从上述附加信息取得部所取得的附加信息中选择附加信息,将选择的附加信息与该数字图像一起显示;上述附加信息提供服务器,具有:数据库,保持对象的多个附加信息;具备:接收部,对发送的上述缩放比和摄影位置进行接收;附加信息提取部,根据上述接收信息,从上述数据库取得与接收的上述摄影位置和上述摄影方向相对应的、与上述数字图像中包括的各对象相对应的上述多个附加信息;选择部,从上述附加信息提取部所提取的上述多个附加信息中,选择与接收的上述缩放比和摄影位置相对应的附加信息;以及发送部,将选择的附加信息发送至上述图像摄影装置。
图69~71、图32、图33~36、图14、图50是第七实施方式所涉及的图。
在第七实施方式中,说明不使用表示摄影时的图像摄影装置所朝向的方位的信息、对显示在摄影装置上的路标进行过滤的结构。在第七实施例中,对路标进行过滤的功能设为由地图服务器120承担。对路标进行过滤的方法,与第一以及第二实施例中说明的过滤方法相同,在地图服务器120侧实施过滤的结构与第四实施例相同,所以在此以进行与第四实施例不同的动作的部分作为中心进行说明。
图69是第七实施方式中的系统101的结构图。
摄影机属性信息生成部121根据位置信息取得部103所取得的位置信息、缩放信息取得部1960所取得的摄影方向信息、过滤器信息取得部111所取得的过滤信息、以及摄影范围信息取得部122所取得的摄影范围信息,生成摄影机属性信息,并发送给地图服务器120。
在此,在第一实施方式中,通过图7示意地表示了摄影范围,但在第七实施方式中,由于没有摄影装置的摄影时的方位,所以方便地处理为摄影范围是摄影位置的周围360度,摄影位置的全周的路标信息作为提取对象。
地图服务器由路标信息提取部119,根据摄影机属性信息,从地图数据库中提取摄影机的摄影范围中包括的路标信息,并且,利用来自过滤信息取得部的信息,由显示信息提取部2713提取显示路标信息。显示信息提取部2713进行与图8~图12所示的缩放比信息相应的区域设定,对路标信息进行过滤。其中,如上所述,摄影范围设为摄影位置的周围360度。
图像处理部115处理由摄影部114取得的摄影信息。
方位信息输入部5115经由摄影装置的操作接口来接受用户的操作输入,取得用户希望显示路标的方位。路标选定部5116在从地图服务器120接收的路标信息中,选定位于通过方位信息输入部5115由用户指定的方位的路标信息。
摄影机的重复显示处理部116将选定的路标信息与从图像处理部115取得的景观的信息合成,显示部117将景观与路标重复显示。
地图服务器120接收摄影机属性信息,并发送由摄影机102重复显示的路标信息为止的流程,与第二实施方式中说明的图30相同。
图70是表示摄影机102取得路标信息、之后与摄影风景重复显示为止的流程的一个例子的图。
取得用户所输入的方位信息(5117),根据构成路标信息的位置信息,选定位于输入的方位信息的路标信息(5119),并与摄影图像对应地进行显示(3002)。其中,从服务器接收路标信息时,用户如果没有输入方位信息,则设为暂时将用于选定路标的方位设定为规定的方位、例如北。
图71是表示路标上的显示的一个例子的图。
在图71中,在摄影装置(摄影机102)的画面下部,设置路标显示区域,在路标显示区域的上部中央,显示当前显示中的路标所位于的方位,并在路标显示区域上部左右,分别显示与显示中的方位连续的西侧/东侧的方位。在图71的路标显示区域所示的显示例中,“P咖啡店”为选择状态,但例如从该状态按压右按钮,则“D花店”成为选择状态,进一步按压右按钮,则表示接着的东侧的方位即东北的显示成为选择状态,在此,通过按压右按钮或决定按钮,路标显示从位于“北”的路标切换至位于“东北”的路标。
根据以上结构,能够不使用摄影时的摄影装置所朝向的方位的信息,通过摄影装置进行对路标的过滤、检索、显示,因此无需检测方位的电子罗盘等的结构,成为更加廉价的结构。
另外,在第七实施方式中,在提取服务器侧的路标信息时,由于没有摄影方位信息,所以将摄影范围设为摄影位置的周围整体来进行过滤处理,但也可以构成为:从图像摄影装置向地图服务器120发送图像,在地图服务器120侧根据接收的图像的摄影内容,推测图像摄影时的方位。例如,地图服务器120具备进行图像图案匹配的区域对照部,进行位置已知的建筑物等与摄影图像的图案匹配,如果取得对照,则能够利用与图像中的被摄体的二维坐标取得了对照的被摄体的位置和摄影位置,推测摄影时的方位。像这样如果在地图服务器120侧能够推测摄影时的方位,则利用该方位,无需提取摄影位置的全部周围的路标,所以能够实现过滤处理的高速化和精度提高。
其中,在本发明中,在摄影机102一边显示路标,一边对摄影机102进行移镜头时,为了能够立即显示路标信息,采取以下结构,即:地图服务器120发送摄影机102的摄影范围中的路标信息,然后通过摄影机102进行重复显示的处理的后台发送摄影范围的周边的路标信息。但是,不一定必须发送摄影范围的周边的路标信息,也可以构成为仅发送摄影机102所摄影的范围的路标信息。由此,由于还存在摄影机102不移镜头的情况,所以根据该结构,能够期待地图服务器120向摄影机102发送的数据量减少的效果。
图33是表示测定摄影机的高度信息的系统101的图。
其中,本发明中的实施方式也可以进一步设为测定摄影机102的高度信息的如图33那样的结构。高度信息取得部3221包括检测高度信息的高度信息检测部3222、以及高度信息输出部3223,将检测出的高度信息发送给摄影机属性信息生成部。
图34是表示摄影机属性信息生成部121经由通信部112发送的数据格式的一个例子的图。
地图服务器通过取得高度信息,能够得知从摄影机到水平线为止的距离。由此,摄影机102能够更准确地得知所发送的路标信息的范围,例如能够从大楼的屋顶等得知远方的路标信息。其中,在没有高度信息取得部3221的情况下,地图服务器120通过摄影机102的位置信息和地图的等高线信息,也能够计算摄影机102的高度信息。
其中,本发明的实施方式也可以进一步设为测定摄影机102的高度信息的图35那样的结构。高度信息取得部3221包括检测高度信息的高度信息检测部3222、以及高度信息输出部3223,将检测出的高度信息发送给摄影机属性信息生成部121。仰角信息取得部3424包括仰角信息检测部3425和仰角信息输出部3426。
图36是表示摄影机属性信息生成部121经由通信部112发送的数据格式的一个例子的图。
地图服务器120根据摄影机102的位置信息、摄影范围信息、高度信息、仰角信息,能够正确得知摄影机102的摄影范围。由此,地图服务器120能够更准确地掌握向摄影机102发送的路标信息的范围。
也可以将SNS过滤器与缩放过滤器进行组合。例如,能够将根据缩放信息来变更所显示的区域的结构与实施方式3进行组合。根据缩放信息,决定所显示的区域,进一步在该区域中,利用SNS过滤来显示优先度高的信息,由此,用户能够限定为希望知道路标信息的区域之中,来显示负荷自己的喜好的路标信息。
也可以将每个用户的摄影机的操作履历事先保存在存储器中,通过操作频度高的过滤方法来实施过滤。
SNS过滤器也可以不仅根据用户所属的公共团体,而且根据用户访问频度高的Web站点或公共信息、检索次数多的检索词等,来判定用户的喜好度。
也可以将从服务器发送的路标信息的范围分割为几个等级,根据电池余量或电波强度,变更所取得的等级。例如,分割为“5km四方的范围内”的全部的路标信息、“摄影角的扇形内”的路标信息、“不取得路标信息”这3个等级,在电池余量为一定以下的情况下,停止与地图服务器的通信来作为“不取得路标信息”,比起路标信息显示,优先进行照片拍摄。在电波强度弱的情况下,通过取得“5km四方的范围内”的路标信息,能够得到减少向地图服务器的访问次数并减少电池的消耗等的效果。另外,在观光地或游乐场等场所,通过分发记录了路标信息的外部存储器等,即使在不能进行与地图服务器的通信的场所,也能够进行路标信息的取得。
进而,在难以进行与地图服务器的通信的场所,也可以到位置信息变化为止停止与地图服务器的通信,防止由于进行不需要的通信而引起的电池的消耗。
另外,在位置信息取得部因为故障等无法使用的情况下,也可以停止与地图服务器的通信,防止由于进行不需要的通信而引起的电池的消耗。
另外,也可以构成为:按照用户所摄影的被摄体的路标信息的属性信息,改写SNS的简介信息。例如,在公共站点的简介栏中,事先准备“最近感兴趣的事情”的表格,用户在大量取得寺庙佛堂的路标信息的情况下,在该表格中自动写入寺庙佛堂的信息。由此,用户能够得知没有意识到的自己的潜在的兴趣。
图2中的位置信息取得部不一定必须限定为GPS。例如,也可以通过无线LAN的信号的接收强度计算离多个访问点的相对位置,从而测定位置信息。
另外,可以是以下方法,即:不通过无线LAN,而通过计算离便携式电话或PHS的基站的相对距离来取得位置信息。
另外,在本实施例中,通过摄影机所具有的位置信息取得部来进行位置信息的取得,但本发明并不限定于此。也可以将图2的位置信息检测部和摄影方向检测部设为与摄影机主体不同的装置而分离的结构。例如,可以构成为对于通过具备位置信息检测部和摄影方向检测部的便携式电话来取得的位置信息和摄影方向,由摄影机的接收部接收。另外,也可以通过短距离通信等取得便携式电话等的其他装置的GPS功能。
另外,飞机或列车等输送手段具有高精度的位置信息测定手段,测定的位置信息通过无线信号被广播。无线终端可以通过接收该位置信息来取得位置信息。
其中,在本发明所涉及的实施方式1至3中,为了减少地图服务器向摄影机发送的路标信息,也可以设为如下结构。
图37是表示摄影机向地图服务器发送的数据的格式的一个例子。
摄影机向地图服务器发送的摄影机属性信息如图37所示,发送与每个区域最大显示路标数相关联的信息。地图服务器根据接收的最大显示路标数,限制发送的路标的阶层。按照实施方式1所记载的摄影机的过滤方法,仅发送摄影机所显示的路标的阶层、即在不超过每一个区域可显示的路标数的范围内阶层最深的路标的信息,在最上位的路标数超过每个区域最大显示路标数的情况下,在不超过每个区域最大显示路标数的范围内,发送接近中心部的域的网格区域的路标。由此,地图服务器向摄影机发送的路标信息减少,路标显示的反应提高,所以用户的方便性提高。
图15是说明通过地图服务器发送更深阶层的路标的信息的图。
另外,也可以构成为:不仅发送摄影机所发送的路标的信息,而且如图15那样,地图服务器对于每个阶层,到不超过每个区域最大显示路标数的阶层为止,发送路标,将比上述路标发送后更深的阶层的路标发送给地图服务器。由此,比起实施方式1所公开的结构,不仅地图服务器向摄影机发送的路标数变少,因此发送的信息量减少,发送时间缩短,而且在用户缩小路标的显示区域的情况下,摄影机也能够不再次向地图服务器进行路标信息的发送请求并由摄影机显示路标,因此,能够期待路标显示的反应变快,用户的方便性提高的效果。
其中,各区域离摄影机的距离不一定必须是等距离,例如也可以设为按照缩放比可变。可以认为,在缩放比小时,用户希望了解在第一区域中存在的附近的被摄体的路标信息的要求强烈,在缩放比大时,希望了解在第三区域中存在的远方的被摄体路标信息的要求强烈。因此,构成为:例如在缩放比小时,将第一区域的区域半径缩小,将第三区域的区域半径增大,随着缩放比变大,将第一区域的区域半径相对增大,将第三区域的区域半径相对缩小。由于每个区域所显示的路标数存在限制,所以通过该结构,能够更多地显示用户希望了解的区域的被摄体的路标信息。
其中,也可以是:摄影机能够根据用户设定改变网格区域的尺寸。即,构成为:根据用户开关等,能够改变区域范围、域的宽度(域的角度)。由此,能够显示用户希望的网格区域的路标,方便性提高。
其中,本发明所涉及的显示过滤方法不一定必须限定于如利用图11说明的那样,在不超过每个区域可显示的路标数的范围内显示阶层最深的路标的方式。
例如,也可以事先使路标具有优先度,在最下位的阶层之中,从优先度高的路标开始依次,在不超过每个区域可显示的路标数的范围内,显示路标。优先度例如存在将高的构造物的优先度提高的方法。由此,对成为高的建筑物的阴影而从摄影机实际无法看到的被摄体的路标进行显示的可能性减小,能够优先显示从摄影观察到的可能性高的被摄体的路标。
另外,被摄体也可以根据摄影机的路标显示的访问频度来附加优先度。即,也可以是以下方式,即:通过地图服务器事先管理摄影机的路标显示的履历,提高路标显示请求多的被摄体的优先度。有名的观光名胜等设为被显示路标的次数多。根据该方式,具有易于提高这样的观光名胜的优先度,易于了解用户不知道的地方的有名的观光名胜的信息的优点。
图51是表示显示框的摄影机的图。
其中,关于本发明的实施方式中公开的摄影机的重复显示方法,也可以构成为:使摄影机具有图像识别功能,如图51那样,摄影机将对准了指示器的路标例如景观,用框围住来进行强调显示,具有详细信息的路标用其他的显示方法强调显示(例如将围住景观的框用点线显示)。通常对于摄影机所显示的景观,假定描绘了多个被摄体,因此,通过强调显示指示器所对准的被摄体的轮廓部,具有摄影者易于了解自己选择了哪个路标的优点。另外,可详细显示的被摄体通过其他的强调显示来与被摄体的轮廓部进行协调,从而用户能够直观地掌握哪个被摄体具有详情的信息,操作性提高。
图72是表示摄影机向地图服务器发送的数据的格式的一个例子的图。图示的格式中包括的各要素汇集了至此参照图4、图24等说明的各格式中的要素的全部。从摄影机向地图服务器,也可以发送这样的格式的数据。其中,也可以通过发送这样的格式的数据,在将不同的地方所说明的2个处理、例如根据是否满足预定的条件而执行的处理进行变更等的同时,哪个处理都一起由系统执行。
其中,本发明的实施方式中公开的各功能模块典型地由作为集成电路的LSI来实现。这些可以分别进行单片化,也可以以包括一部分或全部的方式进行单片化。
在此设为LSI,但根据集成度的不同,也被称为IC、系统LSI、超大规模LSI、特大规模LSI。
另外,集成电路化的方法不限于LSI,也可以通过专用电路或通用电路实现。也可以在LSI制造后,利用可编程的FPGA(现场可编程门阵列:Field Programmable Gate Array)或能够重构LSI内部的电路单元的连接和设定的可重构处理器。或者,也可以使用在具备处理器、存储器等的硬件资源上处理器通过执行ROM中存放的控制程序来进行控制的结构。
进而,如果由于半导体技术的进步或衍生的其他技术而产生了替换LSI的集成电路化的技术,当然也可以利用该技术来进行功能模块的集成化。可能存在生物技术的应用等的可能性。
工业可利用性
本发明作为根据存在多个路标信息的图像仅显示使用者所要求的路标信息的技术是有用的。

Claims (14)

1.一种图像摄影装置,具有:
摄影构件,摄影数字图像;
摄影位置取得构件,取得表示摄影上述数字图像的位置的摄影位置信息;
摄影方向取得构件,取得表示摄影上述数字图像的方向的摄影方向信息;
附加信息取得构件,从附加信息存储装置取得附加信息,该附加信息存储装置存储多个上述附加信息,该多个上述附加信息分别与预定的对象相对应,并包括表示对应的上述对象的位置的对象位置信息;
选择构件,将根据离上述摄影位置信息所表示的上述位置的距离远近以及上述摄影方向信息确定的视野空间分割为多个部分区域,按每个上述部分区域,从上述对象位置信息所示的位置在该部分区域内的上述附加信息之中,选择该部分区域中设定的数量以下的上述附加信息;以及
显示构件,显示上述数字图像和由上述选择构件所选择的上述附加信息,
上述选择构件根据离上述图像摄影装置摄影上述数字图像的上述位置的距离远近和上述方向,将上述视野空间分割为上述多个部分区域,
上述图像摄影装置还具有缩放比取得构件,取得表示摄影上述数字图像时的缩放比的缩放比信息,
上述选择构件从上述多个部分区域之中选择部分区域,并且选择被选择了的上述部分区域的附加信息,而不选择其他部分区域的附加信息,
上述选择构件,上述缩放比信息所示的缩放比越大,选择离上述摄影位置信息所示的位置的距离越远的上述部分区域。
2.如权利要求1所记载的图像摄影装置,其特征在于,
各上述附加信息所对应的对象被分类至多个阶层之中的某一个阶层,构成被分类至第一阶层的第一对象的一部分的第二对象,被分类至比上述第一阶层下位的第二阶层;
上述附加信息还包括表示对应的对象所属的阶层的阶层信息;
上述选择构件按每个上述部分区域,从上述多个阶层之中,选择上述对象位置信息所示的位置在该部分区域内、而且上述阶层信息表示该阶层的上述附加信息的合计数为上述设定的数量以下且为1以上的阶层,并选择上述对象位置信息所示的位置在该部分区域内、而且上述阶层信息表示所选择的上述1以上的阶层中的最下位的阶层的上述附加信息。
3.如权利要求1所记载的图像摄影装置,其特征在于,
在上述多个部分区域之中,在至少一个部分区域中选择上述设定的数量以下的显示的附加信息,在其他部分区域中,不选择显示的附加信息。
4.如权利要求1所记载的图像摄影装置,其特征在于,
上述多个部分区域是将上述视野空间按照离上述摄影位置信息所示的位置的距离来分割的区域。
5.如权利要求1所记载的图像摄影装置,其特征在于,
上述多个部分区域是将上述视野空间的视场角按照预先设定的每个单位角度分割的区域。
6.如权利要求1所记载的图像摄影装置,其特征在于,具备:
详细信息请求接受构件,在进行了使上述数字图像中包括的对象的图像扩大的缩放操作的情况下,作为与上述扩大的对象对应的详细信息的详细信息取得请求来接受;以及
详细信息取得构件,在接受了上述详细信息取得请求的情况下,从存储与上述扩大的对象对应的详细信息的详细信息保持装置,取得与上述扩大的对象对应的详细信息。
7.一种附加信息提供装置,具备:
数据库,保持多个附加信息,该多个附加信息分别与预定的对象相对应,并包括表示对应的上述对象的位置的对象位置信息;
接收构件,从其他装置接收表示摄影数字图像的位置的位置信息、以及表示摄影上述数字图像的方向的方向信息;
附加信息提取构件,将根据离上述位置信息所示的上述位置的距离远近以及上述方向信息确定的视野空间分割为多个部分区域,按每个上述部分区域,从上述对象位置信息所示的位置在该部分区域内的上述附加信息之中,选择该部分区域中设定的数量以下的上述附加信息,作为各选择的上述附加信息,从上述数据库提取包括表示与所接收的上述位置信息的上述位置和所接收的上述方向信息的上述方向相对应的位置的上述对象位置信息的附加信息;以及
发送构件,将由上述附加信息提取构件选择、提取的上述附加信息发送至上述其他装置,
上述附加信息提取构件根据离上述图像摄影装置摄影上述数字图像的上述位置的距离远近以及上述方向,将上述视野空间分割为上述多个部分区域,
上述附加信息提供装置还具有缩放比取得构件,取得表示摄影上述数字图像时的缩放比的缩放比信息,
上述附加信息提取构件从上述多个部分区域之中选择部分区域,并且选择被选择了的上述部分区域的附加信息,而不选择其他部分区域的附加信息,
上述附加信息提取构件,上述缩放比信息所示的缩放比越大,选择离上述位置信息所示的位置的距离越远的上述部分区域。
8.如权利要求7所记载的附加信息提供装置,其特征在于,
各上述附加信息所对应的对象被分类至多个阶层之中的某一个阶层,构成被分类至第一阶层的第一对象的一部分的第二对象,被分类至比上述第一阶层下位的第二阶层;
上述附加信息还包括表示对应的对象所属的阶层的阶层信息;
上述选择构件按每个上述部分区域,在上述多个阶层之中,选择上述对象位置信息所示的位置在该部分区域内、而且上述阶层信息表示该阶层的上述附加信息的合计数为上述设定的数量以下且为1以上的阶层,并选择上述对象位置信息所示的位置在该部分区域内、而且上述阶层信息表示所选择的上述1以上的阶层中的最下位的阶层的上述附加信息。
9.如权利要求7所记载的附加信息提供装置,其特征在于,
在上述多个部分区域之中,在至少一个部分区域中选择上述预先设定的数量以下的显示的附加信息,在其他部分区域中,不选择显示的附加信息。
10.如权利要求7所记载的附加信息提供装置,其特征在于,
上述多个部分区域是将上述视野空间按照离上述摄影位置信息所示的位置的距离来分割的区域。
11.如权利要求10所记载的附加信息提供装置,其特征在于,
上述接收构件还从上述其他装置接收缩放比信息,该缩放比信息表示在上述位置信息所示的位置上朝向上述方向信息所示的方向摄影数字图像时的缩放比;
上述选择构件从上述多个部分区域之中按照上述缩放比信息所示的缩放比,选择至少一个部分区域,在选择的部分区域中,选择上述设定的数量以下的显示的附加信息,在其他部分区域,不选择显示的附加信息;
在上述选择构件选择上述部分区域时,上述缩放比信息所示的缩放比越大,选择离上述摄影位置信息所示的位置的距离越远的上述部分区域。
12.如权利要求7所记载的附加信息提供装置,其特征在于,
上述多个部分区域是将上述视野空间的视场角按照预先设定的每个单位角度分割的区域。
13.一种图像摄影方法,包括:
摄影步骤,摄影数字图像;
摄影位置取得步骤,取得表示摄影上述数字图像的位置的摄影位置信息;
摄影方向取得步骤,取得表示摄影上述数字图像的方向的摄影方向信息;
附加信息取得步骤,从附加信息存储装置取得附加信息,该附加信息存储装置存储多个上述附加信息,该多个上述附加信息分别与预定的对象相对应,并包括表示对应的上述对象的位置的对象位置信息;
选择步骤,将根据离上述摄影位置信息所表示的上述距离远近以及上述摄影方向信息确定的视野空间分割为多个部分区域,按每个上述部分区域,从上述对象位置信息所示的位置在该部分区域内的上述附加信息之中,选择该部分区域中预先设定的数量以下的上述附加信息;以及
显示步骤,显示上述数字图像和在上述选择步骤中选择的上述附加信息,
在上述选择步骤中,根据离图像摄影装置摄影上述数字图像的上述位置的距离远近和上述方向,将上述视野空间分割为上述多个部分区域,上述图像摄影方法还具有缩放比取得步骤,取得表示摄影上述数字图像时的缩放比的缩放比信息,
上述选择步骤从上述多个部分区域之中选择部分区域,并且选择被选择了的上述部分区域的附加信息,而不选择其他部分区域的附加信息,
上述选择步骤,上述缩放比信息所示的缩放比越大,选择离上述摄影位置信息所示的位置的距离越远的上述部分区域。
14.一种附加信息提供装置所使用的方法,该附加信息提供装置存储多个附加信息,该多个附加信息分别与预定的对象相对应,并包括表示对应的上述对象的位置的对象位置信息;该方法包括:
接收步骤,从预定的其他装置接收表示摄影数字图像的位置的位置信息、以及表示摄影上述数字图像的方向的方向信息;
附加信息提取步骤,将根据离上述位置信息所示的上述位置的距离远近上述方向信息确定的视野空间分割为多个部分区域,按每个上述部分区域,从上述对象位置信息所示的位置在该部分区域内的上述附加信息之中,选择该部分区域中预先设定的数量以下的上述附加信息,作为各选择的上述附加信息,从数据库提取与所接收的上述位置信息的上述位置和所接收的上述方向信息的上述方向相对应的上述附加信息;以及
发送步骤,将在上述附加信息提取步骤选择、提取的上述附加信息发送至上述其他装置,
上述附加信息提取步骤根据离上述图像摄影装置摄影上述数字图像的上述位置的距离远近以及上述方向,将上述视野空间分割为上述多个部分区域,
上述附加信息提供装置所使用的方法还具有缩放比取得步骤,取得表示摄影上述数字图像时的缩放比的缩放比信息,
上述附加信息提取步骤从上述多个部分区域之中选择部分区域,并且选择被选择了的上述部分区域的附加信息,而不选择其他部分区域的附加信息,
上述附加信息提取步骤,上述缩放比信息所示的缩放比越大,选择离上述位置信息所示的位置的距离越远的上述部分区域。
CN2008800176726A 2007-05-31 2008-05-30 图像摄影装置、附加信息提供服务器及附加信息过滤系统 Active CN101680766B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP144806/2007 2007-05-31
JP2007144806 2007-05-31
PCT/JP2008/001383 WO2008149537A1 (ja) 2007-05-31 2008-05-30 画像撮影装置、付加情報提供サーバ及び付加情報フィルタリングシステム

Publications (2)

Publication Number Publication Date
CN101680766A CN101680766A (zh) 2010-03-24
CN101680766B true CN101680766B (zh) 2013-01-23

Family

ID=40093369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800176726A Active CN101680766B (zh) 2007-05-31 2008-05-30 图像摄影装置、附加信息提供服务器及附加信息过滤系统

Country Status (7)

Country Link
US (1) US8264584B2 (zh)
EP (1) EP2154481A4 (zh)
JP (1) JP5184217B2 (zh)
CN (1) CN101680766B (zh)
BR (1) BRPI0812782B1 (zh)
RU (1) RU2463663C2 (zh)
WO (1) WO2008149537A1 (zh)

Families Citing this family (165)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4735258B2 (ja) 2003-04-09 2011-07-27 株式会社ニコン 露光方法及び装置、並びにデバイス製造方法
TWI474132B (zh) 2003-10-28 2015-02-21 尼康股份有限公司 照明光學裝置、投影曝光裝置、曝光方法以及元件製造方法
TWI612338B (zh) 2003-11-20 2018-01-21 尼康股份有限公司 光學照明裝置、曝光裝置、曝光方法、以及元件製造方法
TWI360837B (en) 2004-02-06 2012-03-21 Nikon Corp Polarization changing device, optical illumination
KR101544336B1 (ko) 2005-05-12 2015-08-12 가부시키가이샤 니콘 투영 광학계, 노광 장치 및 노광 방법
JP5267029B2 (ja) 2007-10-12 2013-08-21 株式会社ニコン 照明光学装置、露光装置及びデバイスの製造方法
US8379187B2 (en) 2007-10-24 2013-02-19 Nikon Corporation Optical unit, illumination optical apparatus, exposure apparatus, and device manufacturing method
US9116346B2 (en) 2007-11-06 2015-08-25 Nikon Corporation Illumination apparatus, illumination method, exposure apparatus, and device manufacturing method
TWI403156B (zh) 2008-08-08 2013-07-21 尼康股份有限公司 Carrying information machines, photographic devices, and information acquisition systems
WO2010075456A1 (en) 2008-12-22 2010-07-01 Intelligent Spatial Technologies, Inc. System and method for initiating actions and providing feedback by pointing at object of interest
US8483519B2 (en) 2008-12-22 2013-07-09 Ipointer Inc. Mobile image search and indexing system and method
US9204050B2 (en) 2008-12-25 2015-12-01 Panasonic Intellectual Property Management Co., Ltd. Information displaying apparatus and information displaying method
WO2010078455A1 (en) * 2008-12-30 2010-07-08 Intelligent Spatial Technologies, Inc. Mobile image search and indexing system and method
EP2214122B1 (en) * 2009-02-03 2013-07-17 Harman Becker Automotive Systems GmbH Methods and devices for assisting a vehicle driver
TWI578283B (zh) 2009-02-20 2017-04-11 尼康股份有限公司 Carrying information machines, information acquisition systems, information retrieval servers, and information machines
JP4816748B2 (ja) * 2009-03-06 2011-11-16 ソニー株式会社 ナビゲーション装置及びナビゲーション方法
JP5257157B2 (ja) * 2009-03-11 2013-08-07 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム
JP5272843B2 (ja) * 2009-03-25 2013-08-28 株式会社Jvcケンウッド 情報表示方法、情報表示システム、および、携帯端末
US20100325552A1 (en) * 2009-06-19 2010-12-23 Sloo David H Media Asset Navigation Representations
KR101584304B1 (ko) * 2009-07-20 2016-01-11 삼성전자주식회사 콘텐츠 요청 장치 및 방법
US20120135744A1 (en) 2009-07-21 2012-05-31 Kota Enterprises, Llc Systems and methods for generating and managing communication rules associated with geographic locations
US8289347B2 (en) * 2009-07-29 2012-10-16 International Business Machines Corporation Enabling a user to choose a representative landmark to display at a particular zoom level on a digital map
US20110025816A1 (en) * 2009-07-31 2011-02-03 Microsoft Corporation Advertising as a real-time video call
WO2011025236A2 (en) * 2009-08-24 2011-03-03 Samsung Electronics Co., Ltd. Mobile device and server exchanging information with mobile apparatus
JP2011055250A (ja) * 2009-09-02 2011-03-17 Sony Corp 情報提供方法及び装置、情報表示方法及び携帯端末、プログラム、並びに情報提供システム
US8908033B2 (en) * 2009-09-29 2014-12-09 Avaya Inc. Utilizing presence information for the purpose of enhanced surveillance
US9154560B2 (en) * 2009-10-12 2015-10-06 Qualcomm Incorporated Method and system for building annotation layers based on location aware user context information
KR101631497B1 (ko) 2009-11-13 2016-06-27 삼성전자주식회사 디스플레이 장치, 사용자 단말 장치 및 그 방법들
JP5297366B2 (ja) * 2009-12-18 2013-09-25 株式会社パスコ 撮影対象情報生成装置及び撮影対象情報生成プログラム
KR101302134B1 (ko) * 2009-12-18 2013-08-30 한국전자통신연구원 복합 센서정보 제공 장치 및 방법
TW201122711A (en) * 2009-12-23 2011-07-01 Altek Corp System and method for generating an image appended with landscape information
KR100985737B1 (ko) * 2010-02-05 2010-10-06 (주)올라웍스 단말 장치의 시야에 포함되는 객체에 대한 정보를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US9420251B2 (en) 2010-02-08 2016-08-16 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
US20110196888A1 (en) * 2010-02-10 2011-08-11 Apple Inc. Correlating Digital Media with Complementary Content
JP5414572B2 (ja) * 2010-03-01 2014-02-12 株式会社ゼンリンデータコム 地図表示制御装置、地図表示制御方法及び地図表示制御プログラム
KR101674946B1 (ko) * 2010-04-16 2016-11-22 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP5255595B2 (ja) * 2010-05-17 2013-08-07 株式会社エヌ・ティ・ティ・ドコモ 端末位置特定システム、及び端末位置特定方法
US8941686B2 (en) 2010-06-08 2015-01-27 Panasonic Intellectual Property Corporation Of America Information display apparatus, display control integrated circuit, and display control method for superimposing, for display, information onto images captured in a time sequence
JP5614116B2 (ja) * 2010-06-11 2014-10-29 株式会社ニコン 通信端末
KR101638915B1 (ko) * 2010-06-15 2016-07-12 엘지전자 주식회사 이동 단말기 및 이것의 영상 디스플레이 방법
JP2012002595A (ja) * 2010-06-15 2012-01-05 Sony Corp 情報処理装置、情報処理方法、情報処理システム、及びプログラム
KR101638914B1 (ko) * 2010-06-15 2016-07-12 엘지전자 주식회사 이동 단말기 및 이것의 객체 관련 정보 디스플레이 방법
US8687094B2 (en) * 2010-06-15 2014-04-01 Lg Electronics Inc. Mobile terminal and method of displaying object related information therein
KR101687612B1 (ko) * 2010-06-18 2016-12-20 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR101667585B1 (ko) * 2010-06-25 2016-10-19 엘지전자 주식회사 이동 단말기 및 이것의 객체 정보 디스플레이 방법
US8963954B2 (en) * 2010-06-30 2015-02-24 Nokia Corporation Methods, apparatuses and computer program products for providing a constant level of information in augmented reality
US9910866B2 (en) 2010-06-30 2018-03-06 Nokia Technologies Oy Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality
KR101347518B1 (ko) * 2010-08-12 2014-01-07 주식회사 팬택 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버
KR101357262B1 (ko) * 2010-08-13 2014-01-29 주식회사 팬택 필터 정보를 이용한 객체 인식 장치 및 방법
KR101429250B1 (ko) * 2010-08-20 2014-09-25 주식회사 팬택 단계별 객체 정보 제공이 가능한 단말 장치 및 방법
JP5549475B2 (ja) * 2010-08-20 2014-07-16 株式会社ニコン 電子機器
JP2012065263A (ja) * 2010-09-17 2012-03-29 Olympus Imaging Corp 撮影機器
JP5635348B2 (ja) * 2010-09-21 2014-12-03 オリンパスイメージング株式会社 画像記録装置
US9710554B2 (en) 2010-09-23 2017-07-18 Nokia Technologies Oy Methods, apparatuses and computer program products for grouping content in augmented reality
JP5514062B2 (ja) * 2010-09-30 2014-06-04 株式会社日立ソリューションズ 電子機器、情報付き撮像画面表示方法及びプログラム
KR101357260B1 (ko) * 2010-10-22 2014-02-03 주식회사 팬택 증강 현실 사용자 인터페이스 제공 장치 및 방법
JP2012094955A (ja) * 2010-10-25 2012-05-17 Nikon Corp カメラ
US8627391B2 (en) * 2010-10-28 2014-01-07 Intellectual Ventures Fund 83 Llc Method of locating nearby picture hotspots
US8407225B2 (en) 2010-10-28 2013-03-26 Intellectual Ventures Fund 83 Llc Organizing nearby picture hotspots
JP5636882B2 (ja) * 2010-11-01 2014-12-10 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
EP2450667B1 (en) * 2010-11-09 2016-11-02 Harman Becker Automotive Systems GmbH Vision system and method of analyzing an image
US8265866B2 (en) * 2010-12-15 2012-09-11 The Boeing Company Methods and systems for augmented navigation
JP6013363B2 (ja) * 2010-12-21 2016-10-25 クアルコム,インコーポレイテッド ビューの画像の少なくとも1つの特徴に注釈付けするためのコンピュータ化された方法及びデバイス
US9429438B2 (en) * 2010-12-23 2016-08-30 Blackberry Limited Updating map data from camera images
WO2012100765A1 (de) * 2011-01-25 2012-08-02 Garmin Switzerland Gmbh Verfahren zum betrieb eines mobilen elektrischen geräts
US8451344B1 (en) * 2011-03-24 2013-05-28 Amazon Technologies, Inc. Electronic devices with side viewing capability
DE112012001464T5 (de) * 2011-03-28 2013-12-24 Panasonic Corporation Bildanzeigegerät
JP5786411B2 (ja) * 2011-03-31 2015-09-30 株式会社Jvcケンウッド 情報処理システム、検索装置、及びプログラム
KR101829063B1 (ko) * 2011-04-29 2018-02-14 삼성전자주식회사 지도서비스에서 마커 표시방법
US9336240B2 (en) 2011-07-15 2016-05-10 Apple Inc. Geo-tagging digital images
JP5775392B2 (ja) * 2011-08-03 2015-09-09 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
US20130061147A1 (en) * 2011-09-07 2013-03-07 Nokia Corporation Method and apparatus for determining directions and navigating to geo-referenced places within images and videos
CN103959241B (zh) * 2011-09-30 2018-05-11 英特尔公司 用于促进计算设备处基于情景感知模型的图像合成及渲染的机制
JP5932278B2 (ja) * 2011-10-04 2016-06-08 キヤノン株式会社 表示制御装置、表示制御装置の制御方法、プログラム
JP2013085200A (ja) * 2011-10-12 2013-05-09 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP5858754B2 (ja) * 2011-11-29 2016-02-10 キヤノン株式会社 撮影装置、表示方法及びプログラム
CN104145474A (zh) 2011-12-07 2014-11-12 英特尔公司 引导式图像拍摄
US9171016B2 (en) * 2011-12-13 2015-10-27 Panasonic Intellectual Property Corporation Of America Content selection apparatus and content selection method
US8704904B2 (en) 2011-12-23 2014-04-22 H4 Engineering, Inc. Portable system for high quality video recording
JP5930708B2 (ja) * 2011-12-27 2016-06-08 三菱電機エンジニアリング株式会社 作業管理装置および作業管理システム
JP6231387B2 (ja) * 2011-12-27 2017-11-15 ソニー株式会社 サーバ、クライアント端末、システム、および記録媒体
CN103186914A (zh) * 2011-12-29 2013-07-03 方正国际软件(北京)有限公司 漫画附加信息处理系统、漫画附加信息处理方法和终端
JP2013149034A (ja) 2012-01-18 2013-08-01 Canon Inc 画像表示装置、画像表示方法及びプログラム
DE112012005733B4 (de) * 2012-01-23 2022-12-22 Mitsubishi Electric Corporation Kartendatenstruktur, Kartendatenerstellungsverfahren und Bordinformationsterminal
JP5633526B2 (ja) * 2012-01-30 2014-12-03 コニカミノルタ株式会社 情報処理装置、および情報処理装置の制御方法、ならびに情報処理装置の制御プログラム
JP2013161390A (ja) * 2012-02-08 2013-08-19 Sony Corp サーバ、クライアント端末、システム、およびプログラム
JP5927966B2 (ja) * 2012-02-14 2016-06-01 ソニー株式会社 表示制御装置、表示制御方法、及びプログラム
JP5891843B2 (ja) * 2012-02-24 2016-03-23 ソニー株式会社 クライアント端末、サーバ、およびプログラム
US8749634B2 (en) 2012-03-01 2014-06-10 H4 Engineering, Inc. Apparatus and method for automatic video recording
AU2013225635B2 (en) 2012-03-02 2017-10-26 H4 Engineering, Inc. Waterproof Electronic Device
US9723192B1 (en) 2012-03-02 2017-08-01 H4 Engineering, Inc. Application dependent video recording device architecture
JP2013207357A (ja) * 2012-03-27 2013-10-07 Sony Corp サーバ、クライアント端末、システムおよびプログラム
JP5247909B2 (ja) * 2012-03-29 2013-07-24 キャンバスマップル株式会社 画像表示装置、画像表示方法、およびコンピュータプログラム
JP2012170100A (ja) * 2012-03-29 2012-09-06 Canvas Mapple Co Ltd 画像表示装置、画像表示方法、およびコンピュータプログラム
US20130328930A1 (en) * 2012-06-06 2013-12-12 Samsung Electronics Co., Ltd. Apparatus and method for providing augmented reality service
JP2014035384A (ja) * 2012-08-08 2014-02-24 Casio Comput Co Ltd 表示制御装置、表示制御方法及びプログラム
US8595317B1 (en) 2012-09-14 2013-11-26 Geofeedr, Inc. System and method for generating, accessing, and updating geofeeds
WO2014046424A1 (en) * 2012-09-18 2014-03-27 Samsung Electronics Co., Ltd. Information transmission method and system, and device
KR102057196B1 (ko) * 2012-09-18 2019-12-18 삼성전자주식회사 정보 전송 방법 및 시스템과 그 기기
US9111378B2 (en) 2012-10-31 2015-08-18 Outward, Inc. Virtualizing content
US10462499B2 (en) 2012-10-31 2019-10-29 Outward, Inc. Rendering a modeled scene
KR101988311B1 (ko) * 2012-11-07 2019-06-12 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법
US8655983B1 (en) 2012-12-07 2014-02-18 Geofeedr, Inc. System and method for location monitoring based on organized geofeeds
US8639767B1 (en) 2012-12-07 2014-01-28 Geofeedr, Inc. System and method for generating and managing geofeed-based alerts
US20140160148A1 (en) * 2012-12-10 2014-06-12 Andrew J. Barkett Context-Based Image Customization
US9307353B2 (en) 2013-03-07 2016-04-05 Geofeedia, Inc. System and method for differentially processing a location input for content providers that use different location input formats
US8850531B1 (en) 2013-03-07 2014-09-30 Geofeedia, Inc. System and method for targeted messaging, workflow management, and digital rights management for geofeeds
US8612533B1 (en) 2013-03-07 2013-12-17 Geofeedr, Inc. System and method for creating and managing geofeeds
US8862589B2 (en) 2013-03-15 2014-10-14 Geofeedia, Inc. System and method for predicting a geographic origin of content and accuracy of geotags related to content obtained from social media and other content providers
US8849935B1 (en) 2013-03-15 2014-09-30 Geofeedia, Inc. Systems and method for generating three-dimensional geofeeds, orientation-based geofeeds, and geofeeds based on ambient conditions based on content provided by social media content providers
US9317600B2 (en) * 2013-03-15 2016-04-19 Geofeedia, Inc. View of a physical space augmented with social media content originating from a geo-location of the physical space
JP6087184B2 (ja) * 2013-03-21 2017-03-01 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置、および、情報提示方法
WO2014176745A1 (en) * 2013-04-28 2014-11-06 Tencent Technology (Shenzhen) Company Limited Providing navigation information to a point of interest on real-time street views using a mobile device
JP6179231B2 (ja) * 2013-07-10 2017-08-16 株式会社リコー 端末装置、情報処理プログラム、情報処理方法および情報処理システム
US20160255139A1 (en) * 2016-03-12 2016-09-01 Yogesh Chunilal Rathod Structured updated status, requests, user data & programming based presenting & accessing of connections or connectable users or entities and/or link(s)
JP6271926B2 (ja) * 2013-09-18 2018-01-31 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
CN103533248A (zh) * 2013-10-24 2014-01-22 腾讯科技(上海)有限公司 一种图像处理的方法、终端及系统
JP2015125502A (ja) * 2013-12-25 2015-07-06 ソニー株式会社 画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システム
JP6442827B2 (ja) * 2014-01-06 2018-12-26 富士通株式会社 情報提供装置、情報提供プログラム、情報提供方法、及び情報提供システム
WO2015122929A1 (en) * 2014-02-14 2015-08-20 Sapient Corporation Location-based digital media platform
US20150241240A1 (en) * 2014-02-26 2015-08-27 Honda Motor Co., Ltd. Navigation device having a zoom in and zoom out feature based on a number of waypoints to be viewed
US9613448B1 (en) 2014-03-14 2017-04-04 Google Inc. Augmented display of information in a device view of a display screen
JP2016004340A (ja) * 2014-06-16 2016-01-12 セイコーエプソン株式会社 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP5963325B2 (ja) * 2014-08-14 2016-08-03 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation マーカに基づいて特定される情報を提示する装置、方法およびプログラム
US10270780B2 (en) * 2014-08-18 2019-04-23 Dropbox, Inc. Access management using electronic images
JP6539966B2 (ja) 2014-09-18 2019-07-10 カシオ計算機株式会社 情報出力装置、情報出力方法、およびプログラム
RU2595965C2 (ru) * 2014-12-09 2016-08-27 Общество с ограниченной ответственностью "ПРОФИТ ФАРМ" Система продажи товаров с использованием сетевых технологий
US10181219B1 (en) * 2015-01-21 2019-01-15 Google Llc Phone control and presence in virtual reality
JP5914714B2 (ja) * 2015-02-12 2016-05-11 オリンパス株式会社 撮影機器および撮影方法
WO2016157406A1 (ja) * 2015-03-31 2016-10-06 日立マクセル株式会社 画像取得装置および画像ファイル生成方法ならびに画像ファイル生成プログラム
RU2602386C1 (ru) * 2015-05-26 2016-11-20 Общество с ограниченной ответственностью "Лаборатория 24" Способ визуализации объекта
US9641770B2 (en) * 2015-06-18 2017-05-02 Wasaka Llc Algorithm and devices for calibration and accuracy of overlaid image data
RU2597462C1 (ru) 2015-07-17 2016-09-10 Виталий Витальевич Аверьянов Способ отображения объекта на пространственной модели
US9485318B1 (en) 2015-07-29 2016-11-01 Geofeedia, Inc. System and method for identifying influential social media and providing location-based alerts
US9464914B1 (en) 2015-09-01 2016-10-11 International Business Machines Corporation Landmark navigation
RU2622843C2 (ru) * 2015-09-24 2017-06-20 Виталий Витальевич Аверьянов Способ управления устройством обработки изображения
JP6468656B2 (ja) * 2015-09-30 2019-02-13 Kddi株式会社 Ar情報表示装置
RU2611455C1 (ru) * 2015-10-21 2017-02-22 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Ивановский государственный химико-технологический университет" (ИГХТУ) Система определения местоположения транспортного средства в пути
EP3374925B1 (en) * 2015-11-12 2024-05-01 Signify Holding B.V. Image processing system
KR101808161B1 (ko) * 2016-06-27 2017-12-12 주식회사지앤지커머스 모바일 광고 제공 시스템 및 방법
JP6318196B2 (ja) * 2016-07-06 2018-04-25 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP7095953B2 (ja) * 2017-01-19 2022-07-05 株式会社大林組 画像管理システム、画像管理方法、及び画像管理プログラム
JP6989901B2 (ja) * 2017-03-06 2022-01-12 株式会社 ミックウェア 情報処理装置、情報処理システム及び情報処理プログラム
WO2018167319A1 (en) * 2017-03-17 2018-09-20 Unity IPR ApS Method and system for automated camera collision and composition preservation
JP6907047B2 (ja) 2017-06-28 2021-07-21 キヤノン株式会社 情報処理装置、その制御方法およびプログラム
CN107566850A (zh) * 2017-08-11 2018-01-09 北京安云世纪科技有限公司 一种基于移动终端的视频直播方法及装置
JP6396568B1 (ja) * 2017-09-19 2018-09-26 ヤフー株式会社 提供プログラム、提供装置、提供方法、端末装置および情報提供装置
US11164380B2 (en) * 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
CN108253972A (zh) * 2018-01-11 2018-07-06 深圳市晟达机械设计有限公司 一种导航精度高的车载导航系统
JP6607987B2 (ja) * 2018-03-19 2019-11-20 株式会社Lifull 情報提供システム、サーバ装置、及び情報提供方法
US10897577B2 (en) * 2018-06-26 2021-01-19 Canon Kabushiki Kaisha Image capturing system, image capturing apparatus, illumination apparatus, and control method
JP2020057297A (ja) * 2018-10-04 2020-04-09 カシオ計算機株式会社 画像表示装置、画像表示方法、及び、プログラム
JP2022034571A (ja) * 2018-11-26 2022-03-04 住友電気工業株式会社 交通情報処理サーバ、交通情報の処理方法、及びコンピュータプログラム
WO2020121056A2 (en) * 2018-12-13 2020-06-18 Orcam Technologies Ltd. Wearable apparatus and methods
RU2716415C1 (ru) * 2019-02-04 2020-03-12 Общество с ограниченной ответственностью "Сити Консьерж" Способ интерактивной навигации на основе краудсорсинга с мультимедийным сопровождением и дополненной реальностью
US11025837B2 (en) 2019-03-27 2021-06-01 ROVl GUIDES, INC. Replacing a background portion of an image
US10887531B2 (en) 2019-03-27 2021-01-05 Rovi Guides, Inc. Replacing a background portion of an image
US10944921B2 (en) 2019-03-27 2021-03-09 Rovi Guides, Inc. Replacing a background portion of an image
KR102030984B1 (ko) * 2019-06-17 2019-10-11 주식회사 마크애니 Cctv 영상의 관리, 열람 및 반출을 위한 시스템 및 그 방법
CA3145342A1 (en) * 2019-06-27 2020-12-30 Ke.Com (Beijing) Technology Co., Ltd. Method and apparatus for displaying item information in current space, and medium
JP7296265B2 (ja) * 2019-07-03 2023-06-22 日立Astemo株式会社 運転情報制御装置および運転情報制御システム
US11227007B2 (en) 2019-07-23 2022-01-18 Obayashi Corporation System, method, and computer-readable medium for managing image
CN112822389B (zh) * 2019-11-18 2023-02-24 北京小米移动软件有限公司 照片拍摄方法、照片拍摄装置及存储介质
WO2023127430A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、画像処理方法、プログラム
US11756333B1 (en) * 2022-02-18 2023-09-12 Dell Products, L.P. Systems and methods for detecting postures of a user of an IHS (information handling system)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0867690A1 (en) * 1997-03-27 1998-09-30 Nippon Telegraph And Telephone Corporation Device and system for labeling sight images

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0933271A (ja) * 1995-07-21 1997-02-07 Canon Inc ナビゲーション装置及び撮像装置
JP3053172B2 (ja) * 1997-07-11 2000-06-19 日本電信電話株式会社 距離参照型景観ラベリング装置およびシステム
JP3225882B2 (ja) 1997-03-27 2001-11-05 日本電信電話株式会社 景観ラベリングシステム
US8432414B2 (en) * 1997-09-05 2013-04-30 Ecole Polytechnique Federale De Lausanne Automated annotation of a view
JP3434715B2 (ja) * 1998-11-09 2003-08-11 日本電信電話株式会社 移動支援装置及び移動支援方法
US6307573B1 (en) * 1999-07-22 2001-10-23 Barbara L. Barros Graphic-information flow method and system for visually analyzing patterns and relationships
WO2001027822A1 (fr) * 1999-10-14 2001-04-19 Yamaha Hatsudoki Kabushiki Kaisha Systeme d'organisation de voyage
JP2001215871A (ja) * 2000-01-28 2001-08-10 Nihon Computer Graphic Co Ltd 案内用略図の作成方法、該方法を実施するコンピュータプログラムを記録した情報記録媒体、及び案内用略図作成システム
JP2001216309A (ja) 2000-01-31 2001-08-10 Keio Gijuku 対象物特定装置及びカメラ
JP3760980B2 (ja) * 2000-09-01 2006-03-29 アイシン・エィ・ダブリュ株式会社 地図表示装置、記録媒体及び地図表示方法
JP4236372B2 (ja) * 2000-09-25 2009-03-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 空間情報利用システムおよびサーバシステム
JP4590770B2 (ja) * 2001-04-06 2010-12-01 三菱電機株式会社 都市景観表示装置
GB2378074B (en) * 2001-07-27 2005-08-24 Hewlett Packard Co Image capturing device
AU2003205831A1 (en) * 2002-01-23 2003-09-02 M-Spatial Limited Schematic generation
JP4281402B2 (ja) * 2003-04-21 2009-06-17 ソニー株式会社 画像管理システム及び画像管理方法、並びにコンピュータ・プログラム
WO2004095374A1 (ja) 2003-04-21 2004-11-04 Nec Corporation 映像オブジェクト認識装置および認識方法、映像アノテーション付与装置および付与方法ならびにプログラム
JP3972366B2 (ja) 2003-09-26 2007-09-05 マツダ株式会社 車両用情報提供装置
JP2005149409A (ja) * 2003-11-19 2005-06-09 Canon Inc 画像再生方法及び装置
JP2005181611A (ja) * 2003-12-18 2005-07-07 Matsushita Electric Ind Co Ltd 画像処理装置
US20060195858A1 (en) * 2004-04-15 2006-08-31 Yusuke Takahashi Video object recognition device and recognition method, video annotation giving device and giving method, and program
RU2250182C1 (ru) * 2004-07-13 2005-04-20 Бабак Владимир Петрович Устройство синтеза картографических изображений
JP2006318356A (ja) * 2005-05-16 2006-11-24 Sanyo Electric Co Ltd 道路情報配信システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0867690A1 (en) * 1997-03-27 1998-09-30 Nippon Telegraph And Telephone Corporation Device and system for labeling sight images

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JP特开2001-215871A 2001.08.10
JP特开2005-98912A 2005.04.14
JP特开2006-318356A 2006.11.24

Also Published As

Publication number Publication date
EP2154481A4 (en) 2014-09-10
RU2463663C2 (ru) 2012-10-10
RU2009141616A (ru) 2011-07-10
US8264584B2 (en) 2012-09-11
EP2154481A1 (en) 2010-02-17
CN101680766A (zh) 2010-03-24
BRPI0812782B1 (pt) 2019-01-22
JP5184217B2 (ja) 2013-04-17
JP2009017540A (ja) 2009-01-22
WO2008149537A1 (ja) 2008-12-11
US20100149399A1 (en) 2010-06-17
BRPI0812782A2 (pt) 2014-12-09

Similar Documents

Publication Publication Date Title
CN101680766B (zh) 图像摄影装置、附加信息提供服务器及附加信息过滤系统
CN101427104B (zh) 虚拟地球的屋顶覆盖和定界
CN101578626B (zh) 用于在地图绘制应用程序中显示模式信息的方法和系统
CN101606039B (zh) 根据用户参数的动态地图呈现
US8271497B2 (en) Information processing apparatus and information processing method outputting information on movement of person
CN102063512B (zh) 虚拟地球
CN106462945B (zh) 以不同缩放等级呈现地图数据的层级结构
KR101213857B1 (ko) 가상 세계
KR101213868B1 (ko) 가상 세계
JP5739874B2 (ja) 向きに基づいた検索システム及び方法
CN104981681A (zh) 显示位置预览
US10147215B2 (en) Digitally generated set of regional shapes for presenting information on a display screen
CN101937535A (zh) 基于全景电子地图的虚拟旅游平台系统
AU2010203240A1 (en) Organizing digital images based on locations of capture
CN110019599A (zh) 获取兴趣点poi信息的方法、系统、装置及电子设备
CN101911072B (zh) 在数据项集合中搜索的方法
US10145704B2 (en) Digitally-generated map containing defined regions for rendering with photo overlays
US7007022B2 (en) Digital data searching apparatus and an image display apparatus
CN112989214A (zh) 一种旅游信息展示方法及相关设备
Aydın et al. ARCAMA-3D–a context-aware augmented reality mobile platform for environmental discovery
WO2017184196A1 (en) A digitally generated set of regional shapes for presenting information on a display screen
US20120321210A1 (en) Systems and methods for thematic map creation
Speed Walking through time: use of locative media to explore historical maps
CN114153315A (zh) 一种增强现实的分布式服务器智能眼镜系统及控制方法
Koutamanis Use of a mobile architectural guide

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20140930

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140930

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.