CN102884400B - 信息处理设备，信息处理系统和程序 - Google Patents

信息处理设备，信息处理系统和程序 Download PDF

Info

Publication number
CN102884400B
CN102884400B CN201180022640.7A CN201180022640A CN102884400B CN 102884400 B CN102884400 B CN 102884400B CN 201180022640 A CN201180022640 A CN 201180022640A CN 102884400 B CN102884400 B CN 102884400B
Authority
CN
China
Prior art keywords
information
view
label information
field
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180022640.7A
Other languages
English (en)
Other versions
CN102884400A (zh
Inventor
五十岚卓也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102884400A publication Critical patent/CN102884400A/zh
Application granted granted Critical
Publication of CN102884400B publication Critical patent/CN102884400B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/487—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Environmental Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种信息处理设备，所述信息处理设备获得与拍摄图像数据的成像设备的位置对应的第一信息，和与拍摄图像数据的成像设备的视场对应的第二信息，并根据第一和第二信息，生成标记信息。

Description

信息处理设备，信息处理系统和程序
技术领域
本公开涉及信息处理设备，信息处理系统和程序。
背景技术
从20世纪90年代早期以来，作为增强现实(AR)，已快速研究和发展了通过利用文本等，在用摄像机拍摄的视频上叠加关于拍摄位置的信息，增强真实世界活动的技术，利用头戴显示器的AR已部分开始实际用于军事用途。
最近，伴随高性能的小型电子设备，用具有摄像机和全球定位系统(GPS)的功能的终端设备实现了AR。在AR的这个例子中，通过利用AR技术，用户能够向真实视频添加文本，并通过网络把添加的文本信息提供给其他用户。如上所述，AR被用作一种通信工具，以及实际用于信息提供。作为关于AR的技术，例如，存在专利文献1的风景标注系统。
专利文献1的风景标注系统在视频中叠加与显示在基于地球的三维空间坐标上的结构的位置相关的标记。从而，在显示在标记上的信息是与该标记相关的结构的名称等的时候非常适合。
[文献列表]
[专利文献]
[PTL 1]日本专利No.3225882
发明内容
但是，只有在从拍摄视频的位置，和利用用户期望作为标记共享的信息中的预定拍摄条件拍摄视频的方位角看到的视频中，才存在有意义的信息。现有技术中未考虑共享上述信息的方法，而所述方法可能是必需的。
鉴于上面所述，理想的是提供一种新的改进的信息处理设备、信息处理系统和程序，所述信息处理设备、信息处理系统和程序能够利用与所摄视频的视场空间上的坐标相关的标记。
本公开的一个实施例目的在于一种信息处理设备，所述信息处理设备包括获取单元，所述获取单元被配置成获得与拍摄图像数据的成像设备的位置对应的第一信息，和与拍摄图像数据的成像设备的视场对应的第二信息；和处理器，所述处理器被配置成根据第一和第二信息，生成标记信息。
标记信息可包括视点信息，所述视点信息包括与成像设备的纬度和经度对应的信息，与成像设备的海拔高度对应的信息，和指示包括在标记信息中的对应于成像设备的位置信息的精度的误差信息中的一个或多个。
标记信息可包括视场信息，视场信息包括与成像设备的方位角对应的信息，与成像设备的视场角度对应的信息，和与所摄图像数据的高度和宽度对应的信息中的一个或多个。
标记信息可包括信息标记，所述信息标记包括与成像设备和所摄图像的被摄物体之间的距离对应的信息，识别标记将被显示在显示的图像数据上的位置的信息，和将显示在显示的图像数据上的字符串中的一个或多个。
本公开的另一个实施例目的在于一种信息处理方法，所述信息处理方法包括：获得与拍摄图像数据的成像设备的位置对应的第一信息；获得与拍摄图像数据的成像设备的视场对应的第二信息；和利用处理器，根据第一和第二信息，生成标记信息。
本公开的另一个实施例目的在于一种包括计算机程序指令的非临时性计算机可读介质，当被信息处理设备执行时，所述计算机程序指令使信息处理设备执行包括以下步骤的方法：获得与拍摄图像数据的成像设备的位置对应的第一信息；获得与拍摄图像数据的成像设备的视场对应的第二信息；和根据第一和第二信息，生成标记信息。
本公开的另一个实施例目的在于一种信息处理设备，所述信息处理设备包括：获取单元，所述获取单元被配置成获得与再现的图像数据对应的拍摄信息；和处理器，所述处理器被配置成根据拍摄信息与保存的标记信息的比较，获得标记信息，并根据比较结果，把标记信息叠加在再现的图像数据上。
拍摄信息可包括与拍摄再现的图像数据的成像设备的位置对应的位置信息，处理器可被配置成根据位置信息与包括在保存的标记信息中的位置信息的比较，获得标记信息。
拍摄信息可包括与拍摄再现的图像数据的成像设备的视场对应的视场信息，处理器可被配置成根据视场信息与包括在保存的标记信息中的视场信息的比较，获得标记信息。
拍摄信息可包括与拍摄再现的图像数据的成像设备和再现的图像数据的被摄物体之间的距离对应的范围信息。
处理器可被配置成根据范围信息与包括在保存的标记信息中的范围信息的比较，获得标记信息。
本公开的另一个实施例目的在于一种信息处理方法，所述信息处理方法包括：获得与再现的图像数据对应的拍摄信息；根据拍摄信息与保存在存储器中的标记信息的比较，获得标记信息；和根据比较结果，把标记信息叠加在再现的图像数据上。
本公开的另一个实施例目的在于一种包括计算机程序指令的非临时性计算机可读介质，当被信息处理设备执行时，所述计算机程序指令使信息处理设备执行包括以下步骤的方法：获得与再现的图像数据对应的拍摄信息；根据拍摄信息与保存在存储器中的标记信息的比较，获得标记信息；和根据比较结果，把标记信息叠加在再现的图像数据上。
按照如上所述的本公开，能够提供一种新的改进的信息处理设备、信息处理系统和程序，所述信息处理设备、信息处理系统和程序能够利用与所摄视频的视场空间上的坐标相关的标记。
附图说明
图1是表示按照本公开的实施例的信息处理系统的示意结构的结构图；
图2是表示拍摄信息的例子的表格；
图3是表示信息处理系统的有益效果的例子的例示图；
图4是表示标记信息生成设备的功能结构的方框图；
图5是表示当使用关系数据库时，标记信息的空间模型的例示图；
图6是利用关系数据库的标记信息的表格定义例子；
图7是数据中心的结构图；
图8是键-值式数据仓库的概况的例示图；
图9是表示当使用键-值式数据仓库时，标记信息的空间模型的例示图；
图10是表示标记信息的键结构的例子的例示图；
图11是表示拍摄位置的网格的例子的例示图；
图12是视场信息比特的例示图；
图13是表示视场信息的比特分配的例子的表格；
图14是表示视点信息的比特分配的例子的表格；
图15是表示可变比特序列/字符代码转换表的例子；
图16是表示可变比特序列到字符串的转换例子的例示图；
图17是表示利用标记信息的Java(注册商标)的类定义的例子的例示图；
图18是表示标记信息搜索方法的例子(北纬35°)的例示图；
图19是表示标记信息搜索方法的例子(北纬60°)的例示图；
图20是表示再现设备的功能结构的方框图；
图21A是表示标记信息搜索操作的流程图；
图21B是表示标记信息搜索操作的流程图；
图22是标记信息到视频的投影的例示图；
图23是应用信息处理系统的服务的例子；和
图24是应用信息处理系统的服务的另一个例子。
具体实施方式
下面参考附图，详细说明本公开的优选实施例。在说明书和附图中，结构基本相同的元件用相同的附图标记表示，这些元件的重复说明被省略。
将按照下述顺序进行说明。
1.概况
2.结构
3.利用关系数据库的标记信息管理方法
4.利用键-值式数据仓库的标记信息管理方法
5.效果的例子
6.应用例子
<1.概况>
首先，利用图1-3，说明按照本公开的实施例的信息处理系统10的概况。图1是表示按照本公开的实施例的信息处理系统10的概况的结构图。图2是表示记录在成像设备中的与拍摄相关的补充信息的例子的表格。图3是表示信息处理系统10的有益效果的例子的例示图。
按照本实施例的信息处理系统10具有成像设备200，终端设备300，数据中心1000和再现设备400，成像设备200拍摄视频内容，终端设备300是响应用户的操作，接收向从成像设备200等输入的内容3000分配标记的操作的信息处理设备，数据中心1000具有标记信息生成服务器100，标记信息生成服务器100是生成其中把视场信息添加到所分配标记的信息中的标记信息的信息处理设备，视场信息用于指定在拍摄内容时的视场空间，再现设备400通过利用数据中心1000管理的标记信息，在视频上叠加标记，进行再现。数据中心1000内的每个设备，终端设备300和再现设备400分别通过网络500连接。
在数据中心1000中，安装提供运动图像共享服务的服务器组。终端设备300可把视频内容上传到数据中心1000内的未示出的视频分发服务器。再现设备400可下载和再现从数据中心1000内的视频分发服务器分发的视频内容。
用户利用通用串行总线(USB)等，把成像设备200连接到终端设备300，并借助终端设备300的应用软件，从成像设备200接收视频3000的内容数据。此时，终端设备300接收为视频3000的补充的拍摄信息，以及视频3000的内容数据。用户利用终端设备300，把视频3000和为视频3000的补充的拍摄信息上传给数据中心1000内的视频分发服务器。用户可利用终端设备300，向视频3000分配标记600。用户把利用终端设备300分配给视频3000的标记600的信息，例如标记600在视频上的位置，标记600的字符串信息等，上传给数据中心1000内的标记信息生成服务器100。
这里，成像设备200具有例如GPS功能和电子指南针功能，能够记录位置信息和方位角信息，以及诸如拍摄时间和日期，及焦距之类的拍摄条件，作为为所摄视频的补充的拍摄信息。例如，在基于AVCHD标准的摄像机中，图2中所示的拍摄信息被记录在作为MPEG2-TS的基本流(ES)的用户数据记录的改进数字视频包中。间隔预定的时间，定期记录拍摄信息。
这里仅仅表示了一个终端设备300，不过，可从许多终端设备300访问数据中心1000。同样地，就再现设备400来说，许多再现设备400可访问数据中心1000。
再现设备400再现其中在与视频3000相同的视点和视场中拍摄的另一个视频4000上叠加标记600的视频。在图1的例子中，在视频4000上叠加和再现具有字符串信息“本栖湖对岸的富士山”的标记600。
利用上述标记600指示的信息是通过从拍摄视频3000的视点，拍摄相同视场空间而获得的视频上的有意义的信息。即，如果视频不是其中富士山被显示在本栖湖对岸的视频，那么即使在富士山作为被摄物体出现的视频中，显示标记600也是不可取的。例如，图3中所示的视频4005是从御殿场市拍摄的富士山的视频。这种情况下，在视频4005中看不见本栖湖。从而，显示标记600不可取。视频4010是从在富士山附近的位置，而不是从拍摄视频3000的位置拍摄的视频。这种情况下，尽管视频4010和视频3000是在相同的方向角拍摄的，在视频4010上显示标记600也不可取。视频4015是在和视频3000相同的拍摄位置拍摄的视频。不过，视频4015的拍摄条件不同于视频3000，是通过拍摄与视频3000相比，在更短距离内的风景而获得的视频。即使在这种情况下，显示标记600也不可取，因为在视频4015中看不见本栖湖。
在现有技术的系统中，标记被标注到被摄物体的基于地球的三维空间坐标。这种情况下，由于富士山的基于地球的三维空间坐标位置相同，因此标记600也被叠加在和图3中所示的视频4005、视频4010和视频4015一样的视频上。不过，如上所述，标记600是通过从相同的视点，拍摄相同的视场而获得的视频上的有意义的信息。按照本实施例的信息处理系统10通过使标记与所摄视频的视场空间上的坐标位置相联系，管理标记。从而，标记600不被叠加在具有不同视点和不同方位角的视频4005，具有不同视点的视频4010，和具有相同视点和相同方位角，但是由于拍摄条件不同，因而具有不同的视场空间的视频4015上。
从而，不仅对象的简单名称，而且从视点在一定的视场空间中看到的多个对象的位置关系方面的有意义信息都可作为标记被共享。
这里，摄像机被表示成成像设备200，不过本公开并不局限于此。例如，成像设备200可以是具有拍摄功能的设备，比如移动电话机、便携式音乐播放设备、便携式视频处理设备或者便携式游戏设备。举例说明了终端设备300是个人计算机(PC)的情况，不过本公开并不局限于该例子。例如，终端设备300可以是具有通信功能，和用户通过其输入操作的输入部分的任何信息处理设备，比如家用视频处理设备(DVD记录器、磁带录像机等)、个人数字助手(PDA)、家用游戏机、家用电器、移动电话机、便携式音乐播放设备、便携式视频处理设备或便携式游戏机。另一方面，如果成像设备200可具有通信功能，并且能够与数据中心1000内的每个设备通信，那么成像设备200本身也可具有终端设备300的功能。
这里，内容可以是视频内容、静止图像内容或运动图像内容。再现设备400通过在利用数据中心1000提供的视频共享服务分发的视频上叠加标记，进行再现，不过，本公开并不局限于这个例子。例如，再现设备400可通过在保存在本地存储部分中的视频内容上叠加标记，进行再现。另一方面，再现设备400可在也具有成像功能的设备中的实时拍摄中的视频上叠加标记。
如上所述，按照本实施例的信息处理系统10通过使标记与从拍摄内容的视点看的视场空间上的坐标位置相联系，管理标记。从而，在再现设备400中，只叠加与从相同视点看的相同视场空间相联系的标记。从而，利用该标记信息，再现设备400能够只在从拍摄视频的拍摄位置，和利用预定拍摄条件拍摄视频的方位角看到的视频中，适当地显示有意义的信息。下面说明显示出该效果的标记信息生成设备100的功能结构。
<2.结构>
图4是表示标记信息生成设备100的功能结构的方框图。标记信息生成设备100是主要具有通信部分110和控制部分120的信息处理设备。标记信息生成设备100根据视频分析结果，生成标记信息。
这里，在标记信息生成设备100中生成的标记信息是包括包含拍摄位置的信息的拍摄信息，关于从拍摄位置看的视场的视场信息，根据拍摄位置信息和视场信息指定的视场空间中的坐标位置，和指示标记信息的内容的字符串信息的信息。
为了生成上述标记信息，标记信息生成设备100的控制部分120主要具有视点信息获取部分121，视场信息获取部分122和标记信息生成部分124的功能。
视点信息获取部分121获得指示拍摄内容的成像设备的位置(下面称为视点位置)的视点信息。例如，视点信息获取部分121从拍摄信息获得视点信息，拍摄信息是指示补充视频内容数据的拍摄条件的信息。如上所述，拍摄信息是利用成像设备200的功能记录的信息。例如，视点信息获取部分121从为保存在视频分发服务器中的视频内容数据的补充的拍摄信息中，提取从而获得视点信息，所述视频分发服务器保存从终端设备300上传的视频。另一方面，视点信息获取部分121可通过直接从上传视频的终端设备300获得视频内容数据，获得视点信息。
这里，视点信息是利用世界大地测量系统(WGS)等指示的，从诸如GPS之类的位置获取设备获得的经度、纬度和海拔高度的信息。视点信息可包括位置信息的误差精度信息。
视场信息获取部分122获得指示当从视点位置拍摄内容时的视场空间的视场信息。例如，视场信息获取部分122从为视频内容数据的补充的拍摄信息中获得视场信息。
这里，例如，视点信息包括从视点位置的方位角和视场角度的信息。例如，利用具有成像设备的电子指南针获得的方位角信息被用于从视点位置的方位角。视场角度的信息变成与成像设备的设定对应的值。方位角和视场角度的信息是从为视频内容数据的补充的拍摄信息中获得的。
标记信息生成部分124生成与利用视点信息，视场信息和视场空间的深度信息指定的在视场空间上的坐标位置相关的标记信息。例如，标记信息生成部分124生成包括通过通信部分110，从终端设备300获得的标记的字符串信息，视频中的标记位置的信息，视点信息，视场信息，和从视点到被分配所述标记的对象的距离信息的标记信息。
这里，视场空间的深度信息是到内容中的拍摄对象的距离。就被摄物体距离来说，例如，如果能够从为内容的补充的拍摄信息中获得被摄物体距离的值，那么使用获得的被摄物体距离值。可以使用根据内容的拍摄信息计算的超焦距。
上述标记信息生成设备100的每个部分的具体操作随着标记信息管理方法而不同。这里，分别说明两种管理方法，包括最广泛使用的利用关系数据库的管理方法，和适合于更大规模的数据管理或分布处理的利用键-值式数据仓库的管理方法。
<3.利用关系数据库的标记信息管理方法>
首先利用图5和6，说明利用关系数据库的标记信息管理方法。图5是表示当利用关系数据库管理标记信息时，标记的空间模型的例子的例示图。图6是表示其中管理利用图5的空间模型定义的标记信息的关系数据库的表格定义的例子的例示图。
在如上所述的实施例中，根据视点，标记被标注到视频的视场的三维空间上，视点是拍摄被添加所述标记的视频的成像设备的位置。视点是利用WGS指示的经度、纬度和海拔高度的信息。在这种情况下，视点是纬度N1、经度E1和海拔高度A1。在视场的三维空间上的位置是利用二维视场平面上的位置表示的，所述二维视场平面上的位置是通过借助水平视角和距视点的距离，定义视场平面，利用拍摄方向向量作为轴，在使所摄视频的中心点彼此相符的情况下，正交排列所摄视频而获得的。
视场平面的坐标利用水平X轴和垂直Y轴定义，中心点被指定为(0,0)。图像的水平方向的分辨率W变成水平分辨率。标记的视场平面的位置用(X，Y)表示。
通过按照视频的视点位置，视场角度，方位角，和从视点到被添加标记的对象的短距离的条件，从数据库中进行搜索，能够与另一个视频共享标记，并叠加和使用该标记。除了位置信息和方位角信息之外，按视场角度和距视点的距离对标记信息的搜索在判定就观察者注视的被摄物体来说，是否存在标记信息方面也很重要。
下面参考图6，说明其中管理用上述空间模型定义的标记信息的关系数据库的表格定义的例子。图6的表格的每一行指示信息标记的1条记录。表格被分成视点信息、视场信息和信息标记这3列。
视点信息具有以下各列：经度、纬度、海拔高度和误差。纬度具有范围从-90°到90°的浮点值，北纬被表示成正值，南纬被表示成负值。经度具有范围从-180°到180°的浮点值，东经被表示成正值，西经被表示成负值。海拔高度是表示成整数的米值。这里，误差是其中位置信息的精度被表示成米值的值。误差是根据GPS中的精度因子(DOP)的值计算的。如果误差不清楚，那么输入为-1的值。
视场信息具有以下各列：方位角、视场角度、高度和宽度。方位角指示拍摄方向的角度。方位角的值是介于0°和360°之间的浮点值，北方被表示成0°(360°)，东方被表示成90°，南方被表示成180°，而西方被表示成270°。视场角度被表示成浮点十进小数的度数。高度和宽度是所摄视频的水平分辨率和垂直分辨率，被表示成像素值。例如，在全高清视频中，垂直分辨率和水平分辨率分别为1920和1080。视频分辨率可从为内容数据的补充的拍摄信息中获得。如果视场角度为2T，那么它可根据以下关系获得。
tan T=(拍摄元件帧大小)/(焦距)
信息标记具有以下各列：距离、X坐标值、Y坐标值和标记名称。距离是距视场空间上的视点的距离，以米为单位表示成整数。X坐标值和Y坐标值是参考图5说明的视场平面上的位置，被表示成像素值。标记名称被表示成字符串。标记名称是由标记分享的信息。
可不对每个标记测量标记距离。从而，简单地使用所摄视频的被摄物体距离作为标记距离。对于被摄物体距离，可以使用图2中所示的与拍摄相关的补充信息的被摄物体距离标记的值(就运动图像来说)，或者可以使用记录在EXIF文件中的图像信息(就静止图像来说)。如果未从上述信息获得被摄物体距离，那么利用以下等式计算的超焦距可用作标记距离。
允许的模糊圈直径=对角图像元素大小/允许的模糊圈常数(=1300)
超焦距=(焦距*焦距)/(允许的模糊圈直径*F值)(单位：mm)
如果35mm转换的焦距“FocalLengthIn35mm”标记被记录在EXIF信息中，那么35mm胶卷中的成像元件的对角线大小已知为43.266615mm。从而，利用记录在“Aperture Value”标记上的孔径F值，计算超焦距。
另一方面，通过分析所摄视频，对每个被摄物体的焦距使用测量技术而测得的距离可被用作标记距离。例如，如果使用能够记录视差信息的设备，比如3D摄像机，那么利用该信息，通过分析获得的值可被用作标记距离。
通过如上所述，按照图5的空间模型，利用图6的表格定义的关系数据库，能够管理添加到图像中的标记。不过，如上所述的关系数据库的特征在于它不易于进行大规模的数据管理和分发处理。下面提出一种当作为待管理对象的信息的数量较大时，通过应用恰当的云计算技术，管理标记信息的方法。
<4.利用键-值式数据仓库的标记信息管理方法>
图7是按照本实施例，提供内容共享服务的数据中心内的结构图。为了提供视频内容共享服务，必须进行大量的上传视频内容数据的图像转换处理，管理各个记录，和处理从大量用户对视频内容数据的访问。从而，提出一种利用大规模分布处理类云计算技术的标记信息管理方法。
数据中心1000具有多个web服务器170，多个视频分发服务器180，多个标记信息管理服务器190和多个标记信息生成服务器100。
web服务器170提供待显示在终端设备300的浏览器上的HTML文档和VR信息。视频分发服务器180把视频分发给再现设备。标记信息管理服务器190用键-值式数据仓库，管理由标记信息生成服务器100生成的标记信息。标记信息生成服务器100生成适合于在键-值式数据仓库中管理的标记信息。有益的是使用云计算技术处理大量的内容数据和来自终端设备的访问。在本实施例中，使用通过利用已知适合于分布式云计算的键-值式数据仓库，管理标记信息的方法。
如图8中所示，键-值式数据仓库利用每行中具有一对键和值的简单表格，管理数据。与关系数据库相比，键-值式数据仓库具有能够根据键值，利用多个服务器分布和处理大量数据，而不支持利用复杂的数据结构定义或关系函数的搜索的特征。最近，在以大量的客户端为目标的因特网服务中，已开始使用这种键-值式数据仓库。
在键-值式数据仓库中，表格是利用键值整理和管理的。从而，为了进行高速并且低负载的处理，非常有效的是设计键值的格式，以致使相关的数据局限于所述表格的一部分中。
(空间模型)
图9是表示当利用本实施例的键-值式数据仓库管理标记信息时，使用的标记的空间坐标的空间模型。在该空间模型中，标记位置信息用视点位置信息(纬度LANT、经度LNGT和海拔高度ATTT)和从视点位置的方位角信息(水平方位角TTH和垂直方位角TTV)指示。
利用以下等式，进行从图5中所示的空间模型上的坐标到图9中所示的空间坐标的转换。当方位角越过正北时，校正是必需的。
标记的水平方位角：TTH=TFH+TFW*(XT/WF-1/2)
标记的垂直方位角：TTV=TFV+(TFW*HF/WF)*(1/2-YF/HF)
这里，符号具有以下含义。
标记在像面上的坐标：(XT,YT)
图像的拍摄水平视角：TFW
图像的水平像素的数目：WF
图像的垂直像素的数目：HF
像素纵横比：1:1
图像的拍摄水平方位角：TFH
图像的拍摄垂直方位角：TFV
通过把底部位置指定为基点，垂直方向的方位角信息具有从0°到180°的值。这里，为了便于说明，地平线被表示成0°，向上方向被表示成正角度，而向下方向被表示成负角度。如果方位角信息未包含在为内容数据的补充的拍摄信息中，从而是不清楚的，那么可以简单地根据视角和被摄物体距离，分配垂直方位角。
(视界散列(view hash))
如果利用键-值式数据仓库管理标记信息，那么视点信息和视场信息被用在键的一部分中，从而必须利用上述信息搜索数据。从而，通过利用此时提出的视界散列，有效地把经度、纬度、位置精度、视场角度、视场方向和标记距离编码成字符串。
图10中表示了视界散列结构。在视界散列比特序列中，顺序排列指示位置信息、位置精度、视场信息和作为到标记的距离的被摄物体距离的比特序列。位置信息的比特序列是根据其中用分辨率精度表示经度(从-90°到90°)和纬度(从-180°到180°)的坐标的值生成的。如果分辨率精度的比特数用R表示，而比特的经度和纬度用n和e表示，那么根据以下等式，获得利用分辨率精度表示的经度N和纬度E的值。
N=180*(n+90)/2R-1
E=360*(e+180)/2R
N和E是浮点十进小数，利用小数点之后的舍位，n和e被设定成整数值。经度的分辨率精度被设定为纬度的分辨率系统的1/2，以便把分辨的地图上的分区设定成接近于正方形。
如图10中所示，位置信息的比特序列具有其中交替排列利用等式获得的经度的比特序列(E-bn,E-bn-1,...E-b1,E-b0)和经度的比特序列(N-bn-1,...N-b1,N-b0)的格式。这里，最高有效位分别为E-bn和N-bn-1。
通过按上述格式，设定位置信息的比特序列，能够指定基于地球的地理分区，可利用较小的比特序列指示分区的位置，还能够表示分区的长度。在本实施例中，认为GPS位置精度为1米到100米，从而R使用从22到25的值。此时，位置信息最小为43比特，最大为49比特。
图11是表示当位置信息的比特数为45时，分割的地理分区的例子的例示图。地理分区的南北向长度被固定，而与经度无关，约为4.75米。另一方面，地理分区的东西向长度取决于纬度，从而在纬度35°的东京等周围，变成3.86米。另一方面，在纬度60°的斯德哥尔摩等周围，地理分区的东西向长度变成约2.35米。
位置精度用指示乘以利用位置信息的比特序列指定的地理分区的南北向距离的值的比特序列表示，D-b7是最高有效位，而D-b0是最低有效位。如果乘以利用位置信息的比特序列指定的地理分区的南北向距离的值为1，那么该比特序列的值为0。如果乘以利用位置信息的比特序列指定的地理分区的南北向距离的值大于1，并且等于或大于2，那么该比特序列的值变成1。如果乘以利用位置信息的比特序列指定的地理分区的南北向距离的值大于2，并且等于或小于4，那么该比特序列的值变成3。如果乘以利用位置信息的比特序列指定的地理分区的南北向距离的值大于4，那么该比特序列的值变成4。位置误差的比特数变成0。
视场信息是指示标记方位角所属于的视场的信息。如图12和13中所示，视场信息是4-6比特的序列，用指示通过把以正东为起点的顺时针方位角中的360°坐标除以分辨率精度而获得的值的比特序列表示。如果以正东为起点的顺时针方位角的度数用d表示，而分辨率精度的比特精度用A表示，那么利用以下等式，计算视场信息D。在下面的说明中，为了方便起见，通过把正北指定为起点，表述方位角，不过实际上使用通过把正东指定为起点而转换的所有值。
D=360*d/2A
在本实施例中，分辨率精度的比特数为4、5和6三种类型，比特数可随视场角度而不同。360°的空间被比特数分成22.5°、11.25°和8.125°。在本实施例中，比特数随被添加标记的图像的拍摄视角而改变。如果视角等于或大于46°，那么可分配4比特精度。如果视角小于46°，但是等于或大于18°，那么可以分配5比特精度。如果视角小于18°，则可分配6比特精度。比特数指示在360°空间被分成22.5°、11.25°和8.125°的状态下，它属于哪个方位角。图12表示在4比特的情况下，每个方位角的比特数。例如，如果西北偏北是信息标记的水平方位角中的315°，那么视场信息变成1101的比特值。当方位角信息不清楚时，比特数变为0。
如上所述，通过使视场信息的比特数随视场角度而不同，并把利用比特指示的视场信息用作键-值式数据的键的一部分，能够根据包括在键中的视场的比特数，识别视场角度的信息。由于能够识别视场角度的信息，因此能够更精确地了解每个视频内容内的拍摄范围。
被摄物体距离用8比特的米值表示，用作通过如上所述根据为内容数据的补充的拍摄信息计算到被摄物体的距离而获得的值。严格地说，所摄图像的超焦距和标记信息的距离不相同，不过误差被视为包括在原始距离信息中。等于或大于255米的距离被表示为255，如果距离信息不清楚的话，那么比特数变为0。
图14是表示位置信息的比特数的分配方案的例示图。为了利用键-值式数据仓库的键，高效地进行搜索，有效的是决定适合于标记信息搜索方案的键值。在本实施例中，利用标记的视场比特的数目和距离信息，改变构成标记键值的视界散列的位置比特的数目。例如，如果视场信息的比特数为3，那么广角拍摄向其添加标记的视频。如果被摄物体距离较远(超过100m)，那么使用43比特位置信息，因为即使当位置信息的精度较差时，也能够使用标记信息。另一方面，如果视场信息的比特数为5，即，如果把标记信息添加到用超级望远镜拍摄的视频中，那么在所有距离下使用的位置信息的比特数为49，因为位置信息的精度也是必需的。通过如上所述改变位置信息的比特数，能够高效地搜索有益的标记信息。由于如上所述，标记的位置误差取决于位置信息的比特数，因此依据比较/对比的视点的位置精度，能够确定将用于标记信息的搜索的视界散列的位置信息的比特数。标记搜索将在下面详细说明。
如上所述，能够获得构成视界散列的每个比特序列。不过，为了使用比特序列作为键-值式数据仓库的键值，或者为了使用比特序列作为URL等，易于利用字符串处理表述。从而，比特序列被编码成字符串。例如，存在一种利用BASE64把比特序列编码成字符串的方法。但是在本实施例中，提出一种可变比特序列/字符代码转换方案，以致可用取决于每个比特序列的键值分类整理数据。
这里，提出的可变比特序列/字符代码转换方案具有当通过连接变长比特序列，生成键时，能够识别每个比特序列的片段的特征。从而，即使当直接连接利用这种方案，转换成代码字符的比特序列时，也能够识别每个信息的片段。从而，当比特序列被用作键-值式数据仓库的键时，能够根据信息值进行搜索。
图15表示可变比特序列编码/转换表的例子。在该转换方案中，信息包括多个变长比特序列(0比特或者更多比特)。该转换方案可有效地识别比特序列的边界。下面说明这种转换方案。在每个变长比特序列中，从最高有效位开始，以4比特为单位顺序提取各个片段，并用对应于4比特值的字符代码(U～z)替换所述各个片段。如果提取的片段的比特数小于4，那么分别用字符代码(E～T)，(6～D)，(2～5)和(0～1)替换3比特，2比特和1比特。当最后提取的片段的4个比特或者对应比特序列的比特数为0时，添加字符代码“-”(破折号)。当然，这里所述的转换表是例证性的。只要比特序列和代码字符是一一对应地定义的，各种变形例子就是可能的。
图16表示转换例子。如果转换前的信息包括分别为“0111010010010”和“10010”的两个比特序列，那么转换后的字符串变成“im8W-”。利用该转换方案，转换成字符串的某物被用作图10中所述的视界散列值。
借助视界散列，通过把按任意精度分割的地面坐标上的分区的中心指定为视点，能够唯一地指定按任意精度分割的视场的三维空间。下面说明利用视界散列，管理键-值式数据仓库中的标记信息的方法。
下面，说明按照本实施例的键-值式数据仓库的表格。本实施例中使用的键-值式数据仓库的表格形成一对“Key”值和“Value”值，如图8中所示。图17表示用于管理作为键-值类数据的标记信息的Java(注册商标)类定义。标记类指示标记信息，包括作为内部类的键类和值类。在所述数据仓库中，以键-值的形式管理一对键类和值类。
键类的真实数据是可变键，该键是通过连接视界散列，字符串类型，和根据标记信息生成的字符串时间戳而获得的字符串。类型被用于恰当地分类整理相同视界散列值的标记信息。在本实施例中，显示标记的优先权被指定为类型值，0比特优先权值是利用图15的转换表生成的字符串。主要用途是向相同视界散列值的标记信息分配唯一键。用标记生成的时间和日期是利用和Java(注册商标)的数据类的8字节值相同的8字节值获得的，是利用图15的转换表，用字符串生成的。
值类的真实数据是以下变量。
名称：标记名称的字符串
类型：标记显示的优先权(和在键生成中使用的值相同的值)
timeStamp：标记生成时间和日期(和在键生成中使用的值相同的值)
tagPosition：标记的视点位置(例如，图10的LANT,LNGT,ATTT等)
tagDirection：从视点起的标记的方位角(例如，图10的TTH或TTV)
tagSource：充当生成标记信息的基础的图像信息，和标记的屏幕信息坐标
标记源类的真实数据是以下变量。
ImageSource：图像信息
tagX：像面的标记的X坐标值(例如，图10的XT)
tagY：像面的标记的Y坐标值(例如，图10的YT)
图像源类的真实数据是以下变量。
url：图像文件(静止图像或运动图像)的统一资源定位符(URL)
imagePosition：拍摄图像的视点的坐标(例如，与图9的LANT,LNGT,ATTT等相同)
imageDirection：从视点到图像的中心点的方位角(例如，图9中的TFH或TFV)
景物：图像文件(静止图像或运动图像)的图像信息
景物类的真实数据是以下变量。
帧：就静止图像来说，帧值为0，就运动图像来说，图像帧用从开始起的时间(毫秒)表示
angleHorizontal：图像的拍摄水平视角(例如，图9的TFW)
宽度：图像的水平像素的数目(例如，图9的WF)
高度：图像的垂直像素的数目(例如，图9的HF)
观察位置的真实数据是以下变量。
纬度：视点的纬度
经度：视点的经度
海拔高度：视点的海拔高度(单位：毫米)
范围：视点的误差(单位：毫米)
视向的真实数据是以下变量。
directionHorizontal：从视点到对象点的水平方位角
directionVertical：从视点到对象点的垂直方位角
距离:从视点到对象点的距离(单位：毫米)
下面，图18和19是表示标记信息搜索的例子的例示图。图18表示从视点位置(与东京的纬度相同的北纬35°)，以50°的视角拍摄正北，但是为利用图13中关于视场方位角和视角所示的视场信息比特指定的每个视场，查找标记的情况。在这个例子中，必须关于分割成25°的4个视场划分，搜索视场。即使当视场位置的测量误差等于或小于用位置信息比特指定的分区的南北方向的长度时，如果视点位置位于分区的边缘，那么归因于所述误差，视场位置实际上也可能位于周边的分区中。从而，必须搜索在指定分区周边的分区。如果误差为3m，那么必须搜索总共9个分区。这种情况下，在搜索中进行32(=4*8)次操作。
图19表示其中视点位置是在斯德哥尔摩附近的北纬60°的例子。这种情况下，由于分区的东西方向比上述情况的东西方向短，因此即使在相同的位置误差精度下，也必需搜索更宽范围的分区。
下面说明进行上述搜索处理的再现设备的功能结构。图20是表示再现设备400的结构的方框图。再现设备400主要具有通信部分410、控制部分420和显示部分430。控制部分420主要具有分析部分421的功能，搜索部分422的功能，叠加部分423的功能和显示控制部分424的功能。
通信部分410是用于通过诸如因特网之类的网络500，与另一个设备通信的网络接口。控制部分420控制再现设备400的全部操作。例如，显示部分430包括阴极射线管(CRT)显示设备，液晶显示器(LCD)设备，有机发光二极管(OLED)设备，或者诸如灯之类的显示设备。
分析部分421具有分析将由再现设备400再现的内容的功能。例如，分析部分421具有通过分析补充内容数据的拍摄信息，获得搜索部分422为搜索标记信息所需的信息的功能。如果需要，分析部分421可具有分析内容视频本身的功能。
搜索部分422具有从数据中心1000内的数据库中，搜索待叠加在待再现的内容数据上的标记信息的功能。这里，搜索部分422生成适合于搜索保存在键-值式数据仓库中的标记信息的搜索条件，把搜索条件传送给在数据中心1000内的标记信息管理服务器190，从而获得搜索结果。下面利用图21，说明标记信息搜索处理的细节。
叠加部分423根据搜索部分422获得的标记信息，进行在待再现的视频内容上叠加标记的处理。叠加处理的细节将在后面说明。显示控制部分424具有再现内容数据的功能，从而再现利用叠加部分423在上面叠加标记的内容数据。
图21是表示标记搜索操作的流程图。在键-值式数据仓库中，通过指定键值的起点和终点，能够把键值排列在一定范围中。从而，根据所摄图像的位置信息，方位角，和所摄图像的被摄物体距离的范围，重复利用ViewHashBegin和ViewHashEnd的键-值式数据仓库的搜索，及视场和分区的搜索。在这方面，如上所述，易于在键-值式数据仓库中进行分布式处理。从而，如果并行地进行搜索请求，那么能够分发和处理搜索请求。
当再现设备400获得作为对象的图像的拍摄信息时，首先开始标记信息搜索处理(S103)。搜索部分422根据获得的拍摄信息的视角信息，确定视场比特的数目(S106)。之后，搜索部分422根据确定的视场比特的数目，和从拍摄信息获得的距离信息，确定待搜索的网格的位置比特的数目(S109)。
之后，搜索部分422判定测量误差值是否等于或小于网格的南北宽度(S112)。如果借助步骤S112中的判定，确定测量误差大于网格的南北宽度，那么通过转移到B，终止处理，因为不可能指定搜索对象的网格。
另一方面，如果依据步骤S112的判定，确定测量误差等于或小于网格的南北宽度，那么搜索部分422计算待搜索的网格的位置信息，并在排列中设定所述位置信息(S115)。搜索部分422根据视角和视场比特的数目，计算和排列对应视场(S118)。
搜索部分422初始化Tags[]的排列，以保存结果(S121)，然后把距离精度值设定为0(S124)。之后，通过转移到图21B(S127)，搜索部分422选择第一观察位置，并确定搜索距离范围(S130)。
搜索部分422计算ViewHashBegin(S133)，然后计算ViewHashEnd(S136)。搜索部分422搜索在步骤S133和S136中计算的ViewHashBegin和ViewHashEnd之间的范围的标记。
具体地，搜索部分422生成搜索条件，然后把搜索条件传送给标记信息管理服务器190。搜索部分422获得满足传送的搜索条件的搜索结果。搜索部分422把获得的搜索结果添加和保存到Tags[](S139)。
判定是否搜索了所有视向(S142)，和是否搜索了所有观察位置(S148)，在完成完全搜索之前，重复从步骤S130起的处理。
下面参考图22，说明利用再现设备400的叠加部分423进行的叠加处理。图22是表示把通过搜索获得的标记信息叠加在另一个视频上的方法的例示图。
如果三边的距离已知，那么根据余弦定理，能够获得夹角，并且根据视点坐标和标记的方位角，利用以下等式，能够获得投影到从拍摄视点看的视场的标记的方位角。
投影标记的水平方位角：
TUH=TTH-cos-1(DU 2+DS 2-DDH 2)/(2*DU*DS)，其中TSH>=TTH
TUH=TTH+cos-1(DU 2+DS 2-DDH 2)/(2*DU*DS)，其中TSH<TTH
投影标记的垂直方位角：
TUV=TTV+cos-1(DU 2+DS 2-DDV 2)/(2*DU*DS)，其中TSV>=TTV
TUV=TTV+cos-1(DU 2+DS 2-DDV 2)/(2*DU*DS)，其中TSV<TTV
这里，信息用以下符号表示。
标记的位置信息：LANT,LNGT,ATTT
拍摄点的位置信息：LANS,LNGS,ATTS
视点之间的水平方向距离：DDH
视点之间的垂直方向距离：DDV
标记的水平方位角：TTH
标记的垂直方位角：TTV
标记距离：DT
被摄物体距离：DS
如果DDH是两个视点的水平距离，并且垂直距离DDV为0，同时两个视点之间没有高差，那么DDHh是利用Hubeny公式，根据这两个点的经度和纬度获得的距离。DSh是所摄图像的被摄物体距离。这里，使用超焦距，DTh是标记信息的距离。由于垂直距离DDV为0，因此投影的垂直方位角变得等于标记的垂直方位角。
如果搜索的标记被投影到所摄视频，那么对所有搜索的标记进行上述坐标转换，并且只选择和投影适应于拍摄视角的标记的方位角。根据标记信息，例如，只显示或者过滤并显示在上述类型中，具有指定的高优先权的某物。
如果获得投影标记的水平方位角和垂直方位角，那么利用以下等式，能够获得在所摄视频的像面中的坐标。
投影标记位置Xs=((TUH-TSH)/TSW+1/2)*WS
投影标记位置Ys=(1/2-(TUV-TSV)/(TSW*HS/WS))*HS
所摄视频的水平视角：TSW
所摄视频的水平像素的数目：WS
所摄视频的垂直像素的数目：HS
像素纵横比：1:1
拍摄方向的水平方位角：TSH
拍摄方向的垂直方位角：TSV
<5.效果的例子>
上面表示了在键-值式数据仓库中管理添加到图像中的标记信息，搜索能够投射另一个图像的拍摄信息的标记信息，并叠加和显示所述标记信息的方法。
按照这种结构，能够生成、共享和使用与从某个视点位置观察的视场空间上的坐标相联系的标记信息。从而，能够只在从拍摄视频的位置，和利用预定的拍摄条件，拍摄视频的方位角看到的视频中，才共享有意义的信息。
新提出了能够简洁表述标记信息，视点位置信息，被摄物体距离和位置信息的误差精度的视界散列。如果借助视界散列的使用，利用键-值式数据仓库管理标记信息，那么即使当标记信息的数量较大，也能够高速并且低处理负载地进行搜索。
<6.应用例子>
下面，说明能够通过应用按照本公开的实施例的标记信息管理方法实现的服务的例子。
例如，图23是在利用摄像机实时拍摄的风景的视频上叠加和显示标记的例子。在图1中，待被叠加的视频是预先拍摄和保存的视频内容，不过，本公开并不局限于这个例子。如图23中所示，可以为实时拍摄中的视频显示标记。
在上述实施例中，标记信息是通过诸如因特网的网络获得的，不过，本公开并不局限于该例子。例如，如果访问目的地的某个区域的标记信息预先被保存在成像设备内的存储部分中，那么可在不与网络建立连接的情况下显示标记。
图24是显示其中标记连同地图信息一起被显示在预先拍摄的视频上的视频4025的例子。当标记信息被叠加在实时视频上时，标记信息未必有意义。如果已知观察的风景上的对象是什么，那么在前一个视频上可以叠加和显示标记信息。按照这种结构，即使不进行使成像设备的镜头对着被摄物体的操作，也能够以和当在移动电话机中进行邮件的编辑操作时相同的姿势，自然地获得期望的信息。当在实时视频上叠加标记时，成像设备的镜头必须对着对象，不过这种结构在由于时间和空间的缘故，难以进行上述操作时有效。
图24的设备能够把适合于拍照的地点的信息通知用户。例如，通过分析指示保存的内容数据的拍摄位置的视点信息，具有内容数据的视频分发服务器180能够实现上述服务。例如，收集大量视点信息的地点适合于拍照的可能性较高。从而，该信息可用于提供推荐拍摄位置的功能。
上面参考附图，详细说明了本公开的优选实施例，不过本公开并不局限于此。本领域的技术人员应明白，根据设计要求和其它因素，可以产生各种修改、组合、子组合和变更，只要它们在所附的权利要求或其等同物的范围之内。
例如，在本实施例中，在数字静态照相机和数字摄像机中提供了GPS功能和方位功能，根据利用所述功能记录在文件中的拍摄信息，和用户利用PC向数字静态照相机和数字摄像机的图像中添加的标记，生成键-值式数据仓库的数据，不过当已知对象的坐标位置，和与对象相关的信息，比如山脉名称等时，利用计算机的处理，从某种观点来看能够自动生成标记信息。
在现有技术中，由于GPS的测量误差，不能使用在标记信息的坐标方面具有较大误差的标记信息，不过按照本实施例，能够容易地搜索存在于标记信息的相邻分区中的另一个标记，还能够根据源于标记信息的标记生成，获得图像信息。从而，通过根据标记生成，分析图像，近似对象，并从相邻分区搜索具有精确的位置精度的图像，能够容易地校正标记的位置信息。
在本实施例中，由于GPS的测量误差，不能使用在标记信息的坐标方面具有较大误差的标记信息。不过，由于能够容易地搜索存在于标记信息的相邻分区中的另一个标记，还能够根据源于标记信息的标记生成，获得图像信息，因此按照本实施例，通过分析标记的图像，近似对象，并从相邻分区搜索具有精确的位置精度的图像，能够容易地校正标记的位置信息。
如果为进行标记信息搜索而拍摄的图像的坐标信息也具有较大的GPS测量误差，那么标记信息不能被使用，不过，可从所摄图像的坐标信息中搜索相邻分区的标记信息。从而，根据通过比较所摄图像的信息和以其拍摄坐标周围的标记信息为基础的图像的特征量而近似其特征量的图像的坐标，能够容易地校正所摄图像的坐标信息。这种方案可适合于进行实时拍摄的摄像机的位置信息的校正。
在上述实施例中，说明了其中从补充内容的拍摄信息中获得视场空间的深度信息，或者使用超焦距的例子，不过，本公开并不局限于该例子。例如，可以使用能够表示可利用所有分析技术获得的到被摄物体的距离的值，比如标记距离。
在本说明书中，流程图中所示的步骤不仅包括按照与说明的序列相应的时间先后顺序执行的处理，而且包括并行地或者单独地执行，而不一定按时间先后顺序执行的处理。此外取决于情况，可酌情按不同的序列进行按时间先后顺序处理的步骤。
[附图标记列表]
100:标记信息生成服务器组
110:通信部分
120:控制部分
121:视点信息获取部分
122:视场信息获取部分
124:标记信息生成部分
200:成像设备
300:终端设备
400:再现设备
410:通信部分
420:控制部分
421:分析部分
422:搜索部分
423:叠加部分
424:显示控制部分
430:显示部分
500:网络

Claims (21)

1.一种信息处理设备，包括：
获取单元，所述获取单元被配置成获得与拍摄图像数据的成像设备的位置对应的视点信息，和与拍摄图像数据的成像设备的视场对应的视场信息；和
处理器，所述处理器被配置成根据所述视点信息和视场信息，针对被摄对象生成与利用所述视点信息、视场信息以及从成像设备的位置到被摄对象的距离指定的在图像数据的视场空间上的坐标位置相关的标记信息，其中所述标记信息是仅在通过从相同的视点拍摄相同的视场而获得的图像数据上才有意义的信息。
2.按照权利要求1所述的信息处理设备，其中标记信息包括与成像设备的纬度和经度对应的信息。
3.按照权利要求1所述的信息处理设备，其中标记信息包括与成像设备的海拔高度对应的信息。
4.按照权利要求1所述的信息处理设备，其中标记信息包括指示包括在标记信息中的对应于成像设备的位置信息的精度的误差信息。
5.按照权利要求1所述的信息处理设备，其中标记信息包括与成像设备的方位角对应的信息。
6.按照权利要求1所述的信息处理设备，其中标记信息包括与成像设备的视场角度对应的信息。
7.按照权利要求1所述的信息处理设备，其中标记信息包括与所摄图像数据的高度和宽度对应的信息。
8.按照权利要求1所述的信息处理设备，其中标记信息包括与成像设备和所摄图像的被摄物体之间的距离对应的信息。
9.按照权利要求1所述的信息处理设备，其中标记信息包括识别标记将被显示在显示的图像数据上的位置的信息。
10.按照权利要求1所述的信息处理设备，其中标记信息包括将显示在显示的图像数据上的字符串。
11.一种信息处理方法，包括：
获得与拍摄图像数据的成像设备的位置对应的视点信息；
获得与拍摄图像数据的成像设备的视场对应的视场信息；和
利用处理器，根据所述视点信息和视场信息，针对被摄对象生成与利用所述视点信息、视场信息以及从成像设备的位置到被摄对象的距离指定的在图像数据的视场空间上的坐标位置相关的标记信息，其中所述标记信息是仅在通过从相同的视点拍摄相同的视场而获得的图像数据上才有意义的信息。
12.一种信息处理设备，包括：
用于获得与拍摄图像数据的成像设备的位置对应的视点信息的装置；
用于获得与拍摄图像数据的成像设备的视场对应的视场信息的装置；和
用于根据所述视点信息和视场信息，针对被摄对象生成与利用所述视点信息、视场信息以及从成像设备的位置到被摄对象的距离指定的在图像数据的视场空间上的坐标位置相关的标记信息的装置，其中所述标记信息是仅在通过从相同的视点拍摄相同的视场而获得的图像数据上才有意义的信息。
13.一种信息处理设备，包括：
获取单元，所述获取单元被配置成获得与再现的图像数据对应的拍摄信息；和
处理器，所述处理器被配置成根据拍摄信息与保存的标记信息的比较，获得针对被摄对象的标记信息，并根据比较结果，把标记信息叠加在所再现的图像数据上，其中所述标记信息是与利用拍摄图像数据的成像设备的视点信息和视场信息以及从成像设备的位置到被摄对象的距离指定的在图像数据的视场空间上的坐标位置相关联地生成的，并且所述标记信息是仅在通过从相同的视点拍摄相同的视场而获得的图像数据上才有意义的信息。
14.按照权利要求13所述的信息处理设备，其中拍摄信息包括与拍摄所再现的图像数据的成像设备的位置对应的位置信息。
15.按照权利要求14所述的信息处理设备，其中处理器被配置成根据位置信息与包括在所保存的标记信息中的位置信息的比较，获得标记信息。
16.按照权利要求13所述的信息处理设备，其中拍摄信息包括与拍摄所再现的图像数据的成像设备的视场对应的视场信息。
17.按照权利要求16所述的信息处理设备，其中处理器被配置成根据视场信息与包括在所保存的标记信息中的视场信息的比较，获得标记信息。
18.按照权利要求13所述的信息处理设备，其中拍摄信息包括与拍摄所再现的图像数据的成像设备和所再现的图像数据的被摄物体之间的距离对应的范围信息。
19.按照权利要求18所述的信息处理设备，其中处理器被配置成根据范围信息与包括在所保存的标记信息中的范围信息的比较，获得标记信息。
20.一种信息处理方法，包括：
获得与再现的图像数据对应的拍摄信息；
根据拍摄信息与保存在存储器中的标记信息的比较，获得针对被摄对象的标记信息；和
根据比较结果，把标记信息叠加在所再现的图像数据上，其中所述标记信息是与利用拍摄图像数据的成像设备的视点信息和视场信息以及从成像设备的位置到被摄对象的距离指定的在图像数据的视场空间上的坐标位置相关联地生成的，并且所述标记信息是仅在通过从相同的视点拍摄相同的视场而获得的图像数据上才有意义的信息。
21.一种信息处理设备，包括：
用于获得与再现的图像数据对应的拍摄信息的装置；
用于根据拍摄信息与保存在存储器中的标记信息的比较获得针对被摄对象的标记信息的装置；和
用于根据比较结果把标记信息叠加在再现的图像数据上的装置，其中所述标记信息是与利用拍摄图像数据的成像设备的视点信息和视场信息以及从成像设备的位置到被摄对象的距离指定的在图像数据的视场空间上的坐标位置相关联地生成的，并且所述标记信息是仅在通过从相同的视点拍摄相同的视场而获得的图像数据上才有意义的信息。
CN201180022640.7A 2010-05-14 2011-04-25 信息处理设备，信息处理系统和程序 Expired - Fee Related CN102884400B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-111944 2010-05-14
JP2010111944A JP2011244058A (ja) 2010-05-14 2010-05-14 情報処理装置、情報処理システム、及びプログラム
PCT/JP2011/002407 WO2011142093A1 (en) 2010-05-14 2011-04-25 Information processing device, information processing system, and program

Publications (2)

Publication Number Publication Date
CN102884400A CN102884400A (zh) 2013-01-16
CN102884400B true CN102884400B (zh) 2016-08-24

Family

ID=44914154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180022640.7A Expired - Fee Related CN102884400B (zh) 2010-05-14 2011-04-25 信息处理设备，信息处理系统和程序

Country Status (7)

Country Link
US (1) US9191693B2 (zh)
EP (1) EP2569933A4 (zh)
JP (1) JP2011244058A (zh)
KR (1) KR20130085942A (zh)
CN (1) CN102884400B (zh)
TW (1) TW201203170A (zh)
WO (1) WO2011142093A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120085474A (ko) * 2011-01-24 2012-08-01 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
US9773285B2 (en) 2011-03-08 2017-09-26 Bank Of America Corporation Providing data associated with relationships between individuals and images
US9317860B2 (en) 2011-03-08 2016-04-19 Bank Of America Corporation Collective network of augmented reality users
US9317835B2 (en) 2011-03-08 2016-04-19 Bank Of America Corporation Populating budgets and/or wish lists using real-time video image analysis
US9224166B2 (en) 2011-03-08 2015-12-29 Bank Of America Corporation Retrieving product information from embedded sensors via mobile device video analysis
US20120233033A1 (en) * 2011-03-08 2012-09-13 Bank Of America Corporation Assessing environmental characteristics in a video stream captured by a mobile device
GB2489685B (en) * 2011-03-31 2017-01-25 Geovs Ltd A Display System
WO2013000153A1 (en) * 2011-06-30 2013-01-03 Nokia Corporation Method and apparatus for tagging information based on contextual criteria
US8952364B2 (en) * 2011-11-10 2015-02-10 Nitto Denko Corporation Light-emitting devices comprising nanostructures
JP6044079B2 (ja) 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2013161390A (ja) * 2012-02-08 2013-08-19 Sony Corp サーバ、クライアント端末、システム、およびプログラム
WO2013150724A1 (ja) * 2012-04-03 2013-10-10 パナソニック株式会社 送信装置、再生装置及び送受信方法
JP6056178B2 (ja) 2012-04-11 2017-01-11 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
JP5965773B2 (ja) * 2012-08-06 2016-08-10 株式会社Ｎｔｔファシリティーズ 変換装置、逆変換装置、変換システム、及びプログラム
EP2713371A3 (en) * 2012-09-27 2014-08-06 JVC KENWOOD Corporation Imaging device, image processing device, imaging method, image processing method, and computer program product
JP6157094B2 (ja) * 2012-11-21 2017-07-05 キヤノン株式会社 通信装置、設定装置、通信方法、設定方法、及び、プログラム
JP5450864B1 (ja) * 2013-02-01 2014-03-26 征治 久保 結合システム
US9602129B2 (en) * 2013-03-15 2017-03-21 International Business Machines Corporation Compactly storing geodetic points
US9719790B2 (en) 2013-03-15 2017-08-01 International Business Machines Corporation Mapping uncertain geometries to graticules
JP6225538B2 (ja) * 2013-07-24 2017-11-08 富士通株式会社 情報処理装置、システム、情報提供方法および情報提供プログラム
US9633083B2 (en) * 2013-12-05 2017-04-25 Lenovo (Singapore) Pte. Ltd. Organizing search results using smart tag inferences
KR102332752B1 (ko) * 2014-11-24 2021-11-30 삼성전자주식회사 지도 서비스를 제공하는 전자 장치 및 방법
US9858676B2 (en) * 2015-01-08 2018-01-02 International Business Machines Corporation Displaying location-based rules on augmented reality glasses
JP2016219980A (ja) * 2015-05-19 2016-12-22 株式会社パスコ 対象物情報表示装置
KR102647735B1 (ko) * 2015-06-11 2024-03-15 가시오게산키 가부시키가이샤 촬영 장치, 정보 취득 장치, 정보 취득 시스템, 송신 제어 방법, 정보 취득 방법 및 기록 매체에 저장된 컴퓨터 프로그램
DE112017004150T5 (de) * 2016-08-19 2019-06-13 Fyusion, Inc. Automatisches markieren von dynamischen objekten in einer multiview-digital-darstellung
WO2018163906A1 (ja) * 2017-03-06 2018-09-13 株式会社ミックウェア 情報処理装置、情報処理システム及び情報処理プログラム
CN107101633A (zh) * 2017-04-13 2017-08-29 清华大学 一种可呈现疏散指令的智能穿戴设备及疏散指令呈现方法
CN107454329A (zh) * 2017-08-24 2017-12-08 北京小米移动软件有限公司 信息处理方法及设备
JP6771503B2 (ja) * 2018-03-27 2020-10-21 株式会社日立製作所 データ管理システム及び関連データ推薦方法
JP7087844B2 (ja) * 2018-08-31 2022-06-21 トヨタ自動車株式会社 画像処理装置、画像処理システム及び車両
CN109625265B (zh) * 2018-12-11 2022-03-18 青海三新农电有限责任公司 一种无人机同步一体化勘测设计系统
CN109979468B (zh) * 2019-03-05 2020-11-06 武汉三江中电科技有限责任公司 一种雷击光学路径监测系统及方法
US11093691B1 (en) * 2020-02-14 2021-08-17 Capital One Services, Llc System and method for establishing an interactive communication session
JP7427615B2 (ja) 2021-01-04 2024-02-05 株式会社東芝 情報処理装置、情報処理方法およびプログラム
CN116805277B (zh) * 2023-08-18 2024-01-26 吉奥时空信息技术股份有限公司 一种视频监控目标节点像素坐标转换方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1203369A (zh) * 1997-03-27 1998-12-30 日本电信电话株式会社 标定观测图象的装置和系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3225882B2 (ja) 1997-03-27 2001-11-05 日本電信電話株式会社 景観ラベリングシステム
JP3695119B2 (ja) * 1998-03-05 2005-09-14 株式会社日立製作所 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体
JP4274656B2 (ja) * 1999-12-08 2009-06-10 カシオ計算機株式会社 カメラ装置及び被写体名称表示方法
JP2004333261A (ja) * 2003-05-07 2004-11-25 Fisheries Research Agency 水中観測記録装置及びその装置を用いて魚群情報をモニタリングする方法
JP4363642B2 (ja) * 2004-07-02 2009-11-11 富士フイルム株式会社 地図表示システム及びデジタルカメラ
US7720436B2 (en) 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
KR100775123B1 (ko) * 2006-09-15 2007-11-08 삼성전자주식회사 영상 객체 인덱싱 방법 및 이를 이용한 영상 객체 인덱싱시스템
JP5396708B2 (ja) * 2007-11-28 2014-01-22 株式会社ニコン 電子カメラ

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1203369A (zh) * 1997-03-27 1998-12-30 日本电信电话株式会社 标定观测图象的装置和系统

Also Published As

Publication number Publication date
US9191693B2 (en) 2015-11-17
US20120320248A1 (en) 2012-12-20
CN102884400A (zh) 2013-01-16
EP2569933A1 (en) 2013-03-20
WO2011142093A1 (en) 2011-11-17
EP2569933A4 (en) 2013-11-06
TW201203170A (en) 2012-01-16
KR20130085942A (ko) 2013-07-30
JP2011244058A (ja) 2011-12-01

Similar Documents

Publication Publication Date Title
CN102884400B (zh) 信息处理设备，信息处理系统和程序
US10473465B2 (en) System and method for creating, storing and utilizing images of a geographical location
US10380410B2 (en) Apparatus and method for image-based positioning, orientation and situational awareness
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
CN107133325B (zh) 一种基于街景地图的互联网照片地理空间定位方法
US9497581B2 (en) Incident reporting
US9558559B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US9471986B2 (en) Image-based georeferencing
CN103632626B (zh) 一种基于移动互联网的智能导游实现方法、装置及移动客户端
US8730312B2 (en) Systems and methods for augmented reality
Grenzdörffer et al. Photogrammetric image acquisition and image analysis of oblique imagery
US20150301695A1 (en) Providing a thumbnail image that follows a main image
US20130095855A1 (en) Method, System, and Computer Program Product for Obtaining Images to Enhance Imagery Coverage
US20150187139A1 (en) Apparatus and method of providing augmented reality
CN110442813A (zh) 一种基于ar的旅游纪念信息处理系统及方法
CN108197619A (zh) 一种基于招牌图像的定位方法、装置、设备和存储介质
Zollmann et al. VISGIS: Dynamic situated visualization for geographic information systems
CN104298678B (zh) 在电子地图上搜索兴趣点的方法、系统、装置和服务器
Adorjan Opensfm: A collaborative structure-from-motion system
CN106840167B (zh) 基于街景地图的目标物地理位置的二维量测算方法
US20190347856A1 (en) Affixing Digital Content to Physical Objects in Augmented Reality
Lewis Linking spatial video and GIS
Thomas et al. 3D modeling for mobile augmented reality in unprepared environment
Mower Creating and delivering augmented scenes
CN118470233A (zh) 全景地理事件场景的生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160824