CN101583969A - 数据处理装置、方法、记录介质 - Google Patents

数据处理装置、方法、记录介质 Download PDF

Info

Publication number
CN101583969A
CN101583969A CNA2008800024278A CN200880002427A CN101583969A CN 101583969 A CN101583969 A CN 101583969A CN A2008800024278 A CNA2008800024278 A CN A2008800024278A CN 200880002427 A CN200880002427 A CN 200880002427A CN 101583969 A CN101583969 A CN 101583969A
Authority
CN
China
Prior art keywords
video camera
information
coordinate
relative
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008800024278A
Other languages
English (en)
Other versions
CN101583969B (zh
Inventor
银杏圭司
三崎正之
河村岳
矶贝邦昭
川西亮一
大宫淳
西山弘道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101583969A publication Critical patent/CN101583969A/zh
Application granted granted Critical
Publication of CN101583969B publication Critical patent/CN101583969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3204—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium
    • H04N2201/3205—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium of identification information, e.g. name or ID code
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253—Position information, e.g. geographical position at time of capture, GPS data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • General Factory Administration (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明提供数据处理装置、方法、记录介质。数据处理装置获取各个摄像机拍摄的各个摄影图像。数据处理装置(2)通过对摄影图像进行图像识别，计算拍摄了摄影图像的摄影侧摄像机与作为被摄体被摄入到摄影图像中的被摄体摄像机之间的相对位置关系。数据处理装置(2)汇集对各个摄影图像计算的位置关系，计算以一个摄像机为基准时的其他摄像机的相对位置和朝向。根据计算结果，生成用于辅助用户选择摄影图像的用户界面。

Description

数据处理装置、方法、记录介质
技术领域
本发明涉及计算多个摄像机的位置关系的技术、以及根据算出的位置关系生成用户界面的技术。
背景技术
在处于多个摄像机彼此互相拍摄或者能够拍摄的情况下，表示各个摄像机的位置关系的信息是有用的。
例如，在人等移动体上安装可佩戴式摄像机，在利用可佩戴式摄像机拍摄的同时各个移动体分别移动的情况下(例如在会议或聚会等时，各个人佩戴摄像机的情况)，有时各个摄像机不能持续拍摄特定的被摄体，使得拍摄对象不固定。该情况时，用户仅观看摄影图像无法得知未摄入摄影图像中的信息。例如，被遮挡在被摄体后面的物体是什么等。但是，如果得知各个摄像机的位置关系，则用户将能够容易地确定例如拍摄被摄体后面的摄像机。并且，也容易从不同角度观看拍摄时的场景。
上述优点仅是一例，这种表示各个摄像机的位置关系的信息可以用于各种用途中，所以期望能够容易生成这种信息。
为了满足这种要求，可以考虑以下方法。
例如，通过使用进行无线通信的基站及GPS(Global Positioning System：全球定位系统)，测定各个摄像机的世界坐标系。在对各个摄像机求出其在世界坐标系中的位置后，可以利用该位置计算摄像机彼此的位置关系。另外，在下述的专利文献1和2中记载了使用基站推断出当前地域的技术。
专利文献1：日本国专利公开公报特开10-239416
专利文献2：日本国专利公开公报特开2005-86579
但是，如上所述，为了求出在世界坐标系中的位置，需要GPS及基站等。即，在室内或地下等来自卫星的电波无法到达的场所，使用GPS计算位置关系是比较困难的，并且，为了使用基站求出位置，需要合适地设置基站。
发明内容
本发明的目的在于，提供一种数据处理装置，不使用GPS或基站等测定在世界坐标系中的位置的机构，即可计算各个摄像机的位置关系。
为了解决上述问题，本发明提供一种数据处理装置，管理多个摄像机的位置关系，其特征在于，具有：摄影图像获取部，获取由所述多个摄像机拍摄的多个不同的摄影图像数据；图像识别部，通过对每个所述摄影图像数据实施图像识别处理，检测用于确定被摄体摄像机的预定的检测对象数据；计算部，根据检测到的每个检测对象数据，计算相对信息，该相对信息表示以摄影图像数据的摄影侧摄像机或被摄体摄像机中的任一方的坐标系为基准时的、另一方摄像机的坐标和摄影方向；判定部，对于由所述计算部算出的各个相对信息，判定是否将相对信息转换为表示以所述多个摄像机中的基准摄像机的坐标系为基准时的、其他摄像机的坐标和摄影方向的信息；相对信息转换运算部，根据所述判定部的判定结果进行所述转换；以及相对位置信息管理部，通过将所算出的各个相对信息中、在相对信息中成为坐标系的基准的原点摄像机是基准摄像机的信息和由所述相对信息转换运算部转换后的信息汇集，从而生成相对位置信息，该相对位置信息表示以所述基准摄像机的坐标系为基准时的、各个摄像机的坐标和摄影方向。
发明效果
上述数据处理装置通过进行图像识别，首先对各个摄影图像数据计算对摄影图像数据进行拍摄的摄影摄像机、与作为被摄体被摄入到摄影图像数据中的被摄体摄像机之间的位置关系。计算的结果是生成相对信息。
使用该相对信息，例如，如果在某个相对信息中表示出摄像机1和摄像机2的位置关系，在某个相对信息中表示出摄像机2和摄像机3的位置关系，则通过将它们合成，可以计算摄像机1和摄像机3的位置关系。通过重复该处理，可以计算各个摄像机的位置关系。
上述数据处理装置具有判定部，从而在需要时可以使用相对信息转换计算部进行相对信息的转换。通过进行这种转换，可以进行上述合成，结果，可以得到表示以多个摄像机中的一个摄像机的坐标系为基准时的、各个摄像机的坐标和摄影方向的信息(相对位置信息)。
因此，上述数据处理装置不具有GPS或基站等用于和外部通信的结构时，也能够计算摄像机之间的位置关系。即，可以缓解计算摄像机间的位置关系时的制约。
在上述结构中，具体地讲，数据处理装置的所述判定部判定在所述相对信息中成为坐标系的基准的原点摄像机是否是基准摄像机，在判定为不是基准摄像机、而且所述相对信息的摄影侧摄像机或被摄体摄像机满足预定的条件时，判定为进行所述转换。
根据这种结构，可以将除了基于基准摄像机拍摄的摄影图像的相对信息之外的相对信息用于相对位置信息的生成。
在这种结构中，所述相对位置信息管理部保存所述相对位置信息，对于各个摄像机逐次受理关于一个摄像机的、表示以基准摄像机的坐标系为基准时的坐标和摄影方向的基准信息，从而更新所保存的相对位置信息，所述判定部包括保存所算出的各个相对信息的数据管理部，所述判定部顺序读出保存在所述数据管理部中的各个相对信息，在所读出的相对信息的摄影侧摄像机和被摄体摄像机都不是基准摄像机、而且都不是在所述相对位置信息中登记了基准信息的摄像机时，将该读出的相对信息返回给所述数据管理部。
在相对信息不能用于相对位置信息的生成时，如果是在算出了其他摄像机与基准摄像机的位置关系之后，则可以使用有关其他摄像机的相对信息，向相对位置信息中追加信息。
根据上述结构，在相对信息不能用于相对位置信息的生成时，暂且将相对信息返回给数据管理部，所以能够高精度地求出摄像机之间的位置关系。
并且，所述相对位置信息管理部保存所述相对位置信息，对于各个摄像机逐次受理关于一个摄像机的、表示以基准摄像机的坐标系为基准时的坐标和摄影方向的基准信息，从而更新所保存的相对位置信息，所述判定部，在所述相对信息的原点摄像机是基准摄像机的情况下，当在该相对信息中示出了以原点摄像机的坐标系为基准时的坐标和摄影方向的摄像机，是在所述相对位置信息中没有登记基准信息的摄像机时，将该相对信息所表示的摄影侧摄像机与被摄体摄像机之间的位置关系作为所述基准信息，登记在所述相对位置信息中。
根据这种结构，能够高效率地生成相对位置信息。
在这种结构中，所述判定部，在所述相对信息的原点摄像机是基准摄像机的情况下，当在该相对信息中示出了以原点摄像机的坐标系为基准时的坐标和摄影方向的摄像机，是在所述相对位置信息中登记了基准信息的摄像机时，将该相对信息废弃，而不追加在所述相对位置信息中。
由此，可以防止再次登记已经登记在相对位置信息中的信息，可以避免相对位置信息变冗长。
并且，具体地讲，数据处理装置的所述相对位置信息管理部保存所述相对位置信息，对于各个摄像机逐次受理关于一个摄像机的、表示以基准摄像机的坐标系为基准时的坐标和摄影方向的基准信息，从而更新所保存的相对位置信息，所述判定部，在所述相对信息的原点摄像机是在所述相对位置信息中登记了基准信息的摄像机的情况下，当在该相对信息中示出了以原点摄像机的坐标系为基准时的坐标和摄影方向的摄像机不是基准摄像机时，判定为进行所述转换。
在该情况下，也可以是，所述相对信息转换运算部，使用所述基准信息所表示的、基准摄像机与所述判定涉及的相对信息的原点摄像机之间的位置关系，将该相对信息转换为表示以基准摄像机的坐标系为基准时的、在该相对信息中示出了以原点摄像机的坐标系为基准的位置关系的摄像机的坐标及/或摄影方向的信息。
由此，在与基准摄像机的位置关系已知的摄像机是摄影侧摄像机时，可以将有关该摄影侧摄像机拍摄的被摄体摄像机的、以基准摄像机的坐标系为基准时的坐标和朝向登记在相对位置信息中。
并且，所述判定部，在所述相对信息的原点摄像机是在所述相对位置信息中登记了基准信息的摄像机的情况下，当在该相对信息中示出了以原点摄像机的坐标系为基准时的坐标和摄影方向的摄像机是基准摄像机时，将该相对信息废弃，而不追加在所述相对位置信息中。
由此，可以防止再次登记已经登记在相对位置信息中的信息，可以避免相对位置信息变冗长。
并且，具体地讲，数据处理装置的所述相对位置信息管理部保存所述相对位置信息，对于各个摄像机逐次受理关于一个摄像机的、表示以基准摄像机的坐标系为基准时的坐标和摄影方向的基准信息，从而更新所保存的相对位置信息，所述判定部，在所述相对信息中示出了以原点摄像机为基准时的坐标系中的位置关系的摄像机是基准摄像机的情况下，当该相对信息的原点摄像机是在所述相对位置信息中没有登记基准信息的摄像机时，判定为进行所述转换。
在这种情况下，也可以是，所述相对信息转换运算部计算所述相对信息所表示的摄像机之间的位置关系的逆矢量，从而进行转换为表示以基准摄像机的坐标系为基准时的原点摄像机的坐标及/或摄影方向的信息的所述转换。
由此，可以把有关正在拍摄基准摄像机的摄影侧摄像机的、以基准摄像机的坐标系为基准的坐标和朝向，登记在相对位置信息中。
并且，具体地讲，数据处理装置的所述相对位置信息管理部保存所述相对位置信息，对于各个摄像机逐次受理关于一个摄像机的、表示以基准摄像机的坐标系为基准时的坐标和摄影方向的基准信息，从而更新所保存的相对位置信息，所述判定部，在所述相对信息的原点摄像机不是基准摄像机的情况下，当在该相对信息中示出了以原点摄像机的坐标系为基准时的位置关系的摄像机，是在所述相对位置信息中登记了基准信息的摄像机时，判定为进行所述转换。
在这种情况下，也可以是，所述相对信息转换运算部，使用所述基准信息所表示的、与所述判定涉及的相对信息的原点摄像机的位置关系被示出的摄像机与基准摄像机之间的位置关系以及该相对信息所表示的摄影侧摄像机与被摄体摄像机之间的位置关系，进行矢量运算，从而进行转换为表示以基准摄像机的坐标系为基准时的摄影侧摄像机的坐标及摄影方向的信息的所述转换。
由此，在具有拍摄与基准摄像机的位置关系已知的摄像机的摄影侧摄像机时，可以将有关该摄影侧摄像机的、以基准摄像机的坐标系为基准时的坐标和朝向登记在相对位置信息中。
在此，也可以使用上述生成的相对位置信息进行以下处理。
即，所述数据处理装置还具有图像选择辅助部，该图像选择辅助部根据所述生成的相对位置信息，生成表示以所述多个摄像机中的基准摄像机的坐标系为基准时的、各个摄像机的坐标和朝向的图像数据，并使显示部显示用于使用所生成的图像数据来选择各个摄影图像数据的用户界面。
由此，可以辅助用户选择摄影图像数据。
并且，在这种情况下，也可以是，所述用户界面包括：摄像机间位置关系显示区域，显示所生成的所述图像数据；以及摄影图像显示区域，显示被选择的摄像机的摄影图像数据，所述图像选择辅助部包括：位置确定部，确定进入到在所述摄影图像显示区域中显示的摄影图像数据的摄影侧摄像机的摄影范围中的摄像机在该摄影图像数据中的位置；以及叠加显示部，在基于由所述位置确定部确定的位置的位置上，将作为用于识别摄像机的图像的被摄体识别图像，叠加显示在该摄影图像数据上。
由此，用户能够容易识别作为被摄体被摄入到摄影图像数据中的被摄体摄像机是哪个摄像机。
并且，在这种情况下，也可以是，所述图像选择辅助部在受理了对由所述叠加显示部叠加显示的被摄体识别图像进行选择的操作时，将由被选择的被摄体识别图像所识别的摄像机的摄影图像，显示在所述摄影图像显示区域中。
并且，也可以是，所述叠加显示部对各个摄像机分配颜色，利用分配给各个摄像机的颜色叠加显示该摄像机的被摄体识别图像，所述图像选择辅助部生成所述图像数据，以便利用分配给各个摄像机的颜色从视觉上区分显示表示各个摄像机的图像。
并且，也可以是，所述叠加显示部，根据从拍摄了摄影图像数据的摄影侧摄像机到由所述被摄体识别图像表示的摄像机的距离，以分别不同的状态显示所述被摄体识别图像，以便能够从视觉上区分所述距离。
并且，在这种情况下，也可以是，所述位置确定部，根据以所显示的摄影图像数据的摄影侧摄像机为基准摄像机时的所述相对位置信息所表示的各个摄像机的坐标、或者以所述摄影侧摄像机为原点摄像机的相对信息中的至少任一方，以及表示该摄影侧摄像机的摄影范围的摄影范围信息，进行所述确定。
由此，由于根据各个摄像机的坐标进行所述确定，所以在使用相对位置信息进行所述确定时，对于没有作为被摄体被摄入到摄影图像数据中的摄像机，也能够将该摄像机的位置显示在摄影图像数据中。
另外，也可以是，所述位置确定部对于进入到所述摄影范围中的各个摄像机，根据所述相对位置信息所表示的各个摄像机的坐标，判定是作为被摄体而被摄入到所述摄影图像数据中的被摄体摄像机、还是被遮挡的摄像机，所述叠加显示部以能够从视觉上区分进入到摄影范围中的摄像机是被摄体摄像机还是被遮挡的摄像机的方式，叠加显示所述被摄体识别图像。
由此，用户能够容易识别到存在没有作为被摄体被摄入的摄像机。
并且，也可以是，所述相对位置信息管理部保存所述相对位置信息，对于各个摄像机逐次受理关于一个摄像机的、表示以基准摄像机的坐标系为基准时的坐标和摄影方向的基准信息，从而更新所保存的相对位置信息，所述数据处理装置在每个预定时刻生成所述相对位置信息，在预定时刻的相对位置信息中，当存在没有所述基准信息的不定摄像机时，根据该预定时刻的前后时刻的相对位置信息所表示的不定摄像机的坐标和摄影方向，对以基准摄像机的坐标系为基准时的所述预定时刻的所述不定摄像机的坐标和摄影方向进行插补。
由此，即使存在位置关系不明的摄像机时，也能够使用前后时间段的相对位置信息对其位置关系进行插补。
并且，本发明提供一种数据处理方法，管理多个摄像机的位置关系，其特征在于，包括：摄影图像获取步骤，获取由所述多个摄像机拍摄的多个不同的摄影图像数据；图像识别步骤，通过对每个所述摄影图像数据实施图像识别处理，检测用于确定被摄体摄像机的预定的检测对象数据；计算步骤，根据检测到的每个检测对象数据，计算相对信息，该相对信息表示以摄影图像数据的摄影侧摄像机或被摄体摄像机中的任一方的坐标系为基准时的、另一方摄像机的坐标和摄影方向；判定步骤，对于由所述计算部算出的各个相对信息，判定是否将相对信息转换为表示以所述多个摄像机中的基准摄像机的坐标系为基准时的、其他摄像机的坐标和摄影方向的信息；相对信息转换运算步骤，根据所述判定部的判定结果进行所述转换；以及相对位置信息管理步骤，通过将所算出的各个相对信息中、在相对信息中成为坐标系的基准的原点摄像机是基准摄像机的信息和由所述相对信息转换运算部转换后的信息汇集，从而生成相对位置信息，该相对位置信息表示以所述基准摄像机的坐标系为基准时的、各个摄像机的坐标和摄影方向。
并且，本发明提供一种计算机可读取的记录介质，记录了控制程序，该控制程序使数据处理装置执行用于管理多个摄像机的位置关系的各个步骤，其特征在于，所述控制程序包括：摄影图像获取步骤，获取由所述多个摄像机拍摄的多个不同的摄影图像数据；图像识别步骤，通过对每个所述摄影图像数据实施图像识别处理，检测用于确定被摄体摄像机的预定的检测对象数据；计算步骤，根据检测到的每个检测对象数据，计算相对信息，该相对信息表示以摄影图像数据的摄影侧摄像机或被摄体摄像机中的任一方的坐标系为基准时的、另一方摄像机的坐标和摄影方向；判定步骤，对于由所述计算部算出的各个相对信息，判定是否将相对信息转换为表示以所述多个摄像机中的基准摄像机的坐标系为基准时的、其他摄像机的坐标和摄影方向的信息；相对信息转换运算步骤，根据所述判定部的判定结果进行所述转换；以及相对位置信息管理步骤，通过将所算出的各个相对信息中、在相对信息中成为坐标系的基准的原点摄像机是基准摄像机的信息和由所述相对信息转换运算部转换后的信息汇集，从而生成相对位置信息，该相对位置信息表示以所述基准摄像机的坐标系为基准时的、各个摄像机的坐标和摄影方向。
附图说明
图1是表示本发明中的各个摄像机的摄影状况的一例的图。
图2是表示本发明的数据处理系统的概况的功能方框图。
图3是表示相对信息计算部6的细节的功能方框图。
图4是表示二维标记30的图。
图5是表示匹配表36的图。
图6是表示被摄入摄影图像中的二维标记30的图。
图7是表示摄影侧摄像机与被摄体摄像机的相对位置关系的图。
图8是表示相对信息的图。
图9是表示位置关系计算部7的细节的功能方框图。
图10是表示登记在队列中的相对信息的图。
图11是表示相对位置信息60的图。
图12是表示数据处理装置2的整体动作的流程图。
图13是表示相对信息计算部6的具体动作的流程图。
图14是表示位置关系计算部7的具体动作的流程图。
图15是表示数据判定部54的判定处理的细节的图。
图16是表示对象摄像机和摄影侧摄像机相同时的转换运算的运算方法的图。
图17是表示基准摄像机和被摄体摄像机相同时的转换运算的运算方法的图。
图18是表示对象摄像机和被摄体摄像机相同时的转换运算的运算方法的图。
图19是表示由图像选择辅助部8生成的图像的一例的图。
图20是表示用户界面的一例的图。
图21是表示用户界面的一例的图。
图22是表示把各个摄像机作为基准时与其他摄像机的位置关系的图。
图23是表示用户界面的一例的图。
图24是表示有无被被摄体摄像机遮挡的摄像机的判定方法的图。
图25是表示显示终端1000的外装的图。
图26是表示数据处理系统的结构的图。
标号说明
1摄像机；2数据处理装置；3显示部；6相对信息计算部；7位置关系计算部；8图像选择辅助部；11摄影图像获取部；12相同时刻摄影图像提取部；13摄影侧摄像机识别部；14图像识别部；15被摄体摄像机识别部；16被摄体摄像机信息计算部；17被摄体摄像机朝向计算部；18被摄体摄像机坐标计算部；19相对信息生成部；51相对信息获取部；52基准摄像机设定部；53数据管理部；54数据判定部；55相对位置信息管理部；56相对信息转换运算部。
具体实施方式
(实施方式1)
以下，关于本发明涉及的数据处理装置以及使用数据处理装置的数据处理系统，使用附图说明一个实施方式。
1概况
图1是表示本发明中的各个摄像机的摄影状况的一例的图。
在本发明中，如图1所示，假设每人佩戴摄像机(1a、1b、1c、…)进行摄影的情况。并且，根据各个摄像机拍摄的摄影图像，计算各个摄像机的位置关系。并且，假设摄像机和人是一对一地对应的。每个人可以到处走动，也可以不怎么移动。在本发明中，计算各个时刻的摄像机间的相对位置关系即每个人的位置关系。
另外，在本实施方式中提供一种图像选择辅助系统，在计算摄像机间的位置关系时，使用所算出的位置关系，对摄像机拍摄的摄影图像的选择进行辅助。此外，即使仅将所算出的位置关系原样显示为图像也是有用的，摄像机间的位置关系可以用于各种用途。
下面进行具体说明。
2结构
图2是表示本发明的数据处理系统的概况的功能方框图。
如图2所示，数据处理系统由多个摄像机(1a、1b、1c、…)、数据处理装置2和显示部3构成。
2.1摄像机
多个摄像机(1a、1b、1c、…)中的各个摄像机，在本实施方式中按照预定时间间隔进行静态图像的摄影。另外，对各个摄像机拍摄的静态图像附加用于识别进行了拍摄的摄像机的信息、及进行拍摄的摄影日期时间等信息，作为元数据。
2.2数据处理装置2
数据处理装置2由后面叙述的位置关系计算部7管理多个摄像机的位置关系。具体地讲，数据处理装置2从各个摄像机接收各个摄像机生成的摄影图像，根据接收到的摄影图像计算在某个时间点的各个摄像机的位置关系。另外，所说位置关系指在把某个摄像机作为基准时的其他摄像机的坐标以及朝向。
并且，可以使用算出的位置关系进行各种处理，但在本实施方式中，数据处理装置2通过后面叙述的图像选择辅助部8，生成用于对用户选择各个摄像机的摄影图像进行辅助的用户界面。关于数据处理装置2的具体结构，将在后面叙述的“2.4数据处理装置2的具体内容”中说明。
2.3显示部3
显示部3接收从数据处理装置2输出的图像信号，根据接收到的图像信号显示图像。例如，可以实现为LCD(Liquid Crystal Display：液晶显示器)、PDP(Plasma Display Panel：等离子显示面板)、有机EL(OrganicElectro-Luminescence：有机电致发光)等。
2.4数据处理装置2的具体内容
在此，具体说明数据处理装置2。
如图2所示，数据处理装置2包括相对信息计算部6、位置关系计算部7、图像选择辅助部8。
相对信息计算部6获取多个摄像机的各个摄像机生成的摄影图像，分析各个摄影图像，对各个摄影图像计算拍摄了摄影图像的摄影侧摄像机、与作为被摄体被摄入摄影图像中的被摄体摄像机之间的相对位置关系。具体情况将在后面使用图3说明。
位置关系计算部7根据相对信息计算部6对各个摄影图像的计算结果，计算在把多个摄像机中的一个摄像机作为基准时的各个摄像机的相对位置关系。具体情况将在后面使用图9说明。
图像选择辅助部8根据位置关系计算部7的计算结果生成用户界面，将用于使显示部3显示用户界面的图像信号输出给显示部3。
2.5相对信息计算部6的具体内容
在此，具体说明相对信息计算部6。
图3是表示相对信息计算部6的细节的功能方框图。
相对信息计算部6由摄影图像获取部11、相同时刻摄影图像提取部12、摄影侧摄像机识别部13、图像识别部14、被摄体摄像机识别部15、被摄体摄像机信息计算部16、被摄体摄像机朝向计算部17、被摄体摄像机坐标计算部18、相对信息生成部19构成。
2.5.1摄影图像获取部11
摄影图像获取部11获取各个摄像机拍摄的摄影图像。例如，通过与各个摄像机连接，或与记录了各个摄像机的摄影图像的记录介质连接，并从记录介质读出摄影图像等，获取各个摄像机的摄影图像。
2.5.2相同时刻摄影图像提取部12
相同时刻摄影图像提取部12参照作为元数据被附加到各个摄影图像的摄影日期时间，根据预先设定的设定时刻，从由各个摄像机获取的各个摄影图像中提取摄影图像。
2.5.3摄影侧摄像机识别部13
摄影侧摄像机识别部13参照附加到摄影图像的元数据，获取进行了摄影图像的拍摄的摄影侧摄像机的识别信息。
2.5.4图像识别部14
图像识别部14进行摄影图像的图像识别，检测用于识别作为被摄体被摄入摄影图像中的区域。具体地讲，在本实施方式中，使用二维标记进行上述检测。具体情况将在后面使用图4等进行说明。
2.5.5被摄体摄像机识别部15
被摄体摄像机识别部15根据通过图像识别检测到的区域，获取被摄体摄像机的识别信息。具体情况将在后面使用图4等进行说明。
2.5.6被摄体摄像机信息计算部16
被摄体摄像机信息计算部16对摄影图像计算摄影侧摄像机与被摄体摄像机之间的相对位置关系。在本实施方式中，计算在把摄影侧摄像机的摄像机坐标系作为基准时的、摄影侧摄像机与被摄体摄像机之间的位置关系。
具体地讲，被摄体摄像机信息计算部16包括被摄体摄像机朝向计算部17和被摄体摄像机坐标计算部18。
被摄体摄像机朝向计算部17计算在把摄影侧摄像机的摄像机坐标系作为基准时的、被摄体摄像机的朝向。在此，所说被摄体摄像机的朝向指被摄体摄像机进行摄影的方向。
并且，被摄体摄像机坐标计算部18计算在把摄影侧摄像机的摄像机坐标系作为基准时的、被摄体摄像机的坐标。
2.5.6.1被摄体摄像机识别部15等的具体说明的概况
在此，具体说明被摄体摄像机识别部15和被摄体摄像机信息计算部16。即，说明进行摄影图像的图像识别，并且：
(i)被摄体摄像机识别部15识别被摄体摄像机，以及
(ii)被摄体摄像机信息计算部16计算在把被摄体摄像机和摄影侧摄像机中任一方的摄像机坐标系作为基准时的、另一方摄像机的相对坐标和朝向的方法。
在本实施方式中，具体地讲，对各个摄像机的预定位置附加二维标记，图像识别部14从摄影图像中检测摄影侧摄像机拍摄的摄影图像中摄入的二维标记。
由此，被摄体摄像机识别部15及被摄体摄像机信息计算部16进行：(i)被摄体摄像机的识别，(ii)上述相对坐标和朝向的计算。另外，在标记的参数(标记的大小、形状等)或摄像机的参数(焦距、摄像分辨率等)已知时，检测被摄入摄影图像中的二维标记，进行(i)二维标记的识别、和(ii)摄像机与二维标记之间相对位置关系的计算，这种技术已经公知有各种技术，并得到实际应用。例如，根据下述文献等已被公知，非专利文献Kato，H.，Billinghurst，M.(1999)Marker Tracking and HMD Calibration for avideo-based Augmented Reality Conferencing System.In Proceedings of the 2ndInternational Workshop on Augmented Reality(IWAR 99).October，SanFrancisco，USA.。因此，在以下的说明中省略具体的说明，只简单地说明本实施方式中的具体实施方法。
2.5.6.2被摄体摄像机识别部15的具体内容
首先，说明(i)被摄体摄像机识别部15识别被摄体摄像机的方法。
图4是表示二维标记30的图。
二维标记30如图所示呈具有4个顶点的四方形的形状，被附加在各个摄像机的预定位置。另外，假设二维标记30的参数(标记的尺寸、大小、形状等)和各个摄像机的参数(焦距、摄像分辨率等)是已知的。在本实施方式中，如图所示，在以摄像机为基准的摄像机坐标系中的预定的坐标处配置二维标记30。即，摄像机坐标系中的二维标记30的坐标是已知的。另外，摄像机坐标系(Xc，Yc，Zc)是把摄像机的焦点位置作为原点，把与图像平面垂直的方向(即摄像机拍摄的方向)作为Z轴。并且，把与图像平面中的x轴、y轴平行的方向分别设为X轴、Y轴。
二维标记30如图所示具有摄像机识别区域31。摄像机识别区域31是用于识别附加有二维标记30的摄像机的区域。
为了识别各个摄像机，在本实施方式中使用二维代码(2D code)。具体地讲，摄像机识别区域31如图4所示被划分为4行×4列的小区域，各个小区域被涂成两种颜色来进行区分。例如，各个小区域被涂成白色或黑色任一颜色。并且，对于每个摄像机，各个小区域的白色和黑色的区分涂色方式是固有的。
另外，每个摄像机的区分涂色方式如图5所示，被作为匹配表36保存在图像识别部14中。匹配表36中的一个记录如图5所示，由摄像机识别信息37和代码图案38构成。即，在匹配表36中，使识别摄像机的摄像机识别信息和表示每个摄像机固有的二维代码的图案的信息相对应。
如上所述，在本实施方式中，在各个摄像机的预定位置附加具有各个摄像机固有的代码图案的二维标记30。并且，如图6所示，在二维标记30被摄入摄影图像中时，图像识别部14通过对摄影图像进行图像识别来检测二维标记30的轮廓线。并且，被摄体摄像机识别部15将检测到的二维标记30的摄像机识别区域31的代码图案与匹配表36的代码图案比较，并进行图案匹配，从而识别附加有该二维标记30的被摄体摄像机。
2.5.6.3被摄体摄像机信息计算部16的具体内容
下面，说明(ii)计算摄影侧摄像机与被摄体摄像机的相对坐标和朝向的方法。在本实施方式中，使用上述非专利文献记载的技术。
通过基于上述非专利文献记载的技术的运算，算出在以摄影侧摄像机为基准时、被摄入摄影图像中的二维标记30的朝向和坐标。在此，二维标记30的朝向与被摄体摄像机拍摄的方向基本相同。即，假设二维标记30的朝向与被摄体摄像机的朝向近似。并且，由于被摄体摄像机与配置在被摄体摄像机中的二维标记30之间的相对位置关系是已知的，所以修正以摄影侧摄像机为基准时的二维标记30的坐标，并计算被摄体摄像机的坐标。
这样，被摄体摄像机信息计算部16计算以摄影侧摄像机为基准时的、被摄体摄像机的朝向和被摄体摄像机的坐标。所算出的被摄体摄像机的朝向、坐标按照图7所示进行表示。
图7是表示摄影侧摄像机与被摄体摄像机之间的相对位置关系的图。另外，在本实施方式中，把以摄影侧摄像机为基准的摄像机坐标系中的被摄体摄像机的坐标设为(X、Y、Z)，假设Y轴的值“Y”小于X轴的值“X”及1Z轴的值“Z”。因此，摄影侧摄像机与被摄体摄像机的相对位置可以表示为把X轴的值“X”设为“x”、把Z轴的值“Z”设为“y”的由(x、y)构成的二维坐标。并且，关于被摄体摄像机的朝向，在把以摄影侧摄像机为基准的摄像机坐标系的Z轴(即图7所示的y轴)作为基准时，把顺时针方向作为正的角度来表示。
2.5.7相对信息生成部19
返回相对信息计算部6的说明。
相对信息生成部19对各个摄影图像生成相对信息，把所生成的相对信息输出给位置关系计算部17。
2.5.7.1相对信息
在此说明相对信息。图8是表示相对信息(80a、80b、…)的图。如图8所示，在一个相对信息中，使摄影时刻81、摄影侧摄像机识别信息82、被摄体摄像机识别信息83、被摄体摄像机朝向84、被摄体摄像机坐标85相对应。
2.5.7.2相对信息的具体内容
相对信息中的摄影时刻81表示拍摄摄影图像的时刻，与相同时刻摄影图像提取部21进行提取所涉及的时刻对应。
摄影侧摄像机识别信息82表示摄影侧摄像机，与由摄影侧摄像机识别部13获取的识别信息对应。
被摄体摄像机识别信息83表示被摄体摄像机，与由被摄体摄像机识别部15获取的识别信息对应。
被摄体摄像机朝向84表示被摄体摄像机的相对朝向，与被摄体摄像机朝向计算部17的计算结果对应。
被摄体摄像机坐标85表示被摄体摄像机的相对坐标，与被摄体摄像机坐标计算部18的计算结果对应。
以上说明了相对信息计算部6。
2.6位置关系计算部7
下面，具体说明位置关系计算部7。
图9是表示位置关系计算部7的具体内容的功能方框图。
位置关系计算部7生成相对位置信息60，该相对位置信息60表示把一个摄像机作为基准时的其他摄像机的相对朝向和坐标。如图9所示，位置关系计算部7由相对信息获取部51、基准摄像机设定部52、数据管理部53、数据判定部54、相对位置信息管理部55、相对信息转换运算部56构成。
2.6.1相对信息获取部51
下面顺序地进行说明，相对信息获取部51逐次获取由相对信息计算部6输出的相对信息，把获取到的相对信息输出给数据管理部53。
2.6.2基准摄像机设定部52
基准摄像机设定部52设定作为基准的摄像机(基准摄像机)，以便计算在把一个摄像机作为基准时的各个摄像机的朝向和坐标。基准摄像机的设定方法可以考虑各种方法，例如，把由后面叙述的数据管理部53登记在队列中的相对信息中的、第1件相对信息的摄影侧摄像机识别信息82所表示的摄影侧摄像机作为基准等。
2.6.3数据管理部53
数据管理部53管理预定的设定时刻的各个相对信息。
具体地讲，数据管理部53受理从相对信息获取部51输出的相对信息，例如按照图10所示登记在队列中并进行管理。具体情况将在“3.3位置关系计算部7的动作”中说明。
在此，说明表示登记在队列中的相对信息的图10。
如上所述，在队列中登记有相对信息。从队列中按照序号86所示的序号顺序输出相对信息。另外，登记在队列中的各个相对信息的摄影侧摄像机识别信息82等，与在图8中已经说明的识别信息相同，所以省略说明。并且，在该图中，省略相对信息中的摄影时刻81来加以说明。
2.6.4数据判定部54
数据判定部54进行用于生成相对位置信息60的处理的一部分。具体地讲，数据判定部54获取相对信息，对所获取的各个相对信息，判定相对信息是否能够用来生成相对位置信息60、是否需要后面在“2.6.6相对信息转换运算部56”中叙述的相对信息转换运算部56的转换运算(是否转换)。另外，所说转换运算指把所受理的相对信息转换为表示以基准摄像机为基准时的其他摄像机的位置关系的信息。数据判定部54根据判定结果控制相对信息的输出目的地，或废弃相对信息。具体情况将在后面使用图15说明。
2.6.5相对位置信息管理部55
相对位置信息管理部55管理相对位置信息60。
在此，具体说明相对位置信息60。
图11是表示相对位置信息60的图。
相对位置信息60中的一个记录包括时刻61、基准摄像机62、对象摄像机63、相对位置64和相对朝向65。
时刻61表示摄像机间的位置关系是哪个时刻时的位置关系。
基准摄像机62表示在计算摄像机间的相对位置关系时被作为基准的摄像机。基准摄像机62是由上述基准摄像机设定部52设定的摄像机。
对象摄像机63表示把基准摄像机62所示的摄像机作为基准时、成为计算相对位置关系的对象的摄像机(对象摄像机)。
相对朝向65表示把基准摄像机62所示的摄像机作为基准时的对象摄像机的朝向。对象摄像机的朝向在该示例中，在把以基准摄像机为基准的摄像机坐标系的Z轴(拍摄的方向)作为基准时，利用把顺时针方向设为正的角度来表示。
相对位置64表示把基准摄像机62所示的摄像机作为基准时的对象摄像机的位置(坐标)。对象摄像机的位置在该示例中，被表示为把基准摄像机的摄像机坐标系中的X轴设为x轴、把Z轴设为y轴的xy平面的坐标。
预定的设定时刻时的各个相对信息经过相对信息转换运算部56的转换运算，如图11中的相对位置信息60所示，成为表示在把一个摄像机作为基准时的各个摄像机的相对朝向和坐标的信息。另外，在图11中，摄像机“A”是基准摄像机。
2.6.6相对信息转换运算部56
返回位置关系计算部7的说明。
相对信息转换运算部56从数据判定部54接收相对信息，把相对信息所表示的摄影侧摄像机与被摄体摄像机之间的位置关系转换为以基准摄像机的坐标系为基准的信息。具体情况将在后面使用图16～图18说明。
3动作
下面，说明数据处理装置2的动作。
3.1数据处理装置2的整体动作
图12是表示数据处理装置2的整体动作的流程图。
如图12所示，数据处理装置2的相对信息计算部6对在相同时刻拍摄的各个摄影图像，计算以摄影侧摄像机为基准时的被摄体摄像机的朝向和坐标(S1000)。相对信息计算部6通过该计算，对各个摄影图像生成相对信息，把所生成的各个相对信息输出给位置关系计算部7。
位置关系计算部7接收多个相对信息，计算以一个摄像机为基准时的各个摄像机的朝向和坐标，并生成相对位置信息60(S2000)。
3.2相对信息计算部6的动作
在此，具体说明由相对信息计算部6进行的步骤S1000的动作。
图13是表示相对信息计算部6的具体动作的流程图。
相对信息计算部6通过摄影图像获取部11获取由各个摄像机拍摄的摄影图像。
相同时刻摄影图像提取部12从获取到的摄影图像中，提取在包括预先设定的设定时刻的预定时间段拍摄的摄影图像(S11)。例如，提取在包括设定时刻的数秒钟的期间内拍摄的摄影图像。相对信息计算部6在步骤S11存储提取的摄影图像的数量(S13)。具体地讲，例如对变量“n”，存储在步骤S11提取摄影图像的数量。
n＝提取的摄影图像的数量
并且，将变量“i”初始化，对“i”存储值“0”。
i＝0
其中，变量“n”表示所提取的摄影图像的总数。并且，变量“i”表示所提取的摄影图像中进行了用于生成相对信息的处理的数量。在步骤S11所提取的各个摄影图像，例如在队列中被存储了表示摄影图像的识别符，以后成为逐个地成为处理的对象，并生成相对信息。
摄影侧摄像机识别部13从队列中读出表示成为处理的对象的一个摄影图像的识别符，参照该识别符所示的摄影图像的元数据，从元数据中提取该摄影图像的摄影侧摄像机的识别信息并存储(S15)。
图像识别部14进行在步骤S15成为摄影侧摄像机识别部13的处理对象的摄影图像的图像识别，尝试检测二维标记。如果检测到二维标记，被摄体摄像机识别部15获取被摄入到该摄影图像中的被摄体摄像机的识别信息并存储(S17)。另外，在步骤S17，在没有检测到二维标记30时，相对信息计算部6向变量“i”加1(i＝i+1)，进行步骤S15的处理，重新从队列中读出识别符，并进行以后的处理。
并且，当在步骤S17由图像识别部14检测到二维标记时，被摄体摄像机朝向计算部17计算以摄影侧摄像机为基准的摄像机坐标系中的、被摄体摄像机的相对朝向(S19)。并且，被摄体摄像机坐标计算部18计算以摄影侧摄像机为基准的摄像机坐标系中的、被摄体摄像机的相对坐标(S21)。
相对信息生成部19使在步骤S15、S17、S19、S21得到的信息与在步骤S11进行了提取的设定时刻相对应，生成有关一个摄影图像的相对信息。相对信息生成部19把所生成的相对信息输出给位置关系计算部7(S23)，向变量“i”加1。
i＝i+1
判定是否已对在步骤S11提取的全部摄影图像生成相对信息(S25)。具体地讲，判定变量“i”是否为变量“n”以上。在步骤S25，如果没有对全部摄影图像生成相对信息(即存在还没有生成相对信息的摄影图像)(S25：否)(i＜n)，则对存储在队列中的下一个摄影图像进行步骤S15以后的处理，并生成相对信息。
在步骤S25，在判定已对全部摄影图像生成相对信息时(S25：是)，相对信息计算部6的动作结束。
3.3位置关系计算部7的动作
下面，具体说明由位置关系计算部7进行的步骤S2000的动作。
图14是表示位置关系计算部7的具体动作的流程图。
位置关系计算部7通过相对信息获取部51获取相同时刻的相对信息(S2001)。
然后，位置关系计算部7通过数据管理部53，利用图10所示的例如队列等保存由相对信息获取部51获取的相同时刻的相对信息(S2002)。
并且，位置关系计算部7通过基准摄像机设定部52设定作为位置关系的基准的基准摄像机(S2003)。
然后，位置关系计算部7通过数据管理部53，把保存的相对信息顺序地发送给数据判定部54(S2004)。
然后，位置关系计算部7通过数据判定部54，判定从数据管理部53接收的相对信息的以后的处理方法。具体情况将在后面使用图15说明，数据判定部54根据判定结果，将相对信息进行如下处理：
(i)发送给相对位置信息管理部55，或
(ii)废弃，或
(iii)发送给相对转换运算部56，或
(iv)返回给数据管理部53。
位置关系计算部7在上述(i)的情况下，将由数据判定部54发送给相对位置信息管理部55的相对信息，保存在图11所示的相对位置信息60中。并且，在上述(iii)的情况下，位置关系计算部7对由数据判定部54发送给相对信息转换运算部56的相对信息，通过相对信息转换运算部56进行转换。关于该转换将在后面使用图16～图18说明。位置关系计算部7把转换后的相对信息从相对信息转换运算部56发送给相对位置信息管理部55，并保存在相对位置信息60中。
并且，在上述(iv)的情况下，对由数据判定部54返回给数据管理部53的相对信息，通过数据管理部53登记在例如队列的末尾(S2005)。
位置关系计算部7在：
(a)已将数据管理部53保存的全部相对信息反映到相对位置信息60中，或者
(b)由数据管理部53保存的相对信息不能再继续反映到相对位置信息60中时，结束处理。
另外，上述(a)即意味着由数据管理部53利用队列等保存的相对信息没有了。并且，上述(b)即意味着即使参照由数据管理部53保存的任一相对信息的摄影侧摄像机识别信息82和被摄体摄像机识别信息83，也不存在与由相对位置信息管理部55保存的相对位置信息60的基准摄像机或对象摄像机一致的信息。
3.4数据判定部54的具体动作
在此，说明步骤S2005中的数据判定部54的判定处理的细节。
首先进行简要说明。
在相对位置信息管理部55中管理的相对位置信息60表示基准摄像机和对象摄像机之间的位置关系。
因此，如果相对信息的摄影侧摄像机或被摄体摄像机是基准摄像机、或者包含于相对位置信息60的各个记录的对象摄像机中，则可以使用该相对信息向相对位置信息60追加记录。
图15是表示数据判定部54的判定处理的细节的图。在以下的示例中，数据判定部54首先判定相对信息的摄影侧摄像机：
(i)是否是基准摄像机(S91)，
(ii)是否作为对象摄像机包含于相对位置信息60中(S97)。
然后，判定相对信息的被摄体摄像机：
(iii)是否是基准摄像机(S103)，
(iv)是否作为对象摄像机包含于相对位置信息60中(S107)。
在上述各个步骤中，如果相对信息的摄影侧摄像机及被摄体摄像机没有作为基准摄像机或对象摄像机包含于相对位置信息60中，则不能向相对位置信息60追加记录，所以把该相对信息返回给数据管理部53(S111)。
在简要说明之后，使用图15进行具体说明。
(i)数据判定部54在步骤S2004接收到从数据管理部53输出的相对信息时，参照相对信息的摄影侧摄像机识别信息83，判定摄影侧摄像机识别信息83所表示的摄像机(摄影侧摄像机)是否是在基准摄像机设定部52中设定的基准摄像机(S91)。
在步骤S91，在摄影侧摄像机与基准摄像机一致时(S91：是)，数据判定部54参照相对信息的被摄体摄像机识别信息83所表示的摄像机(被摄体摄像机)、和保存在相对位置信息管理部55中的相对位置信息60的各个记录的对象摄像机63，判定被摄体摄像机是否已存在于相对位置信息60的对象摄像机中(S93)。
说明在步骤S93，相对信息的被摄体摄像机不存在于相对位置信息各个记录的对象摄像机中的情况(S93：否)。该情况时，相对信息所表示的摄影侧摄像机和被摄体摄像机之间的位置关系(被摄体摄像机的朝向和坐标)，还没有反映到相对位置信息60中。因此，数据判定部54向相对位置信息管理部55输出以下信息，即：把相对信息的摄影侧摄像机识别信息82所表示的摄像机作为基准摄像机62，把相对信息的被摄体摄像机83所表示的摄像机作为对象摄像机63的信息(S95)。相对位置信息管理部55接收从该数据判定部54输出的信息，把接收到信息追加到相对位置信息60中。
并且，说明在步骤S93，相对信息的被摄体摄像机存在于相对位置信息的各个记录的对象摄像机中的情况(S93：是)。该情况时，由于相对信息所表示的摄影侧摄像机和被摄体摄像机之间的位置关系已经登记在相对位置信息60中，所以数据判定部54把相对信息废弃(S101)。
(ii)说明在步骤S91相对信息的摄影侧摄像机与基准摄像机不一致的情况(S91：否)。
该情况时，数据判定部54参照相对位置信息60的各个记录的对象摄像机63，判定相对信息的摄影侧摄像机是否已经存在于相对位置信息60的对象摄像机中(S97)。
说明在步骤S97进行了肯定判定的情况，即，相对信息的摄影侧摄像机存在于相对位置信息60的各个记录的对象摄像机中的情况(S97：是)。该情况时，由于已知基准摄像机和摄影侧摄像机之间的位置关系、以及摄影侧摄像机和被摄体摄像机之间的位置关系，所以能够计算基准摄像机和被摄体摄像机之间的位置关系。但是，在基准摄像机和被摄体摄像机相同时，基准摄像机和被摄体摄像机之间的位置关系已经包含于相对位置信息60中。因此，数据判定部54判定相对信息的被摄体摄像机是否与相对位置信息的基准摄像机相同(S99)。
当在步骤S99进行了肯定判定时(S99：是)，数据判定部54把相对信息废弃(S101)。
当在步骤S99进行了否定判定时(S99：否)，则基准摄像机和被摄体摄像机之间的位置关系不包含于相对位置信息60中。因此，为了计算该位置关系，数据判定部54把相对信息输出给相对信息转换运算部56(S105)。
通过以上各个处理，在摄影侧摄像机包含于相对位置信息60的基准摄像机或对象摄像机中时，可以使用相对信息向相对位置信息60追加记录等。
(iii)在相对信息的摄影侧摄像机不包含于相对位置信息60的基准摄像机或对象摄像机中时，如果相对信息的被摄体摄像机包含于相对位置信息60的基准摄像机或对象摄像机中，则可以使用该相对信息向相对位置信息60追加记录。因此，当在步骤S97进行了否定判定时(S97：否)，数据判定部54根据被摄体摄像机是否包含于相对位置信息60的基准摄像机或对象摄像机中，控制相对信息的输出目的地。
下面进行具体说明，在步骤S97，在相对信息的摄影侧摄像机不存在于相对位置信息60的对象摄像机中时(S97：否)，数据判定部54判定相对信息的被摄体摄像机是否与基准摄像机相同(S103)。
当在步骤S103进行了肯定判定时(S103：是)，即，被摄体摄像机和基准摄像机相同时(摄影侧摄像机正在拍摄基准摄像机的情况)，数据判定部54把相对信息输出给相对信息转换运算部56(S105)。
(iv)当在步骤S103进行了否定判定时(S103：否)，数据判定部54参照相对位置信息60的各个记录的对象摄像机，判定相对信息的被摄体摄像机是否包含于相对位置信息60的对象摄像机中(S107)。
当在步骤S107进行了肯定判定时(S107：是)，由于被摄体摄像机和对象摄像机相同，而且已知基准摄像机和对象摄像机之间的位置关系、以及摄影侧摄像机和被摄体摄像机之间的位置关系，所以能够计算基准摄像机和摄影侧摄像机之间的位置关系。因此，数据判定部54把相对信息输出给相对信息转换运算部56(S105)。
当在步骤S107进行了否定判定时(S107：否)，由于该相对信息与相对位置信息60的各个记录没有关联，所以不能向相对位置信息60追加记录。因此，数据判定部54把相对信息返回给数据管理部53(S111)。另外，数据管理部53把所返回的相对信息登记在队列的末尾。
3.5相对信息转换运算部56的具体动作
在此，说明在步骤S105向相对信息转换运算部56输出相对信息后，由相对信息转换运算部56进行的转换运算。在相对信息转换运算部56中进行转换运算的情况有以下三种情况。即：
(i)在步骤S99进行了否定判定的情况(S99：否)
(ii)在步骤S103进行了肯定判定时(S103：是)
(iii)在步骤S107进行了肯定判定时(S107：是)。
相对信息转换运算部56在从数据判定部54发送过来相对信息时(S105)，根据属于上述三种情况中的哪一种情况，控制转换运算的运算方法。下面顺序说明(i)～(iii)的情况。
首先，说明(i)在步骤S99进行了否定判定的情况。
图16是表示对象摄像机和摄影侧摄像机相同时的转换运算的运算方法的图。
在图16中，把基准摄像机设为“i”，把对象摄像机(摄影侧摄像机)设为“j”，把被摄体摄像机设为“k”。另外，在以后的说明中，例如在出现了摄像机“s”和摄像机“t”时，把以摄像机“t”为基准的xy平面的坐标系中的摄像机“s”的坐标表示为(Xs_t、Ys_t)。另外，y轴表示作为基准的摄像机的摄影方向。并且，在把角度表示为Ws_t时，表示以摄像机“t”为基准的摄像机坐标系中的摄像机“s”所朝向的方向。另外，在图16～图18中记载箭头取代了坐标(Xs_t、Ys_t)及角度Ws_t中的下划线“_”。并且，在图16～图18中，使用欧米茄表示角度Ws_t。
使用图16进行说明，在数据判定部54在步骤S99进行了否定判定后，相对信息转换运算部56接收从数据判定部54发送过来的相对信息。相对信息转换运算部56参照相对位置信息60，检索相对位置信息60中包含的各个记录中、与相对信息的摄影侧摄像机相同的摄像机包含于对象摄像机中的记录。检索到的记录表示基准摄像机和对象摄像机(摄影侧摄像机)之间的位置关系。因此，对从相对位置信息60检索到的表示以基准摄像机为基准时的对象摄像机(摄影侧摄像机)的坐标和朝向的记录、和从数据判定部54接收到的相对信息(以摄影侧摄像机为基准时的被摄体摄像机的坐标和朝向)进行矢量合成，从而能够计算以基准摄像机为基准时的被摄体摄像机的坐标和朝向。具体如图16所示，以基准摄像机“i”为基准时的摄像机坐标系中的被摄体摄像机“k”的坐标(Xk_i、Yk_i)和朝向Wk_i表示如下。
Xk_i＝Xj_i+(cosWj_i·Xk_j+sinWj_i·Yk_j)
Yk_i＝Yj_i+(-sinWj_i)·Xk_j+cosWj_i·Yk_j
Wk_i＝Wj_i+Wk_j
这样计算坐标(Xk_i、Yk_i)和朝向Wk_i后，相对信息转换运算部56生成用于追加到相对位置信息60中的记录。记录中包含的各个参数如下所述。即，在将基准摄像机62表示为“i”、将对象摄像机63表示为“k”时，相对的朝向64表示为“Wk_i”，相对的位置65表示为“(Xk_i、Yk_i)”。在生成该记录后，相对信息转换运算部56把所生成的记录输出给相对位置信息管理部55。另外，相对位置信息管理部55接收所输出的记录，并追加到相对位置信息60中。
下面，说明(ii)在步骤S103进行了肯定判定的情况。
图17是表示基准摄像机和被摄体摄像机相同时的转换运算的运算方法的图。在图17中，把基准摄像机(被摄体摄像机)设为“i”，把摄影侧摄像机设为“q”。所说基准摄像机和被摄体摄像机相同的情况，换言之，指的是摄影侧摄像机正在拍摄基准摄像机的情况。因此，为了计算以基准摄像机为基准时的摄像机坐标系中的摄影侧摄像机的朝向和坐标，可以计算相对信息所表示的、表示以摄影侧摄像机为基准时的被摄体摄像机(基准摄像机)的坐标和朝向的矢量的逆矢量。具体如图17所示，以基准摄像机“i”为基准时的摄像机坐标系中的摄影侧摄像机“q”的坐标(Xq_i、Yq_i)和朝向Wq_i表示如下。
即，
Xq_i＝cosWi_q·(-Xi_q)+(-sinWi_q)·(-Yi_q)
Yq_i＝sinWi_q·(-Xi_q)+cosWi_q·(-Yi_q)
Wq_i＝360-Wi_q
在进行转换运算后，相对信息转换运算部56生成用于追加到相对位置信息60中的记录。说明该记录的各个参数，在将基准摄像机62表示为“i”、将对象摄像机63表示为“q”时，相对的朝向64表示为“Wq_i”，相对的位置65表示为“(Xq_i、Yq_i)”。相对信息转换运算部56把所生成的记录输出给相对位置信息管理部55。
下面，说明(iii)在步骤S107进行了肯定判定的情况。
图18是表示对象摄像机和被摄体摄像机相同时的转换运算的运算方法的图。在图18中，把基准摄像机设为“i”，把对象摄像机(被摄体摄像机)设为“m”，把摄影侧摄像机设为“p”。该情况时，首先求出表示以摄影侧摄像机的摄像机坐标系为基准时的被摄体摄像机(对象摄像机)的坐标和朝向的矢量的逆矢量。然后，求出以被摄体摄像机(对象摄像机)的摄像机坐标系为基准时的摄影侧摄像机的坐标和朝向。以后与图16所示情况相同。具体如图18所示，以基准摄像机“i”为基准时的摄像机坐标系中的摄影侧摄像机“p”的坐标(Xp_i、Yp_i)和朝向Wp_i表示如下。
即，
Xp_i＝Xm_i+cosWm_i·Xp_m+sinWm_i·Yp_m
Yp_i＝Ym_i+(-sinWm_i)·Xp_m+cosWm_i·Yp_m
Wp_i＝Wm_i+Wp_m
其中，Xp_m、Yp_m、Wp_m如图所示表示如下。
Xp_m＝cosWm_p·(-Xm_p)+(-sinWm_p)·(-Ym_p)
Yp_m＝sinWm_p·(-Xm_p)+cosWm_p·(-Ym_p)
Wp_m＝360-Wm_p
在进行转换运算后，相对信息转换运算部56生成用于追加到相对位置信息60中的记录。说明该记录的各个参数，在将基准摄像机62表示为“i”、将对象摄像机63表示为“p”时，相对的朝向64表示为“Wp_i”，相对的位置65表示为“(Xp_i、Yp_i)”。相对信息转换运算部56把所生成的记录输出给相对位置信息管理部55。
以上结束有关位置关系计算部7的动作的说明。
3.6图像选择辅助部8的动作
下面，说明图像选择辅助部8的动作。
图像选择辅助部8从相对位置信息管理部55获取有关某个设定时刻的相对位置信息60。
图像选择辅助部8参照所获取的相对位置信息60中包含的各个记录中的对象摄像机63及相对的朝向64及相对的位置65，生成表示把一个摄像机作为基准时的其他摄像机的相对位置关系的图像。图19表示由图像选择辅助部8如此生成的图像的一例。
在图19的图像70a中，表示以摄像机“A”为基准时的其他摄像机的坐标和朝向。在图19中，“A”或“B”等符号表示各个摄像机(摄像机A、摄像机B、…)。使用参照符号进行说明，摄像机71表示摄像机A，摄像机72表示摄像机B。以后相同，摄像机73表示摄像机C，摄像机74表示摄像机D，摄像机75表示摄像机E，摄像机76表示摄像机F，摄像机77表示摄像机G。并且，在图19中，从“A”或“B”等表示摄像机的符号延伸出来的箭头表示各个摄像机的朝向。
图像选择辅助部8在这样生成表示各个摄像机的位置关系的图像后，使用所生成的图像，生成由用户进行图像选择用的用户界面。图20、图21是表示用户界面的一例的图。
用户界面90(作为用户界面90的一例，在图20中示出两个用户界面90a、90b，在图21中示出两个用户界面90c、90d)包括摄影图像显示区域91、摄像机间位置关系显示区域92、和摄像机识别信息显示区域93。
摄影图像显示区域91是显示由用户选择的摄像机的摄影图像的区域。图像选择辅助部8使用相对位置信息60的时刻61和所选择的摄像机的识别符，与摄影图像的元数据进行比较，由此确定对应于显示对象的摄影图像，并读出来进行显示。
另外，在本实施方式中，不仅显示摄影图像，也将确定并识别被摄入摄影图像中的被摄体摄像机的图像数据(被摄体识别图像96)叠加显示在摄影图像上。
被摄体识别图像96的显示方式有各种方式。
例如，把以被摄入摄影图像中的被摄体摄像机为中心的圆形图像和用于识别被摄体摄像机的信息，作为被摄体识别图像96进行叠加显示。这样，用户容易识别被摄入摄影图像中的被摄体摄像机，并且用户容易识别该被摄体摄像机是哪个摄像机。除此之外，也可以利用颜色或其他形状等各种方法来确定并识别各个摄像机。
并且，在利用颜色识别各个摄像机时，对于相同的摄像机，把摄影图像显示区域91中用于识别被摄体摄像机的颜色、和摄像机间位置关系显示区域92中的各个摄像机的颜色，设为相同的颜色，从而用户能够容易掌握摄像机间的位置关系。并且，也可以把摄像机间位置关系显示区域92中的基准摄像机的颜色、和摄影图像显示区域91中的边框(摄影图像的边缘)颜色或摄像机识别信息显示区域93的颜色，设为相同的颜色。这样，能够容易识别显示在摄影图像显示区域91中的摄影图像是利用哪个摄像机拍摄的图像。
另外，被摄体摄像机在摄影图像中的位置已经由相对信息计算部6通过图像识别部14的图像识别而确定，所以由此也可以确定被摄体识别图像96的显示位置。此外，还可以参照相对信息，根据以摄影侧摄像机为基准时的摄像机坐标系中的被摄体摄像机的坐标，推测被摄体摄像机在摄影图像中的摄入的区域，在所推测的区域中显示被摄体识别图像96。如果已经知道摄像机的焦距等各个参数，则能够进行上述推测。
并且，也可以以能够识别从拍摄了摄影图像的摄影侧摄像机到被摄体摄像机的距离的方式显示被摄体识别图像96。例如，可以考虑根据从摄影侧摄像机到被摄体摄像机的距离，改变被摄体识别图像96的大小、或改变其颜色等的各种方法。
例如，在用户界面90a中，显示被摄体识别图像96b和被摄体识别图像96c。被摄体识别图像96b表示被摄体摄像机是摄像机B，被摄体识别图像96c表示被摄体摄像机是摄像机C。
另外，在图20中显示摄像机的识别符，但也可以显示被摄体摄像机的佩戴者(人物等)的名称。
摄像机间位置关系显示区域92是显示表示把一个摄像机作为基准时的其他摄像机的坐标和朝向的图像(图19中示出的图像70a等)的区域。图像选择辅助部8使表示各个摄像机的符号(摄像机71等)与各个摄像机拍摄的摄影图像，在上述图像中相对应。在用户界面90中，在用户选择摄像机71等的符号后，被选择的摄像机的摄影图像被显示在摄影图像显示区域91中。
另外，也可以预先使显示在摄影图像显示区域91中的被摄体识别图像96与该被摄体识别图像96表示的被摄体摄像机的摄影图像相对应，在用户选择被摄体识别图像96后，与该被摄体识别图像96对应的摄像机的摄影图像显示在摄影图像显示区域91中。例如，在用户界面90a的示例中，在用户选择被摄体识别图像96c后，摄像机C的摄影图像显示在摄影图像显示区域91中。
另外，在图20中，图像选择辅助部8将用户选择的摄像机与其他摄像机区分显示，以便能够容易识别用户选择了哪个摄像机。例如，如图所示，在摄像机间位置关系显示区域92中反转显示被选择的摄像机。
摄像机识别信息显示区域93是显示在摄影图像显示区域91中显示的摄影图像是由哪个摄像机拍摄的区域。即，是显示被用户选择的摄像机的区域。
另外，图20中的用户界面90a是用户选择了摄像机A时的示例。以下相同，用户界面90b是用户选择了摄像机B时的示例，图21中的用户界面90c是用户选择了摄像机C时的示例，用户界面90d是用户选择了摄像机D时的示例。
图像选择辅助部8生成以上说明的用户界面90，并显示在显示部3上。另外，用于受理用户进行的摄像机选择操作的操作受理部可以是任何单元。例如，也可以把显示部3作为触摸屏来受理用户的操作。该情况时，若用户通过触摸触摸屏来选择表示各个摄像机的符号、在显示部3上显示有被摄体识别图像96的部分，则被选择的摄像机的摄影图像显示在摄影图像显示区域91中。并且，也可以在数据处理装置2设置操作受理部(键盘、鼠标、触摸垫等的输入单元)，还可以通过网络将用户的操作内容输入数据处理装置2。
并且，也可以在上述用户界面90中缩略显示各个摄像机拍摄的摄影图像。
(生成以被选择的摄像机为基准的图像)
并且，图像选择辅助部8除上述说明的实施方式之外，也可以采用以下方式。
即，图像选择辅助部8在每当用户选择摄像机时，把被选择的摄像机作为基准，生成表示其他摄像机的坐标和朝向的图像，将所生成的图像显示在摄像机间位置关系显示区域92中。
图22是表示把各个摄像机作为基准时与其他摄像机的位置关系的图。
图22所示的各个图像在每当选择了摄像机时被显示在摄像机间位置关系显示区域92中。另外，把选择了摄像机A的情况表示为摄像机间位置关系显示区域92a。以下相同，把用户选择了摄像机B的情况表示为摄像机间位置关系显示区域92b，把用户选择了摄像机C的情况表示为摄像机间位置关系显示区域92c，把用户选择了摄像机D的情况表示为摄像机间位置关系显示区域92d。
这样，在生成以各个摄像机为基准的图像时可以考虑以下方法。例如，可以在每当选择了摄像机时，利用位置关系计算部7计算把被选择的摄像机作为基准摄像机时的相对位置信息60，并生成上述图像。并且，对于某个摄像机，也可以在生成表示与其他摄像机的位置关系的图像后，在每当选择了其他摄像机时，将上述生成的图像旋转或缩小放大，从而显示把被选择的摄像机作为基准摄像机时的上述图像。
(显示被摄体摄像机的朝向)
并且，如图23中的用户界面90e、90f所示，也可以在摄影图像显示区域91中叠加显示作为表示被摄体摄像机的朝向(摄影方向)的图像的、摄像机摄影方向97。
在用户界面90e中，例如把摄像机B的摄影方向设为摄像机摄影方向97b等，并利用箭头形状显示。
另外，由于已经根据相对位置信息60或相对信息得知各个摄像机的朝向，所以通过预先使朝向和箭头形状的图像相对应、或者根据朝向使箭头形状的图像旋转，能够叠加显示摄像机摄影方向97。
(显示被遮挡的摄像机)
并且，在摄影图像显示区域91中，例如，如用户界面90e的摄影图像显示区域91所示，也可以对被物体等遮挡的摄像机(例如被摄像机C遮挡的摄像机G)显示被摄体识别图像96。另外，也可以以能够判别摄像机被遮挡的方式显示被摄体识别图像96。在用户界面90e的示例中，把圆形的图像利用虚线显示为被摄体识别图像96e。即，显示为与有关未被遮挡的摄像机的被摄体识别图像96不同的状态。另外，在该情况时，可以显示有关被遮挡的摄像机的朝向(摄像机摄影方向97g)，也可以不显示。另外，按照下面所述那样来确定被遮挡的摄像机在摄影图像中的位置。首先，判定是否存在被遮挡的摄像机(关于判定方法将在后面说明)，当存在时确定被遮挡的摄像机。并且，参照把该摄影图像的摄影侧摄像机作为基准摄像机的相对位置信息60，使用相对位置信息60所表示的被遮挡摄像机的坐标、和摄影侧摄像机的摄像机参数(利用焦距表示的摄影范围等的信息)，确定摄影图像中被遮挡的摄像机的位置。在这样确定的位置，以能够判别摄像机被遮挡的方式显示被摄体识别图像96。
另外，关于是否存在被遮挡的摄像机的判定，例如对某个摄影图像提取进入摄影侧摄像机的摄影范围的摄像机。生成以摄影侧摄像机为基准摄像机的相对位置信息60，如果已知摄影侧摄像机的视场角等，则能够提取摄影范围内的摄像机。并且，在该摄影侧摄像机的摄影图像中，确定通过图像识别被识别为被摄体摄像机的被摄体摄像机。从位于上述摄影范围内的摄像机组中去除被摄体摄像机，即可确定被遮挡的摄像机。
参照图23的用户界面90e进行说明，在摄像机A的摄影范围内(摄影范围94a)包含摄像机B、摄像机C、摄像机G，提取这些摄像机。在摄像机A的摄影图像中，摄像机B和摄像机C作为被摄体摄像机被摄入。从所提取的摄像机B、摄像机C、摄像机G中去除被摄体摄像机，则摄像机G剩了下来。该摄像机G被确定为被遮挡的摄像机。
在此，也可以按照下面所述判定是否存在被遮挡的摄像机。在以下示例中，能够判定有无被其他摄像机遮挡的摄像机。
具体地讲，图像选择辅助部8把拍摄了显示在摄影图像显示区域91中的摄影图像的摄像机作为基准摄像机(在用户界面90e的示例中指摄像机A)，使位置关系计算部7计算相对位置信息60。并且，图像选择辅助部8确定被摄入该基准摄像机的摄影图像中的被摄体摄像机(在该图的示例中指摄像机B、摄像机C)。例如，通过参照基准摄像机是摄影侧摄像机的相对信息来进行确定。
图像选择辅助部8在确定被摄体摄像机后，在把基准摄像机的位置作为原点的摄像机坐标系中，求出通过原点和被摄体摄像机的坐标的直线(在该图的示例中，指通过摄像机A和摄像机B的坐标的直线，以及通过摄像机A和摄像机C的坐标的直线)。图像选择辅助部8判定在利用以该直线的斜率为基准的一定范围内的倾斜直线表示的区域中是否存在其他摄像机。
图像选择辅助部8当在上述判定中判定为存在的情况下，在该摄像机距基准摄像机的距离比该直线涉及的被摄体摄像机与基准摄像机之间的距离长时，判定是被被摄体摄像机遮挡的摄像机。
使用图24简单说明该情况。
图24是表示有无被被摄体摄像机遮挡的摄像机的判定方法的图。
与上述示例相同，把摄像机A作为基准摄像机，把摄像机C作为被摄体摄像机。
利用实线101表示通过摄像机A的坐标(原点)和摄像机C的坐标的直线。并且，利用虚线102a和虚线102b表示利用以该直线的斜率为基准的一定范围内的倾斜直线表示的区域。在利用该虚线102a和102b表示的区域中，如图所示，存在摄像机G。该情况时，图像选择辅助部8判定摄像机G被被摄体摄像机(摄像机C)所遮挡。
(显示摄影范围)
并且，也可以在用户界面90中显示各个摄像机的摄影范围。在图23的示例中，在摄像机间位置关系显示区域92中显示表示摄像机的摄影范围的摄影范围94。在用户界面90e的示例中，把摄像机A的摄影范围显示为摄影范围94a，在用户界面90f的示例中，把摄像机B的摄影范围显示为摄影范围94b。
并且，也可以显示为能够区分摄影范围外的摄像机和摄影范围内的摄像机。例如，在图23的示例中，显示摄影范围内图像98(98b、98c)，该摄影范围内图像是表示位于摄影范围内这一情况的图像。并且，对于虽然在摄影范围内但被其他摄像机遮挡的摄像机，也可以显示为能够与未被遮挡的摄像机区分的状态。在用户界面90e的示例中，例如利用虚线99(99g)显示为与摄影范围内图像98不同的状态，由此表示摄像机G是被遮挡的摄像机。
4实施方式2
(实施方式2)
下面，说明实施方式2。
本发明的实施方式2涉及的显示终端1000是计算机系统，由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、适配器、扬声器等构成。在所述ROM或所述硬盘单元中存储有计算机程序，所述计算机程序被读出到RAM中，所述微处理器按照所述计算机程序而动作，从而，显示终端1000实现其功能。
显示终端1000的外装如图25所示，由显示器1001、键盘1002和适配器1003构成。
具体地讲，显示终端1000具有在实施方式1中作为数据处理装置2而说明的结构。并且，在实施方式1中说明的数据处理装置2和显示部3是分别独立的单元，但显示终端1000不仅具有数据处理装置2，而且具有显示部3作为显示器1001。另外，显示终端1000在显示器1001上显示利用与数据处理装置2相同的结构计算的摄像机间的位置关系，作为佩戴了摄像机的各个用户的位置关系。并且，利用键盘1002受理用户的指定，在显示器1001上显示所受理的用户佩戴的摄像机的摄影图像。
在显示器1001上显示有如图20～图23所示的、通过显示终端1000的内部处理计算的用户彼此的位置关系、和由通过操作键盘1002指定的用户佩戴的摄像机拍摄的摄影图像等。在此，关于用户的指定，在显示器1001是触摸屏时，能够指定显示器1001显示的用户彼此的位置关系中的用户位置、由用户佩戴的摄像机拍摄的摄影图像中的用户位置。
通过操作键盘1002进行以下处理，即：设定作为通过显示终端1000的内部处理计算的用户彼此的位置关系的计算对象的、用户及时间段，或者从显示在显示器上的用户中指定作为用户彼此的位置关系的计算对象的用户，或者指示连续显示用户彼此的位置关系或由用户佩戴的摄像机拍摄的图像，或进行停止连续的显示来加以显示的指示。
适配器1003是因特网适配器或卡槽，显示终端1000通过适配器1003获取由多个用户佩戴的摄像机拍摄的图像等。显示终端1000使用通过适配器1003获取的由多个用户佩戴的摄像机拍摄的图像，通过内部处理进行计算用户彼此的位置关系等。
显示终端1000通过内部处理，进行在实施方式1中说明的处理。在能够像动态图像那样以时间上相连续的状态获取由多个用户佩戴的摄像机拍摄的图像时，提取相同时刻的摄影图像，根据所提取的摄影图像，按照在上述实施方式1中说明的方法计算多个用户彼此间的位置关系。并且，进行指示，以便使连续计算的多个用户彼此间的位置关系在时间上连续而显示在显示器1001上。
在此，也可以利用与存在不能算出的用户彼此的位置关系的时刻的之前或之后时刻的用户彼此的位置关系相关的信息，插补不能算出的用户位置(相对作为基准的其他用户的相对位置)。
插补方法可以是获取能够算出的之前和之后时刻的用户位置的中心点的方法，根据之前或之后的用户位置通过曲线近似求出的方法等。
并且，也可以使用加速度传感器或速度传感器等测试用户的移动的其他传感器的传感数据，插补不能算出的用户位置。
另外，在上述说明中，示出了显示器1001利用一个画面构成的示例，但也可以利用多个画面构成。例如，可以利用两个画面构成，在该情况时，在一个画面上显示用户彼此的位置关系，在另一个画面上显示由所指定的用户佩戴的摄像机拍摄的图像。并且，该情况时，显示终端1000的内部处理指示将显示对象分配为多个画面来显示。
另外，在上述说明中，使用图25所示的示例说明了显示终端1000的外装，但不限于此。例如，也可以是个人电脑或PDA、电子记事本等那种形式的终端。
另外，在上述说明中，显示终端1000的构成方式为安装了以下单元：获取由用户佩戴的摄像机拍摄的图像的适配器1003；负责计算用户彼此的位置关系的内部处理的部分；用于操作终端的处理的键盘1002；显示所计算的用户彼此的位置关系、或由所指定的用户佩戴的摄像机拍摄的图像等的显示器1001，但也可以是显示终端1000搭载其中一部分，由其他装置搭载其他部分的系统。例如图26所示的结构。
图26所示的系统由STB(Set Top Box：机顶盒)装置2001、TV装置2002和未图示的控制器构成。
STB装置2001是HDD记录器、DVD记录器、组合音响等，搭载了所述显示终端1000中的、获取由用户佩戴的摄像机拍摄的图像的适配器1003和负责计算用户彼此的位置关系的内部处理的部分。
TV装置2002是PDP、LCD等，其与所述STB连接，搭载了所述显示终端1000中的显示器1001，用于显示所计算的用户彼此的位置关系、或由所指定的用户佩戴的摄像机拍摄的图像等。
操作所述STB或所述TV装置的控制器搭载了用于操作终端的处理的键盘1002。
5变形例
(1)被摄体摄像机识别部15
(1-1)识别方法
在上述实施方式的说明中，为了识别摄入到摄影图像中的被摄体摄像机，采用了二维代码，但被摄体摄像机的识别方法不限于此。例如，可以考虑颜色或二维标记30的形状及文字及图案等各种方法。总之，只要对每个摄像机分配固有的信息即可。
例如，对各个摄像机分配颜色，以便能够识别各个摄像机。并且，也可以判别二维标记30(或摄像机识别区域31)的颜色，识别附带有二维标记30的摄像机。关于形状也同样，如果对各个摄像机分配各个摄像机固有的二维标记30的形状，则通过判别该形状即可识别各个摄像机。
(1-2)图像识别的对象
并且，通过图像识别部14的图像识别来检测附加给摄像机的二维标记30，但不必局限于使用二维标记30的方法。总之，只要能够识别被摄体摄像机即可，所以图像识别的对象除二维标记30之外，也可以是被摄体摄像机自身、与佩戴了被摄体摄像机的用户相关的信息等。
例如，可以通过图像识别来识别被摄入到摄影图像中的被摄体摄像机自身，还可以通过对佩戴了被摄体摄像机的用户的脸或服装等用户的特征部分进行图像识别，从而识别被摄体摄像机。具体地讲，例如可以对用户的服装附加识别用的标记。该情况时，在摄影图像中，即使被摄体摄像机被佩戴该摄像机的用户自身遮挡，也能够利用上述识别用的标记来识别被摄体摄像机。
(2)被摄体摄像机信息计算部16
在上述实施方式的说明中，说明了计算被摄体摄像机和摄影侧摄像机之间的位置关系的情况。
在此，关于位置关系说明了以某个摄像机为基准时的其他摄像机的坐标和朝向的情况，但也可以指坐标和朝向中任一方。例如，也存在各个摄像机不怎么移动而只改变摄像机的朝向(摄影方向)的情况等、不需要计算其他摄像机的坐标的情况，还存在摄像机被固定的情况等。
因此，在本发明中，位置关系计算部7也可以不把其他摄像机的坐标作为计算的对象，而只计算其他摄像机的朝向。
并且，也可以与此相反，位置关系计算部7只计算其他摄像机的坐标，并计算各个摄像机的相对位置关系。例如，有可能存在各个摄像机面向的方向被固定为相同方向的情况等。
(3)基准摄像机设定部52
基准摄像机由基准摄像机设定部52设定，但除上述实施方式之外，也可以按照下面所述进行设定。
(3-1)根据计算量来设定基准摄像机
例如，参照登记在队列中的各个相对信息，在把各个相对信息中包含的各个摄影侧摄像机或各个被摄体摄像机作为基准时，估算生成相对位置信息60所需要的计算量，根据估算的计算量来设定基准摄像机。例如，可以把计算量最小的摄像机作为基准摄像机。
(3-2)根据指定来设定基准摄像机
除此之外，也可以把基准摄像机固定为某个摄像机。
并且，也可以通过用户的指定来设定基准摄像机。还可以在每当用户进行指定时，生成相对位置信息60。
(4)相对信息的生成方法
在上述实施方式中，说明了相对信息计算部6获取各个摄像机的摄影图像，对所获取的各个摄影图像生成相对信息的情况。
不限于此，相对信息也可以在数据处理装置2的外部生成。例如，可以由各个摄像机生成相对信息，数据处理装置2从各个摄像机接收摄影图像和相对信息。即，相对信息计算部6也可以设置在数据处理装置2的外部。
(5)摄影图像
在上述实施方式中，各个摄像机以预定时间间隔进行静态图像的摄影，但摄像机拍摄的内容不限于静态图像，也可以是动态图像。
一般，相比静态图像摄影，动态图像摄影的图像分辨率变低。并且，存在以下情况，一般来说，图像的分辨率越高，越能够高精度地计算相对信息，例如越能够从摄影图像中检测出比较远距离的二维标记等。
但是，根据摄像机间的距离，在分辨率更低的动态图像摄影中，也能够以足够高的精度计算摄像机间的相对位置关系、以及把一个摄像机作为基准时的其他摄像机的相对位置和朝向。
(6)被摄体摄像机信息计算部16
在上述实施方式的说明中，被摄体摄像机信息计算部16计算把摄影侧摄像机的摄像机坐标系作为基准时的、摄影侧摄像机和被摄体摄像机之间的位置关系。但不限于此，被摄体摄像机信息计算部16也可以计算在把被摄体摄像机的摄像机坐标系作为基准时的、摄影侧摄像机和被摄体摄像机之间的位置关系。即，使相对信息表示摄影侧摄像机的相对朝向和坐标。该情况时，相对信息表示以被摄体摄像机为基准的坐标系中的摄影侧摄像机的相对朝向和坐标，所以在上述数据判定部54或相对信息转换运算部56等的说明中，替换“摄影侧摄像机”和“被摄体摄像机”。
并且，在上述实施方式中，在“2.5.6.2被摄体摄像机识别部15的具体内容”中，使用图7说明了将摄影侧摄像机和被摄体摄像机的相对位置表示为二维坐标，而忽视摄像机坐标系中的Y轴的值“Y”的情况，但不限于此，也可以包含Y轴的值。即，也可以利用三维坐标值表示相对位置。
(7)设定时刻的更新和相对位置信息60的生成
在上述实施方式1的说明中，根据预定的设定时刻的相对信息，来生成相对位置信息60，但也可以更新设定时刻，生成各个设定时刻的相对位置信息60。这样，如果在各个时刻生成相对位置信息60，则当具有在某个设定时刻相对基准摄像机的坐标等不明确的不明摄像机时，参照其前后时刻的相对位置信息60等，以前后时刻的坐标值为基础，例如把中间点的坐标推测为上述设定时刻时的不明摄像机的坐标，由此，能够插补上述设定时刻时的该不明摄像机的坐标。
并且，在上述实施方式1的说明中，数据判定部54通过步骤S101废弃相对信息，但也可以不废弃。该情况时，在相对位置信息60通过上述插补被更新时，以没有废弃的相对信息和更新后的相对位置信息60为基础，可重新更新相对位置信息60。
(8)其他
并且，也可以把多个摄像机作为基准摄像机，对每个摄像机生成相对位置信息60并且保存。
并且，还可以根据利用本发明的位置关系计算方法计算的3个用户佩戴的摄像机彼此的位置关系，同时搭载测距传感器等，把计算的3个位置作为基准，按照三点测量的要领来计算其他摄像机的位置。
还可以根据利用本发明的位置关系计算方法计算的用户佩戴的摄像机彼此的位置关系，同时搭载加速度传感器等，计算相对所计算的位置关系的移动路径，并计算摄像机彼此的位置关系。
6补充
以上根据实施方式说明了本发明涉及的数据处理装置和数据处理系统，但也可以进行以下变形，本发明当然不限于上述实施方式示出的数据处理装置等。
(1)上述各个装置具体地讲是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。在所述RAM或所述硬盘单元中存储有计算机程序。所述微处理器按照所述计算机程序而动作，从而各个装置实现其功能。在此，计算机程序是为了实现预定的功能，组合了多个表示针对计算机的指令的命令代码而构成的。另外，各个装置不限于包含微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等全部单元的计算机系统，也可以是由其中一部分构成的计算机系统。
(2)构成上述各个装置的构成要素的一部分或全部可以利用一个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是在一个芯片上集成多个构成要素而制得的超多功能LSI，具体地讲是包括微处理器、ROM、RAM等构成的计算机系统。在所述RAM中存储有计算机程序。所述微处理器按照所述计算机程序而动作，从而系统LSI实现其功能。
另外，此处是形成为系统LSI，但根据集成程度的不同，有时也称为IC、LSI、超级(super)LSI、特级(ultra)LSI。并且，集成电路化的方法不限于LSI，也可以利用专用电路或通用处理器实现。也可以采用在制作LSI后能够编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、能够再构成LSI内部的电路单元的连接和设定的可重构处理器。
另外，如果利用伴随半导体技术的发展或派生的其他技术来替换LSI的集成电路化的技术问世，当然也可以使用该技术进行功能单元的集成化。还存在适用生物技术等的可能性。
(3)构成上述各个装置的构成要素的一部分或全部也可以利用能够在各个装置上插拔的IC卡或单体模块构成。所述IC卡或所述模块是利用微处理器、ROM、RAM等构成的计算机系统。所述IC卡或所述模块也可以包括上述的超多功能LSI。通过微处理器按照计算机程序而动作，所述IC卡或所述模块实现其功能。该IC卡或该模块也可以具有耐篡改性。
(4)本发明也可以是上述披露的方法。并且，也可以是利用计算机实现这些方法的计算机程序，还可以是利用所述计算机程序构成的数字信号。
并且，本发明也可以构成为将所述计算机程序或所述数字信号记录在计算机可以读取的记录介质中，例如记录在软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc：蓝光光盘)、半导体存储器等中。并且，还可以构成为记录在这些记录介质中的所述计算机程序或所述数字信号。
并且，本发明也可以构成为经由电气通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等，传输所述计算机程序或所述数字信号。
并且，本发明也可以构成为具有微处理器和存储器的计算机系统，所述存储器存储所述计算机程序，所述微处理器按照所述计算机而动作。
并且，本发明也可以构成为将所述程序或所述数字信号记录在所述记录介质中并移送，或者经由所述网络等移送所述程序或所述数字信号，从而利用独立的其他计算机来实施。
(5)还可以分别组合上述实施方式和上述变形例。
产业上的可利用性
本发明涉及的数据处理装置例如作为构建界面的技术比较有用，该界面运用由多个用户佩戴摄像机这一特征，检测佩戴了摄像机的用户彼此的位置关系，根据所检测的用户彼此的位置关系，选择用户佩戴的摄像机的摄影图像。

Claims (22)

1.一种数据处理装置，管理多个摄像机的位置关系，其特征在于，具有：
摄影图像获取部，获取由所述多个摄像机拍摄的多个不同的摄影图像数据；
图像识别部，通过对每个所述摄影图像数据实施图像识别处理，检测用于确定被摄体摄像机的预定的检测对象数据；
计算部，根据检测到的每个检测对象数据，计算相对信息，该相对信息表示以摄影图像数据的摄影侧摄像机或被摄体摄像机中的任一方的坐标系为基准时的、另一方摄像机的坐标和摄影方向；
判定部，对于由所述计算部算出的各个相对信息，判定是否将相对信息转换为表示以所述多个摄像机中的基准摄像机的坐标系为基准时的、其他摄像机的坐标和摄影方向的信息；
相对信息转换运算部，根据所述判定部的判定结果进行所述转换；以及
相对位置信息管理部，通过将所算出的各个相对信息中、在相对信息中成为坐标系的基准的原点摄像机是基准摄像机的信息和由所述相对信息转换运算部转换后的信息汇集，从而生成相对位置信息，该相对位置信息表示以所述基准摄像机的坐标系为基准时的、各个摄像机的坐标和摄影方向。
2.根据权利要求1所述的数据处理装置，其特征在于，
所述判定部判定在所述相对信息中成为坐标系的基准的原点摄像机是否是基准摄像机，在判定为不是基准摄像机、而且所述相对信息的摄影侧摄像机或被摄体摄像机满足预定的条件时，判定为进行所述转换。
3.根据权利要求2所述的数据处理装置，其特征在于，
所述相对位置信息管理部保存所述相对位置信息，对于各个摄像机逐次受理关于一个摄像机的、表示以基准摄像机的坐标系为基准时的坐标和摄影方向的基准信息，从而更新所保存的相对位置信息，
所述判定部包括保存所算出的各个相对信息的数据管理部，
所述判定部顺序读出保存在所述数据管理部中的各个相对信息，在所读出的相对信息的摄影侧摄像机和被摄体摄像机都不是基准摄像机、而且都不是在所述相对位置信息中登记了基准信息的摄像机时，将该读出的相对信息返回给所述数据管理部。
4.根据权利要求1所述的数据处理装置，其特征在于，
所述相对位置信息管理部保存所述相对位置信息，对于各个摄像机逐次受理关于一个摄像机的、表示以基准摄像机的坐标系为基准时的坐标和摄影方向的基准信息，从而更新所保存的相对位置信息，
所述判定部，在所述相对信息的原点摄像机是基准摄像机的情况下，当在该相对信息中示出了以原点摄像机的坐标系为基准时的坐标和摄影方向的摄像机，是在所述相对位置信息中没有登记基准信息的摄像机时，将该相对信息所表示的摄影侧摄像机与被摄体摄像机之间的位置关系作为所述基准信息，登记在所述相对位置信息中。
5.根据权利要求4所述的数据处理装置，其特征在于，
所述判定部，在所述相对信息的原点摄像机是基准摄像机的情况下，当在该相对信息中示出了以原点摄像机的坐标系为基准时的坐标和摄影方向的摄像机，是在所述相对位置信息中登记了基准信息的摄像机时，将该相对信息废弃，而不追加在所述相对位置信息中。
6.根据权利要求2所述的数据处理装置，其特征在于，
所述相对位置信息管理部保存所述相对位置信息，对于各个摄像机逐次受理关于一个摄像机的、表示以基准摄像机的坐标系为基准时的坐标和摄影方向的基准信息，从而更新所保存的相对位置信息，
所述判定部，在所述相对信息的原点摄像机是在所述相对位置信息中登记了基准信息的摄像机的情况下，当在该相对信息中示出了以原点摄像机的坐标系为基准时的坐标和摄影方向的摄像机不是基准摄像机时，判定为进行所述转换。
7.根据权利要求6所述的数据处理装置，其特征在于，
所述相对信息转换运算部，使用所述基准信息所表示的、基准摄像机与所述判定涉及的相对信息的原点摄像机之间的位置关系，将该相对信息转换为表示以基准摄像机的坐标系为基准时的、在该相对信息中示出了以原点摄像机的坐标系为基准的位置关系的摄像机的坐标及/或摄影方向的信息。
8.根据权利要求6所述的数据处理装置，其特征在于，
所述判定部，在所述相对信息的原点摄像机是在所述相对位置信息中登记了基准信息的摄像机的情况下，当在该相对信息中示出了以原点摄像机的坐标系为基准时的坐标和摄影方向的摄像机是基准摄像机时，将该相对信息废弃，而不追加在所述相对位置信息中。
9.根据权利要求2所述的数据处理装置，其特征在于，
所述相对位置信息管理部保存所述相对位置信息，对于各个摄像机逐次受理关于一个摄像机的、表示以基准摄像机的坐标系为基准时的坐标和摄影方向的基准信息，从而更新所保存的相对位置信息，
所述判定部，在所述相对信息中示出了以原点摄像机为基准时的坐标系中的位置关系的摄像机是基准摄像机的情况下，当该相对信息的原点摄像机是在所述相对位置信息中没有登记基准信息的摄像机时，判定为进行所述转换。
10.根据权利要求9所述的数据处理装置，其特征在于，
所述相对信息转换运算部计算所述相对信息所表示的摄像机之间的位置关系的逆矢量，从而进行转换为表示以基准摄像机的坐标系为基准时的原点摄像机的坐标及/或摄影方向的信息的所述转换。
11.根据权利要求2所述的数据处理装置，其特征在于，
所述相对位置信息管理部保存所述相对位置信息，对于各个摄像机逐次受理关于一个摄像机的、表示以基准摄像机的坐标系为基准时的坐标和摄影方向的基准信息，从而更新所保存的相对位置信息，
所述判定部，在所述相对信息的原点摄像机不是基准摄像机的情况下，当在该相对信息中示出了以原点摄像机的坐标系为基准时的位置关系的摄像机，是在所述相对位置信息中登记了基准信息的摄像机时，判定为进行所述转换。
12.根据权利要求11所述的数据处理装置，其特征在于，
所述相对信息转换运算部，使用所述基准信息所表示的、与所述判定涉及的相对信息的原点摄像机的位置关系被示出的摄像机与基准摄像机之间的位置关系以及该相对信息所表示的摄影侧摄像机与被摄体摄像机之间的位置关系，进行矢量运算，从而进行转换为表示以基准摄像机的坐标系为基准时的摄影侧摄像机的坐标及摄影方向的信息的所述转换。
13.根据权利要求1所述的数据处理装置，其特征在于，
所述数据处理装置还具有图像选择辅助部，该图像选择辅助部根据所述生成的相对位置信息，生成表示以所述多个摄像机中的基准摄像机的坐标系为基准时的、各个摄像机的坐标和朝向的图像数据，并使显示部显示用于使用所生成的图像数据来选择各个摄影图像数据的用户界面。
14.根据权利要求12所述的数据处理装置，其特征在于，
所述用户界面包括：
摄像机间位置关系显示区域，显示所生成的所述图像数据；以及
摄影图像显示区域，显示被选择的摄像机的摄影图像数据，
所述图像选择辅助部包括：
位置确定部，确定进入到在所述摄影图像显示区域中显示的摄影图像数据的摄影侧摄像机的摄影范围中的摄像机在该摄影图像数据中的位置；以及
叠加显示部，在基于由所述位置确定部确定的位置的位置上，将作为用于识别摄像机的图像的被摄体识别图像，叠加显示在该摄影图像数据上。
15.根据权利要求14所述的数据处理装置，其特征在于，
所述图像选择辅助部在受理了对由所述叠加显示部叠加显示的被摄体识别图像进行选择的操作时，将由被选择的被摄体识别图像所识别的摄像机的摄影图像，显示在所述摄影图像显示区域中。
16.根据权利要求14所述的数据处理装置，其特征在于，
所述叠加显示部对各个摄像机分配颜色，利用分配给各个摄像机的颜色叠加显示该摄像机的被摄体识别图像，
所述图像选择辅助部生成所述图像数据，以便利用分配给各个摄像机的颜色从视觉上区分显示表示各个摄像机的图像。
17.根据权利要求14所述的数据处理装置，其特征在于，
所述叠加显示部，根据从拍摄了摄影图像数据的摄影侧摄像机到由所述被摄体识别图像表示的摄像机的距离，以分别不同的状态显示所述被摄体识别图像，以便能够从视觉上区分所述距离。
18.根据权利要求14所述的数据处理装置，其特征在于，
所述位置确定部，根据以所显示的摄影图像数据的摄影侧摄像机为基准摄像机时的所述相对位置信息所表示的各个摄像机的坐标、或者以所述摄影侧摄像机为原点摄像机的相对信息中的至少任一方，以及表示该摄影侧摄像机的摄影范围的摄影范围信息，进行所述确定。
19.根据权利要求18所述的数据处理装置，其特征在于，
所述位置确定部，对于进入到所述摄影范围中的各个摄像机，根据所述相对位置信息所表示的各个摄像机的坐标，判定是作为被摄体而被摄入到所述摄影图像数据中的被摄体摄像机、还是被遮挡的摄像机，
所述叠加显示部以能够从视觉上区分进入到摄影范围中的摄像机是被摄体摄像机还是被遮挡的摄像机的方式，叠加显示所述被摄体识别图像。
20.根据权利要求1所述的数据处理装置，其特征在于，
所述相对位置信息管理部保存所述相对位置信息，对于各个摄像机逐次受理关于一个摄像机的、表示以基准摄像机的坐标系为基准时的坐标和摄影方向的基准信息，从而更新所保存的相对位置信息，
所述数据处理装置在每个预定时刻生成所述相对位置信息，
在预定时刻的相对位置信息中，当存在没有所述基准信息的不定摄像机时，根据该预定时刻的前后时刻的相对位置信息所表示的不定摄像机的坐标和摄影方向，对以基准摄像机的坐标系为基准时的所述预定时刻的所述不定摄像机的坐标和摄影方向进行插补。
21.一种数据处理方法，管理多个摄像机的位置关系，其特征在于，
包括：
摄影图像获取步骤，获取由所述多个摄像机拍摄的多个不同的摄影图像数据；
图像识别步骤，通过对每个所述摄影图像数据实施图像识别处理，检测用于确定被摄体摄像机的预定的检测对象数据；
计算步骤，根据检测到的每个检测对象数据，计算相对信息，该相对信息表示以摄影图像数据的摄影侧摄像机或被摄体摄像机中的任一方的坐标系为基准时的、另一方摄像机的坐标和摄影方向；
判定步骤，对于由所述计算部算出的各个相对信息，判定是否将相对信息转换为表示以所述多个摄像机中的基准摄像机的坐标系为基准时的、其他摄像机的坐标和摄影方向的信息；
相对信息转换运算步骤，根据所述判定部的判定结果进行所述转换；以及
相对位置信息管理步骤，通过将所算出的各个相对信息中、在相对信息中成为坐标系的基准的原点摄像机是基准摄像机的信息和由所述相对信息转换运算部转换后的信息汇集，从而生成相对位置信息，该相对位置信息表示以所述基准摄像机的坐标系为基准时的、各个摄像机的坐标和摄影方向。
22.一种计算机可读取的记录介质，记录了控制程序，该控制程序使数据处理装置执行用于管理多个摄像机的位置关系的各个步骤，其特征在于，所述控制程序包括：
摄影图像获取步骤，获取由所述多个摄像机拍摄的多个不同的摄影图像数据；
图像识别步骤，通过对每个所述摄影图像数据实施图像识别处理，检测用于确定被摄体摄像机的预定的检测对象数据；
计算步骤，根据检测到的每个检测对象数据，计算相对信息，该相对信息表示以摄影图像数据的摄影侧摄像机或被摄体摄像机中的任一方的坐标系为基准时的、另一方摄像机的坐标和摄影方向；
判定步骤，对于由所述计算部算出的各个相对信息，判定是否将相对信息转换为表示以所述多个摄像机中的基准摄像机的坐标系为基准时的、其他摄像机的坐标和摄影方向的信息；
相对信息转换运算步骤，根据所述判定部的判定结果进行所述转换；以及
相对位置信息管理步骤，通过将所算出的各个相对信息中、在相对信息中成为坐标系的基准的原点摄像机是基准摄像机的信息和由所述相对信息转换运算部转换后的信息汇集，从而生成相对位置信息，该相对位置信息表示以所述基准摄像机的坐标系为基准时的、各个摄像机的坐标和摄影方向。
CN2008800024278A 2007-01-16 2008-01-16 数据处理装置、方法、记录介质 Active CN101583969B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP006689/2007 2007-01-16
JP2007006689 2007-01-16
PCT/JP2008/050432 WO2008087974A1 (ja) 2007-01-16 2008-01-16 データ処理装置、方法、記録媒体

Publications (2)

Publication Number Publication Date
CN101583969A true CN101583969A (zh) 2009-11-18
CN101583969B CN101583969B (zh) 2012-08-29

Family

ID=39635980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800024278A Active CN101583969B (zh) 2007-01-16 2008-01-16 数据处理装置、方法、记录介质

Country Status (4)

Country Link
US (1) US8154616B2 (zh)
JP (1) JP4750859B2 (zh)
CN (1) CN101583969B (zh)
WO (1) WO2008087974A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102474570A (zh) * 2010-06-08 2012-05-23 松下电器产业株式会社 信息显示装置、显示控制用集成电路及显示控制方法
CN102638657A (zh) * 2011-02-14 2012-08-15 索尼公司 信息处理设备和成像区域共享确定方法
CN103563348A (zh) * 2011-06-24 2014-02-05 奥林巴斯株式会社 摄像装置、无线系统
CN104980654A (zh) * 2014-04-14 2015-10-14 佳能株式会社 包括多个摄像单元的摄像设备及其控制方法
CN105222775A (zh) * 2015-10-28 2016-01-06 烽火通信科技股份有限公司 一种基于智能终端的空间位置排序方法
CN106331639A (zh) * 2016-08-31 2017-01-11 浙江宇视科技有限公司 一种自动确定摄像机位置的方法及装置
CN108780594A (zh) * 2016-03-16 2018-11-09 凸版印刷株式会社 识别装置、识别方法、识别程序以及包含识别程序的计算机可读介质
CN110114807A (zh) * 2016-11-23 2019-08-09 罗伯特·博世有限公司 用于探测位于停车场内的突起对象的方法和系统
CN110674012A (zh) * 2019-09-27 2020-01-10 珠海格力电器股份有限公司 信息指示的方法、装置及存储介质
CN113330275A (zh) * 2019-01-23 2021-08-31 株式会社索思未来 相机信息计算装置、系统、相机信息计算方法及程序

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4520536B1 (ja) * 2009-09-01 2010-08-04 パナソニック株式会社 装着型カメラ及び広域撮像システム
WO2011047505A1 (en) * 2009-10-20 2011-04-28 Hewlett-Packard Development Company, L.P. Data processing system and method
KR101321773B1 (ko) * 2009-12-21 2013-10-25 한국전자통신연구원 공유 주파수 대역에서 신호를 검출하기 위한 장치 및 방법
US20110222757A1 (en) * 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
US9098905B2 (en) 2010-03-12 2015-08-04 Google Inc. System and method for determining position of a device
JP5574162B2 (ja) * 2010-05-27 2014-08-20 株式会社リコー 位置情報記録装置、同装置を備える撮像装置および位置情報記録方法
JP2012034196A (ja) * 2010-07-30 2012-02-16 Olympus Corp 撮像端末、データ処理端末、撮像方法、及びデータ処理方法
US8983763B2 (en) 2010-09-22 2015-03-17 Nokia Corporation Method and apparatus for determining a relative position of a sensing location with respect to a landmark
DE112010005927B4 (de) * 2010-10-06 2014-07-17 Mitsubishi Electric Corporation AV-System
JP5802450B2 (ja) 2011-06-24 2015-10-28 オリンパス株式会社 撮像装置、無線システム
JP5771508B2 (ja) * 2011-11-10 2015-09-02 オリンパス株式会社 表示装置、撮像装置、および映像表示システム
JP5878634B2 (ja) 2012-08-15 2016-03-08 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 特徴抽出方法、プログラム及びシステム
JP6056664B2 (ja) * 2013-06-04 2017-01-11 株式会社Ｊｖｃケンウッド 画像処理装置および撮像システム
SG11201704378QA (en) 2014-12-03 2017-06-29 Nec Corp Direction control device, direction control method and recording medium
JP2017092761A (ja) * 2015-11-12 2017-05-25 シャープ株式会社 撮像システム
WO2017205554A1 (en) * 2016-05-24 2017-11-30 Martin Brian K Shape detection
WO2018008101A1 (ja) * 2016-07-06 2018-01-11 株式会社オプティム 画像提供システム、画像提供方法、およびプログラム
KR102002785B1 (ko) * 2018-01-10 2019-07-23 한국과학기술연구원 영상 기반의 위치정보를 이용한 카메라간 좌표계 교정 장치 및 방법
WO2020026633A1 (ja) * 2018-08-02 2020-02-06 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP7251310B2 (ja) * 2019-05-22 2023-04-04 株式会社Ｊｖｃケンウッド カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム
KR102290218B1 (ko) * 2019-08-23 2021-08-20 한국기계연구원 복수의 카메라를 이용한 위치추적 시스템 및 이를 이용한 위치추적 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164827A (en) * 1991-08-22 1992-11-17 Sensormatic Electronics Corporation Surveillance system with master camera control of slave cameras
JP3787404B2 (ja) 1997-02-24 2006-06-21 キヤノン株式会社 カメラ制御システム及びその制御方法
JPH10239416A (ja) 1997-02-28 1998-09-11 Nec Home Electron Ltd 現在地測位システム
JP4259786B2 (ja) * 2000-10-04 2009-04-30 株式会社リコー 情報取得システム
JP2002330421A (ja) 2001-05-02 2002-11-15 Isamu Shimazaki 視聴者によるテレビ映像アングル選択システム
JP3912656B2 (ja) * 2001-12-18 2007-05-09 株式会社ニコン 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
JP2004318823A (ja) * 2003-03-28 2004-11-11 Seiko Epson Corp 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法
JP2005086579A (ja) 2003-09-09 2005-03-31 Advanced Inst Of Wearable Environmental Information Networks 近距離無線通信による移動体の位置検出システム及び方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102474570A (zh) * 2010-06-08 2012-05-23 松下电器产业株式会社 信息显示装置、显示控制用集成电路及显示控制方法
CN102638657A (zh) * 2011-02-14 2012-08-15 索尼公司 信息处理设备和成像区域共享确定方法
CN103563348A (zh) * 2011-06-24 2014-02-05 奥林巴斯株式会社 摄像装置、无线系统
CN103563348B (zh) * 2011-06-24 2016-08-24 奥林巴斯株式会社 摄像装置、无线系统
CN104980654A (zh) * 2014-04-14 2015-10-14 佳能株式会社 包括多个摄像单元的摄像设备及其控制方法
CN105222775B (zh) * 2015-10-28 2018-10-09 烽火通信科技股份有限公司 一种基于智能终端的空间位置排序方法
CN105222775A (zh) * 2015-10-28 2016-01-06 烽火通信科技股份有限公司 一种基于智能终端的空间位置排序方法
CN108780594A (zh) * 2016-03-16 2018-11-09 凸版印刷株式会社 识别装置、识别方法、识别程序以及包含识别程序的计算机可读介质
CN108780594B (zh) * 2016-03-16 2024-04-05 凸版印刷株式会社 识别装置、识别方法、识别程序以及包含识别程序的计算机可读介质
CN106331639A (zh) * 2016-08-31 2017-01-11 浙江宇视科技有限公司 一种自动确定摄像机位置的方法及装置
CN106331639B (zh) * 2016-08-31 2019-08-27 浙江宇视科技有限公司 一种自动确定摄像机位置的方法及装置
CN110114807A (zh) * 2016-11-23 2019-08-09 罗伯特·博世有限公司 用于探测位于停车场内的突起对象的方法和系统
CN110114807B (zh) * 2016-11-23 2022-02-01 罗伯特·博世有限公司 用于探测位于停车场内的突起对象的方法和系统
CN113330275A (zh) * 2019-01-23 2021-08-31 株式会社索思未来 相机信息计算装置、系统、相机信息计算方法及程序
CN110674012A (zh) * 2019-09-27 2020-01-10 珠海格力电器股份有限公司 信息指示的方法、装置及存储介质
CN110674012B (zh) * 2019-09-27 2021-02-26 珠海格力电器股份有限公司 信息指示的方法、装置及存储介质

Also Published As

Publication number Publication date
CN101583969B (zh) 2012-08-29
US8154616B2 (en) 2012-04-10
US20100097483A1 (en) 2010-04-22
JPWO2008087974A1 (ja) 2010-05-06
WO2008087974A1 (ja) 2008-07-24
JP4750859B2 (ja) 2011-08-17

Similar Documents

Publication Publication Date Title
CN101583969B (zh) 数据处理装置、方法、记录介质
JP6824433B2 (ja) カメラ姿勢情報の決定方法、決定装置、モバイル端末及びコンピュータプログラム
CN108028871B (zh) 移动设备上的无标记的多用户多对象增强现实
US11978243B2 (en) System and method using augmented reality for efficient collection of training data for machine learning
CN105210113B (zh) 具有一般和全景相机移动的单眼视觉slam
US8862987B2 (en) Capture and display of digital images based on related metadata
CN102708355B (zh) 信息处理装置、信息处理方法
US20140126769A1 (en) Fast initialization for monocular visual slam
CN106920279A (zh) 三维地图构建方法和装置
CN108805917A (zh) 空间定位的方法、介质、装置和计算设备
CN104169965A (zh) 用于多拍摄装置系统中图像变形参数的运行时调整的系统、方法和计算机程序产品
US20140267397A1 (en) In situ creation of planar natural feature targets
CN103858148A (zh) 用于移动设备的平面映射和跟踪
CN108629843A (zh) 一种实现增强现实的方法及设备
CN107852447A (zh) 基于设备运动和场景距离使电子设备处的曝光和增益平衡
US9083891B2 (en) Video monitoring apparatus
CN108510528A (zh) 一种可见光和红外图像配准融合的方法及装置
US20210055102A1 (en) Surveying system with image-based measuring
CN108430032A (zh) 一种实现vr/ar设备位置共享的方法及设备
JP6017343B2 (ja) データベース生成装置、カメラ姿勢推定装置、データベース生成方法、カメラ姿勢推定方法、およびプログラム
CN109644280A (zh) 生成场景的分层深度数据的方法
Cheng et al. AR-based positioning for mobile devices
CN103765477B (zh) 通过图形匹配和环形检测而用自动模型初始化进行线跟踪
JP2013214158A (ja) 表示画像検索装置、表示制御システム、表示制御方法、およびプログラム
JP3548652B2 (ja) 物体形状復元装置及びその方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20140930

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140930

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.