JP2006025306A - Indexing apparatus for object information in multi-viewpoint video image, and method and program therefor - Google Patents

Indexing apparatus for object information in multi-viewpoint video image, and method and program therefor Download PDF

Info

Publication number
JP2006025306A
JP2006025306A JP2004203029A JP2004203029A JP2006025306A JP 2006025306 A JP2006025306 A JP 2006025306A JP 2004203029 A JP2004203029 A JP 2004203029A JP 2004203029 A JP2004203029 A JP 2004203029A JP 2006025306 A JP2006025306 A JP 2006025306A
Authority
JP
Japan
Prior art keywords
subject
information
indexing
identified
specifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004203029A
Other languages
Japanese (ja)
Inventor
Fumitoshi Cho
文利 張
Toru Nakada
透 中田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2004203029A priority Critical patent/JP2006025306A/en
Publication of JP2006025306A publication Critical patent/JP2006025306A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an indexing apparatus for object information in multi-viewpoint video images, which particularizes an object to automatically index the object information even when a feature of the object to particularize the object is not in a video image among video images photographed in a multi-viewpoint way. <P>SOLUTION: The indexing apparatus for object information in multi-viewpoint video images is provided with: an object identification means 111 for identifying the same object in the multi-viewpoint video images; an object particularizing means 112 for acquiring the feature of the object taken in any video image among the multi-viewpoint video images to particularize the object; and an object information indexing means 113 for indexing the particularized object information regarding the identified object. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、撮影された映像から被写体を特定して、被写体情報の索引付けを行う、多視点映像に映る被写体情報の索引付け装置及びその方法及びそのプログラムに関する。   The present invention relates to an apparatus for indexing subject information reflected in a multi-view video, a method thereof, and a program therefor, in which the subject is identified from the captured video and the subject information is indexed.

従来、複数カメラの映像から計算される被写体の位置及び特徴を用いて被写体の実世界位置を抽出し、動きを抽出する技術が知られている(特許文献1参照)。一方、映像に映る背番号を認識して被写体を特定する技術も知られている(非特許文献1参照)。
特開2001−273503 “オブジェクト追跡と背番号認識の連携による動画像用スポーツ選手同定方法”FIT2003
2. Description of the Related Art Conventionally, a technique is known in which a real-world position of a subject is extracted using the position and characteristics of the subject calculated from images from a plurality of cameras and motion is extracted (see Patent Document 1). On the other hand, a technique for identifying a subject by recognizing a back number shown in a video is also known (see Non-Patent Document 1).
JP 2001-273503 A “A method for identifying sports athletes for moving images by linking object tracking and spine number recognition” FIT2003

しかしながら、前者は、撮影された映像から被写体の位置や動きは抽出できるものの、被写体自身の特定(例えば、被写体の名前の特定)に関する解決は為されておらず、映像に映っている被写体に関する情報の索引付けはできない。一方、後者は、映像に映る被写体の特徴(背番号)を認識することができれば被写体を特定できるので、被写体の情報から被写体名を索引付けすることができる。ただし、映像に背番号が映っていない場合は、背番号を認識することはできないので、後者は、被写体を特定する被写体情報(背番号)が映っていない場合には被写体情報の索引付けができないという問題があった。   However, although the former can extract the position and movement of the subject from the captured video, there is no solution regarding the identification of the subject itself (for example, identification of the name of the subject), and information about the subject shown in the video Cannot be indexed. On the other hand, since the latter can identify the subject if the feature (back number) of the subject shown in the video can be recognized, the subject name can be indexed from the subject information. However, if the spine number is not shown in the video, the spine number cannot be recognized, so the latter cannot index the subject information if the subject information for identifying the subject (back number) is not shown. There was a problem.

このような問題に着目し、本発明は、多視点で撮影された映像のうち、ある映像で被写体を特定する被写体の特徴が映っていなくても、被写体が特定できて、自動的に被写体情報の索引付けができる、多視点映像に映る被写体情報の索引付け装置及びその方法及びそのプログラムを提供することを目的とする。   By paying attention to such problems, the present invention can automatically identify subject information even if the characteristics of the subject that identifies the subject are not shown in a certain image among images shot from multiple viewpoints. It is an object of the present invention to provide an apparatus and method for indexing subject information reflected in a multi-view video, its method, and its program.

本発明の請求項1に記載の発明は、多視点映像に映る同一被写体を同定する被写体同定手段と、多視点映像のうち何れかの映像に映る前記被写体の特徴を取得して被写体を特定する被写体特定手段と、前記同定する被写体について前記特定した被写体の情報を索引付けする被写体情報索引付け手段とを備えることを特徴とする多視点映像に映る被写体情報の索引付け装置である。   According to the first aspect of the present invention, subject identification means for identifying the same subject appearing in a multi-view video, and the subject is identified by acquiring the characteristics of the subject appearing in any of the multi-view videos. An apparatus for indexing subject information displayed in a multi-view video, comprising: subject specifying means; and subject information indexing means for indexing information on the specified subject for the subject to be identified.

本発明の請求項2に記載の発明は、請求項1に記載の多視点映像に映る被写体情報の索引付け装置について、前記被写体特定手段は、前記被写体を特定する被写体情報を格納した被写体情報格納手段を用いて被写体を特定することを特徴とする。   According to a second aspect of the present invention, in the subject information indexing apparatus shown in the multi-viewpoint video according to the first aspect, the subject specifying means stores subject information storing subject information for specifying the subject. The subject is specified using the means.

本発明の請求項3に記載の発明は、請求項1または2に記載の多視点映像に映る被写体情報の索引付け装置について、前記被写体特定手段が特定した被写体と前記被写体同定手段が同定した被写体について整合性を判定する整合性判定手段を備えることを特徴とする。   According to a third aspect of the present invention, there is provided the subject information indexing device according to the first or second aspect, wherein the subject identified by the subject identifying unit and the subject identified by the subject identifying unit It is provided with the consistency determination means which determines consistency about.

本発明の請求項4に記載の発明は、請求項3に記載の多視点映像に映る被写体情報の索引付け装置について、前記整合性判定手段が前記特定した被写体と前記同定した被写体について整合性がないと判定した場合に不整合性の原因を判定する不整合性原因判定手段を備えることを特徴とする。   According to a fourth aspect of the present invention, in the apparatus for indexing subject information shown in the multi-viewpoint video according to the third aspect, the consistency determination means has consistency between the identified subject and the identified subject. Inconsistency cause determining means for determining the cause of inconsistency when it is determined that there is no inconsistency is provided.

本発明の請求項5に記載の発明は、請求項4に記載の多視点映像に映る被写体情報の索引付け装置について、前記不整合性原因判定手段で判定した結果に基づいて前記特定した被写体について補正を行う補正手段を備えることを特徴とする。   The invention according to claim 5 of the present invention relates to the apparatus for indexing subject information shown in the multi-viewpoint image according to claim 4, with respect to the specified subject based on the result determined by the inconsistency cause determining means. A correction means for performing correction is provided.

本発明の請求項6に記載の発明は、請求項1乃至5の何れかに記載の多視点映像に映る被写体情報の索引付け装置について、前記被写体情報索引付け手段が索引付けした情報を格納する被写体索引付け情報格納手段を備えることを特徴とする。   The invention according to claim 6 of the present invention stores the information indexed by the subject information indexing means for the subject information indexing device shown in the multi-view video according to any one of claims 1 to 5. Subject indexing information storage means is provided.

本発明の請求項7に記載の発明は、多視点映像に映る同一被写体を同定する被写体同定ステップと、多視点映像のうち何れかの映像に映る前記被写体の特徴を取得して被写体を特定する被写体特定ステップと、前記同定する被写体について前記特定した被写体の情報を索引付けする被写体情報索引付けステップとを有することを特徴とする多視点映像に映る被写体情報の索引付け方法である。   According to a seventh aspect of the present invention, a subject identification step for identifying the same subject that appears in a multi-view video, and a feature of the subject that appears in one of the multi-view videos are acquired to identify the subject. A method for indexing subject information in a multi-view video, comprising: a subject identifying step; and a subject information indexing step for indexing information on the identified subject for the identified subject.

本発明の請求項8に記載の発明は、コンピュータを、多視点映像に映る同一被写体を同定する被写体同定手段、多視点映像のうち何れかの映像に映る前記被写体の特徴を取得して被写体を特定する被写体特定手段、及び前記同定する被写体について前記特定した被写体の情報を索引付けする被写体情報索引付け手段として機能させることを特徴とする多視点映像に映る被写体情報の索引付けプログラムである。   According to an eighth aspect of the present invention, there is provided a subject identification means for identifying the same subject appearing in a multi-view video, a feature of the subject appearing in any one of the multi-view videos being acquired by a computer. An object information indexing program for a multi-view video, characterized by functioning as subject specifying means for specifying and subject information indexing means for indexing information on the specified subject for the subject to be identified.

上記構成により、本発明は、多視点で撮影されたある映像で被写体を特定する被写体の特徴が映っていなくても、被写体が特定できて、自動的に被写体に関する情報の索引付けができる。また、本発明は、多視点映像に映る被写体情報の索引付けを同時に行うので、効率良く索引付けができる。本発明は、任意視点で被写体の索引付けができるので、被写体の任意視点での映像空間の検索を簡単に行うことができる。さらに、本発明は、被写体情報の索引付けを行う際、被写体の特定結果が複数あった場合に、不整合を自動的に発見して補正を行うことができるので、高精度な索引付けを実現できる。   With the above-described configuration, the present invention can identify a subject and automatically index information on the subject even if the feature of the subject that identifies the subject is not shown in a certain image shot from multiple viewpoints. Further, according to the present invention, since the subject information shown in the multi-view video is simultaneously indexed, the indexing can be performed efficiently. In the present invention, since the subject can be indexed from an arbitrary viewpoint, the video space can be easily searched from the arbitrary viewpoint of the subject. Furthermore, when indexing subject information, if there are multiple subject identification results, inconsistencies can be automatically discovered and corrected, thus realizing high-precision indexing. it can.

以下、本発明を実施するための最良の形態について説明する。なお、本発明は以下の実施例に何ら限定されるものではなく、その要旨を逸脱しない範囲であれば、適宜に変更及び実施できる。   Hereinafter, the best mode for carrying out the present invention will be described. In addition, this invention is not limited to the following Examples at all, and can be appropriately changed and implemented as long as it does not deviate from the gist thereof.

以下、本発明の第1実施例について説明する。はじめに被写体情報索引付け装置110の機能について説明する。被写体情報索引付け装置110は、その前段で得られる、多視点映像に映る被写体の位置情報を取得して同一被写体の同定を行い、一方、多視点映像のうち何れかの映像に映った被写体の特徴を取得して被写体を特定し、これらを用いて被写体の特徴が映っていない映像に対し、特定された被写体の情報を索引付けする装置である。   The first embodiment of the present invention will be described below. First, the function of the subject information indexing device 110 will be described. The subject information indexing device 110 acquires the position information of the subject shown in the multi-view video obtained in the preceding stage and identifies the same subject, while the subject information indexing device 110 identifies the subject shown in any of the multi-view videos. This is an apparatus that acquires features and identifies a subject, and uses them to index the information of the identified subject on an image that does not show the features of the subject.

図1に示すように、被写体情報索引付け装置110の前段には、スポーツ等の映像を撮影する複数のカメラ101a〜nと、カメラ101a〜nにより撮影された映像及びカメラ情報等を記憶する複数の記憶部102a〜nと、記憶部102a〜nを用いて映像及びカメラ情報等を格納する複数の映像及びカメラ情報格納部103a〜nと、映像とカメラの設置位置、焦点距離、及び撮影角度などのカメラ情報を用いて、被写体の位置を抽出する複数の位置情報抽出部104a〜nとを備えている。カメラ情報は、図2に示すように、カメラのナンバー、撮影時刻、及びカメラパラメータを関連付けて管理し、さらにカメラパラメータは、カメラの設置位置、焦点距離、及び撮影角度を管理している。また、位置情報抽出部104では、図3に示すように、カメラのナンバー、撮影時刻、映像に映る被写体のナンバー、及びそれぞれの被写体が位置している空間座標P(X,Y,Z)を関連付けてそれぞれ管理している。   As shown in FIG. 1, a plurality of cameras 101 a to 101 n that capture images of sports and the like, a plurality of images that are captured by the cameras 101 a to 101 n, and a plurality of camera information and the like are stored in the previous stage of the subject information indexing device 110. Storage units 102a to 102n, a plurality of video and camera information storage units 103a to 103n for storing video and camera information using the storage units 102a to 102n, video and camera installation positions, focal lengths, and shooting angles And a plurality of position information extraction units 104a to 104n that extract the position of the subject. As shown in FIG. 2, the camera information is managed by associating the camera number, shooting time, and camera parameters, and the camera parameters manage the camera installation position, focal length, and shooting angle. Further, as shown in FIG. 3, the position information extraction unit 104 obtains the camera number, the shooting time, the number of the subject shown in the video, and the spatial coordinates P (X, Y, Z) where each subject is located. They are managed in association with each other.

つづいて、被写体情報索引付け装置110の内部構成は、位置情報抽出部104から被写体位置情報をそれぞれ取得して多視点映像に映る同一被写体を同定する被写体同定部111と、映像及びカメラ情報格納部103に格納されている映像のうち何れかの映像に映る被写体の特徴を取得して被写体を特定する被写体特定部112と、被写体同定部111で同定する被写体について、被写体特定部112で特定した被写体の情報を索引付けする被写体情報索引付け部113とを備えている。また、被写体情報索引付け装置110は、被写体を特定する被写体情報を格納した被写体情報格納部114を備えており、被写体特定部112で特定される被写体は、映像及びカメラ情報格納部103から取得される特徴と格納されている被写体情報とでマッチングを行うことで被写体が特定される。ここで被写体の特徴とは、映像から捉えることができる被写体の特徴的な情報であり、例えば、被写体がスポーツ選手の場合は、背番号やユニフォームの色等が被写体の特徴である。また、被写体情報とは、被写体を撮影する前に予め格納されており、図4に示すように、被写体のナンバー、被写体名、人物特徴、及び物体特徴を関連付けて管理している。人物特徴は、その人物の所属、背番号等の個人ID、身長、顔特徴、髪型、及び服装等の特徴を管理している。また、物体特徴は、その物体の種類、色、及び形状等の特徴を管理している。マッチングが成功することにより、例えば、被写体名を特定し、取得する。   Subsequently, the internal configuration of the subject information indexing device 110 includes a subject identification unit 111 that acquires subject location information from the location information extraction unit 104 and identifies the same subject that appears in a multi-view video, and a video and camera information storage unit. The subject specifying unit 112 that acquires the characteristics of the subject shown in any of the videos stored in 103 and specifies the subject, and the subject specified by the subject specifying unit 112 for the subject identified by the subject identifying unit 111 A subject information indexing unit 113 for indexing the information. The subject information indexing device 110 includes a subject information storage unit 114 that stores subject information for specifying a subject. The subject specified by the subject specification unit 112 is acquired from the video and camera information storage unit 103. The subject is specified by matching between the feature and the stored subject information. Here, the feature of the subject is characteristic information of the subject that can be captured from the video. For example, when the subject is a sports player, the number of the subject, the color of the uniform, and the like are the features of the subject. The subject information is stored in advance before the subject is photographed, and is managed in association with the subject number, subject name, person feature, and object feature as shown in FIG. The personal features manage the personal affiliation, personal ID such as a back number, height, facial features, hairstyle, and clothing features. The object feature manages features such as the type, color, and shape of the object. When the matching is successful, for example, the subject name is specified and acquired.

次に、図5を用いて被写体情報索引付けの全体的な処理手順を説明する。ステップ501ではスポーツ等を撮影する複数のカメラで撮影された映像から被写体領域をそれぞれ抽出し、ステップ502では抽出された被写体領域に映る被写体の位置をそれぞれ取得する。また、ステップ502とほぼ同時にステップ503では各カメラが持つカメラ情報からカメラパラメータを抽出する。そしてステップ504ではステップ502で取得した被写体の映像内の位置と、ステップ503で取得したカメラパラメータを用いて、被写体の実世界上の位置情報を抽出する。なお、ステップ501及びステップ502ではカメラ101及び記憶部102を用い、ステップ503では映像及びカメラ情報格納部103を用い、ステップ504では位置情報抽出部104を用い、抽出された実世界上の被写体位置情報は被写体同定部111に送られる。ステップ505では抽出した被写体位置情報を位置情報抽出部104a〜nからそれぞれ取得し、ステップ506では取得したそれぞれの被写体位置情報を用いて同一被写体を同定する処理を行う。   Next, an overall processing procedure for subject information indexing will be described with reference to FIG. In step 501, subject areas are extracted from videos taken by a plurality of cameras that shoot sports or the like, and in step 502, the positions of subjects appearing in the extracted subject areas are acquired. At step 503 almost simultaneously with step 502, camera parameters are extracted from the camera information held by each camera. In step 504, the position information of the subject in the real world is extracted using the position of the subject in the video acquired in step 502 and the camera parameter acquired in step 503. In step 501 and step 502, the camera 101 and the storage unit 102 are used. In step 503, the video and camera information storage unit 103 is used. In step 504, the position information extraction unit 104 is used. Information is sent to the subject identification unit 111. In step 505, the extracted subject position information is acquired from each of the position information extraction units 104a to 104n, and in step 506, processing for identifying the same subject is performed using the acquired subject position information.

ステップ506の同一被写体を同定する処理手順について、図6を用いて説明する。ステップ601では抽出された実世界上の被写体位置情報をそれぞれ取得し、同時刻(t)で一致している空間座標があるか否かを判定する。一致している空間座標がある場合はステップ602に進み、ない場合はステップ603に進む。ステップ602では同一被写体があると判定してステップ604に進む。ステップ604では同時刻(t)の一致している空間座標について被写体同定情報を生成して被写体情報索引付け部113へ出力する。例えば、図3において、同時刻(10s)のカメラNo.1で撮影した空間座標P12、カメラNo.2で撮影した空間座標P21、カメラNo.3で撮影した空間座標P32が一致している場合、時刻(10s)の各カメラの空間座標について同定情報を付与する。図8(a)は同定ナンバーを付与した被写体同定情報を示す。一方、ステップ603では同一被写体がないと判定する。例えば、図3において、同時刻(10s)のカメラNo.1で撮影した空間座標P11やカメラNo.2で撮影した空間座標P22、あるいはカメラNo.3で撮影した空間座標P33が一致していない場合、いずれも同定できないので、同定ナンバーは付与されない。この場合は、取得した被写体位置情報をそのまま被写体情報索引付け部113へ出力する。   The processing procedure for identifying the same subject in step 506 will be described with reference to FIG. In step 601, the extracted subject position information in the real world is acquired, and it is determined whether or not there is a matching spatial coordinate at the same time (t). If there is a matching spatial coordinate, the process proceeds to step 602, and if not, the process proceeds to step 603. In step 602, it is determined that there is the same subject, and the process proceeds to step 604. In step 604, subject identification information is generated for the spatial coordinates that coincide at the same time (t), and is output to the subject information indexing unit 113. For example, in FIG. The spatial coordinates P12 photographed in FIG. Space coordinates P21 photographed in FIG. If the spatial coordinates P32 taken in step 3 match, identification information is assigned to the spatial coordinates of each camera at time (10s). FIG. 8A shows subject identification information to which an identification number is assigned. On the other hand, in step 603, it is determined that there is no same subject. For example, in FIG. 1 and the camera coordinate No. 2 or the camera coordinates No. If the spatial coordinates P33 photographed in 3 do not match, no identification number is assigned because none of them can be identified. In this case, the acquired subject position information is output to the subject information indexing unit 113 as it is.

一方、ステップ501でカメラ101を用いて抽出された被写体領域は被写体特定部112に送られる。ステップ507では、被写体領域をそれぞれ取得し、被写体の特徴を取得する。ステップ508では、被写体情報格納部114に格納されている被写体情報を用いて取得された特徴とマッチングを行って被写体を特定する処理を行う。   On the other hand, the subject area extracted using the camera 101 in step 501 is sent to the subject specifying unit 112. In step 507, each subject area is acquired, and the characteristics of the subject are acquired. In step 508, processing for specifying a subject is performed by matching with the feature acquired using the subject information stored in the subject information storage unit 114.

ステップ508の被写体を特定する処理の手順について、図7を用いて説明する。ステップ701では、被写体の特徴及び被写体情報を取得してマッチング処理を行う。マッチング処理は、例えば、「背番号16番」を被写体の特徴として取得した場合、図4に示す、被写体情報格納部114に格納されている被写体情報に「背番号16番」があるかないかを調べる。ステップ702では、そのマッチング処理が成功したかしないかを判定し、マッチング処理が成功した場合はステップ703に進み、マッチング処理が失敗した場合はステップ704に進む。ステップ703では、被写体特定情報を生成して被写体情報索引付け部113へ出力する。例えば、被写体情報格納部114に格納されている被写体情報に「背番号16番」があるので、この場合は、マッチング処理が成功したと判定する。そして、「背番号16番」からは被写体名が「太郎」であることを特定でき、「太郎」について被写体特定情報を生成して被写体情報索引付け部113へ出力する。図8(b)は時刻10(s)に被写体領域を抽出して被写体「obj1_2」のマッチング処理を行った結果、「太郎」を特定した被写体特定情報を示す。一方、例えば、「背番号19番」を被写体の特徴として取得した場合、図4に示す、被写体情報格納部114に格納されている被写体情報に「背番号19番」はないので、マッチング処理が失敗したと判定する。この場合は、被写体は特定できないので、被写体特定情報は生成されず、被写体「objX_X」については「Null」を指定して被写体情報索引付け部113へ出力する。   The processing procedure for identifying the subject in step 508 will be described with reference to FIG. In step 701, subject characteristics and subject information are acquired and matching processing is performed. In the matching process, for example, when “number 16” is acquired as the feature of the subject, it is determined whether there is “number 16” in the subject information stored in the subject information storage unit 114 shown in FIG. Investigate. In step 702, it is determined whether the matching process is successful. If the matching process is successful, the process proceeds to step 703. If the matching process is unsuccessful, the process proceeds to step 704. In step 703, subject identification information is generated and output to the subject information indexing unit 113. For example, since the subject information stored in the subject information storage unit 114 includes “back number 16”, in this case, it is determined that the matching process has been successful. Then, it is possible to specify that the subject name is “Taro” from the “number 16” and generate subject specifying information for “Taro” and output it to the subject information indexing unit 113. FIG. 8B shows subject specifying information specifying “Taro” as a result of extracting the subject region at time 10 (s) and performing the matching process of the subject “obj1_2”. On the other hand, for example, when “number 19” is acquired as the feature of the subject, there is no “number 19” in the subject information stored in the subject information storage unit 114 shown in FIG. Judge that it failed. In this case, since the subject cannot be specified, the subject specifying information is not generated, and “Null” is designated for the subject “objX_X” and is output to the subject information indexing unit 113.

ステップ509では、ステップ506で得られる被写体同定情報と、ステップ508で得られる被写体特定情報とを用いて、同定する被写体について特定した被写体の情報を索引付けして出力する。例えば、図8(a)で示した被写体同定情報と、図8(b)で示した被写体特定情報とを用いて索引付けを行った場合、同定する被写体は「Obj1_2」、「Obj2_1」、「Obj3_2」であり、特定された被写体は「Obj1_2=太郎(被写体名)」であることから、「Obj2_1」、「Obj3_2」の被写体も「太郎」であることが分かる。図8(a)及び(b)に示すように、同定する被写体情報と特定された被写体情報が一致した場合、整合性があることが分かる。整合性がある場合、一致した項目を用いて索引付け値を指定し、出力する。上記の場合、被写体索引付け値に「太郎」を指定して出力する(図8(c)参照)。なお、被写体が同定していない場合は、取得した被写体位置情報を用いて特定できた被写体情報から索引付け値を指定して出力する。また、被写体特定情報が得られなかった場合は取得した被写体位置情報を用いて「Null」を索引付け値として指定して出力する。最後にステップ510では、生成された被写体索引付け情報を被写体索引付け部113に格納する(終了)。   In step 509, the subject identification information obtained in step 506 and the subject identification information obtained in step 508 are used to index and output information on the subject identified for the subject to be identified. For example, when indexing is performed using the subject identification information shown in FIG. 8A and the subject specifying information shown in FIG. 8B, the identified subjects are “Obj1_2”, “Obj2_1”, “ Obj3_2 ”and the identified subject is“ Obj1_2 = Taro (subject name) ”, it can be seen that the subjects“ Obj2_1 ”and“ Obj3_2 ”are also“ Taro ”. As shown in FIGS. 8A and 8B, it can be seen that there is consistency when the subject information to be identified and the identified subject information match. If there is consistency, specify the indexed value using the matched item and output. In the above case, “Taro” is designated and output as the subject indexing value (see FIG. 8C). If the subject has not been identified, an indexing value is designated and output from the subject information that can be identified using the obtained subject position information. If the subject specifying information is not obtained, “Null” is designated as an indexing value using the obtained subject position information and output. Finally, in step 510, the generated subject indexing information is stored in the subject indexing unit 113 (end).

以上、本実施例は、多視点で撮影された同一被写体について同定を行い、一方、多視点映像のうち何れかの映像に映る被写体の特徴を用いて被写体情報とのマッチングを行うことで被写体名を取得し、同定する被写体について取得した被写体名の索引付けをするので、被写体情報について特定できた被写体が同定していれば、被写体の特徴を映していない映像についても、取得した被写体名を索引付けすることができる。なお、本実施例で説明した処理動作は、被写体情報索引付け装置内の記憶媒体(図示しない)に格納された被写体情報索引付けプログラムを、その装置内のコンピュータが実行して処理を行っている。   As described above, the present embodiment identifies the same subject photographed from multiple viewpoints, and on the other hand, matches the subject information by using the characteristics of the subject reflected in any one of the multiple viewpoint images, thereby identifying the subject name. Since the subject name obtained for the subject to be identified is indexed, if the subject identified for the subject information is identified, the obtained subject name is indexed even for images that do not show the subject's characteristics. Can be attached. The processing operation described in this embodiment is performed by executing a subject information indexing program stored in a storage medium (not shown) in the subject information indexing device by a computer in the device. .

以下、本発明の第2実施例について説明する。上記実施例1では同定する被写体情報と特定された被写体情報が一致したので整合性があることが分かり、被写体の索引付けができた。本実施例では、同定する被写体情報と特定された被写体情報が一致せず、不整合が発生した場合に被写体を索引付けする例について説明する。なお、上記実施例1と重複する説明は省略する。   The second embodiment of the present invention will be described below. In the first embodiment, the subject information to be identified matches the identified subject information, so that it can be seen that there is consistency, and the subject can be indexed. In the present embodiment, an example will be described in which subject information to be identified is indexed when the subject information to be identified does not match the identified subject information and a mismatch occurs. In addition, the description which overlaps with the said Example 1 is abbreviate | omitted.

図9を用いて、図1の被写体情報索引付け部113の内部構成を説明する。被写体情報索引付け部113は、被写体同定部111から被写体の同定情報及び位置情報を取得する被写体同定・位置情報取得部901と、被写体特定部112から被写体の特定情報を取得する被写体特定情報取得部902と、同時刻の同定情報または位置情報を取得する同時刻同定・位置情報取得部903と、同時刻同定・位置情報取得部903で取得した時刻と同時刻の特定情報を取得する同時刻特定情報取得部904と、取得した同定情報と特定情報を用いて被写体特定結果について整合性があるかないかを判定する整合性判定部905と、整合性判定部905で整合性がないと判定した場合に不整合性の原因を判定する不整合性判定部906と、不整合性原因判定部906で判定した結果に基づいて被写体の特定情報を補正する補正部907を備えている。   The internal configuration of the subject information indexing unit 113 in FIG. 1 will be described with reference to FIG. The subject information indexing unit 113 includes a subject identification / position information acquisition unit 901 that acquires subject identification information and position information from the subject identification unit 111, and a subject specification information acquisition unit that acquires subject specification information from the subject specification unit 112. 902, same-time identification / position information acquisition unit 903 that acquires identification information or position information at the same time, and same-time specification that acquires specific information at the same time as the time acquired by the same-time identification / position information acquisition unit 903 When the information acquisition unit 904, the consistency determination unit 905 that determines whether or not the subject identification result is consistent using the acquired identification information and specific information, and the consistency determination unit 905 determine that there is no consistency The inconsistency determination unit 906 that determines the cause of inconsistency in the image and the correction that corrects the subject specific information based on the result determined by the inconsistency cause determination unit 906 It is equipped with a 907.

つづいて図10を用いて、図5に示したステップ509での被写体情報を索引付けする処理の手順について説明する。ステップ1001では、時刻(t)における複数(M)台のカメラから被写体位置情報を取得する。例えば、図3において、カメラは3台あり、時刻(10s)における被写体位置情報は、カメラNo.1からはobj1_1=空間座標P11(X11,Y11,Z11)、obj1_2=空間座標P12(X12,Y12,Z12)、カメラNo.2からはobj2_1=空間座標P21(X21,Y21,Z21)、obj2_2=空間座標P22(X22,Y22,Z22)、obj2_3=空間座標P23(X23,Y23,Z23)、obj2_4=空間座標P24(X24,Y24,Z24)、カメラNo.3からはobj3_1=空間座標P31(X31,Y31,Z31)、obj3_2=空間座標P32(X32,Y32,Z32)、obj3_3=空間座標P33(X33,Y33,Z33)を取得する。ステップ1002では、処理するカメラの順番を決定する。本実施例では、カメラのナンバーが小さい方から順に処理する。ステップ1003では、処理を行うカメラが被写体(j)を取得する。例えば、処理を行うカメラがカメラNo.1の場合、obj1_1=空間座標P11(X11,Y11,Z11)、及びobj1_2=空間座標P12(X12,Y12,Z12)を取得する。ステップ1004では、処理する被写体の順番を決定する。本実施例では、被写体のナンバーが小さい方から順に処理する。ステップ1005では、j番目の被写体に処理済マークがあるかないかを判定する。つまり、取得した処理を行う被写体について全ての処理が終わっているかいないかを判定する。全ての処理が終わっている場合はステップ1014に進み、終わっていない場合はステップ1006に進む。ステップ1006では、取得した被写体(j)の同定情報を取得する。例えば、図3において、obj1_2=空間座標P12(X12,Y12,Z12)を取得し、obj2_1=空間座標P21(X21,Y21,Z21)とobj3_2=空間座標P32(X32,Y32,Z32)が同じ空間座標である場合は、obj1_2、obj2_1、及びobj3_2を被写体同定情報として取得する。ステップ1007では、被写体(j)の同定情報があるかないかを判定する。被写体同定情報がある場合はステップ1008に進み、ない場合はステップ1012に進む。ステップ1008では、同定している被写体(j)について、被写体特定情報を取得する。ステップ1009では、被写体(j)の同定情報と取得した特定情報との整合性を判定する。   Next, the procedure for indexing subject information in step 509 shown in FIG. 5 will be described with reference to FIG. In step 1001, subject position information is acquired from a plurality (M) of cameras at time (t). For example, in FIG. 3, there are three cameras, and the subject position information at time (10 s) is the camera number. 1 from obj1_1 = spatial coordinates P11 (X11, Y11, Z11), obj1_2 = spatial coordinates P12 (X12, Y12, Z12), camera no. Obj2_1 = space coordinates P21 (X21, Y21, Z21), obj2_2 = space coordinates P22 (X22, Y22, Z22), obj2_3 = space coordinates P23 (X23, Y23, Z23), obj2_4 = space coordinates P24 (X24, Y24, Z24), camera no. 3, obj3_1 = space coordinates P31 (X31, Y31, Z31), obj3_2 = space coordinates P32 (X32, Y32, Z32), and obj3_3 = space coordinates P33 (X33, Y33, Z33). In step 1002, the order of cameras to be processed is determined. In this embodiment, processing is performed in order from the smallest camera number. In step 1003, the camera that performs the processing acquires the subject (j). For example, the camera performing the process is a camera No. In the case of 1, obj1_1 = space coordinates P11 (X11, Y11, Z11) and obj1_2 = space coordinates P12 (X12, Y12, Z12) are acquired. In step 1004, the order of subjects to be processed is determined. In the present embodiment, processing is performed in order from the smallest subject number. In step 1005, it is determined whether or not the jth subject has a processed mark. That is, it is determined whether or not all the processes have been completed for the subject to be acquired. If all the processes have been completed, the process proceeds to step 1014. If not, the process proceeds to step 1006. In step 1006, identification information of the acquired subject (j) is acquired. For example, in FIG. 3, obj1_2 = spatial coordinate P12 (X12, Y12, Z12) is obtained, and obj2_1 = spatial coordinate P21 (X21, Y21, Z21) and obj3_2 = spatial coordinate P32 (X32, Y32, Z32) are the same space. In the case of coordinates, obj1_2, obj2_1, and obj3_2 are acquired as subject identification information. In step 1007, it is determined whether or not there is identification information of the subject (j). If there is subject identification information, the process proceeds to step 1008, and if not, the process proceeds to step 1012. In step 1008, subject specifying information is acquired for the identified subject (j). In step 1009, the consistency between the identification information of the subject (j) and the acquired specific information is determined.

ステップ1009の整合性判定の処理手順について、図11を用いて説明する。ステップ1101では、被写体(j)の同定情報と、同定情報にある被写体と一致する被写体特定情報を取得する。ステップ1102では、取得結果について判定する。被写体特定情報が一つ、または複数あって同じ場合はステップ1103に進み、ステップ1103では整合性があると判定する。一方、被写体特定情報が複数あって異なる場合はステップ1104に進み、ステップ1104では不整合性が発生したと判定する。例えば、図8(a)に示す被写体(obj1_2)の同定情報と図8(b)に示す被写体特定情報から、同定情報にある被写体と一致する被写体特定情報は、「特定名=「太郎」、カメラNo.=「1」、時刻=「10s」、被写体No.=「obj1_2」」である。この場合、取得結果は、被写体特定情報が一つなので、整合性があると判定する。一方、図14(a)に示す被写体(obj1_2)の同定情報と図14(b)に示す被写体特定情報から、同定情報にある被写体と一致する被写体特定情報は、「特定名=「太郎」、カメラNo.=「1」、時刻=「10s」、被写体No.=「obj1_2」」と「特定名=「花子」、カメラNo.=「2」、時刻=「10s」、被写体No.=「obj2_1」」である。この場合、取得結果は、被写体特定情報が複数あって異なるので、不整合性が発生したと判定する。   The processing procedure for consistency determination in step 1009 will be described with reference to FIG. In step 1101, the identification information of the subject (j) and the subject specifying information that matches the subject in the identification information are acquired. In step 1102, the acquisition result is determined. If there is one or more subject specifying information and the same, the process proceeds to step 1103, and in step 1103 it is determined that there is consistency. On the other hand, if there are a plurality of pieces of subject specifying information and are different, the process proceeds to step 1104, where it is determined that inconsistency has occurred. For example, from the identification information of the subject (obj1_2) shown in FIG. 8A and the subject specification information shown in FIG. 8B, subject specification information that matches the subject in the identification information is “specific name =“ Taro ”, Camera No. = "1", time = "10s", subject No. = “Obj1_2” ”. In this case, the acquisition result is determined to be consistent because there is only one subject specifying information. On the other hand, from the identification information of the subject (obj1_2) shown in FIG. 14A and the subject specification information shown in FIG. 14B, subject specification information that matches the subject in the identification information is “specific name =“ Taro ”, Camera No. = "1", time = "10s", subject No. = “Obj1_2” and “specific name =“ Hanako ”, camera no. = "2", time = "10s", subject No. = “Obj2_1”. In this case, the acquisition result is different because there are a plurality of pieces of subject specifying information, so it is determined that inconsistency has occurred.

その後、ステップ1010において、整合性がある場合はステップ1012に進み、整合性がない場合はステップ1011に進む。ステップ1011では、不整合性の原因について判定し、その結果に基づいて特定した被写体について補正を行う。不整合性原因の判定を行う際は、同定結果の正解確率P(δ)とその平均値P(d)、あるいは、特定結果の正解確率P(O)とその平均値P(t)を算出する。例えば、図14(b)の被写体特定情報において、「太郎」の正解確率P(O)は90%、「花子」の正解確率P(O)は85%と算出されている。   Thereafter, in step 1010, if there is consistency, the process proceeds to step 1012. If there is no consistency, the process proceeds to step 1011. In step 1011, the cause of the inconsistency is determined, and the subject specified based on the result is corrected. When determining the cause of inconsistency, the correct answer probability P (δ) of the identification result and its average value P (d), or the correct answer probability P (O) of the specific result and its average value P (t) are calculated. To do. For example, in the subject specifying information of FIG. 14B, the correct answer probability P (O) of “Taro” is calculated as 90%, and the correct answer probability P (O) of “Hanako” is calculated as 85%.

同定情報正解確率P(δ)について説明する。同定情報正解確率は、被写体同定部111において、ある程度の誤差を許容して空間座標が一致したと判定した2つの被写体に関して、両被写体間の空間座標上での誤差と許容閾値との比率を表したものである。たとえば、前記被写体obj1_2の空間座標はP12=(X12,Y12,Z12),obj2_1の空間座標P21=(X21,Y21,Z21)の場合、両被写体間空間座標上誤差δの算出は、   The identification information correct answer probability P (δ) will be described. The identification information correct answer probability represents the ratio between the error on the spatial coordinates between the two subjects and the allowable threshold for the two subjects that the subject identification unit 111 has determined that the spatial coordinates match while allowing a certain amount of error. It is a thing. For example, when the spatial coordinates of the subject obj1_2 are P12 = (X12, Y12, Z12) and the spatial coordinates P21 of obj2_1 = (X21, Y21, Z21), the calculation of the error δ on the spatial coordinates between the two subjects is

とする。また、空間座標上誤差の許容閾値はLとする。このときの同定情報正解確率P(δ)は、 And In addition, the allowable threshold value for the error in spatial coordinates is L. The identification information correct probability P (δ) at this time is

と定義する。 It is defined as

次に同定情報正解確率平均値P(d)について説明する。N個の被写体が同定被写体と判定された場合、N個の組み合わせの個数であるN(N−1)/2個の同定情報正解確率P(δk)が得られる(K={1,2,…,N(N−1)/2})。同定情報正解確率平均値P(d)は、上記N(N−1)/2個の同定情報正解確率P(δk)の平均値である。
同定情報正解確率平均値P(d)の算出は、
Next, the identification information correct probability average value P (d) will be described. When N subjects are determined to be identified subjects, N (N−1) / 2 identification information correct probabilities P (δ k ) that are the number of N combinations are obtained (K = {1, 2 , ..., N (N-1) / 2}). The identification information correct answer probability average value P (d) is an average value of the N (N−1) / 2 identification information correct answer probabilities P (δ k ).
The calculation of the identification information correct answer probability average value P (d) is as follows:

と定義する。 It is defined as

特定情報正解確率平均値P(t)について説明する。特定情報正解確率は、被写体特定部112の処理結果で、個々の被写体を正しく認識した確率P(O)である。特定情報正解確率平均値P(t)は、N個の被写体のうち、M個が特定できた場合、M個の特定情報正解確率P(Oi)の平均値である。ただし、i={1,2,…M}。特定情報正解確率平均値P(t)の算出は、 The specific information correct probability average value P (t) will be described. The specific information correct answer probability is a probability P (O) of correctly recognizing individual subjects as a result of processing by the subject specifying unit 112. The specific information correct answer probability average value P (t) is an average value of the M specific information correct answer probabilities P (O i ) when M of the N subjects can be specified. However, i = {1, 2,... M}. The specific information correct answer probability average value P (t) is calculated as follows:

(M:特定できた被写体の数)
と定義する。
(M: number of identified subjects)
It is defined as

次に、ステップ1011の不整合性原因判定の処理手順について、図12を用いて説明する。ステップ1201では、同定結果の正解確率平均値P(d)と特定結果の正解確率平均値P(t)を求め、ステップ1202で、求めた平均値P(d)とP(t)を比較する。ステップ1203では、正解確率平均値P(d)と正解確率平均値P(t)が何れも事前に設定した最低限界値よりも小さいかどうか判定し、小さいと判定した場合はステップ1204に進み、そうでないと判定した場合はステップ1205に進む。ステップ1204では、同定情報と特定情報ともに信頼性が低いと原因判定し、この場合「Null」を被写体索引付け値として指定し、ステップ1012の索引付け処理に進む。一方、ステップ1205では、同定情報正解確率平均値P(d)の方が特定情報正解確率平均値P(t)よりも大きいかどうか判定し、大きいと判定した場合はステップ1206に進み、そうでないと判定した場合はステップ1207に進む。ステップ1206では、同定情報は信頼性が高いが、特定情報は信頼性が低いと原因判定し、この場合、ステップ1208に進んで特定情報の補正処理を行う。そして補正処理を行った特定情報を被写体索引付け値として指定し、ステップ1012の索引付け処理に進む。一方、ステップ1207では、同定情報は信頼性が低いが、特定情報は信頼性が高いと原因判定し、この場合、特定情報はそのまま被写体索引付け値として指定し、ステップ1012の索引付け処理に進む。   Next, the processing procedure for inconsistency cause determination in step 1011 will be described with reference to FIG. In step 1201, the correct answer probability average value P (d) of the identification result and the correct answer probability average value P (t) of the specific result are obtained, and in step 1202, the obtained average values P (d) and P (t) are compared. . In step 1203, it is determined whether both the correct answer probability average value P (d) and the correct answer probability average value P (t) are smaller than a preset minimum limit value. If it is determined that this is not the case, the process proceeds to step 1205. In step 1204, it is determined that the reliability of both the identification information and the specific information is low. In this case, “Null” is designated as the subject indexing value, and the process proceeds to the indexing process in step 1012. On the other hand, in step 1205, it is determined whether or not the identification information correct answer probability average value P (d) is larger than the specific information correct answer probability average value P (t). If it is determined to be larger, the process proceeds to step 1206; If it is determined, step 1207 follows. In step 1206, it is determined that the identification information has high reliability but the specific information has low reliability. In this case, the process proceeds to step 1208 to correct the specific information. Then, the specific information subjected to the correction process is designated as the subject indexing value, and the process proceeds to the indexing process in step 1012. On the other hand, in step 1207, it is determined that the identification information has low reliability but the specific information has high reliability. In this case, the specific information is directly designated as the subject indexing value, and the process proceeds to the indexing process in step 1012. .

次にステップ1208の補正の処理手順について、図13を用いて説明する。補正処理には、特定情報の特定名毎の多数決で比較する場合(ステップ1301〜1305)、及び正解率の平均値で比較する場合(ステップ1311〜1315)、正解率の総和で比較する場合(ステップ1321〜1325)がある。   Next, the correction processing procedure in step 1208 will be described with reference to FIG. In the correction process, when comparing by majority vote for each specific name of specific information (steps 1301 to 1305), when comparing by average value of correct rate (steps 1311 to 1315), when comparing by sum of correct rate ( Steps 1321 to 1325).

特定情報の特定名毎の多数決で比較する場合、ステップ1301では、特定情報を取得し、ステップ1302では、取得した特定情報から同一の特定値を持つ被写体毎にSum(Oi)を計算する。そして、ステップ1303では、各被写体毎の総数Sum(Oi)のうち最も高い値Sum’(Oi)を求め、ステップ1304では、Sum’(Oi)を最終特定値として付与する。付与された最終特定値は、ステップ1305で被写体及び同一被写体の索引付け値として付与される。つまり、補正された最終特定値を被写体索引付け値として指定し、ステップ1209に進む。   When comparing by the majority vote for each specific name of specific information, in step 1301, specific information is acquired, and in step 1302, Sum (Oi) is calculated for each subject having the same specific value from the acquired specific information. In step 1303, the highest value Sum '(Oi) is obtained from the total number Sum (Oi) for each subject. In step 1304, Sum' (Oi) is assigned as the final specific value. The given final specific value is given as an indexing value for the subject and the same subject in step 1305. That is, the corrected final specific value is designated as the subject indexing value, and the process proceeds to step 1209.

一方、特定情報の特定名の正解率の平均値で比較する場合、ステップ1311では、特定情報を取得し、ステップ1312では、取得した特定情報から同一の特定値を持つ被写体毎に正解率平均値Pa(Oi)を計算する。そして、ステップ1313では、各被写体毎の正解率平均値Pa(Oi)のうち最も高い値Pa’(Oi)を求め、ステップ1314では、Pa’(Oi)を最終特定値として付与する。付与された最終特定値は、ステップ1315で被写体及び同一被写体の索引付け値として出力される。つまり、補正された最終特定値を被写体索引付け値として指定し、ステップ1209に進む。   On the other hand, when comparing with the average value of the correct rate of the specific name of the specific information, in step 1311 the specific information is acquired, and in step 1312 the correct rate average value for each subject having the same specific value from the acquired specific information Pa (Oi) is calculated. In step 1313, the highest value Pa '(Oi) is obtained from the average accuracy rate Pa (Oi) for each subject. In step 1314, Pa' (Oi) is assigned as the final specific value. The assigned final specific value is output as an indexing value for the subject and the same subject in step 1315. That is, the corrected final specific value is designated as the subject indexing value, and the process proceeds to step 1209.

一方、特定情報の特定名の正解率の総和で比較する場合、ステップ1321では、特定情報を取得し、ステップ1322では、取得した特定情報から同一の特定値を持つ被写体毎に全体における割合P(Oi)を計算する。そして、ステップ1323では、各被写体毎の割合P(Oi)のうち最も高い値P’(Oi)を求め、ステップ1324では、P’(Oi)を最終特定値として付与する。付与された最終特定値は、ステップ1325で被写体及び同一被写体の索引付け値として出力される。つまり、補正された最終特定値を被写体索引付け値として指定し、ステップ1209に進む。   On the other hand, when comparing with the sum of the correct answer rates of the specific names of the specific information, in step 1321, specific information is acquired, and in step 1322, the ratio P () of all subjects having the same specific value from the acquired specific information. Oi) is calculated. In step 1323, the highest value P '(Oi) is obtained from the ratio P (Oi) for each subject, and in step 1324, P' (Oi) is assigned as the final specific value. The assigned final specific value is output as an indexing value for the subject and the same subject in step 1325. That is, the corrected final specific value is designated as the subject indexing value, and the process proceeds to step 1209.

例えば、特定情報正解確率平均値が85%、同定情報正解確率平均値が80%と算出された場合、特定情報の信頼性の方が高いので、Obj1_2=「太郎」、Obj2_1=「花子」として特定される。結果として、Obj1_2の索引付け値は「太郎」、Obj2_1の索引付け値は「花子」となる。一方、例えば、特定情報正解確率がObj1_2=「太郎」は80%、Obj2_1=「花子」は60%、Obj3_2=「花子」は70%の被写体特定結果が得られた場合、特定情報の正解確率平均値は70%となり、一方、同定情報の正解確率平均値は80%である場合、特定情報の信頼性が低いので、この場合は、補正処理を行う。「花子」の特定情報正解確率平均値は65%であり、「太郎」の特定情報正解確率平均値80%よりも低いため、補正結果として得られる最終特定値は「太郎」であり、複数カメラ映像における同一被写体Obj1_2、Obj2_1、及びObj3_2の索引付け値は「太郎」が指定される。   For example, when the specific information correct answer probability average value is calculated as 85% and the identification information correct answer probability average value is 80%, the reliability of the specific information is higher, so Obj1_2 = “Taro”, Obj2_1 = “Hanako” Identified. As a result, the indexed value of Obj1_2 is “Taro”, and the indexed value of Obj2_1 is “Hanako”. On the other hand, for example, when the specific information correct answer probability is 80% for Obj1_2 = “Taro”, 60% for Obj2_1 = “Hanako”, and 70% for Obj3_2 = “Hanako”, the correct probability of the specific information is obtained. On the other hand, when the average correct answer probability of the identification information is 80%, the reliability of the specific information is low. In this case, correction processing is performed. Since the specific information correct answer probability average value of “Hanako” is 65% and lower than the specific information correct answer probability average value 80% of “Taro”, the final specific value obtained as a correction result is “Taro”, and a plurality of cameras “Taro” is designated as the indexing value of the same subject Obj1_2, Obj2_1, and Obj3_2 in the video.

上記、同定情報の有無、整合性の有無、及び不整合性原因判定及び補正処理を行った後、ステップ1012では、同定する被写体について指定された索引付け値を付与し、ステップ1013では、索引付け値が付与された被写体について処理済みのマークをつける。これによりステップ1003で取得した被写体のうち一つの被写体に関する索引付け処理が終了する。ステップ1014では、取得した被写体の数(N)が処理する被写体の順番(j)に1を加えた数より小さい場合は(j+1>N)取得した被写体の索引付け処理は全て終了したと判定してステップ1015に進み、大きい場合は(j+1<N)被写体の索引付け処理はまだ終了していないと判定し、次の被写体の処理を行うためステップ1004に戻り、上記と同様の処理ステップ1005〜1013を行う。ステップ1015では、ステップ1001で取得したカメラの数(M)が処理するカメラの順番(i)に1を加えた数より小さい場合は(i+1>M)取得したカメラにおける時刻(t)の索引付け処理は全て終了したと判定し(終了)、大きい場合は(i+1<M)索引付け処理はまだ終了していないと判定し、次のカメラの処理を行うためステップ1002に戻り、上記と同様の処理ステップ1003〜1014を行う。   After performing the above identification information presence / absence, consistency presence / inconsistency cause determination and correction processing, in step 1012, an indexing value designated for the subject to be identified is assigned, and in step 1013 indexing is performed. A processed mark is attached to a subject to which a value is assigned. As a result, the indexing process for one of the subjects acquired in step 1003 ends. In step 1014, if the number of acquired subjects (N) is smaller than the number of subjects to be processed (j) plus 1 (j + 1> N), it is determined that all of the acquired subject indexing processes have been completed. If it is larger (j + 1 <N), it is determined that the subject indexing process has not yet ended, and the process returns to step 1004 to process the next subject. 1013 is performed. In step 1015, if the number of cameras acquired in step 1001 (M) is smaller than the number of cameras to be processed (i) plus 1 (i + 1> M), the time (t) indexing in the acquired cameras is indexed. It is determined that all the processes have been completed (finished), and if large (i + 1 <M), it is determined that the indexing process has not been completed, and the process returns to step 1002 to perform the next camera process. Processing steps 1003 to 1014 are performed.

以上、本実施例は、被写体情報の索引付けを行う際、被写体の特定結果が複数あった場合に、自動的に不整合原因を判定してその結果に基づいて被写体を特定できるので、高精度な索引付けができる。なお、本実施例で説明した処理動作も、被写体情報索引付け装置内の記憶媒体(図示しない)に格納された被写体情報索引付けプログラムを、その装置内のコンピュータが実行して処理を行っている。   As described above, in this embodiment, when indexing subject information, if there are a plurality of subject identification results, the cause of inconsistency can be automatically determined and the subject can be identified based on the result. Indexing is possible. Note that the processing operation described in the present embodiment is also performed by a subject information indexing program stored in a storage medium (not shown) in the subject information indexing device being executed by a computer in the device. .

なお、本発明は、実施例に挙げたスポーツ映像以外でも、公衆場所等での監視カメラ映像において、人物などの特定にも同様な効果がある。   It should be noted that the present invention has the same effect for identifying a person or the like in a surveillance camera video in a public place or the like other than the sports video given in the embodiment.

本発明は、スポーツ試合等で複数の異なる視点カメラ映像及び映像内被写体に関する索引付けを効率的かつ高精度に実現する効果を有し、また公衆場所等での監視カメラ映像において、人物などの特定にも同様な効果がある。   The present invention has an effect of efficiently and highly accurately indexing a plurality of different viewpoint camera images and subjects in the images in sports matches, etc., and identifying a person or the like in surveillance camera images in public places Has the same effect.

本発明の多視点映像に映る被写体情報の索引付け装置を示すブロック図1 is a block diagram showing an apparatus for indexing subject information shown in a multi-view video according to the present invention. カメラ情報を示す図Diagram showing camera information 被写体の位置情報を示す図Diagram showing subject position information 被写体情報格納部に格納されている被写体情報を示す図The figure which shows the subject information stored in a subject information storage part 本発明の多視点映像に映る被写体情報の索引付けを行う処理手順を示すフロー図The flowchart which shows the process sequence which indexes the subject information reflected on the multi-viewpoint image of the present invention 被写体の同定を行う処理手順を示すフロー図Flow chart showing processing procedure for subject identification 被写体の特定を行う処理手順を示すフロー図Flow chart showing the processing procedure for specifying the subject (a)被写体同定情報を示す図 (b)被写体特定情報を示す図 (c)索引付け情報を生成するまでの様子を示す図(A) The figure which shows subject identification information (b) The figure which shows subject identification information (c) The figure which shows the mode until indexing information is produced | generated 被写体情報索引付け部の内部構成を示すブロック図Block diagram showing the internal configuration of the subject information indexing unit 被写体情報の索引付けを行う処理手順を示すフロー図Flow chart showing processing procedure for indexing subject information 整合性判定を行う処理手順を示すフロー図Flow chart showing the procedure for performing consistency judgment 不整合原因判定を行う処理手順を示すフロー図Flow chart showing the processing procedure for determining the cause of inconsistency 補正を行う処理手順を示すフロー図Flow chart showing the processing procedure for correction (a)被写体同定情報を示す図 (b)被写体特定情報を示す図 (c)索引付け情報を生成するまでの様子を示す図(A) The figure which shows subject identification information (b) The figure which shows subject identification information (c) The figure which shows the mode until indexing information is produced | generated

符号の説明Explanation of symbols

101a〜n カメラ
102a〜n 記憶部
103a〜n 映像及びカメラ情報格納部
104a〜n 位置情報抽出部
110 被写対情報索引付け装置
111 被写体同定部
112 被写体特定部
113 被写体情報索引付け部
114 被写体情報格納部
115 被写体索引付け情報格納部
901 被写体同定情報取得部
902 被写体特定情報取得部
903 同時刻同定情報取得部
904 同時刻特定情報取得部
905 整合性判定部
906 不整合性原因判定部
907 補正部
908 索引付け部
909 索引付け情報出力部
101a to n Cameras 102a to n Storage units 103a to n Video and camera information storage units 104a to n Position information extraction unit 110 Subject information indexing device 111 Subject identification unit 112 Subject identification unit 113 Subject information indexing unit 114 Subject information Storage unit 115 Subject indexing information storage unit 901 Subject identification information acquisition unit 902 Subject identification information acquisition unit 903 Same time identification information acquisition unit 904 Same time identification information acquisition unit 905 Consistency determination unit 906 Inconsistency cause determination unit 907 Correction unit 908 Indexing unit 909 Indexing information output unit

Claims (8)

多視点映像に映る同一被写体を同定する被写体同定手段と、
多視点映像のうち何れかの映像に映る前記被写体の特徴を取得して被写体を特定する被写体特定手段と、
前記同定する被写体について前記特定した被写体の情報を索引付けする被写体情報索引付け手段とを備えることを特徴とする多視点映像に映る被写体情報の索引付け装置。
Subject identification means for identifying the same subject in a multi-viewpoint image;
Subject identifying means for acquiring the characteristics of the subject reflected in any of the multi-viewpoint images and identifying the subject;
An apparatus for indexing subject information shown in a multi-view video, comprising subject information indexing means for indexing information on the identified subject with respect to the subject to be identified.
前記被写体特定手段は、前記被写体を特定する被写体情報を格納した被写体情報格納手段を用いて被写体を特定することを特徴とする請求項1に記載の多視点映像に映る被写体情報の索引付け装置。   2. The apparatus for indexing subject information displayed in a multi-view video according to claim 1, wherein the subject specifying unit specifies a subject using subject information storage unit storing subject information for specifying the subject. 前記被写体特定手段が特定した被写体と前記被写体同定手段が同定した被写体について整合性を判定する整合性判定手段を備えることを特徴とする請求項1または2に記載の多視点映像に映る被写体情報の索引付け装置。   The subject information of multi-viewpoint video shown in claim 1 or 2, further comprising: a consistency determining unit that determines consistency between the subject specified by the subject specifying unit and the subject identified by the subject identifying unit. Indexing device. 前記整合性判定手段が前記特定した被写体と前記同定した被写体について整合性がないと判定した場合に不整合性の原因を判定する不整合性原因判定手段を備えることを特徴とする請求項3に記載の多視点映像に映る被写体情報の索引付け装置。   4. The inconsistency cause determining means for determining the cause of inconsistency when the consistency determining means determines that the identified subject and the identified subject are not consistent. An indexing device for subject information reflected in the multi-view video described. 前記不整合性原因判定手段で判定した結果に基づいて前記特定した被写体について補正を行う補正手段を備えることを特徴とする請求項4に記載の多視点映像に映る被写体情報の索引付け装置。   5. The apparatus for indexing subject information displayed in a multi-view video according to claim 4, further comprising correction means for correcting the identified subject based on a result determined by the inconsistency cause determination means. 前記被写体情報索引付け手段が索引付けした情報を格納する被写体索引付け情報格納手段を備えることを特徴とする請求項1乃至5の何れかに記載の多視点映像に映る被写体情報の索引付け装置。   6. The apparatus for indexing subject information displayed in a multi-view video according to claim 1, further comprising subject indexing information storing means for storing information indexed by the subject information indexing means. 多視点映像に映る同一被写体を同定する被写体同定ステップと、
多視点映像のうち何れかの映像に映る前記被写体の特徴を取得して被写体を特定する被写体特定ステップと、
前記同定する被写体について前記特定した被写体の情報を索引付けする被写体情報索引付けステップとを有することを特徴とする多視点映像に映る被写体情報の索引付け方法。
A subject identification step for identifying the same subject in a multi-viewpoint image;
A subject specifying step of acquiring features of the subject reflected in any of the multi-viewpoint images and specifying the subject;
And a subject information indexing step of indexing information on the identified subject with respect to the subject to be identified.
コンピュータを、
多視点映像に映る同一被写体を同定する被写体同定手段、
多視点映像のうち何れかの映像に映る前記被写体の特徴を取得して被写体を特定する被写体特定手段、
及び前記同定する被写体について前記特定した被写体の情報を索引付けする被写体情報索引付け手段として機能させることを特徴とする多視点映像に映る被写体情報の索引付けプログラム。
Computer
Subject identification means for identifying the same subject in a multi-viewpoint image;
Subject specifying means for acquiring features of the subject reflected in any of the multi-viewpoint images and specifying the subject;
And an indexing program for subject information shown in a multi-view video, wherein the subject information indexing means for indexing information on the identified subject is indexed.
JP2004203029A 2004-07-09 2004-07-09 Indexing apparatus for object information in multi-viewpoint video image, and method and program therefor Pending JP2006025306A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004203029A JP2006025306A (en) 2004-07-09 2004-07-09 Indexing apparatus for object information in multi-viewpoint video image, and method and program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004203029A JP2006025306A (en) 2004-07-09 2004-07-09 Indexing apparatus for object information in multi-viewpoint video image, and method and program therefor

Publications (1)

Publication Number Publication Date
JP2006025306A true JP2006025306A (en) 2006-01-26

Family

ID=35798237

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004203029A Pending JP2006025306A (en) 2004-07-09 2004-07-09 Indexing apparatus for object information in multi-viewpoint video image, and method and program therefor

Country Status (1)

Country Link
JP (1) JP2006025306A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027426A (en) * 2007-07-19 2009-02-05 Fujifilm Corp Unit and method for processing image, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027426A (en) * 2007-07-19 2009-02-05 Fujifilm Corp Unit and method for processing image, and program

Similar Documents

Publication Publication Date Title
CN108717531B (en) Human body posture estimation method based on Faster R-CNN
CN109711243B (en) Static three-dimensional face in-vivo detection method based on deep learning
KR101791590B1 (en) Object pose recognition apparatus and method using the same
JP4951498B2 (en) Face image recognition device, face image recognition method, face image recognition program, and recording medium recording the program
JP2004192378A (en) Face image processor and method therefor
WO2019042426A1 (en) Augmented reality scene processing method and apparatus, and computer storage medium
CN110544301A (en) Three-dimensional human body action reconstruction system, method and action training system
CN112541434B (en) Face recognition method based on central point tracking model
CN108986164B (en) Image-based position detection method, device, equipment and storage medium
JP2017123087A (en) Program, device and method for calculating normal vector of planar object reflected in continuous photographic images
JP2017097578A (en) Information processing apparatus and method
CN112200056A (en) Face living body detection method and device, electronic equipment and storage medium
CN112528902A (en) Video monitoring dynamic face recognition method and device based on 3D face model
JP4550769B2 (en) Image detection apparatus and image detection method
CN110675426A (en) Human body tracking method, device, equipment and storage medium
Santamaría et al. Tackling the coplanarity problem in 3D camera calibration by means of fuzzy landmarks: a performance study in forensic craniofacial superimposition
EP3100177A1 (en) Method for recognizing objects
JP2019205060A (en) Object tracking device, object tracking method, and object tracking program
CN108345821B (en) Face tracking method and device
JP2019012497A (en) Portion recognition method, device, program, and imaging control system
JP2006025306A (en) Indexing apparatus for object information in multi-viewpoint video image, and method and program therefor
CN112396654A (en) Method and device for determining pose of tracking object in image tracking process
JP4830585B2 (en) Image processing apparatus and image processing method
CN110855891A (en) Method and device for adjusting camera shooting angle based on human body posture and robot
CN110567728B (en) Method, device and equipment for identifying shooting intention of user