JP2007013939A - メタデータ付与装置及びメタデータ付与方法 - Google Patents

メタデータ付与装置及びメタデータ付与方法 Download PDF

Info

Publication number
JP2007013939A
JP2007013939A JP2006146909A JP2006146909A JP2007013939A JP 2007013939 A JP2007013939 A JP 2007013939A JP 2006146909 A JP2006146909 A JP 2006146909A JP 2006146909 A JP2006146909 A JP 2006146909A JP 2007013939 A JP2007013939 A JP 2007013939A
Authority
JP
Japan
Prior art keywords
metadata
focus plane
video
focus
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006146909A
Other languages
English (en)
Inventor
Yasuaki Inatomi
康朗 稲富
Mitsuhiro Kageyama
光宏 影山
Toru Wakabayashi
徹 若林
Masashi Takemura
将志 竹村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2006146909A priority Critical patent/JP2007013939A/ja
Priority to PCT/JP2006/310782 priority patent/WO2006129664A1/ja
Priority to EP06747010A priority patent/EP1887795A1/en
Priority to US11/915,947 priority patent/US20090303348A1/en
Publication of JP2007013939A publication Critical patent/JP2007013939A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3226—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3252—Image capture parameters, e.g. resolution, illumination conditions, orientation of the image capture device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253—Position information, e.g. geographical position at time of capture, GPS data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3274—Storage or retrieval of prestored additional information
    • H04N2201/3277—The additional information being stored in the same storage device as the image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Studio Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】同一の領域を撮影した画像の検索及び抽出を低負荷且つ容易に行うことを可能にする。
【解決手段】複数の撮像装置２０で撮影された画像をグループ分けするマルチアングル情報生成装置１０であって、撮像装置２０の撮影条件に関するセンサ情報を取得するセンシングメタデータ取得手段１０１と、取得したセンサ情報に基づいて、各撮像装置２０が撮影した画像を含むフォーカス平面を導出するフォーカス平面メタデータ導出手段１０２と、各フォーカス平面の位置関係に基づいて、各画像のグループ分けを行うグルーピング判定手段１０３と、グループ分けした結果をマルチアングル情報として前記画像に関連付けて記録するマルチアングルメタデータ記録手段１０４とを備える。
【選択図】図１

Description

本発明は、撮像装置で撮影された画像にメタデータを付与するメタデータ付与装置及びメタデータ付与方法に関する。
撮影画像をテーマ別に分類、管理する装置や手法については、従来、多数の提案がなされている。その中には、画像分析により撮影画像を被写体別に分類する撮影画像処理装置などがある（例えば、特許文献１参照）。この装置によれば、例えば、デジタルカメラなどで撮影した静止画像データが、被写体別に自動的に分類、管理される。
ところで、被写体別に撮影画像を分類したいというニーズが発生する状況は多々あるが、静止画像以外にも、例えば、複数の場所に配置したカメラの映像を放送するスポーツ中継番組などにおいては、ある決定的瞬間に関わる映像部分を複数の映像データから抽出し、異なる角度から捉えた同じ被写体の映像（マルチアングル映像）として連続的に放送できるように編集したい場合などがある。
特開２００４−３５６９８４号公報（第６頁、図１）
しかしながら、上記従来の画像分析による分類は、処理負荷が大きいため、複数の画像フレームで構成される映像について、同じ被写体が撮影された映像部分を分類、抽出するような目的には適用するのは現実的ではない。例えば、１秒あたり３０枚の画像フレームで構成される映像では、３台のカメラで撮影したそれぞれ６０秒の映像から所定の映像を分類、抽出する場合、６０×３０×３＝５４００フレームの画像分析が必要になる。
また、上記従来の画像分析による分類は、被写体の写り方、即ち、被写体の角度や大きさが異なる画像の場合には補正処理が必要で、認識精度が良好でない場合があった。前述のスポーツ中継番組の例では、カメラが異なる位置に配置されているため、被写体の写り方は必ず異なるものとなり、その点からも画像分析で映像の任意部分を分類、抽出することは困難であった。
従って、例えば、野球の試合放送において、ある選手がホームランを打った場面をさまざまな角度からの映像として連続的に放送したい場合、従来は手動で、すなわち、目視でそれぞれの映像を検索し、該当部分を抽出して繋ぎ合わせるという編集作業が必要であった。
本発明は、上記従来の事情に鑑みてなされたものであって、同一の領域を撮影した画像の検索及び抽出を低負荷且つ容易に行うことを可能にするメタデータ付与装置及びメタデータ付与方法を提供することを目的とする。
本発明のメタデータ付与装置は、撮像装置で撮影された画像にメタデータを付与するメタデータ付与装置であって、前記撮像装置の撮影条件に関するセンサ情報を取得するセンシング情報取得手段と、取得したセンサ情報に基づいて、前記撮像された画像の撮像面であるフォーカス平面の位置を導出するフォーカス平面導出手段と、導出したフォーカス平面の位置を、前記撮像された画像にメタデータとして付与するメタデータ付与手段と、を備える。上記構成によれば、各画像に、フォーカス平面の位置をメタデータとして付与することにより、フォーカス平面の位置関係に基づいて各画像のグループ分けを行えば、画像分析によりグループ分けを行う従来の手法と比べて処理負荷を低減できる為、同一の領域を撮影した画像の検索及び抽出を低負荷且つ容易に行うことが可能になる。
また、本発明のメタデータ付与装置は、各フォーカス平面の位置関係に基づいて、各画像のグループ分けを行うグルーピング手段と、グループ分けした結果を付加情報として前記画像に関連付けて記録する付加情報記録手段と、を備える。上記構成によれば、撮影した画像を含むフォーカス平面を導出し、各フォーカス平面の位置関係に基づいて各画像のグループ分けを行うことにより、画像分析によりグループ分けを行う従来の手法と比べて処理負荷を低減できる為、同一の領域を撮影した画像の検索及び抽出を低負荷且つ容易に行うことが可能になる。
また、本発明のメタデータ付与装置は、グルーピング手段が、フォーカス平面が互いに交差する画像を同一のグループに分けるものである。上記構成によれば、演算により画像をグループ分けできる。
また、本発明のメタデータ付与装置は、グルーピング手段が、フォーカス平面の位置情報を記憶した表に基づいて、当該位置情報にフォーカス平面が含まれる各画像を同一のグループに分けるものである。上記構成によれば、各画像を同一のグループに分けるフォーカス平面の位置を予め決めておけば、演算によらずに、画像をグループ分けできる。
また、本発明のメタデータ付与方法は、撮像装置で撮影された画像にメタデータを付与するメタデータ付与方法であって、前記撮像装置の撮影条件に関するセンサ情報を取得するセンシング情報取得ステップと、取得したセンサ情報に基づいて、前記撮像された画像の撮像面であるフォーカス平面の位置を導出するフォーカス平面導出ステップと、導出したフォーカス平面の位置を、前記撮像された画像にメタデータとして付与するメタデータ付与ステップと、を有する。
また、本発明のメタデータ付与方法は、各フォーカス平面の位置関係に基づいて、各画像のグループ分けを行うグルーピングステップと、グループ分けした結果を付加情報として前記画像に関連付けて記録する付加情報記録ステップと、を有する。
また、本発明のメタデータ付与方法は、前記グルーピングステップが、フォーカス平面が互いに交差する画像を同一のグループに分けるものである。
さらに、本発明のメタデータ付与方法は、前記グルーピングステップが、フォーカス平面の位置情報を記憶した表に基づいて、当該位置情報にフォーカス平面が含まれる各画像を同一のグループに分けるものである。
本発明によれば、各画像に、フォーカス平面の位置をメタデータとして付与することにより、フォーカス平面の位置関係に基づいて各画像のグループ分けを行えば、画像分析によりグループ分けを行う従来の手法と比べて処理負荷を低減、及びより高精度で同一撮像領域、同一被写体を撮影している動画像のグルーピングを実現できる為、同一の領域を撮影した画像の検索及び抽出を低負荷且つ容易に行うことが可能になる。
以下、添付図面を参照しながら、本発明の実施の形態に係るメタデータ付与装置について詳細に説明する。なお、実施の形態１及び２においては、メタデータ付与装置をマルチアングル情報生成装置として実施する例を示し、実施の形態３においては、メタデータ付与装置を付加情報生成装置として実施する例を示す。
［実施の形態１］
図１は、本発明の実施の形態におけるマルチアングル情報生成装置の内部構成及びマルチアングル情報生成装置を含むマルチアングル情報生成システムの構成を示す図である。図１に示すマルチアングル情報生成システムは、複数の撮像装置で撮影された画像をグループ分けするマルチアングル情報生成装置１０と、複数の撮像装置２０（２０ａ〜２０ｎ）と、データベース３０と、マルチアングル映像検索装置４０とを備えて構成される。以下では、マルチアングル情報生成システムが、複数の画像で構成される映像をグループ分けする例について説明する。
マルチアングル情報生成装置１０は、センシングメタデータ取得手段１０１、フォーカス平面メタデータ導出手段１０２、グルーピング判定手段１０３、マルチアングルメタデータ記録手段１０４を備える。
センシングメタデータ取得手段１０１は、撮像装置２０の撮影条件に関するセンサ情報を取得するものであり、それぞれの撮像装置の位置、方位、仰角、画角、フォーカス距離に関わるセンシングメタデータを、データベース３０を介して取得する。尚、本実施の形態では、センシングメタデータは撮像装置２０で生成されるものとする。撮像装置２０の内部構成及びセンシングメタデータの詳細については後述する。
フォーカス平面メタデータ導出手段１０２は、取得したセンシングメタデータに基づいて、各撮像装置２０が撮影した画像の撮像面であるフォーカス平面を導出するものであり、センシングメタデータに基づいて、撮像装置２０の実空間における撮影フォーカス平面を表す矩形を、座標値として算出する。フォーカス平面メタデータの詳細については後述する。
グルーピング判定手段１０３は、各フォーカス平面の位置関係に基づいて、各画像のグループ分けを行うものであり、フォーカス平面メタデータ導出手段１０２で導出した撮像装置ごとのフォーカス平面を用い、所定の判定条件に基づいて、画像が同一領域を撮影したものであるか否かの判定を行う。
マルチアングルメタデータ記録手段１０４は、グループ分けした結果をマルチアングル情報として画像に関連付けて記録するものであり、同一領域を撮影したものと判定された画像について関連付けを行った情報を、マルチアングルメタデータとしてデータベース３０側に出力、記録する。マルチアングルメタデータの詳細については後述する。
マルチアングル情報生成装置１０は、複数の撮像装置２０からの映像データが格納されるデータベース３０と接続し、撮像装置から取得するセンシングメタデータに基づいて、同一時刻に同一の被写体を撮影した複数の映像データの関連付けに関わる情報としてマルチアングルメタデータを生成し、データベース３０へ出力する。また、データベース３０に接続するマルチアングル映像検索装置４０は、マルチアングルメタデータに基づいて映像データの検索を行うことができる。
次に、撮像装置について説明する。図２は、本発明の実施の形態におけるマルチアングル情報生成システムで使用する撮像装置の内部構成を示す図である。撮像装置２０は、レンズ群２０１、ＣＣＤ２０２、駆動回路２０３、タイミング信号発生手段２０４、サンプリング手段２０５、Ａ／Ｄ変換手段２０６、映像ファイル生成手段２０７、映像アドレス生成手段２０８、映像識別子生成手段２０９、機器情報センサ２１０、センシングメタデータ生成手段２１１、記録手段２１２を備える。
ＣＣＤ２０２は、駆動回路２０３に接続されているタイミング信号発生手段２０４によって発生されたタイミング信号に同期して駆動され、レンズ群２０１を介して入射した被写体像の画像信号をサンプリング手段２０５へ出力する。
サンプリング手段２０５は、ＣＣＤ２０２固有のサンプリングレートによって画像信号をサンプリングする。Ａ／Ｄ変換手段２０６は、ＣＣＤ２０２より出力された画像信号をデジタル画像データに変換して映像ファイル生成手段２０７へ出力する。
映像アドレス生成手段２０８は、タイミング信号発生手段２０４からの信号によって映像アドレスの生成を開始する。映像識別子生成手段２０９は、映像と後述するセンシングメタデータを関連付ける識別子（例えばファイル名やＩＤ）を発行、付与する。
機器情報センサ２１０は、ＧＰＳ受信機(Global Positioning System)、ジャイロセンサ、方位センサ、測距センサ、画角センサで構成される。
ＧＰＳ受信機は、衛星からの電波を受信することで、あらかじめ位置の分かっている３つ以上の人工衛星からの距離を得ることにより、ＧＰＳ受信機自身の３次元での位置（緯度・経度・高度）を求めることができる。この機能を利用することにより、撮像装置の地球上での絶対位置を取得することができる。
ジャイロセンサは、一般的には３軸加速度センサと呼ばれ、地球の重力を利用することにより、センサから見てどの軸方角にどのくらいの加速度がかかっているか、つまりどの軸方向にどのくらい傾いているのかを数値として検出することができる。この機能を利用することにより、撮像装置の傾き（方位角、仰角）を取得することができる。
方位センサは、一般的には電子コンパスと呼ばれ、地球の地磁気を利用することによって、地球の東西南北の方角を検出することができる。ジャイロセンサと方位センサを組み合わせることにより、地球上での撮像装置の絶対的な向きを表すことができる。
測距センサは、被写体までの距離を計測するセンサである。撮像装置側から赤外線や超音波を被写体に向けて送出し、撮像装置がその反射を受け取るまでの時間によって撮像装置から被写体までの距離、つまりピントを合わせるべきフォーカス距離を求めることができる。
画角センサは、焦点距離、ＣＣＤの高さから画角を得ることができる。焦点距離は、レンズと受光部との距離を計ることにより取得でき、受光部の高さは撮像装置固有の物である。
機器情報センサ２１０は、センシングメタデータ２１１からの出力要求に基づき、ＧＰＳ受信機(Global Positioning System)、ジャイロセンサ、方位センサ、測距センサ、画角センサから、撮像装置の位置、基準となる方位、方位角、仰角、画角、フォーカス距離に関わるセンシング情報を出力する。センシングメタデータ生成手段２１１は、映像アドレス生成手段２０８からの映像アドレス生成タイミングに従って、機器情報センサ２１０よりセンシング情報を取得し、センシングメタデータを生成して記録手段２１２へ出力する。機器情報センサ２１０及びセンシングメタデータ生成手段２１１は、タイミング信号発生手段２０４からの信号によって動作を開始する。
尚、センシング情報の生成及び出力は本願の主眼ではないのでセンサの動作に関する詳細な説明は省略する。
尚、センシング情報の取得は、ＣＣＤのサンプリングレート（1/30sec）で行ってもよいし、数フレーム毎に取得してもよい。
尚、室内による撮影の場合ＧＰＳセンサが動作しない場合、手動により撮影場所の位置情報を入力することもできる。この場合、図示せぬ入力手段により入力された位置情報が機器情報センサに入力されるものとする。
ここで、上記構成の撮像装置のセンシングメタデータ生成動作について説明する。図３は、本発明の実施の形態におけるマルチアングル情報生成システムで使用する撮像装置の動作手順を示すフローチャートである。
はじめに、撮像装置本体の所定のスイッチ押下などにより撮影開始信号を受信すると（ステップＳ１０１）、撮像装置２０は映像記録処理を開始する（ステップＳ１０２）と共に、撮像装置２０はセンシングメタデータの生成処理を開始する（ステップＳ１０３）。そしてタイミング信号発生手段２０４が撮影終了信号を受信すると撮像装置２０は前記映像記録処理とセンシングメタデータ生成処理を終了させる（ステップＳ１０４）。
ここで、ステップＳ１０２で開始した映像記録処理とステップＳ１０３で開始したセンシングメタデータ生成処理を図４、図５を用いて説明する。
図４は、ステップＳ１０２の映像記録動作手順を示すフローチャートである。撮影開始信号を取得すると（ステップＳ２０１）、タイミング信号発生手段２０４からの動作指示命令により撮影動作が開始する（ステップＳ２０２）。また、タイミング信号発生手段２０４からの指示命令により、映像識別子生成手段２０９で映像識別子が生成される（ステップＳ２０３）。
ＣＣＤ２０２からの映像電気信号を取得し（ステップＳ２０４）、サンプリング手段２０５は、取得信号のサンプリングを行い（ステップＳ２０５）、Ａ／Ｄ変換手段２０６がデジタル画像データへの変換を行う（ステップＳ２０６）。
また、タイミング信号発生手段２０４からの指示命令で映像アドレス生成手段２０８が生成した映像アドレスを取得して（ステップＳ２０７）、映像ファイル生成手段２０７で映像ファイルが生成される（ステップＳ２０８）。更に、映像識別子生成手段２０９で生成した映像識別子が付与され（ステップＳ２０９）、最終的な映像ファイルが記録手段２１２に記録される（ステップＳ２１０）。
図５は、ステップＳ１０３のセンシングメタデータ生成動作手順を示すフローチャートである。撮影開始信号を取得すると（ステップＳ３０１）、センシングメタデータ生成手段２１１は、映像アドレス生成手段２０８で生成された映像アドレスを取得する（ステップＳ３０２）。また、映像識別子生成手段２０９で生成した映像識別子を取得する（ステップＳ３０３）。さらにセンシングメタデータ生成手段２１１は映像アドレスを取得すると同時に、機器情報センサ２１０にセンシング情報の出力要求を出し、カメラの位置、方位角、仰角、画角、フォーカス距離の情報を取得する。ＧＰＳ受信機からは、カメラの位置が取得でき、ジャイロセンサからは方位角、仰角が取得でき、測距センサからはフォーカス距離が取得でき、画角センサからは画角が取得できる。（ステップＳ３０４）。
次に、センシングメタデータ生成手段２１１は、取得した映像識別子、映像アドレスと共にカメラ位置、方位角、仰角、画角、フォーカス距離を記録し、センシングメタデータを生成、出力し（ステップＳ３０５）、記録手段２１２に記録する（ステップＳ３０６）。
図６は、生成されるセンシングメタデータのデータ構造を模式的に示す図である。任意の数のフレームで構成される一連の映像データには映像識別子が付与され、この識別子により、映像データとセンシングメタデータが一意に対応する。また、映像アドレス毎に、カメラ座標、方位角、仰角、画角、フォーカス距離が記録される。尚、映像アドレスの最小単位は、ＣＣＤ２０２のサンプリングレート、つまりフレームである。例えば図６の映像識別子には映像識別子生成手段２０９から取得した情報である「０１２３４５」が入力されている。また、映像アドレスには映像アドレス生成手段２０８から取得した情報である「００：００：００：０１」が入力されている。さらに映像アドレス「００：００：００：０１」には、当該映像アドレスを取得したタイミングにおける機器情報センサ２１０から取得する各センサ情報であるカメラ位置「１，０，０」と方位角、仰角「−９０度、０度」と画角「９０度」とフォーカス距離「１ｍ」が入力されている。尚、カメラ位置は「ｘ、ｙ、ｚ」で表現され、ｘは緯度、ｙは経度、ｚは高度（海抜）を表す。実際ここに入力される値はＧＰＳ受信機が取得した緯度、経度、高度であるが、本実施の形態では説明の簡略化のため、緯度ｘ＝１，経度ｙ＝０，高度ｚ＝０という値を得たと仮定する。また、次の映像アドレスには映像アドレス生成手段２０８から取得した情報である「００：００：００：０２」が入力されている。さらに映像アドレス「００：００：００：０２」には、当該映像アドレスを取得したタイミングにおける機器情報センサ２１０から取得する各センサ情報であるカメラ位置「１，０，０」と方位角、仰角「−９０度、０度」と画角「９０度」とフォーカス距離「１ｍ」が入力されている。また、次の映像アドレスには映像アドレス生成手段２０８から取得した情報である「００：００：００：０３」が入力されている。さらに映像アドレス「００：００：００：０３」には、当該映像アドレスを取得したタイミングにおける機器情報センサ２１０から取得する各センサ情報であるカメラ位置「１，０，０」と方位角、仰角「−９０度、０度」と画角「９０度」とフォーカス距離「１ｍ」が入力されている。
次に、上記構成のマルチアングル情報生成装置のマルチアングル情報生成動作について説明する。図７は、本発明の実施の形態におけるマルチアングル情報生成装置のマルチアングル情報生成動作手順を示すフローチャートである。
はじめに、マルチアングル情報生成装置１０のセンシングメタデータ取得手段１０１は、複数の撮像装置２０で同時刻に撮影を行った映像群のセンシングメタデータをすべて取得する（ステップＳ４０１）。次に、フォーカス平面メタデータ導出手段１０２は、取得したセンシングメタデータに基づいて、フォーカス平面メタデータの導出を行う（ステップＳ４０２）。
次に、フォーカス平面メタデータ導出手段１０２は、すべてのセンシングメタデータについてフォーカス平面メタデータの導出が完了したか否かを判断し、完了していない場合はステップＳ４０２のフォーカス平面メタデータの導出動作を繰り返す。一方、すべてのセンシングメタデータについてフォーカス平面メタデータの導出が完了している場合、次に、マルチアングルメタデータの生成動作に移行する（ステップＳ４０３）。次にグルーピング判定手段１０３は、フォーカス平面メタデータ導出手段１０２から取得したフォーカス平面メタデータに基づいて、マルチアングルメタデータの生成を行う（ステップＳ４０４）。
最後に、マルチアングルメタデータ記録手段１０４は、グルーピング判定手段１０３から取得したマルチアングルメタデータをデータベース３０側へ出力する（ステップＳ４０５）。
ここで、ステップＳ４０２のフォーカス平面メタデータ導出動作について図８，９を用いて説明する。図８は、フォーカス平面について説明するための図である。フォーカス平面とは、撮影を行う際に焦点、いわゆるピントを合わせた撮像領域を示す矩形の平面であり、矩形の４隅の座標値（境界座標と称する）で表現することができる。図に示すように、撮像装置（カメラ）からフォーカス平面までの距離は、フォーカス距離、即ち焦点距離で決定され、また、矩形の大きさは、カメラの画角で決定される。矩形の中心はフォーカス点となる。
図９に示すマルチアングル情報生成装置のフォーカス平面導出動作手順を示すフローチャートを説明する。はじめに、フォーカス平面メタデータ導出手段１０２は、センシングメタデータを取得する（ステップＳ５０１）。
任意のカメラの任意時点におけるセンシング情報が、図８に示すようにカメラ位置（a,b,c）、方位角α度、仰角β度、画角2γ度、フォーカス距離L(ｍ）である場合、カメラ位置（a,b,c）を基点としたカメラの向きベクトルは、方位角α度、仰角β度から求めることができる。前記センシング情報により、カメラの向きベクトルは（-sin αcosβ,cos α cos β ,sin β）となる。前記求められたカメラの向きベクトルを（e,f,g）とする。カメラの向きベクトル（e,f,g）はフォーカス平面を垂直に貫くためフォーカス平面の法線ベクトルとなる（ステップＳ５０２）。
次に、カメラ向きベクトル（e,f,g）とカメラ位置（a,b,c）から、カメラ位置（a,b,c）とフォーカス点を通る直線の方程式が導出できる。この直線の方程式は媒介変数zを用いると（ez,fz,gz）と表すことができる。この直線の方程式から、当該直線上にあり、カメラ位置（a,b,c）からの距離がLである座標をフォーカス点として導出可能である。求めるための式はL=√(ez-a) 2+(fz-b) 2+(gz-c) 2となり、この式から媒介変数zを導出する。L=√(ez-a) 2+(fz-b) 2+(gz-c) 2を解くと、z=｛(ae+bf+cg)±√(ae+bf+cg) 2 -(e+f+g)(a2+b2+c2-L2)｝/(e+f+g)となり、フォーカス点は（ez,fz,gz）に上記求めたzを代入したものとなる（ステップＳ５０３）。
前記求めたフォーカス点を（h,i,j）とすると、法線ベクトル（e,f,g）とフォーカス点（h,i,j）よりフォーカス平面の方程式を導出することができる。フォーカス平面の方程式はex+fy+gz=eh+fi+gjとなる（ステップＳ５０４）。
画角2γ度より、カメラ位置（a,b,c）からフォーカス平面の境界座標までの距離はL/cosγとなる。ここで境界座標は、カメラ位置（a,b,c）を中心とする半径L/cosγの球上に存在し、なおかつ上記で求めたフォーカス平面上に存在する座標であると言える。カメラ位置（a,b,c）を中心とする半径L/cosγの球の方程式は、(x-a) 2 +(y-b) 2 +(z-c) 2=(L/cosγ)2である。
ここで、カメラが撮影する平面の特徴として、水平はずれない（つまり、平面の上辺は高さ（z軸）一定、下辺も高さ(z軸)一定）ということと、フォーカス平面は縦と横の長さの比が決まっているということを方程式と解くための条件として用いる。zが一定である（つまり、平面の上辺は高さ（z軸）一定、下辺も高さ(z軸)一定）ことにより、zを２つの値z1,z2と置くことができる。これにより導き出される方程式は、ex+fy+gz1=eh+fi+gj, ex+fy+gz2=eh+fi+gj, (x-a) 2 +(y-b) 2 +(z1-c) 2=(L/cosγ)2, (x-a) 2 +(y-b) 2 +(z2-c) 2=(L/cosγ)2となる。
この4つの方程式を解くとx,yの値をそれぞれz1,z2で表した4つの境界座標を導くことができる。まず、zがz1の場合であるex+fy+gz1=eh+fi+gjと(x-a) 2 +(y-b) 2 +(z1-c) 2=(L/cosγ)2, について考える。簡単化のため、eh+fi+gj-gz1=A, (z1-c) 2=B, (L/cosγ)2=Cと置くとx+fy+gz1=A,(x-a) 2 +(y-b) 2 +B=Cとなる。さらにこの２つの方程式からxを消去し、A-ea=D, e2 (B-C)=E, e2+f2 =F,-(2DF+2be2)=G, e2b2+E=Hと置くと、Fy 2 +Gy+H=0となりyの値はy=(-G±√G 2 -4FH)となる。同様にしてx=(A-f(-G±√G 2 -4FH)/2F)を求めることができる。簡単化のため、求めたx,yをそれぞれX1,Y1 ,X2,Y2とする。
次にzがz2の場合であるex+fy+gz2=eh+fi+gj, (x-a) 2 +(y-b) 2 +(z2-c) 2=(L/cosγ)2についてもx,yを求める。ここでは、z2の場合の導出方法はz1の場合と同様であるため説明は省略する。求めたx,yをそれぞれX3,Y3 ,X4,Y4とする。よって4つの境界座標は(X1,Y1,Z1) (X2,Y2,Z1) (X3,Y3,Z2) (X4,Y4,Z2)となる。
ここで、フォーカス平面は横と縦の長さの比が決まっている（ここでは、横：縦=P:Qとする）ことより、上辺の長さ：右辺の長さ＝P:Q、下辺の長さ：左辺の長さ＝P:Qを導くことができる。ここで模式的に(X1,Y1,Z1) (X2,Y2,Z1) (X3,Y3,Z2) (X4,Y4,Z2)を左上(X1,Y1,Z1) 右上(X2,Y2,Z1) 左下(X3,Y3,Z2) 右下(X4,Y4,Z2)とする。上辺の長さ=√(X1-X2) 2+(Y1-Y2) 2 、右辺の長さ=√(X2-X4) 2+(Y2-Y4) 2+(Z1-Z2) 2、下辺の長さ=√(X3-X4) 2+(Y3-Y4) 2 、左辺の長さ=√(X1-X3) 2+(Y1-Y3) 2+(Z1-Z2) 2より、√(X1-X2) 2+(Y1-Y2) 2 ：√(X2-X4) 2+(Y2-Y4) 2+(Z1-Z2) 2=P:Q、√(X3-X4) 2+(Y3-Y4) 2 ：√(X1-X3) 2+(Y1-Y3) 2+(Z1-Z2) 2=P:Qとなり、２つの方程式を得ることができる。左上(X1,Y1,Z1) 右上(X2,Y2,Z1) 左下(X3,Y3,Z2) 右下(X4,Y4,Z2)はz1,z2で表された値である。このため、簡単化のための置き換えを元に戻すことにより、√(X1-X2) 2+(Y1-Y2) 2 ：√(X2-X4) 2+(Y2-Y4) 2+(Z1-Z2) 2=P:Q、√(X3-X4) 2+(Y3-Y4) 2 ：√(X1-X3) 2+(Y1-Y3) 2+(Z1-Z2) 2=P:Q からz1,z2についての連立方程式を得ることができ、z1,z2を求めることができる。z1,z2の式は、複雑なためここでは記載を省略する。求めたz1,z2を左上(X1,Y1,Z1) 右上(X2,Y2,Z1) 左下(X3,Y3,Z2) 右下(X4,Y4,Z2)に代入することにより、境界座標を得ることができる。求めた境界座標を左上（k,l,m）右上（n,o,p）左下（q,r,s）右下（t,u,v）とする（ステップＳ５０５）。
最後に、フォーカス平面メタデータ導出手段１０２は、算出した４点の境界座標情報を映像アドレス毎にセンシングメタデータに追記して、フォーカス平面メタデータとして生成する（ステップＳ５０６）。
ここで、実際に図６のセンシングメタデータを用いて、フォーカス平面と境界座標の導出方法を説明する。この説明で用いる図６のセンシングメタデータは、映像アドレス「００：００：００：０１」のカメラ位置（1,0,0）、方位角・仰角「−９０度、０度」、画角「９０度」、フォーカス距離「１ｍ」である。まず、方位角・仰角「−９０度、０度」を大きさ1のx,y,z成分に分解し、カメラ位置（1,0,0）との差分によりカメラの向きを示すベクトルは（-1,0,0）となる。このカメラの向きを示すベクトルはフォーカス平面の法線ベクトルとなる。
次に法線ベクトル（-1,0,0）とカメラ位置（1,0,0）より、法線ベクトルが（-1,0,0）でカメラ位置（1,0,0）を通る直線の方程式を求めることができる。直線の方程式はy=0,z=0となる。この直線上にあり、カメラ位置（1,0,0）からフォーカス距離が1である座標、つまりフォーカス点の座標は、前記直線の方程式y=0,z=0とフォーカス距離＝1より（0,0,0）となる。
次にフォーカス点の座標（0,0,0）と法線ベクトル（-1,0,0）よりフォーカス平面の方程式を導出する。フォーカス点の座標（0,0,0）と法線ベクトル（-1,0,0）よりフォーカス平面の方程式はx=0となる。
また、画角が90度であることからフォーカス平面上の境界座標までの距離は、1/cos45°、つまり√2となる。ここで、境界座標は半径√2で中心をカメラ位置（1,0,0）とする球上、かつフォーカス平面上にあると言える。半径√2で中心をカメラ位置（1,0,0）とする球の方程式は(x-1)2+y2+z2=2である。球の方程式(x-1)2+y2+z2=2とフォーカス平面の方程式x=0より、y2+z2=1を導くことができる。さらにカメラの映し出す画面サイズは縦と横の比率が４：３であるとすると、z=4/3yとすることができ、y2+z2=1とz=4/3yと解くことによりy=±3/5, z=±4/5を導くことができる。よって境界座標は（0,3/5,4/5）, （0,-3/5,4/5）, （0,-3/5,-4/5）, （0,3/5,-4/5）となる。
図１０は、生成されるフォーカス平面メタデータのデータ構造を模式的に示す図である。映像アドレス毎に、フォーカス平面境界座標及びフォーカス平面方程式が記録されている。図１０では、図６で示した映像アドレス「００：００：００：０１」に上記で導出された「フォーカス平面境界座標」と「フォーカス平面方程式」の項目が追加され、「フォーカス平面境界座標」には「（0,3/5,4/5）, （0,-3/5,4/5）, （0,-3/5,-4/5）, （0,3/5,-4/5）」が、「フォーカス平面方程式」には「x=0」が入力されている。
次に、ステップＳ４０４のマルチアングルメタデータの生成動作について図１１を用いて説明する。図１１は、マルチアングル情報生成装置のマルチアングルメタデータ生成動作手順を示すフローチャートである。はじめに、定数ｎを１に初期化し（ステップＳ６０１）、グルーピング判定手段１０３は、すべての映像のｎフレーム目のフォーカス平面メタデータの情報（方程式、境界座標）を取得して（ステップＳ６０２）、グルーピング判定動作を実行する（ステップＳ６０３）。次に、グルーピング判定手段１０３は、生成したマルチアングルメタデータをマルチアングルメタデータ記録手段１０４へ出力する（ステップＳ６０４）。その後、定数ｎを１だけインクリメントし（ステップＳ６０５）、グルーピング判定手段１０３は、次の映像フレーム（ｎ番目のフレーム）があるか否かを判定する（ステップＳ６０６）。次のフレームがある場合はステップＳ６０２へ戻り、マルチアングルメタデータ生成動作を繰り返す。一方、次のフレームがない場合はマルチアングルメタデータ生成動作を終了する。
ここでステップＳ６０３のグルーピング判定動作について図１２，１３を用いて説明する。グルーピング判定動作とは、同一時刻に撮影した複数の映像データの中から、所定の判定条件に基づいて、同一被写体を撮影した映像データをグループ分けする動作である。実施の形態１では、フォーカス平面が互いに交差する画像を同一のグループに分ける。すなわち、実施の形態１では、グルーピングの判定条件として、「フォーカス平面の交差判定」を行う。図１２は、フォーカス平面の交差判定を説明するための図である。図に示すように、フォーカス平面が交差するカメラ（撮像装置）の映像データは、同一の被写体を撮影している映像データであると判定し、フォーカス平面が交差しない映像データは、異なる被写体を撮影している映像データであると判定する。
図１３は、マルチアングル情報生成装置のグルーピング判定動作手順を示すフローチャートである。はじめに、グルーピング判定手段１０３は、取得したすべてのフォーカス平面メタデータについて、平面方程式の交線が境界座標内にあるか否かを判定する（ステップＳ７０１）。そして、平面方程式の交線が境界座標内にある場合は、フォーカス平面メタデータに、該当する映像識別子情報とnフレーム目を表す映像アドレスを追記してマルチアングルメタデータとして生成する（ステップＳ７０２）。
ここで、実際に図１０のフォーカス平面メタデータを用いて、グルーピング判定方法を説明する。図１０のフォーカス平面メタデータには「映像識別子」として「012345」が、「フォーカス平面境界座標」として「（0,3/5,4/5）, （0,-3/5,4/5）, （0,-3/5,-4/5）, （0,3/5,-4/5）」が、「フォーカス平面方程式」として「x=0」が入力されている。ここで別のフォーカス平面メタデータとして「映像識別子」が「543210」、「フォーカス平面境界座標」が「（3/5,0,4/5）, （-3/5,0,4/5）, （-3/5,0,-4/5）, （3/5,0,-4/5）」、「フォーカス平面方程式」が「y=0」であるものが存在すると仮定する。まず、フォーカス平面の方程式は「x=0」と「y=0」であるため、その交線の方程式は「x=0,y=0」となる。
次に平面方程式の交線が境界座標内にあるか否かを判定する。求められた交線の方程式「x=0,y=0」は２平面「x=0」「y=0」の境界座標「（0,3/5,4/5）, （0,-3/5,4/5）, （0,-3/5,-4/5）, （0,3/5,-4/5）」と「（3/5,0,4/5）, （-3/5,0,4/5）, （-3/5,0,-4/5）, （3/5,0,-4/5）」から表される境界範囲-3/5≦x≦3/5、-3/5≦y≦3/5、-4/5≦z≦4/5をにおいて、-4/5≦z≦4/5の間でx=0,y=0となり境界範囲-3/5≦x≦3/5、-3/5≦y≦3/5、-4/5≦z≦4/5の内部にあると判断できるため、この２つのフォーカス平面は交差している、つまり同一の被写体を撮影している映像データであると判定し、「映像識別子」が「012345」であるフォーカス平面メタデータには映像識別子「543210」を追記してマルチアングルメタデータとして生成する。また、「映像識別子」が「543210」であるフォーカス平面メタデータには映像識別子「012345」を追記してマルチアングルメタデータとして生成する。
図１４は、生成されるマルチアングルメタデータのデータ構造を模式的に示す図である。同一時刻に同じ被写体を撮影した他の映像データを特定可能な素材ＩＤと、映像データの相対位置を特定可能な映像アドレスと、を含むマルチアングル情報が映像アドレス毎に記録されている。図１４では、図１０で示した映像アドレス「００：００：００：０１」に上記で導出された「マルチアングル情報」の項目が追加され、「マルチアングル情報」には「素材ID:543210、映像アドレス００：００：００：０１」が入力されている。
以上によりマルチアングルメタデータは、対応する映像データと関連付けして記録されるので、マルチアングルメタデータを利用して、マルチアングル映像検索装置４０により、同時刻に同じ被写体を撮影した映像データを検索して抽出することができる。
なお、本実施の形態では、撮影装置とマルチアングル情報生成装置が別々である構成例を示したが、撮影装置に、センシングメタデータ取得手段とフォーカス平面メタデータ導出手段を備えるように構成してもよい。
なお、本実施の形態では、映像識別子を用いて映像データと各種メタデータの対応を計っているが、各種メタデータをストリーム化し、映像データに多重化することによって、映像識別子を使用しないようにしてもよい。
なお、グルーピング判定時には、ピントが合ったように見える被写体の前後の範囲である被写界深度に従ってフォーカス距離を伸縮し、フォーカス距離毎にフォーカス平面を算出してグルーピング判定を行ってもよい。
したがって、マルチアングル映像の編集などを行う際の作業負担を大幅に改善することができる。
［実施の形態２］
次に、上記のグルーピング判定動作において、別の判定条件でグルーピング判定を行う場合の例について説明する。尚、マルチアングル情報生成装置及びマルチアングル情報生成システムの構成、並びにマルチアングル情報生成動作手順については、実施の形態１のそれらと同じであるため、説明を省略する。
実施の形態２では、各画像を同一のグループに分けるフォーカス平面の位置情報を記憶した表に基づいて、各画像のグループ分けを行う。すなわち、実施の形態２では、グルーピング判定手段１０３の内部に、グルーピングルールを記述した表を有し、この表に基づいて、「フォーカス平面の所定領域内における存在判定」を行う。図１５は、フォーカス平面の所定領域内における存在判定を説明するための図である。図に示すように、フォーカス平面が３次元座標の範囲で設定する所定の領域内に存在する映像データは、同一のグループに分ける映像データであると判定し、所定の領域内に存在しない映像データは、異なるグループに分ける映像データであると判定する。この際、フォーカス平面が交差しているか否かは関与しない。このグルーピング判定条件によれば、例えば、野球場の「センター付近」や「ライト付近」の被写体を撮影している映像データというように、指定した領域の数だけ映像データのグループ分け（グルーピング）を行うことができる。
図１６は、複数の領域の位置情報を指定して生成するグルーピングルールを説明するための図である。図に示すように、４種類の領域を設定することにより、映像データが４種類に分類される。例えば、図１６ではx座標が0≦x≦1の場合、y座標が0≦y≦1、z座標が0≦z≦1となっており、名称はセンター付近となっている。またx座標が2≦x≦3の場合、y座標が2≦y≦3、z座標が2≦z≦3となっており、名称はライト付近となっている。
図１７は、実施の形態２の判定条件におけるマルチアングル情報生成装置のグルーピング判定動作手順を示すフローチャートである。はじめに、グルーピング判定手段１０３は、取得したすべてのフォーカス平面メタデータについて、平面の境界座標がグルーピングルールの領域内にあるか否かを判定する（ステップＳ８０１）。そして、グルーピングルールの領域内にある場合は、フォーカス平面メタデータに、該当する映像識別子情報などを追記してマルチアングルメタデータとして生成する（ステップＳ８０２）。
実際に、図１０のフォーカス平面メタデータと図１６のグルーピングルールを用いて、グルーピング判定をする方法を説明する。図１０のフォーカス平面メタデータには「映像識別子」として「012345」が、「フォーカス平面境界座標」として「（0,3/5,4/5）, （0,-3/5,4/5）, （0,-3/5,-4/5）, （-1,3/5,-4/5）」が入力されている。ここで別のフォーカス平面メタデータとして「映像識別子」が「543210」、「フォーカス平面境界座標」が「（3/5,0,4/5）, （-3/5,0,4/5）, （-3/5,0,-4/5）, （3/5,0,-4/5）」であるものが存在すると仮定する。まず、「映像識別子」が「012345」の、「フォーカス平面境界座標」は「（0,3/5,4/5）, （0,-3/5,4/5）, （0,-3/5,-4/5）, （-1,3/5,-4/5）」であるため、0≦x≦1、0≦y≦1、0≦z≦1に当てはまり、センター付近にグルーピングされる。つぎに「映像識別子」が「543210」の「フォーカス平面境界座標」は「（3/5,0,4/5）, （-3/5,0,4/5）, （-3/5,0,-4/5）, （3/5,0,-4/5）」であるため、0≦x≦1、0≦y≦1、0≦z≦1に当てはまり、同じくセンター付近にグルーピングされる。よってこの２つの映像データは同じグループに属すると判定し、「映像識別子」が「012345」であるフォーカス平面メタデータには映像識別子「543210」と名称「センター付近」を追記してマルチアングルメタデータとして生成する。また「映像識別子」が「543210」であるフォーカス平面メタデータには映像識別子「012345」と名称「センター付近」を追記してマルチアングルメタデータとして生成する。
図１８は、生成されるマルチアングルメタデータのデータ構造を模式的に示す図である。同一時刻に同じ被写体を撮影した他の映像データを特定可能な素材ＩＤと、相対位置を特定可能な映像アドレスとを含むマルチアングル情報と、所定領域の名称に関わる情報が映像アドレス毎に記録されている。図１８では、図１０で示した映像アドレス「００：００：００：０１」に上記で導出された「マルチアングル情報」と「名称」の項目が追加され、「マルチアングル情報」には「素材ID:543201、映像アドレス００：００：００：０１」、「名称」には「センター付近」が入力されている。
尚、上記の所定領域における存在判定では、フォーカス平面の境界座標の全てが当該領域内に存在するか否かで判定してもよいし、少なくとも１つの境界座標が当該領域内に存在するか否かで判定してもよい。
尚、上記の実施の形態において、グルーピングルールを状況に応じて変化させてもよい。また、グルーピングルールを記述した表をグルーピング判定手段内部ではなく、外部のデータベースに設け、グルーピング判定手段が外部の表を参照する構成としてもよい。
尚、上記の実施の形態において、センシングメタデータの生成は、センシング情報が変化した場合のみメタデータを生成するようにすれば、処理量が削減され、処理速度を向上させることができる。また、実際には近接する画像フレームのマルチアングル情報は同じであることが多いと予測されるので、マルチアングルメタデータを画像フレーム毎に生成するのではなく、映像アドレスとマルチアングル情報との対応関係だけを示すデータ構造のマルチアングルメタデータを生成すれば、処理量が削減され、処理速度を向上させることができる。更に、マルチアングルメタデータを画像フレーム毎に生成するのではなく、グルーピング判定手段でグループ分けされたグループ毎に生成するようにすれば、同じ情報をそれぞれの映像データのメタデータに重複して記録する処理が削減され、処理速度を向上させることができる。
また、上記の実施の形態において、センシングメタデータは撮像装置で生成される構成としたが、これにとらわれるものではなく、例えば、撮像装置の外部からセンシングメタデータを取得する構成としてもよい。
［実施の形態３］
実施の形態１、２では、複数の撮像装置で同時刻に撮影を開始した画像をグルーピングする例について説明したが、本実施の形態では、単一の撮像装置で異なる時刻に撮影した画像をグルーピングする例について説明する。すなわち、実施の形態１、２では、全ての映像データのＮフレーム目について、画像が同一領域を撮影したものであるか否かを判定していたのに対し、本実施の形態では、各映像データの全てのフレームの組合せについて判定を行う。
図１９は、本発明の実施の形態における付加情報生成装置の内部構成及び付加情報生成装置を含む付加情報生成システムの構成を示す図である。図１９に示す付加情報生成システムは、単一の撮像装置で撮影された画像をグループ分けする付加情報生成装置１０１０と、撮像装置１０２０と、データベース１０３０と、映像検索装置１０４０とを備えて構成される。以下では、付加情報生成システムが、複数の画像で構成される映像をグループ分けする例について説明する。
付加情報生成装置１０１０は、センシングメタデータ取得手段１１０１、フォーカス平面メタデータ導出手段１１０２、グルーピング判定手段１１０３、メタデータ記録手段１１０４を備える。
センシングメタデータ取得手段１１０１は、撮像装置１０２０の撮影条件に関するセンサ情報を取得するものであり、それぞれの撮像装置の位置、方位、仰角、画角、フォーカス距離に関わるセンシングメタデータを、データベース１０３０を介して取得する。尚、本実施の形態では、センシングメタデータは撮像装置１０２０で生成されるものとする。撮像装置１０２０の内部構成及びセンシングメタデータの詳細については後述する。
フォーカス平面メタデータ導出手段１１０２は、取得したセンシングメタデータに基づいて、各撮像装置１０２０が撮影した画像を含むフォーカス平面を導出するものであり、センシングメタデータに基づいて、撮像装置１０２０の実空間における撮影フォーカス平面を表す矩形を、座標値として算出する。フォーカス平面メタデータの詳細については後述する。
グルーピング判定手段１１０３は、各フォーカス平面の位置関係に基づいて、各画像のグループ分けを行うものであり、フォーカス平面メタデータ導出手段１１０２で導出したフォーカス平面を用い、所定の判定条件に基づいて、画像が同一領域を撮影したものであるか否かの判定を行う。
メタデータ記録手段１１０４は、グループ分けした結果を付加情報として画像に関連付けて記録するものであり、同一領域を撮影したものと判定された画像について関連付けを行った情報を、付加メタデータとしてデータベース１０３０側に出力、記録する。付加メタデータの詳細については後述する。
付加情報生成装置１０１０は、撮像装置１０２０からの映像データが格納されるデータベース１０３０と接続し、撮像装置から取得するセンシングメタデータに基づいて、同一の被写体を撮影した複数の映像データの関連付けに関わる情報として付加メタデータを生成し、データベース１０３０へ出力する。また、データベース１０３０に接続する映像検索装置１０４０は、付加メタデータに基づいて映像データの検索を行うことができる。
次に、撮像装置について説明する。図２０は、本発明の実施の形態における付加情報生成システムで使用する撮像装置の内部構成を示す図である。撮像装置１０２０は、レンズ群１２０１、ＣＣＤ１２０２、駆動回路１２０３、タイミング信号発生手段１２０４、サンプリング手段１２０５、Ａ／Ｄ変換手段１２０６、映像ファイル生成手段１２０７、映像アドレス生成手段１２０８、映像識別子生成手段１２０９、機器情報センサ１２１０、センシングメタデータ生成手段１２１１、記録手段１２１２を備える。
ＣＣＤ１２０２は、駆動回路１２０３に接続されているタイミング信号発生手１２０４によって発生されたタイミング信号に同期して駆動され、レンズ群１２０１を介して入射した被写体像の画像信号をサンプリング手段１２０５へ出力する。
サンプリング手段１２０５は、ＣＣＤ１２０２固有のサンプリングレートによって画像信号をサンプリングする。Ａ／Ｄ変換手段１２０６は、ＣＣＤ１２０２より出力された画像信号をデジタル画像データに変換して映像ファイル生成手段１２０７へ出力する。
映像アドレス生成手段１２０８は、タイミング信号発生手段１２０４からの信号によって映像アドレスの生成を開始する。映像識別子生成手段１２０９は、映像と後述するセンシングメタデータを関連付ける識別子（例えばファイル名やＩＤ）を発行、付与する。
機器情報センサ１２１０は、ＧＰＳ受信機(Global Positioning System)、ジャイロセンサ、方位センサ、測距センサ、画角センサで構成される。
ＧＰＳ受信機は、衛星からの電波を受信することで、あらかじめ位置の分かっている３つ以上の人工衛星からの距離を得ることにより、ＧＰＳ受信機自身の３次元での位置（緯度・経度・高度）を求めることができる。この機能を利用することにより、撮像装置の地球上での絶対位置を取得することができる。
ジャイロセンサは、一般的には３軸加速度センサと呼ばれ、地球の重力を利用することにより、センサから見てどの軸方角にどのくらいの加速度がかかっているか、つまりどの軸方向にどのくらい傾いているのかを数値として検出することができる。この機能を利用することにより、撮像装置の傾き（方位角、仰角）を取得することができる。
方位センサは、一般的には電子コンパスと呼ばれ、地球の地磁気を利用することによって、地球の東西南北の方角を検出することができる。ジャイロセンサと方位センサを組み合わせることにより、地球上での撮像装置の絶対的な向きを表すことができる。
測距センサは、被写体までの距離を計測するセンサである。撮像装置側から赤外線や超音波を被写体に向けて送出し、撮像装置がその反射を受け取るまでの時間によって撮像装置から被写体までの距離、つまりピントを合わせるべきフォーカス距離を求めることができる。
画角センサは、焦点距離、ＣＣＤの高さから画角を得ることができる。焦点距離は、レンズと受光部との距離を計ることにより取得でき、受光部の高さは撮像装置固有の物である。
機器情報センサ１２１０は、センシングメタデータ１２１１からの出力要求に基づき、ＧＰＳ受信機(Global Positioning System)、ジャイロセンサ、方位センサ、測距センサ、画角センサから、撮像装置の位置、基準となる方位、方位角、仰角、画角、フォーカス距離に関わるセンシング情報を出力する。センシングメタデータ生成手段１２１１は、映像アドレス生成手段１２０８からの映像アドレス生成タイミングに従って、機器情報センサ１２１０よりセンシング情報を取得し、センシングメタデータを生成して記録手段１２１２へ出力する。機器情報センサ１２１０及びセンシングメタデータ生成手段１２１１は、タイミング信号発生手段１２０４からの信号によって動作を開始する。
尚、センシング情報の生成及び出力は本願の主眼ではないのでセンサの動作に関する詳細な説明は省略する。
尚、センシング情報の取得は、ＣＣＤのサンプリングレート（1/30sec）で行ってもよいし、数フレーム毎に取得してもよい。
尚、室内における撮影の場合ＧＰＳセンサが動作しない場合、手動により撮影場所の位置情報を入力することもできる。この場合、図示せぬ入力手段により入力された位置情報が機器情報センサに入力されるものとする。
ここで、上記構成の撮像装置のセンシングメタデータ生成動作について説明する。図２１は、本発明の実施の形態における付加情報生成システムで使用する撮像装置の動作手順を示すフローチャートである。
はじめに、撮像装置本体の所定のスイッチ押下などにより撮影開始信号を受信すると（ステップＳ１１０１）、撮像装置１０２０は映像記録処理を開始する（ステップＳ１１０２）と共に、撮像装置１０２０はセンシングメタデータの生成処理を開始する（ステップＳ１１０３）。そしてタイミング信号発生手段１２０４が撮影終了信号を受信すると撮像装置１０２０は前記映像記録処理とセンシングメタデータ生成処理を終了させる（ステップＳ１１０４）。
ここで、ステップＳ１１０２で開始した映像記録処理とステップＳ１１０３で開始したセンシングメタデータ生成処理を図２２、図２３を用いて説明する。
図２２は、ステップＳ１０２の映像記録動作手順を示すフローチャートである。撮影開始信号を取得すると（ステップＳ１２０１）、タイミング信号発生手段１２０４からの動作指示命令により撮影動作が開始する（ステップＳ１２０２）。また、タイミング信号発生手段１２０４からの指示命令により、映像識別子生成手段１２０９で映像識別子が生成される（ステップＳ１２０３）。
ＣＣＤ１２０２からの映像電気信号を取得し（ステップＳ１２０４）、サンプリング手段１２０５は、取得信号のサンプリングを行い（ステップＳ１２０５）、Ａ／Ｄ変換手段１２０６がデジタル画像データへの変換を行う（ステップＳ１２０６）。
また、タイミング信号発生手段１２０４からの指示命令で映像アドレス生成手段１２０８が生成した映像アドレスを取得して（ステップＳ１２０７）、映像ファイル生成手段１２０７で映像ファイルが生成される（ステップＳ１２０８）。更に、映像識別子生成手段１２０９で生成した映像識別子が付与され（ステップＳ１２０９）、最終的な映像ファイルが記録手段１２１２に記録される（ステップＳ１２１０）。
図２３は、ステップＳ１１０３のセンシングメタデータ生成動作手順を示すフローチャートである。撮影開始信号を取得すると（ステップＳ１３０１）、センシングメタデータ生成手段１２１１は、映像アドレス生成手段１２０８で生成された映像アドレスを取得する（ステップＳ１３０２）。また、映像識別子生成手段１２０９で生成した映像識別子を取得する（ステップＳ１３０３）。さらにセンシングメタデータ生成手段１２１１は映像アドレスを取得すると同時に、機器情報センサ１２１０にセンシング情報の出力要求を出し、カメラの位置、方位角、仰角、画角、フォーカス距離の情報を取得する。ＧＰＳ受信機からは、カメラの位置が取得でき、ジャイロセンサからは方位角、仰角が取得でき、測距センサからはフォーカス距離が取得でき、画角センサからは画角が取得できる。（ステップＳ１３０４）。
次に、センシングメタデータ生成手段１２１１は、取得した映像識別子、映像アドレスと共にカメラ位置、方位角、仰角、画角、フォーカス距離を記録し、センシングメタデータを生成、出力し（ステップＳ１３０５）、記録手段１２１２に記録する（ステップＳ１３０６）。
図２４は、生成されるセンシングメタデータのデータ構造を模式的に示す図である。任意の数のフレームで構成される一連の映像データには映像識別子が付与され、この識別子により、映像データとセンシングメタデータが一意に対応する。また、映像アドレス毎に、カメラ座標、方位角、仰角、画角、フォーカス距離が記録される。尚、映像アドレスの最小単位は、ＣＣＤ１２０２のサンプリングレート、つまりフレームである。例えば図２４の映像識別子には映像識別子生成手段１２０９から取得した情報である「０１２３４５」が入力されている。また、映像アドレスには映像アドレス生成手段１２０８から取得した情報である「００：００：００：０１」が入力されている。さらに映像アドレス「００：００：００：０１」には、当該映像アドレスを取得したタイミングにおける機器情報センサ１２１０から取得する各センサ情報であるカメラ位置「１，０，０」と方位角、仰角「−９０度、０度」と画角「９０度」とフォーカス距離「１ｍ」が入力されている。尚、カメラ位置は「ｘ、ｙ、ｚ」で表現され、ｘは緯度、ｙは経度、ｚは高度（海抜）を表す。実際ここに入力される値はＧＰＳ受信機が取得した緯度、経度、高度であるが、本実施の形態では説明の簡略化のため、緯度ｘ＝１，経度ｙ＝０，高度ｚ＝０という値を得たと仮定する。また、次の映像アドレスには映像アドレス生成手段１２０８から取得した情報である「００：００：００：０２」が入力されている。さらに映像アドレス「００：００：００：０２」には、当該映像アドレスを取得したタイミングにおける機器情報センサ１２１０から取得する各センサ情報であるカメラ位置「１，０，０」と方位角、仰角「−９０度、０度」と画角「９０度」とフォーカス距離「１ｍ」が入力されている。また、次の映像アドレスには映像アドレス生成手段２０８から取得した情報である「００：００：００：０３」が入力されている。さらに映像アドレス「００：００：００：０３」には、当該映像アドレスを取得したタイミングにおける機器情報センサ１２１０から取得する各センサ情報であるカメラ位置「１，０，０」と方位角、仰角「−９０度、０度」と画角「９０度」とフォーカス距離「１ｍ」が入力されている。
次に、上記構成の付加情報生成装置の付加情報生成動作について説明する。図２５は、本発明の実施の形態における付加情報生成装置の付加情報生成動作手順を示すフローチャートである。
はじめに、付加情報生成装置１０１０のセンシングメタデータ取得手段１１０１は、撮像装置１０２０で撮影を行った映像群のセンシングメタデータをすべて取得する（ステップＳ１４０１）。次に、フォーカス平面メタデータ導出手段１１０２は、取得したセンシングメタデータに基づいて、フォーカス平面メタデータの導出を行う（ステップＳ１４０２）。
次に、フォーカス平面メタデータ導出手段１１０２は、すべてのセンシングメタデータについてフォーカス平面メタデータの導出が完了したか否かを判断し、完了していない場合はステップＳ１４０２のフォーカス平面メタデータの導出動作を繰り返す。一方、すべてのセンシングメタデータについてフォーカス平面メタデータの導出が完了している場合、次に、付加メタデータの生成動作に移行する（ステップＳ１４０３）。次にグルーピング判定手段１１０３は、フォーカス平面メタデータ導出手段１１０２から取得したフォーカス平面メタデータに基づいて、付加メタデータの生成を行う（ステップＳ１４０４）。
最後に、メタデータ記録手段１１０４は、グルーピング判定手段１１０３から取得した付加メタデータをデータベース１０３０側へ出力する（ステップＳ１４０５）。
ここで、ステップＳ１４０２のフォーカス平面メタデータ導出動作について図２６，２７を用いて説明する。図２６は、フォーカス平面について説明するための図である。フォーカス平面とは、撮影を行う際に焦点、いわゆるピントを合わせた撮像領域を示す矩形の平面であり、矩形の４隅の座標値（境界座標と称する）で表現することができる。図に示すように、撮像装置（カメラ）からフォーカス平面までの距離は、フォーカス距離、即ち焦点距離で決定され、また、矩形の大きさは、カメラの画角で決定される。矩形の中心はフォーカス点となる。
図２７に示す付加情報生成装置のフォーカス平面導出動作手順を示すフローチャートを説明する。はじめに、フォーカス平面メタデータ導出手段１１０２は、センシングメタデータを取得する（ステップＳ１５０１）。
カメラの任意時点におけるセンシング情報が、図２６に示すようにカメラ位置（a,b,c）、方位角α度、仰角β度、画角2γ度、フォーカス距離L(ｍ）である場合、カメラ位置（a,b,c）を基点としたカメラの向きベクトルは、方位角α度、仰角β度から求めることができる。前記センシング情報により、カメラの向きベクトルは（-sin αcosβ,cos α cos β ,sin β）となる。前記求められたカメラの向きベクトルを（e,f,g）とする。カメラの向きベクトル（e,f,g）はフォーカス平面を垂直に貫くためフォーカス平面の法線ベクトルとなる（ステップＳ１５０２）。
次に、カメラ向きベクトル（e,f,g）とカメラ位置（a,b,c）から、カメラ位置（a,b,c）とフォーカス点を通る直線の方程式が導出できる。この直線の方程式は媒介変数zを用いると（ez,fz,gz）と表すことができる。この直線の方程式から、当該直線上にあり、カメラ位置（a,b,c）からの距離がLである座標をフォーカス点として導出可能である。求めるための式はL=√(ez-a) 2+(fz-b) 2+(gz-c) 2となり、この式から媒介変数zを導出する。L=√(ez-a) 2+(fz-b) 2+(gz-c) 2を解くと、z=｛(ae+bf+cg)±√(ae+bf+cg) 2 -(e+f+g)(a2+b2+c2-L2)｝/(e+f+g)となり、フォーカス点は（ez,fz,gz）に上記求めたzを代入したものとなる（ステップＳ１５０３）。
前記求めたフォーカス点を（h,i,j）とすると、法線ベクトル（e,f,g）とフォーカス点（h,i,j）よりフォーカス平面の方程式を導出することができる。フォーカス平面の方程式はex+fy+gz=eh+fi+gjとなる（ステップＳ１５０４）。
画角2γ度より、カメラ位置（a,b,c）からフォーカス平面の境界座標までの距離はL/cosγとなる。ここで境界座標は、カメラ位置（a,b,c）を中心とする半径L/cosγの球上に存在し、なおかつ上記で求めたフォーカス平面上に存在する座標であると言える。カメラ位置（a,b,c）を中心とする半径L/cosγの球の方程式は、(x-a) 2 +(y-b) 2 +(z-c) 2=(L/cosγ)2である。
ここで、カメラが撮影する平面の特徴として、水平はずれない（つまり、平面の上辺は高さ（z軸）一定、下辺も高さ(z軸)一定）ということと、フォーカス平面は縦と横の長さの比が決まっているということを方程式と解くための条件として用いる。zが一定である（つまり、平面の上辺は高さ（z軸）一定、下辺も高さ(z軸)一定）ことにより、zを２つの値z1,z2と置くことができる。これにより導き出される方程式は、ex+fy+gz1=eh+fi+gj, ex+fy+gz2=eh+fi+gj, (x-a) 2 +(y-b) 2 +(z1-c) 2=(L/cosγ)2, (x-a) 2 +(y-b) 2 +(z2-c) 2=(L/cosγ)2となる。
この4つの方程式を解くとx,yの値をそれぞれz1,z2で表した4つの境界座標を導くことができる。まず、zがz1の場合であるex+fy+gz1=eh+fi+gjと(x-a) 2 +(y-b) 2 +(z1-c) 2=(L/cosγ)2, について考える。簡単化のため、eh+fi+gj-gz1=A, (z1-c) 2=B, (L/cosγ)2=Cと置くとx+fy+gz1=A,(x-a) 2 +(y-b) 2 +B=Cとなる。さらにこの２つの方程式からxを消去し、A-ea=D, e2 (B-C)=E, e2+f2 =F,-(2DF+2be2)=G, e2b2+E=Hと置くと、Fy 2 +Gy+H=0となりyの値はy=(-G±√G 2 -4FH)となる。同様にしてx=(A-f(-G±√G 2 -4FH)/2F)を求めることができる。簡単化のため、求めたx,yをそれぞれX1,Y1 ,X2,Y2とする。
次にzがz2の場合であるex+fy+gz2=eh+fi+gj, (x-a) 2 +(y-b) 2 +(z2-c) 2=(L/cosγ)2についてもx,yを求める。ここでは、z2の場合の導出方法はz1の場合と同様であるため説明は省略する。求めたx,yをそれぞれX3,Y3 ,X4,Y4とする。よって4つの境界座標は(X1,Y1,Z1) (X2,Y2,Z1) (X3,Y3,Z2) (X4,Y4,Z2)となる。
ここで、フォーカス平面は横と縦の長さの比が決まっている（ここでは、横：縦=P:Qとする）ことより、上辺の長さ：右辺の長さ＝P:Q、下辺の長さ：左辺の長さ＝P:Qを導くことができる。ここで模式的に(X1,Y1,Z1) (X2,Y2,Z1) (X3,Y3,Z2) (X4,Y4,Z2)を左上(X1,Y1,Z1) 右上(X2,Y2,Z1) 左下(X3,Y3,Z2) 右下(X4,Y4,Z2)とする。上辺の長さ=√(X1-X2) 2+(Y1-Y2) 2 、右辺の長さ=√(X2-X4) 2+(Y2-Y4) 2+(Z1-Z2) 2、下辺の長さ=√(X3-X4) 2+(Y3-Y4) 2 、左辺の長さ=√(X1-X3) 2+(Y1-Y3) 2+(Z1-Z2) 2より、√(X1-X2) 2+(Y1-Y2) 2 ：√(X2-X4) 2+(Y2-Y4) 2+(Z1-Z2) 2=P:Q、√(X3-X4) 2+(Y3-Y4) 2 ：√(X1-X3) 2+(Y1-Y3) 2+(Z1-Z2) 2=P:Qとなり、２つの方程式を得ることができる。左上(X1,Y1,Z1) 右上(X2,Y2,Z1) 左下(X3,Y3,Z2) 右下(X4,Y4,Z2)はz1,z2で表された値である。このため、簡単化のための置き換えを元に戻すことにより、√(X1-X2) 2+(Y1-Y2) 2 ：√(X2-X4) 2+(Y2-Y4) 2+(Z1-Z2) 2=P:Q、√(X3-X4) 2+(Y3-Y4) 2 ：√(X1-X3) 2+(Y1-Y3) 2+(Z1-Z2) 2=P:Q からz1,z2についての連立方程式を得ることができ、z1,z2を求めることができる。z1,z2の式は、複雑なためここでは記載を省略する。求めたz1,z2を左上(X1,Y1,Z1) 右上(X2,Y2,Z1) 左下(X3,Y3,Z2) 右下(X4,Y4,Z2)に代入することにより、境界座標を得ることができる。求めた境界座標を左上（k,l,m）右上（n,o,p）左下（q,r,s）右下（t,u,v）とする（ステップＳ５０５）。
最後に、フォーカス平面メタデータ導出手段１１０２は、算出した４点の境界座標情報を映像アドレス毎にセンシングメタデータに追記して、フォーカス平面メタデータとして生成する（ステップＳ１５０６）。
ここで、実際に図２４のセンシングメタデータを用いて、フォーカス平面と境界座標の導出方法を説明する。この説明で用いる図２４のセンシングメタデータは、映像アドレス「００：００：００：０１」のカメラ位置（1,0,0）、方位角・仰角「−９０度、０度」、画角「９０度」、フォーカス距離「１ｍ」である。まず、方位角・仰角「−９０度、０度」を大きさ1のx,y,z成分に分解し、カメラ位置（1,0,0）との差分によりカメラの向きを示すベクトルは（-1,0,0）となる。このカメラの向きを示すベクトルはフォーカス平面の法線ベクトルとなる。
次に法線ベクトル（-1,0,0）とカメラ位置（1,0,0）より、法線ベクトルが（-1,0,0）でカメラ位置（1,0,0）を通る直線の方程式を求めることができる。直線の方程式はy=0,z=0となる。この直線上にあり、カメラ位置（1,0,0）からフォーカス距離が1である座標、つまりフォーカス点の座標は、前記直線の方程式y=0,z=0とフォーカス距離＝1より（0,0,0）となる。
次にフォーカス点の座標（0,0,0）と法線ベクトル（-1,0,0）よりフォーカス平面の方程式を導出する。フォーカス点の座標（0,0,0）と法線ベクトル（-1,0,0）よりフォーカス平面の方程式はx=0となる。
また、画角が90度であることからフォーカス平面上の境界座標までの距離は、1/cos45°、つまり√2となる。ここで、境界座標は半径√2で中心をカメラ位置（1,0,0）とする球上、かつフォーカス平面上にあると言える。半径√2で中心をカメラ位置（1,0,0）とする球の方程式は(x-1)2+y2+z2=2である。球の方程式(x-1)2+y2+z2=2とフォーカス平面の方程式x=0より、y2+z2=1を導くことができる。さらにカメラの映し出す画面サイズは縦と横の比率が４：３であるとすると、z=4/3yとすることができ、y2+z2=1とz=4/3yと解くことによりy=±3/5, z=±4/5を導くことができる。よって境界座標は（0,3/5,4/5）, （0,-3/5,4/5）, （0,-3/5,-4/5）, （0,3/5,-4/5）となる。
図２８は、生成されるフォーカス平面メタデータのデータ構造を模式的に示す図である。映像アドレス毎に、フォーカス平面境界座標及びフォーカス平面方程式が記録されている。図２８では、図２４で示した映像アドレス「００：００：００：０１」に上記で導出された「フォーカス平面境界座標」と「フォーカス平面方程式」の項目が追加され、「フォーカス平面境界座標」には「（0,3/5,4/5）, （0,-3/5,4/5）, （0,-3/5,-4/5）, （0,3/5,-4/5）」が、「フォーカス平面方程式」には「x=0」が入力されている。フォーカス平面メタデータを各画像に付与することにより、後述する画像のグルーピングが可能となる。
次に、ステップＳ１４０４の付加メタデータの生成動作について図２９を用いて説明する。図２９は、付加情報生成装置の付加メタデータ生成動作手順を示すフローチャートである。はじめに、グルーピング判定手段１１０３は、すべての映像の全フレームのフォーカス平面メタデータの情報（方程式）、境界座標を取得し（ステップＳ１６０１）、全フレームの組み合わせＮパターンを導出する（ステップＳ１６０２）。
図３０は、全フレームの組み合わせのイメージを示す図である。図３０（a）に示すフレーム１〜３からなる映像Ａとフレーム１〜３からなる映像Ｂとの全フレームの組合せを図３０（ｂ）に示す。たとえば、映像Ａのフレーム１については、映像Ｂのフレーム１との組み合わせ（第１パターン）、映像Ｂのフレーム２との組み合わせ（第２パターン）、映像Ｂのフレーム３との組み合わせ（第３パターン）の３パターンとなる。同様に、映像Ａのフレーム２については第４〜第６パターン、映像Ａのフレーム３については第７〜第９パターンの組合せとなる。
次に、組み合わせのパターン番号Ｎを１に初期化し（ステップＳ１６０３）、グルーピング判定手段１１０３は、第Ｎパターンについてグルーピング判定動作を実行し、付加メタデータを生成する（ステップＳ１６０４）。次に、グルーピング判定手段１０３は、生成した付加メタデータをメタデータ記録手段１１０４へ出力する（ステップＳ１６０５）。その後、定数Ｎを１だけインクリメントし（ステップＳ１６０６）、グルーピング判定手段１１０３は、次の組み合わせパターン（第Ｎパターン）があるか否かを判定する（ステップＳ１６０７）。次の組み合わせパターンがある場合はステップＳ１６０４へ戻り、付加メタデータ生成動作を繰り返す。一方、次の組み合わせパターンがない場合は付加メタデータ生成動作を終了する。
ここでステップＳ１６０４のグルーピング判定動作について図３１，３２を用いて説明する。グルーピング判定動作とは、撮影した複数の映像データの中から、所定の判定条件に基づいて、同一被写体を撮影した映像データをグループ分けする動作である。実施の形態３では、フォーカス平面が互いに交差する画像を同一のグループに分ける。すなわち、実施の形態３では、グルーピングの判定条件として、「フォーカス平面の交差判定」を行う。図３１は、フォーカス平面の交差判定を説明するための図である。図に示すように、フォーカス平面が交差するカメラ（撮像装置）の映像データは、同一の被写体を撮影している映像データであると判定し、フォーカス平面が交差しない映像データは、異なる被写体を撮影している映像データであると判定する。
図３２は、付加情報生成装置のグルーピング判定動作手順を示すフローチャートである。はじめに、グルーピング判定手段１１０３は、取得したすべてのフォーカス平面メタデータについて、平面方程式の交線が境界座標内にあるか否かを判定する（ステップＳ１７０１）。そして、平面方程式の交線が境界座標内にある場合は、フォーカス平面メタデータに、該当する映像識別子情報とnフレーム目を表す映像アドレスを追記して付加メタデータとして生成する（ステップＳ１７０２）。
ここで、実際に図２８のフォーカス平面メタデータを用いて、グルーピング判定方法を説明する。図２８のフォーカス平面メタデータには「映像識別子」として「012345」が、「フォーカス平面境界座標」として「（0,3/5,4/5）, （0,-3/5,4/5）, （0,-3/5,-4/5）, （0,3/5,-4/5）」が、「フォーカス平面方程式」として「x=0」が入力されている。ここで別のフォーカス平面メタデータとして「映像識別子」が「543210」、「フォーカス平面境界座標」が「（3/5,0,4/5）, （-3/5,0,4/5）, （-3/5,0,-4/5）, （3/5,0,-4/5）」、「フォーカス平面方程式」が「y=0」であるものが存在すると仮定する。まず、フォーカス平面の方程式は「x=0」と「y=0」であるため、その交線の方程式は「x=0,y=0」となる。
次に平面方程式の交線が境界座標内にあるか否かを判定する。求められた交線の方程式「x=0,y=0」は２平面「x=0」「y=0」の境界座標「（0,3/5,4/5）, （0,-3/5,4/5）, （0,-3/5,-4/5）, （0,3/5,-4/5）」と「（3/5,0,4/5）, （-3/5,0,4/5）, （-3/5,0,-4/5）, （3/5,0,-4/5）」から表される境界範囲-3/5≦x≦3/5、-3/5≦y≦3/5、-4/5≦z≦4/5をにおいて、-4/5≦z≦4/5の間でx=0,y=0となり境界範囲-3/5≦x≦3/5、-3/5≦y≦3/5、-4/5≦z≦4/5の内部にあると判断できるため、この２つのフォーカス平面は交差している、つまり同一の被写体を撮影している映像データであると判定し、「映像識別子」が「012345」であるフォーカス平面メタデータには映像識別子「543210」を追記して付加メタデータとして生成する。また、「映像識別子」が「543210」であるフォーカス平面メタデータには映像識別子「012345」を追記して付加メタデータとして生成する。
図３３は、生成されるメタデータのデータ構造を模式的に示す図である。同じ被写体を撮影した他の映像データを特定可能な素材ＩＤと、映像データの相対位置を特定可能な映像アドレスと、を含む付加情報が映像アドレス毎に記録されている。図３３では、図２８で示した映像アドレス「００：００：００：０１」に上記で導出された「付加情報」の項目が追加され、「付加情報」には「素材ID:543210、映像アドレス００：００：００：０１」が入力されている。
以上によりメタデータは、対応する映像データと関連付けして記録されるので、メタデータを利用して、映像検索装置１０４０により、異なる時刻に同じ被写体を撮影した映像データを検索して抽出することができる。
なお、本実施の形態では、撮影装置と付加情報生成装置が別々である構成例を示したが、撮影装置に、センシングメタデータ取得手段とフォーカス平面メタデータ導出手段を備えるように構成してもよい。
なお、本実施の形態では、映像識別子を用いて映像データと各種メタデータの対応を計っているが、各種メタデータをストリーム化し、映像データに多重化することによって、映像識別子を使用しないようにしてもよい。
なお、グルーピング判定時には、ピントが合ったように見える被写体の前後の範囲である被写界深度に従ってフォーカス距離を伸縮し、フォーカス距離毎にフォーカス平面を算出してグルーピング判定を行ってもよい。
したがって、単一のカメラで異なる時刻に撮影した映像をグルーピングできるため、たとえば、一般ユーザが撮影した写真や映像をデータベースに登録すると、自動的に被写体の存在する場所別にグルーピングできるため、映像の編集などを行う際の作業負担を大幅に改善することができる。
なお、以上の説明では、フォーカス平面を用いて画像をグルーピングする例を示したが、フォーカス平面メタデータを各画像に付与することにより、画像のグルーピング以外の用途にも利用可能である。
本発明は、各画像に、フォーカス平面の位置をメタデータとして付与することにより、フォーカス平面の位置関係に基づいて各画像のグループ分けを行えば、画像分析によりグループ分けを行う従来の手法と比べて処理負荷を低減できる為、同一の領域を撮影した画像の検索及び抽出を低負荷且つ容易に行うことが可能になる効果を有し、撮像装置で撮影された画像にメタデータを付与するメタデータ付与装置及びメタデータ付与方法等に有用である。
本発明の実施の形態におけるマルチアングル情報生成装置の内部構成及びマルチアングル情報生成装置を含むマルチアングル情報生成システムの構成を示す図 本発明の実施の形態におけるマルチアングル情報生成システムで使用する撮像装置の内部構成を示す図 本発明の実施の形態におけるマルチアングル情報生成システムで使用する撮像装置の動作手順を示すフローチャート 撮像装置の映像記録動作手順を示すフローチャート 撮像装置のセンシングメタデータ生成動作手順を示すフローチャート 生成されるセンシングメタデータのデータ構造を模式的に示す図 本発明の実施の形態におけるマルチアングル情報生成装置のマルチアングル情報生成動作手順を示すフローチャート フォーカス平面について説明するための図 マルチアングル情報生成装置のフォーカス平面導出動作手順を示すフローチャート 生成されるフォーカス平面メタデータのデータ構造を模式的に示す図 マルチアングル情報生成装置のマルチアングルメタデータの生成動作手順を示すフローチャート フォーカス平面の交差判定を説明するための図 マルチアングル情報生成装置のグルーピング判定動作手順を示すフローチャート 生成されるマルチアングルメタデータのデータ構造を模式的に示す図 フォーカス平面の所定領域内における存在判定を説明するための図 複数の領域の位置情報を指定して生成するグルーピングルールを説明するための図 実施の形態２の判定条件におけるマルチアングル情報生成装置のグルーピング判定動作手順を示すフローチャート 生成されるマルチアングルメタデータのデータ構造を模式的に示す図 本発明の実施の形態３における付加情報生成装置の内部構成及び付加情報生成装置を含む付加情報生成システムの構成を示す図 本発明の実施の形態３における付加情報生成システムで使用する撮像装置の内部構成を示す図 本発明の実施の形態３における付加情報生成システムで使用する撮像装置の動作手順を示すフローチャート 撮像装置の映像記録動作手順を示すフローチャート 撮像装置のセンシングメタデータ生成動作手順を示すフローチャート 生成されるセンシングメタデータのデータ構造を模式的に示す図 本発明の実施の形態における付加情報生成装置の付加情報生成動作手順を示すフローチャート フォーカス平面について説明するための図 付加情報生成装置のフォーカス平面導出動作手順を示すフローチャート 生成されるフォーカス平面メタデータのデータ構造を模式的に示す図 付加情報生成装置の付加メタデータの生成動作手順を示すフローチャート 全フレームの組み合わせのイメージを示す図 フォーカス平面の交差判定を説明するための図 付加情報生成装置のグルーピング判定動作手順を示すフローチャート 生成される付加メタデータのデータ構造を模式的に示す図
符号の説明
１０ マルチアングル情報生成装置
２０、１０２０ 撮像装置
３０、１０３０ データベース
４０ マルチアングル映像検索装置
１０１、１１０１ センシングメタデータ取得手段
１０２、１１０２ フォーカス平面メタデータ導出手段
１０３、１１０３ グルーピング判定手段
１０４ マルチアングルメタデータ記録手段
２０１ レンズ群
２０２、１２０２ ＣＣＤ
２０３、１２０３ 駆動回路
２０４、１２０４ タイミング信号発生手段
２０５、１２０５ サンプリング手段
２０６、１２０６ Ａ／Ｄ変換手段
２０７、１２０７ 映像ファイル生成手段
２０８、１２０８ 映像アドレス生成手段
２０９、１２０９ 映像識別子生成手段
２１０、１２１０ 機器情報センサ
２１１、１２１１ センシングメタデータ生成手段
２１２、１２１２ 記録手段
１０１０ 付加情報生成装置
１０４０ 映像検索装置
１１０４ メタデータ記録手段

Claims (8)

  1. 撮像装置で撮影された画像にメタデータを付与するメタデータ付与装置であって、
    前記撮像装置の撮影条件に関するセンサ情報を取得するセンシング情報取得手段と、
    取得したセンサ情報に基づいて、前記撮像された画像の撮像面であるフォーカス平面の位置を導出するフォーカス平面導出手段と、
    導出したフォーカス平面の位置を、前記撮像された画像にメタデータとして付与するメタデータ付与手段と、
    を備えるメタデータ付与装置。
  2. 各フォーカス平面の位置関係に基づいて、各画像のグループ分けを行うグルーピング手段と、
    グループ分けした結果を付加情報として前記画像に関連付けて記録する付加情報記録手段と、
    を備える請求項１記載のメタデータ付与装置。
  3. 前記グルーピング手段は、フォーカス平面が互いに交差する画像を同一のグループに分ける請求項２記載のメタデータ付与装置。
  4. 前記グルーピング手段は、フォーカス平面の位置情報を記憶した表に基づいて、当該位置情報にフォーカス平面が含まれる各画像を同一のグループに分ける請求項２記載のメタデータ付与装置。
  5. 撮像装置で撮影された画像にメタデータを付与するメタデータ付与方法であって、
    前記撮像装置の撮影条件に関するセンサ情報を取得するセンシング情報取得ステップと、
    取得したセンサ情報に基づいて、前記撮像された画像の撮像面であるフォーカス平面の位置を導出するフォーカス平面導出ステップと、
    導出したフォーカス平面の位置を、前記撮像された画像にメタデータとして付与するメタデータ付与ステップと、を有するメタデータ付与方法。
  6. 各フォーカス平面の位置関係に基づいて、各画像のグループ分けを行うグルーピングステップと、
    グループ分けした結果を付加情報として前記画像に関連付けて記録する付加情報記録ステップと、
    を有する請求項５記載のメタデータ付与方法。
  7. 前記グルーピングステップは、フォーカス平面が互いに交差する画像を同一のグループに分ける請求項６記載のメタデータ付与方法。
  8. 前記グルーピングステップは、フォーカス平面の位置情報を記憶した表に基づいて、当該位置情報にフォーカス平面が含まれる各画像を同一のグループに分ける請求項６記載のメタデータ付与方法。

JP2006146909A 2005-05-30 2006-05-26 メタデータ付与装置及びメタデータ付与方法 Withdrawn JP2007013939A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006146909A JP2007013939A (ja) 2005-05-30 2006-05-26 メタデータ付与装置及びメタデータ付与方法
PCT/JP2006/310782 WO2006129664A1 (ja) 2005-05-30 2006-05-30 メタデータ付与装置及びメタデータ付与方法
EP06747010A EP1887795A1 (en) 2005-05-30 2006-05-30 Metadata adding apparatus and metadata adding method
US11/915,947 US20090303348A1 (en) 2005-05-30 2006-05-30 Metadata adding apparatus and metadata adding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005157179 2005-05-30
JP2006146909A JP2007013939A (ja) 2005-05-30 2006-05-26 メタデータ付与装置及びメタデータ付与方法

Publications (1)

Publication Number Publication Date
JP2007013939A true JP2007013939A (ja) 2007-01-18

Family

ID=37481593

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006146909A Withdrawn JP2007013939A (ja) 2005-05-30 2006-05-26 メタデータ付与装置及びメタデータ付与方法

Country Status (4)

Country Link
US (1) US20090303348A1 (ja)
EP (1) EP1887795A1 (ja)
JP (1) JP2007013939A (ja)
WO (1) WO2006129664A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009284123A (ja) * 2008-05-21 2009-12-03 Casio Comput Co Ltd 画像表示装置、及び画像表示方法、画像表示プログラム
WO2010055638A1 (ja) * 2008-11-13 2010-05-20 パナソニック株式会社 映像データ作成装置、映像データ作成方法、および、映像データ作成用のプログラムとその記録媒体、集積回路
JP2011507094A (ja) * 2007-12-11 2011-03-03 イーストマン コダック カンパニー ユーザ・プロファイルのための、画像レコードの傾向の識別
JP2012048278A (ja) * 2010-08-24 2012-03-08 Nec Corp 特徴情報付加システム、装置、方法およびプログラム
KR20150109919A (ko) * 2014-03-21 2015-10-02 한국전자통신연구원 파노라마 영상 생성을 위한 시스템 및 방법
WO2020129434A1 (ja) * 2018-12-18 2020-06-25 キヤノン株式会社 画像ファイル生成装置、画像ファイル生成方法、及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5188201B2 (ja) 2008-02-25 2013-04-24 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
JP5268787B2 (ja) * 2009-06-04 2013-08-21 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
JP4560128B1 (ja) * 2009-08-13 2010-10-13 株式会社パスコ 地図画像統合データベース生成システム及び地図画像統合データベース生成プログラム
KR101786050B1 (ko) * 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 전송 방법 및 장치
JP5838560B2 (ja) * 2011-02-14 2016-01-06 ソニー株式会社 画像処理装置、情報処理装置、及び撮像領域の共有判定方法
EP2887352A1 (en) 2013-12-19 2015-06-24 Nokia Corporation Video editing
DE102014216702A1 (de) 2014-08-22 2016-02-25 Siemens Aktiengesellschaft Reformatierung unter Berücksichtigung der Anatomie eines zu untersuchenden Objekts
EP3016106A1 (en) * 2014-10-27 2016-05-04 Thomson Licensing Method and apparatus for preparing metadata for review

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3386373B2 (ja) * 1998-06-10 2003-03-17 富士写真フイルム株式会社 撮影画像の類似性判定方法およびこれを用いた画像処理方法および画像処理装置
JP4764536B2 (ja) * 1998-11-17 2011-09-07 株式会社リコー 画像計測機器
JP2003274343A (ja) * 2002-03-14 2003-09-26 Konica Corp カメラ、画像処理装置、及び画像処理方法
JP2004356984A (ja) 2003-05-29 2004-12-16 Casio Comput Co Ltd 撮影画像処理装置およびプログラム
JP2005086238A (ja) * 2003-09-04 2005-03-31 Casio Comput Co Ltd 画像撮影装置およびプログラム
JP2005157179A (ja) 2003-11-28 2005-06-16 Fuji Xerox Co Ltd 定着装置、およびそれを用いた画像形成装置
US8538997B2 (en) * 2004-06-25 2013-09-17 Apple Inc. Methods and systems for managing data
JP5437548B2 (ja) 2004-11-15 2014-03-12 ハイデルベルガー ドルツクマシーネン アクチエンゲゼルシヤフト 電子制御システムにおける入力署名

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011507094A (ja) * 2007-12-11 2011-03-03 イーストマン コダック カンパニー ユーザ・プロファイルのための、画像レコードの傾向の識別
JP2009284123A (ja) * 2008-05-21 2009-12-03 Casio Comput Co Ltd 画像表示装置、及び画像表示方法、画像表示プログラム
WO2010055638A1 (ja) * 2008-11-13 2010-05-20 パナソニック株式会社 映像データ作成装置、映像データ作成方法、および、映像データ作成用のプログラムとその記録媒体、集積回路
JP2012048278A (ja) * 2010-08-24 2012-03-08 Nec Corp 特徴情報付加システム、装置、方法およびプログラム
KR20150109919A (ko) * 2014-03-21 2015-10-02 한국전자통신연구원 파노라마 영상 생성을 위한 시스템 및 방법
KR102189298B1 (ko) * 2014-03-21 2020-12-09 한국전자통신연구원 파노라마 영상 생성을 위한 시스템 및 방법
WO2020129434A1 (ja) * 2018-12-18 2020-06-25 キヤノン株式会社 画像ファイル生成装置、画像ファイル生成方法、及びプログラム
JP2020098499A (ja) * 2018-12-18 2020-06-25 キヤノン株式会社 画像ファイル生成装置、画像ファイル生成方法、及びプログラム
JP7303625B2 (ja) 2018-12-18 2023-07-05 キヤノン株式会社 画像ファイル生成装置、画像ファイル生成方法、及びプログラム

Also Published As

Publication number Publication date
US20090303348A1 (en) 2009-12-10
EP1887795A1 (en) 2008-02-13
WO2006129664A1 (ja) 2006-12-07

Similar Documents

Publication Publication Date Title
JP2007013939A (ja) メタデータ付与装置及びメタデータ付与方法
CN106767706B (zh) 一种无人机勘查交通事故现场的航拍图像采集方法及系统
JP4750859B2 (ja) データ処理装置、方法、記録媒体
US11315340B2 (en) Methods and systems for detecting and analyzing a region of interest from multiple points of view
JP6803800B2 (ja) 情報処理装置、空撮経路生成方法、空撮経路生成システム、プログラム、及び記録媒体
US9756260B1 (en) Synthetic camera lenses
CN105830093A (zh) 用于产生与非均匀大小的空间区相关的元数据的系统、方法及设备
JP2010118019A (ja) 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体
JP5467177B2 (ja) 情報提供装置、情報提供方法、情報提供処理プログラム、情報提供処理プログラムを記録した記録媒体、及び情報提供システム
JP2006059136A (ja) ビューア装置及びそのプログラム
US9600932B2 (en) Three dimensional navigation among photos
KR101413011B1 (ko) 위치 정보 기반 증강현실 시스템 및 제공 방법
EP3422145B1 (en) Provision of virtual reality content
KR101574636B1 (ko) 면형방식 디지털 항공카메라로 촬영한 시계열 항공사진을 입체시하여 좌표를 연동하고 변화지역을 판독하는 시스템
KR20160087284A (ko) 영상 처리 장치, 영상 처리 장치가 수행하는 영상 저장 방법 및 영상 검색 방법
US11394882B2 (en) Display control device, display control method, and program
CN101204088A (zh) 元数据添加装置和元数据添加方法
JP2007188117A (ja) 崩壊地抽出方法、装置及びプログラム
JP6388532B2 (ja) 画像提供システムおよび画像提供方法
JP6210807B2 (ja) 表示制御装置及び表示制御装置の制御方法
KR102249383B1 (ko) 지오 태그 사진들로부터 어트랙션 지역을 발견하는 방법 및 이를 수행하는 장치
JPWO2016203896A1 (ja) 生成装置
KR102534829B1 (ko) 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 장치 및 방법과 이를 위한 프로그램
KR102231381B1 (ko) 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템 및 방법
KR101910460B1 (ko) 콘텐츠 제공 시스템 및 방법

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071113

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071120

A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20090804