JP2005354248A - 映像撮影装置及び画像管理方法 - Google Patents

Abstract

【課題】音声信号の解析処理を用いた従来の自動インデックス生成装置では、撮影対象となる被写体の変化に対応してインデックスを生成することはできず、被写体をキーとするシーン検索機能を実現するためには、人手を介して、映像内インデックスを生成する必要があった。
【解決手段】映像を撮影する際、映像撮影装置に取り付けられたタグ情報読み取り装置が、被写体に付与された無線タグの識別情報を読み込み、その情報を用いて映像内インデックスをリアルタイムに自動生成する。
【選択図】図２

Description

本発明は、無線タグを利用した映像内インデックス生成機能を有する映像撮影装置、および画像管理方法に関するものである。

近年、静止画だけでなく動画像の撮影も可能とするデジタルカメラやカメラ付き携帯電話等、デジタル画像の撮影装置が急速に普及し、家庭でも気軽に撮影を楽しむことが可能となった。それに伴い、今後は、撮影した映像を家庭でも簡単に編集できる仕組みが求められると考えられる。例えば、ホームビデオ等、家庭で撮影した映像の中から、子供が写っているシーンを容易に検索、抽出するといった機能である。前記は、撮影された映像の中から、特定の人や物体、すなわち撮影対象を条件としたシーン検出機能に該当する。

上述したシーン抽出を実現するためには、撮影された映像を編集し、シーンの切れ目に応じてインデックスを作成する必要がある。しかし、この作業は、人手を介するばかりでなく、映像を編集するスキルが必要とされるため、一般的な家庭において処理することは困難である。

人手を介すことなく、自動的にインデックスを発生させる方法としては、撮影時に取得した音声信号を入力とし、そのパワーレベルと周波数解析を行って得られた特徴から、インデックスを自動的に発生させる方法が提案されている（例えば特許文献１参照を参照）。

本手法は、観衆が多く集まるイベント（スポーツ）などの撮影時に利用されることを目的としており、音声データのパワーや周波数に応じてインデックスを自動生成し、ダイジェスト番組の製作を支援することを目的としている。より具体的には、音声データのパワーを解析することから、盛り上がっているシーンを特定し、また、周波数を解析することにより、審判の笛を特定して、イベントの切れ目を認識して自動的にインデックスを生成する。このようにして生成されたインデックスは、番組ダイジェストの作成に利用される。
特開２００１−１４３４５１号公報

しかし、前記手法は音声をベースにしてインデックスを発生させる手法であり、撮影対象の有無に応じてインデックスを発生させているわけではない。例えば、ある人物が写っているシーンを抽出したい場合、その人物が音声を発していなければインデックスを発生させることはできない。また、音声を発しない物体や位置に関する変化を抽出し、インデックスを発生させることは不可能である。

したがって、音声だけでは、撮影対象となる被写体の変化に応じてインデックスを発生することができないため、撮影映像の編集時に人手を介してインデックスを生成しなければならない。

本発明は、従来の方法では実現不可能であった、撮影対象となる被写体の状況変化を検出し、人手を介することなく、映像内インデックスを自動生成し、前記インデックスを利用することによって、映像における被写体をキーとするシーン抽出機能を実現することを目的とする。

前記従来の課題を解決するために、本発明は、被写体にそれぞれ対応させて設けられ、前記被写体を一意に特定できる対象物識別情報を有し、前記対象物識別情報を映像撮影装置に対して送信することを可能とする無線タグを有する被写体を撮影するための映像撮影装置を提供し、被写体の撮影を行い、撮影された映像を取得する映像取得手段と、前記映像を記憶する映像記憶手段と、前記記憶された映像を装置外部へ出力する映像出力手段と、撮影中に前記無線タグから送信される前記対象物識別情報を受信する対象物識別情報受信手段と、前記対象物識別情報とその受信時刻を用いて、映像内インデックスを自動的に生成するインデックス生成手段と、前記インデックスを記憶するインデックス記憶手段と、前記インデックスを装置外部へ出力するインデックス出力手段と、を有することを特徴とする。本発明の映像撮影装置は、被写体に識別情報を有する無線タグを付与し、撮影の際、映像撮影装置は、映像を撮影すると同時に、無線タグから前記識別情報を読み取り、読み取った前記識別情報を用いて映像内インデックスを生成することにより、撮影と同時に自動的にインデックスを生成することを特徴とする。

本発明の一実施の形態において、前記インデックス生成手段が、前記対象物識別情報を受信した時刻と、前記時刻に受信した対象物識別情報から構成されるインデックスを生成する。生成されるインデックスが、無線タグから識別情報と受信した時刻と、前記識別情報から構成されており、記録された時刻情報をてがかりに、映像の抽出を行うことを特徴とする。

本発明の一実施の形態において、前記インデックス生成手段が、インデックスの生成に利用する対象物識別情報を制限する。このような構成により、インデックスの情報量増加を低減することを特徴とする。

本発明の一実施の形態において、前記インデックス生成手段が、インデックスに対象物識別情報を補間する。このような構成により、無線タグとの通信が一瞬途絶えても、識別情報を補間することにより、インデックスの情報量増加を低減することができる。

本発明の一実施の形態において、前記映像撮影装置が、無線タグから受信する電波の電波強度を測定する手段を有する。このような構成により、無線タグから識別情報を受信する際に、同時に電波の強度を測定し、記録することで、電波強度の値を利用したインデックスの加工を可能となる。

本発明の一実施の形態において、前記映像撮影装置が、対象物識別情報を取得した際に、無線タグから発信された電波の電波強度の値に応じて、インデックスの生成に利用する対象物識別情報を制限する。このような構成は、電波強度の値に応じて、受信した識別情報の採用、不採用を決定することにより、インデックス量の増加を低減することができる。

本発明はまた、上述の映像撮影装置から出力された映像とインデックスを用いて、前記映像のシーン検出を実現する手段を備えることを特徴とする映像再生装置を提供する。このような構成により、前記映像撮影装置が出力した映像、およびインデックスを利用して、撮影した映像のシーン検索機能を実現できる。

本発明の一実施の形態において、インデックスを加工するインデックス加工手段をさらに備え、インデックスとして利用する対象物識別情報を制限する。このような構成は、入力されたインデックスを、再生装置内部にて加工（利用する識別情報を制限）することによって、再生装置の利用者の利便性を向上させることができる。

本発明の一実施の形態において、インデックスを加工するインデックス加工手段をさらに備え、インデックスに対象物識別情報を補間する。このような構成は、入力されたインデックスを、再生装置内部にて加工（識別情報を補間）することによって、再生装置の利用者の利便性を向上させることができる。

本発明の一実施の形態において、インデックスを加工するインデックス加工手段をさらに備え、電波強度の値に応じて、インデックスとして利用する対象物識別情報を制限する。このような構成は、入力されたインデックスを、再生装置内部にて加工（記録された電波強度を用いて採用する識別情報を選別）することによって、再生装置の利用者の利便性を向上させることができる。

本発明はまた、被写体にそれぞれ対応させて設けられ、前記被写体を一意に特定できる対象物識別情報を有し、前記対象物識別情報を映像撮影装置に対して送信することを可能とする無線タグを有する被写体を撮影するための映像撮影方法であって、被写体の撮影を行い、撮影された映像を取得する映像取得ステップと、前記映像を記憶する映像記憶ステップと、前記記憶された映像を装置外部へ出力する映像出力ステップと、撮影中に前記無線タグから送信される前記対象物識別情報を受信する対象物識別情報受信ステップと、前記対象物識別情報とその受信時刻を用いて、映像内インデックスを自動的に生成するインデックス生成ステップと、前記インデックスを記憶するインデックス記憶ステップと、前記インデックスを装置外部へ出力するインデックス出力ステップと、を有する映像撮影方法を提供する。

本発明の画像撮影装置及び画像管理方法によれば、撮影対象に付与された無線タグが有する情報を、撮影の際、画像撮影装置が備えるタグリーダを介して受信し、それを用いてインデックスを生成することによって、人手を介することなく、リアルタイムに映像内インデックスを生成することが可能となる。本発明で実現可能となる、被写体をキーとするシーン検出機能は、ダイジェスト番組の製作支援としても有効である。また、人手を介すことなく、リアルタイムに映像内インデックスを生成することから、ライブ映像配信システムへ適用することも可能である。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の全体構成を示す図である。映像を撮影する際、撮影対象となる人や物体に相当する被写体１０１と、前記被写体１０１が有する無線タグ１０２と、映像の撮影機能、および前記無線タグ１０２が有する識別情報を受信する機能を有する映像撮影装置１０３と、前記映像撮影装置が生成する映像データ１０４と、映像内インデックス１０５（以降インデックスと記載）と、撮影した映像を再生するための映像再生装置１０６と、映像を表示する映像表示装置１０７から構成される。

映像を撮影する際、映像撮影装置１０３は、被写体１０１の映像データ１０４を生成すると同時に、無線タグ１０２から識別情報を受信し、前記識別情報を用いて映像内インデックス１０５を生成する。

無線タグ１０２は、被写体を一意に識別可能なデータを有しているため、前記映像インデックス１０５を参照すれば、撮影された映像に被写体１０２が写っているか否か、また被写体１０２が写っている映像内部の時刻情報を知ることが可能となる。撮影を行っている際、映像撮影装置１０３は、定期的に無線タグ１０２の情報受信を試みるため、被写体１０１が撮影対象でない場合は、無線タグ１０２の情報を受信できない。無線タグ１０２の受信状況を時間軸にそって記述したものが映像内インデックス１０５である。したがって、撮影された映像を映像再生装置１０６にて再生する際、前記映像インデックス１０５を利用すれば、撮影された映像の中から、前記被写体１０１が登場するシーンを検索、抽出することが可能となる。

映像撮影装置１０３の内部構成を図２に示す。映像撮影装置１０３は、撮影された映像を取得する映像入力部２０１と、前記映像入力部２０１を用いて取得した映像データを記憶する映像データ記憶部２０２と、撮影した映像データを外部へ出力する映像データ出力部２０３と、撮影中に無線タグ１０２からタグ情報を受信するタグ情報入力部２０４と、前記タグ情報入力部２０４から取得したタグ情報（ＩＤ）を用いてインデックスの生成処理を行うインデックス生成部２０５と、前記インデックス生成部２０５において生成したインデックスを保存するインデックス記憶部２０６と、生成したインデックス情報を外部へ出力するインデックス出力部２０７から構成される。

以下に、映像撮影装置１０３の動作について、図３、および図４を用いて説明する。

先述のように、前記映像撮影装置１０３は、撮影を行っている際、定期的に無線タグからの情報収集を試みる。図３は、前記映像撮影装置１０３が無線タグの情報を収集するタイミング、およびインデックス情報の生成処理を模式的に表したものである。映像の撮影が始まると、タグ情報入力部２０４は、ある一定間隔（図３では、タグ情報サンプリング周期：Ｐｓと記述する）で、無線タグからの情報を収集する。無線タグ１０２は、内部に一意識別可能な情報を保持しており（以降、タグＩＤと記述する）、タグ情報入力部２０４から情報要求に関するアクセスが発生すれば、前記タグＩＤをタグ情報入力部２０４へ送信する。収集したタグＩＤは、インデックス生成部２０５にてインデックスを生成するのに利用される。インデックス生成部２０５は、タグ情報入力部２０４より取得したタグＩＤと、取得した時刻情報を用いてインデックス情報を生成する。

インデックス生成部２０５の詳細な動作を以下に説明する。図３に示すように、タグ情報のサンプリング周期をＰｓ、タグ情報をサンプリング（取得）した時刻をＴｓとし、そのとき取得したタグＩＤが「０ｘ３Ｆ」と「０ｘ４４」であったと仮定する。この際、図３（ａ）に示すように、時刻Ｔ１〜Ｔ２区間において、タグ情報「０ｘ３Ｆ」、「０ｘ４４」が収集できたことをインデックス情報として記録する。図３におけるＴ１とは、Ｔｓ−Ｐｓ／２の時刻を示しており、同様にしてＴ２はＴｓ＋Ｐｓ／２の時刻を表している。このようにして、図３（ａ）に示すように、絶対時刻で示される区間と、その区間内に収集できたタグＩＤの情報リストが生成できる。なお、本実施の形態では、タグＩＤのサンプリングは撮影開始から撮影終了の間、タグ情報のサンプリング間隔にて周期的に繰り返し実行されるものとしているが、必ずしも周期的に行う必要はない。

さらにインデックス生成部２０５は、図３（ａ）で示す情報リストを生成した後、時間軸状に隣接したインデックスを比較し、収集されたタグＩＤの集合が同一である連続したインデックスを発見した場合、１つのインデックスに集約する処理を実行する。図３の例で説明すると、区間Ｔ１〜Ｔ２で収集されたタグＩＤの集合と、区間Ｔ２〜Ｔ３で収集されたタグＩＤの集合が同一であるため、それらを集約して、区間Ｔ１〜Ｔ３においてタグＩＤ「０ｘ３Ｆ」、「０ｘ４４」が収集されたように情報を変更する。同様の処理を図３（ａ）のインデックス全体に適用すると、集約されたインデックスは図３（ｂ）に示すようになる。このようにインデックスを集約することにより、インデックス全体の情報量を削減する効果がある。

インデックス生成部２０５は、生成したインデックス情報をあるフォーマットに従ってファイル化し、インデックス記憶部２０６に記録する。図４は、インデックス情報ファイルのフォーマットの一例を示すものである。＜Ｉｎｄｅｘ Ｎｏ ＝ ＞と＜／Ｉｎｄｅｘ Ｎｏ＞で囲まれた部分が、単一のインデックス情報を表現している。＜Ｓｔａｒｔ Ｔｉｍｅ＞、および＜Ｅｎｄ Ｔｉｍｅ＞は、それぞれ、インデックスの開始時刻と終了時刻を表す。また、＜Ｔａｇ Ｌｉｓｔ＞と＜／Ｔａｇ Ｌｉｓｔ＞で囲まれた部分が、前記区間内に受信できたタグ情報を列挙する部分である。図４の破線で示す記述は、インデックス１０１が、「２００４／０４／２３ １０：１０：００」から「２００４／０４／２３ １０：１２：００」の区間内に、タグＩＤ「０ｘ３Ｆ」と「０ｘ４４」を受信したことを示している。また図４の例では、複数のインデックス情報を一つのファイルとして表現しているが、それぞれのインデックス情報が、それぞれ独立したファイルとして保存されている形態でも構わない。また、インデックス情報が映像ファイルと同一のファイルに構成されていても構わない。

次に映像撮影装置１０３において生成された映像データと映像インデックスを用いて、映像再生装置１０６にてシーン検出処理を行う例について説明する。

図５に映像再生装置１０６の構成を示す。映像再生装置１０６は、映像撮影装置１０３から出力された映像データを入力する映像データ入力部５０１と、入力された映像データを記憶する映像データ記憶部５０７と、映像撮影装置１０３から出力されたインデックス情報を入力するインデックス入力部５０２と、前記インデックスを記憶するインデックス入力部５０８と、前記インデックスに記載されたタグ情報（ＩＤ）に関する固有名称（情報）を入力として受けつけるＩＤ情報入力部５０３と、前記ＩＤ情報を記憶するＩＤ情報記憶部５０９と、ユーザからのシーン検索情報を入力として受け付ける検索条件入力部５０４と、前記検索条件を用いて、所望の映像シーンを抽出する映像抽出処理部５０５と、ユーザに対して提供するシーン検索画面を生成するユーザインタフェース（Ｉ／Ｆ）生成部５０６と、前記シーン検索画面を映像表示装置１０７に対して出力するユーザインタフェース（Ｉ／Ｆ）出力部５１１と、前記映像データ記憶部５０７に記憶された映像データ、および、前記映像抽出処理部５０５にて抽出された映像データを映像表示装置１０７に対して出力する映像データ出力部５１０から構成される。

まずユーザは、映像撮影装置１０３にて生成された映像データ、およびインデックスを、映像データ出力部２０３、およびインデックス出力部２０７を介して外部に出力し、前記出力されたデータを、映像再生装置１０６の映像データ入力部５０１、およびインデックス入力部５０２を介して、映像再生装置１０６の内部に取り込む。

次に、撮影の際に利用した無線タグ１０２が保持する情報（タグＩＤ）に固有名称の関連付けを行う。例として、撮影の際、被写体が人で、名前が「松下太郎」であり、前記被写体が有する無線タグに記憶されたタグ情報（ＩＤ）が「０ｘ３Ｆ」であった場合、インデックスの「０ｘ３Ｆ」が、「松下太郎」という固有名称に該当することをＩＤ情報入力部５０３を介して入力し、インデックス記憶部５０８に記憶させる。これらの関連付けは、後述するシーン検索画面の表示に適用されるものであり、撮影対象が数字列でなく、固有名称で表示されることでユーザの利便性を向上させる。

必要な情報を映像再生装置１０６に入力した後、ユーザは映像表示装置１０７に表示されるシーン検索画面を通じて、シーン検索を実行する。シーン検索画面の一例を図６に示す。ここではＥＰＧの形式に従って、被写体と登場時刻を表形式で表示している。表中の塗りつぶされた枠は、それぞれの撮影対象が登場する時間枠を示している。ユーザは、これらの時間枠の中から、所望のシーンに該当するものをリモコン等で選択し、映像再生装置に通知する。

ユーザから指定されたシーンは、映像再生装置１０６の検索条件入力部５０４を介して入力された後、映像抽出処理部５０５にて所望のシーンと対応する映像データの一部分を抽出する処理が実行される。

図７に映像抽出処理の仕組みを示す。図６のシーン検索画面において、ユーザがあるシーンを指定すると、映像抽出処理部５０５は、前記シーンに該当するインデックス情報を参照する。図６において、塗りつぶしで表示された時間枠は、１つ、もしくは複数のインデックス情報とリンクされており、該当するインデックス情報には、シーンの開始時刻と終了時刻が記載されている。前記映像抽出部５０５は、映像データ記憶部５０７に記憶された映像データの中から、前記時間枠に該当する映像データを切り出し、映像データ出力部５１０を介して映像表示装置１０７に前記映像を表示する。

かかる構成によれば、被写体に付与された無線タグが有する情報を映像装置にて撮影と同時に取り込み、映像内部のインデックスを自動的に生成することが可能であり、また、前記インデックスを用いて、被写体をキーとするシーン検出機能を実現することができる。

なお、本実施の形態では、インデックスの集約処理を映像撮影装置内部にて実現しているが、本処理は、映像再生装置内部で実現しても構わない。また、無線タグに記録された識別情報（ＩＤ）と固有名称との関連付けを映像再生装置内部にて実現しているが、前期処理は映像撮影装置内部にて実現しても構わない。

（実施の形態２）
図８は、本発明の実施の形態２における映像撮影装置１０３の構成を示す図である。図８において、図２と同じ構成要素については同じ符号を用い、説明を省略する。

図８において、映像撮影装置１０３は、新たにタグ情報抽出条件設定部８０１と、タグ情報抽出処理部８０２とを具備する。

タグ情報抽出条件設定部８０１は、タグ情報入力部２０４で受信したタグ情報（ＩＤ）のうち、インデックスの生成に採用するＩＤを絞り込む条件を設定する機能を有している。

また、タグ情報抽出処理部８０２は、タグ情報入力部２０４で受信したＩＤのリストから、前記タグ情報抽出条件設定部８０１において設定された条件に従って、ＩＤを絞り込み（条件に合致しないＩＤを削除し）、絞り込んだＩＤのリストをインデックス生成部２０５へ通知する機能を有している。

ＩＤを絞り込む必要性は、以下のようなケースにて発生する。撮影の際、映像撮影装置１０３の付近には、前記被写体１０１が有する無線タグ１０２以外にも多くの無線タグが存在している可能性がある。撮影の際、ユーザが想定していない無線タグの情報をカメラが取り込んでしまうと、前記想定外のタグに関しても、インデックス生成の対象となってしまい、インデックス情報が細切れになり、煩雑になるばかりか、インデックス情報の情報量増加を招いてしまう。これらの現象を防ぐ方法として、あらかじめインデックス生成の対象となるＩＤを制限しておき、撮影の際、たとえ複数のタグ情報が受信されたとしても、指定されたＩＤ以外は、インデックス生成に反映させない仕組みが有効である。

上記ＩＤのフィルタリング処理について図８、および図９を用いて説明する。撮影を行うユーザは、あらかじめ撮影前に、インデックスの対象となるＩＤをタグ情報抽出条件設定部８０１に登録する。ここでは、仮にＩＤが「０ｘ３Ｆ」、「０ｘＡ４」のタグ情報のみをインデックスの対象に設定したものと仮定する。

撮影を開始すると、タグ情報入力部２０４は、実施の形態１と同様に、定期的にタグ情報（ＩＤ）のサンプリング処理を行い、図９（ａ）に示すようなインデックスを生成する。生成されたインデックスに対して、タグ情報抽出処理部８０２はＩＤのフィルタリング処理を実行する。具体的には、タグ情報抽出条件設定部８０１にて設定されたＩＤ「０ｘ３Ｆ」、「０ｘＡ４」以外のＩＤをインデックスから除外し、インデックス生成部２０５へ通知する。インデックス生成部２０５は、実施の形態１と同様にインデックス情報を生成する。その結果、図９（ｂ）に示すように、ＩＤ「０ｘ３Ｆ」、「０ｘＡ４」のみが採用されたインデックスが生成される。

かかる構成によれば、あらかじめインデックスの対象となるタグ情報を設定しておき、前記設定をもとに受信したタグ情報の絞込みを行うことにより、インデックス情報の無駄な細切れや、情報量の増加を低減することが可能となる。

なお、本実施の形態では、インデックスのＩＤフィルタリング処理を映像撮影装置内部にて実現しているが、本処理は、映像再生装置内部で実現しても構わない。

（実施の形態３）
撮影の際、ユーザが意図しないタグ情報（ＩＤ）がインデックスの生成に採用されないようにすることが有用であることは実施の形態２で述べた。本実施の形態では、実施の形態２とは異なり、無線タグから受信する電波の強度を測定し、その値を用いてＩＤの絞込みを行う手法について説明する。

図１０は、本発明の実施の形態３における映像撮影装置１０３の構成を示す図である。図１０において、図２と同じ構成要素については同じ符号を用い、説明を省略する。

図１０において、映像撮影装置１０３は、新たに電波強度測定部１００１と、タグ情報抽出条件設定部１００２と、タグ情報抽出処理部１００３とを具備する。

電波強度を利用したＩＤのフィルタリング処理について図１１、および図１２を用いて説明する。撮影を行うユーザは、あらかじめ撮影前に、電波強度の下限値をタグ情報抽出条件設定部１００２に登録する。ここでは、下限値を１．０［Ｖ／ｍ］に設定したと仮定する。

撮影を開始すると、タグ情報入力部２０４は、実施の形態１と同様に、定期的にタグ情報（ＩＤ）のサンプリング処理を行う。それと同時に、電波強度測定部１００１では、無線タグから送信された電波の強度を測定し、記録する。記録されたＩＤリストと電波強度の値は、図１２（ａ）で示すように対をなしてタグ情報抽出処理部１００３に通知される。収集されたＩＤリストに対して、タグ情報抽出処理部１００３はＩＤのフィルタリング処理を実行する。具体的には、タグ情報抽出条件設定部１００２にて設定された電波強度の下限値を用いて、電波強度が前記下限値に満たないＩＤをリストから削除し、インデックス生成部２０５へ通知する。インデックス生成部２０５は、実施の形態１と同様にインデックス情報を生成する。その結果、図１２（ｂ）に示すように、電波強度が下限値を上回るＩＤのみが採用されたインデックスが生成される。

かかる構成によれば、あらかじめインデックスの対象外となるタグ情報を電波強度を用いて制限し、前記制限条件をもとに受信したタグ情報の絞込みを行うことにより、インデックス情報の無駄な細切れや、情報量の増加を低減することが可能となる。

なお、本実施の形態では、電波強度を利用したのＩＤフィルタリング処理を映像撮影装置内部にて実現しているが、本処理は、映像再生装置内部で実現しても構わない。

（実施の形態４）
本発明の映像撮影装置は、撮影中に無線タグとの通信を行うが、通信環境の状態によっては、無線タグとの通信が一時的に途切れてしまう場合も想定され、そのためにインデックスが細切れに生成され、ユーザの利便性が低下するばかりでなく、インデックスの情報量増加を招く可能性がある。

実施の形態４では、一時的に無線タグとの通信が途絶えた場合でも、無線タグと通信できたものと判定し、その区間のタグ情報をインデックスへ補間することにより、上記課題を解決する方法を説明する。

図１２は、本発明の実施の形態４における映像撮影装置１０３の構成を示す図である。図１２において、図２と同じ構成要素については同じ符号を用い、説明を省略する。

図１２において、映像撮影装置１０３は、新たにタグ情報補間条件設定部１２０１と、タグ情報補間処理部１２０２とを具備する。

タグ情報補間条件設定部１２０１は、後述する補間採用最大幅を設定可能とする機能を有している。

タグ情報補間処理部１２０２は、タグ情報入力部２０４で受信したＩＤのリストから、前記タグ情報補間条件設定部１２０１において設定された補間採用最大幅に従って、撮影の途中で一瞬、受信できなかったＩＤをリスト中に補間し、補間したＩＤのリストをインデックス生成部２０５へ通知する機能を有している。

上記ＩＤの補間処理について図１２、および図１３を用いて説明する。撮影を行うユーザは、あらかじめ撮影前に、補間採用最大幅をタグ情報補間条件設定部１２０１に登録する。ここでは、仮に補間採用最大幅を３に設定したものと仮定する。

撮影を開始すると、タグ情報入力部２０４は、実施の形態１と同様に、定期的にタグ情報（ＩＤ）のサンプリング処理を行い、図９（ａ）に示すようにＩＤリストを収集する。収集されたＩＤリストに対して、タグ情報補間処理部１２０２はＩＤの補間処理を実行する。具体的には、図１３（ａ）に示すＩＤリストを参照し、あるタグ情報の受信が途中の一定区間確認できない場所を検索し、その連続して受信できなかった区間の長さが補間採用最大幅以下であれば、あたかも受信できていたかのようにリストを修正する。図１３では、第１インデックス、第５インデックスにおいてＩＤ「０ｘ３Ｆ」の受信を確認できるが、それらの間の３つのインデックスでは、前記ＩＤの受信を確認できない。受信できなかった区間の長さが３であり、補間採用最大幅の長さである３以下であることから、タグ情報補間処理部１２０２は、通信環境の一時的な劣化に伴ってＩＤ情報の受信に失敗したものと判定し、補間処理を実行し、インデックス生成部２０５へ通知する。インデックス生成部２０５は、実施の形態１と同様にインデックス情報を生成する。その結果、図１３（ｂ）に示すインデックスが生成される。

かかる構成によれば、あらかじめ補間採用最大幅を設定し、撮影中に一時的に受信に失敗したタグ情報を補間することにより、インデックス情報の無駄な細切れや、情報量の増加を低減することが可能となる。

なお、本実施の形態では、ＩＤの補間処理を映像撮影装置内部にて実現しているが、本処理は、映像再生装置内部で実現しても構わない。

（実施の形態５）
本発明の自動インデックス生成機能は、ホームビデオ等、個人での利用にとどまらず、番組配信システムへ適用することも可能である。特に、本発明の自動インデックス生成機能は、人手を介さず、リアルタイムに生成することが可能であるため、ライブ映像の配信システムに対しても適用することが可能である。本実施の形態では、先述した映像撮影装置をライブ映像配信システムへ適用する方法について説明する。

図１３は、本発明の実施の形態５におけるライブ映像配信システムの全体構成を示す図である。図１３において、図１と同じ構成要素については同じ符号を用い、説明を省略する。

本システムは、映像の撮影、インデックスの生成、映像、およびインデックスの配信を行う映像配信局１３０１と、前記映像、およびインデックスを受信する受信者宅１３０２と、映像配信局１３０１と受信者宅１３０２とをつなぐ通信網から構成される。

映像配信局１３０１は、本発明の映像撮影装置１０３と、前記映像撮影装置１０３から出力された映像データを受信者宅へ配信する映像配信サーバ１４０３と、前記映像撮影装置１０３から出力されたインデックスを受信者宅へ配信するインデックス配信サーバ１４０４から構成される。

受信者宅１４０２は、通信網を介して、前記映像配信局１３０１から映像データやインデックスを受信する映像受信装置１３０５と、映像を表示する映像表示装置１０７から構成される。

配信が開始されると、映像撮影装置１０３は、撮影された映像を映像配信サーバ１４０３を介して、受信者宅へ配信する。また、撮影の際、映像撮影装置１０３が生成したインデックス情報はインデックス配信サーバを介して受信者宅へ配信される。

受信者宅に設置された映像受信装置は、映像配信サーバ１４０３から受信した映像データを蓄積しながら再生する。同時にインデックス配信サーバから、最新のインデックスを受信し、映像データと同様に、映像受信装置１４０５内部に記録する。インデックスの受信処理については、映像受信装置１４０５から定期的にインデックス配信サーバ１４０４へアクセスを試み、最新のインデックス情報を受信した後、映像受信装置１４０５内部に保持しているインデックス情報を更新してもよいし、インデックス配信サーバ１４０４において、インデックスが更新された時点で、映像受信装置１４０５にインデックスの更新を促してもよい。

受信者宅の視聴者は、配信される映像の一部を見逃した場合や、もう一度、見直したいシーンがあれば、それまで映像受信装置１４０５に記録されているインデックスを利用して、所望のシーンを検索し、再生することが可能である。

本来、映像内インデックスを作成するためには、人手による編集作業が必要となるために、ライブ映像に対応させることは困難であった。かかる構成によれば、無線タグを用いて自動的に、リアルタイムに映像内インデックスを生成することが可能であるため、ライブ映像の配信にも適用することが可能である。

なお、本実施の形態では、実施の形態１〜４までに述べたインデックスの集約処理やフィルタリング処理、補間処理を映像撮影装置１０３の内部で実施しているが、これらの処理は、インデックス配信サーバ１４０４や映像受信装置１４０５内部で行う構成も考えられる。その場合、映像撮影装置１０３は、タグ情報を一度収集するごとに、収集時刻と、その際に得られたタグ情報のリストをインデックス配信サーバに通知すればよい。

また、本発明は、マルチビュー放送システムへ応用することも可能である。例えば、１つの番組内において、３人の被写体に対して、３つのカメラが独立してそれぞれの被写体の撮影を行うシステムを考える。映像配信局では、前記３つの映像と、前記被写体に対応して生成されたインデックスを同時に受信者宅へ配信する。ここで、前記被写体には被写体の識別情報が記録された無線タグが付与されており、インデックスを参照することで、所望の被写体映像が選択できるように符号化し、送信するものとする。受信者宅においては、視聴者は前記インデックスに記載された識別情報を選択することにより、所望の被写体が撮影されている映像を選択し、視聴することができる。映像再生装置は受信した識別情報を用いて、映像を切り替える機能を付与するのである。

本発明の画像撮影装置は、撮影対象となる被写体の変化に応じたインデックスを自動的に生成する方法を有し、ホームビデオで撮影した映像のシーン抽出機能の実現に有用である。また、リアルタイムにインデックスを生成する機能を有することから、ライブ放送（配信）に対応した自動インデックス生成システム、番組ダイジェスト生成システム等の用途にも応用できる。

本発明の全体構成を概略的に示す構成図 本発明の実施の形態１における映像撮影装置の構成を示す模式図 本発明の実施の形態１におけるインデックスの生成処理を示す模式図 本発明の実施の形態１におけるインデックス情報をマークアップ言語方式で表現した例を示す図 本発明の実施の形態１における映像再生装置の構成を示す模式図 本発明の実施の形態１におけるシーン検索画面の例を示す図 本発明の実施の形態１におけるインデックスを用いた映像抽出処理を示す模式図 本発明の実施の形態２における映像撮影装置の構成を示す模式図 本発明の実施の形態２におけるタグ情報のフィルタリング処理を示す模式図 本発明の実施の形態３における映像撮影装置の構成を示す模式図 本発明の実施の形態３における電波強度を利用したタグ情報のフィルタリング処理を示す模式図 本発明の実施の形態４における映像撮影装置の構成を示す模式図 本発明の実施の形態４におけるタグ情報の補間処理を示す模式図 本発明の実施の形態５におけるライブ映像配信システムの全体構成を示す模式図

符号の説明

１０１ 被写体
１０２ 無線タグ
１０３ 映像撮影装置
１０４ 映像データ
１０５ 映像インデックス
１０６ 映像再生装置
１０７ 映像表示装置
２０１ 映像入力部
２０２ 映像データ記憶部
２０３ 映像データ出力部
２０４ タグ情報入力部
２０５ インデックス生成部
２０６ インデックス記憶部
２０７ インデックス出力部
５０１ 映像データ入力部
５０２ インデックス入力部
５０３ ＩＤ情報入力部
５０４ 検索条件入力部
５０５ 映像抽出処理部
５０６ ユーザＩ／Ｆ生成部
５０７ 映像データ記憶部
５０８ インデックス記憶部
５０９ ＩＤ情報記憶部
５１０ 映像データ出力部
５１１ ユーザＩ／Ｆ出力部
８０１ タグ情報抽出条件設定部
８０２ タグ情報抽出処理部
１００１ 電波強度測定部
１００２ タグ情報抽出条件設定部
１００３ タグ情報抽出処理部
１２０１ タグ情報補間条件設定部
１２０２ タグ情報補間処理部
１４０３ 映像配信サーバ
１４０４ インデックス配信サーバ
１４０５ 映像受信装置

Claims (10)

1. 被写体にそれぞれ対応させて設けられ、前記被写体を一意に特定できる対象物識別情報を有し、前記対象物識別情報を映像撮影装置に対して送信することを可能とする無線タグを有する被写体を撮影するための映像撮影装置であって、
   被写体の撮影を行い、撮影された映像を取得する映像取得手段と、
   前記映像を記憶する映像記憶手段と、
   前記記憶された映像を装置外部へ出力する映像出力手段と、
   撮影中に前記無線タグから送信される前記対象物識別情報を受信する対象物識別情報受信手段と、
   前記対象物識別情報とその受信時刻を用いて、映像内インデックスを自動的に生成するインデックス生成手段と、
   前記インデックスを記憶するインデックス記憶手段と、
   前記インデックスを装置外部へ出力するインデックス出力手段と、を有する映像撮影装置。
2. 前記インデックス生成手段が、前記対象物識別情報を受信した時刻と、前記時刻に受信した対象物識別情報から構成されるインデックスを生成することを特徴とする請求項１記載の映像撮影装置。
3. 前記インデックス生成手段が、インデックスの生成に利用する対象物識別情報を制限することを特徴とする請求項１または２記載の映像撮影装置。
4. 前記インデックス生成手段が、インデックスに対象物識別情報を補間することを特徴とする請求項１〜３のいずれか一項に記載の映像撮影装置。
5. 前記映像撮影装置が、無線タグから受信する電波の電波強度を測定する手段を有することを特徴とする請求項１〜４のいずれか一項に記載の映像撮影装置。
6. 前記映像撮影装置が、対象物識別情報を取得した際に、無線タグから発信された電波の電波強度の値に応じて、インデックスの生成に利用する対象物識別情報を制限することを特徴とする請求項５記載の映像撮影装置。
7. 請求項１〜６のいずれか一項に記載の映像撮影装置から出力された映像とインデックスを用いて、前記映像のシーン検出を実現する手段を備えることを特徴とする映像再生装置。
8. インデックスを加工するインデックス加工手段をさらに備え、インデックスとして利用する対象物識別情報を制限することを特徴とする請求項７記載の映像再生装置。
9. インデックスを加工するインデックス加工手段をさらに備え、インデックスに対象物識別情報を補間することを特徴とする請求項７記載の映像再生装置。
10. インデックスを加工するインデックス加工手段をさらに備え、電波強度の値に応じて、インデックスとして利用する対象物識別情報を制限することを特徴とする請求項７記載の映像再生装置。

Images