JP2014103583A - 情報提示装置、情報入力装置、識別情報埋め込み方法、及びプログラム - Google Patents

Abstract

【課題】再生された映像に関連情報を同期させる。
【解決手段】情報提示装置１は、入力映像を識別する映像識別部１１と、映像識別部１１による識別結果と、映像識別部１１による識別が完了した識別時刻と、現在時刻とに基づいて、現在時刻における識別の対象となる入力信号に遅延なく同期させて提示すべき関連情報の再生位置を推定する再生位置同期部１２と、再生位置同期部１２によって推定された再生位置に基づいて関連情報を提示する関連情報提示部１３とを備えている。
【選択図】図１

Description

本発明は、情報提示装置、情報入力装置、識別情報埋め込み方法、及びプログラムに関する。

画像や映像、音声といった信号に対して別の情報を電子透かしとして埋め込んでおき、例えば、カメラ付携帯電話のような、カメラを搭載した端末で、画像や映像を撮影、音声を録音することによって、電子透かしとして埋め込まれた情報を検出し、画像や映像、音声に関連する情報を提示するサービスが検討されている。
電子透かし方法としては、例えば次のようなものがある。

（静止画電子透かし）
特許文献１には、静止画像に電子透かしを埋め込む方法が記載されている。特許文献１においては、擬似乱数によって生成された埋め込み系列を画像の直交変換領域（例えば、フーリエ変換領域）の実部、及び虚部に埋め込んでおき、埋め込み系列と検出系列との相関を用いて検出を行うスペクトル拡散型の電子透かし方式が記載されている。

非特許文献１には、擬似乱数によって埋め込み系列の値を生成し、画像をブロック領域に分割した各位置に対して、２つの周波数成分で埋め込み系列の値を表現するように埋め込みを行う電子透かし方式が記載されている。

（動画電子透かし）
特許文献２には、映像信号に電子透かしを埋め込む電子透かし方法が記載されている。特許文献２においては、擬似乱数によって生成された埋め込み系列を時間方向周期信号で変調して映像に重畳しておき、埋め込み系列と検出系列との複素相関を用いて検出を行うスペクトル拡散型の電子透かし方式が記載されている。

また、特許文献２のような動画電子透かし技術を用いると、映像のシーン毎に異なる情報を埋め込んでおき、ユーザがカメラを映像にかざしたシーンに応じて、それぞれ異なる関連情報を表示させることができる。

（画像認識）
電子透かしとは別に、カメラで撮影した画像・映像にどのようなものが映っているのかを識別するための画像認識の手法も提案されている。例えば、特許文献３には、学習画像と入力画像を固有空間上の特徴点に投影して比較することで物体を認識する方式が記載されている。

特開２００３−２１９１４８号公報 再公表ＷＯ２００７／１０２４０３号公報 特開２０１０−２１１７３２号公報

中村高雄，片山淳，山室雅司，曽根原登，カメラ付き携帯電話機を用いたアナログ画像からの高速電子透かし検出方式，信学論Ｄ−ＩＩ，Ｖｏｌ．Ｊ８７−Ｄ−ＩＩ，Ｎｏ．１２，ｐｐ．２１４５−２１５５，２００４．

しかしながら、例えば特許文献２に記載の映像信号向けの電子透かし方式では、電子透かしを検出するために、所定の時間区間の映像を累積する必要がある。このため、あるシーンに埋め込まれた電子透かし情報を検出できるのは、シーンの途中まで映像が再生されてからとなり、電子透かし情報が埋め込まれたシーンの開始時点を取得することができなかった。ここで、時系列に伴って変化する画像や映像、音声等のコンテンツに合わせて、その時系列に応じて変化する関連情報を提示する場合、そのコンテンツと関連情報とを同期させて再生するために、電子透かし情報が埋め込まれたシーンの開始時点を取得することが望ましい。

特許文献１の静止画像向けの電子透かし方式を映像の各フレームに適用し、フレーム毎に異なる電子透かしを埋め込めば、どのフレームから電子透かしが検出されたかを正確に取得できる。しかしながら、単独のフレーム画像から電子透かしの検出ができるようにするためには、電子透かしを非常に強く埋め込み、すなわち、原画像に大きな画質劣化を与えなければならず、実用的ではなかった。

特許文献３に画像認識の方式を用いた場合にも、映像の連続したフレームは互いに類似している可能性が高く、実際に撮影されたフレームがどのフレームなのかを正確に判定することができなかった。

このように、上述した従来技術では、得られた識別結果（電子透かし検出結果、画像認識結果）に合わせて関連情報を提示すると、実際の映像から遅延してしまうという問題があった。また、識別した映像に同期させて別な映像を提示させようとしても、正確な同期が困難であるという問題があった。

本発明は、このような事情を考慮してなされたものであり、その目的は、再生された映像に関連情報を同期させることができる情報提示装置、情報入力装置、識別情報埋め込み方法、及びプログラムを提供することにある。

上述した課題を解決するために、本発明の一態様は、時系列により変化する入力信号の区間を識別する信号識別部と、信号識別部による識別結果に基づいて、入力信号に対応する関連情報の再生位置を算出する再生位置同期部と、再生位置同期部によって算出された再生位置に基づいて関連情報を再生する情報提示部と、を備えることを特徴とする情報提示装置である。

また、本発明の一態様は、入力信号が、複数の識別ＩＤが順に電子透かしとして埋め込まれたコンテンツを含む信号であり、再生位置同期部は、コンテンツの識別ＩＤが埋め込まれた区間が再生開始されてから識別ＩＤを識別できるまでに要した識別遅延時間の推定値を取得する識別遅延時間推定部を備えることを特徴とする。

また、本発明の一態様は、再生位置同期部が、入力信号に基づいて区間を識別する容易性の度合いを示す識別特性値を記憶する識別特性記憶部を備え、識別遅延時間推定部は、識別特性記憶部に記憶されている識別特性値に基づいて、識別が容易な場合には識別遅延時間が小さな値となるように識別遅延時間の推定値を算出し、識別が困難な場合には識別遅延時間が大きな値となるように識別遅延時間の推定値を算出することを特徴とする。

また、本発明の一態様は、信号識別部が、入力信号の区間を識別する際に、入力信号に基づく区間の識別の容易性の度合いを示す識別状況値を算出し、識別遅延時間推定部は、識別状況値に基づいて、識別が容易であった場合には識別遅延時間が小さな値となるように識別遅延時間の推定値を算出し、識別が困難であった場合には識別遅延時間が大きな値となるように識別遅延時間の推定値を算出することを特徴とする。

また、本発明の一態様は、時系列により変化する入力信号の区間を識別する信号識別部と、信号識別部による識別結果に基づいて、入力信号に対応する関連情報の再生位置を算出する再生位置同期部と、再生位置同期部によって算出された再生位置に基づいて関連情報を入力する情報入力部と、を備えることを特徴とする情報入力装置である。

また、本発明の一態様は、時系列により変化する入力信号に、所定時間間隔ごとに区間を識別する識別ＩＤを埋め込む識別情報埋め込み方法であって、入力信号の先頭から埋め込み開始点までの時間に基づいて埋め込みを行う識別ＩＤを決定するステップと、入力信号に基づいて区間を識別する容易性の度合いに基づいて識別ＩＤを埋め込む時間間隔を変化させるステップとを含むことを特徴とする識別情報埋め込み方法である。

また、本発明の一態様は、情報提示装置のコンピュータを、時系列により変化する入力信号の区間を識別する信号識別部、信号識別部による識別結果に基づいて、入力信号に対応する関連情報の再生位置を算出する再生位置同期部、再生位置同期部によって算出された再生位置に基づいて関連情報を再生する情報提示部、として機能させるためのプログラムである。

この発明によれば、再生された映像に関連情報を同期させることができる。

本発明の第１実施形態による情報提示装置１の構成を示すブロック図である。 本第１実施形態の再生位置同期部１２の構成を示すブロック図である。 本第１実施形態による情報提示装置１で提示対象とする映像コンテンツの一例を示す概念図である。 本第１実施形態の情報提示装置１による情報提示の手順を示すフローチャートである。 本第１実施形態の情報提示装置１による、識別ＩＤ毎に異なる推定識別遅延時間を記憶する一例を示す概念図である。 本第１実施形態よる、再生開始時刻を推定する方法を説明するための概念図である。 本第１実施形態による情報提示装置１での情報提示の一例を示す概念図である。 本第２実施形態による情報提示装置１の再生位置同期部１２ａの構成を示すブロック図である。 本第２実施形態による識別特性記憶部１２４に記憶されている識別特性値の一例を示す概念図である。 本第２実施形態による識別特性記憶部１２４に記憶する識別特性値の例を示す概念図である。 本第３実施形態の情報提示装置１ａの構成を示すブロック図である。 本第３実施形態の再生位置同期部１２ｂの構成を示すブロック図である。 本第３実施形態による映像識別部１１ａが出力する識別状況値の例を示す概念図である。 本第４実施形態の情報入力装置３の構成を示すブロック図である。 本第４実施形態の再生位置同期部３２の構成を示すブロック図である。 本第４実施形態の情報入力装置３による情報入力の手順を示すフローチャートである。

以下、本発明の一実施形態を、図面を参照して説明する。

Ａ．第１実施形態
まず、本発明の第１実施形態について説明する。本第１実施形態の情報提示装置１は、再生されている映像コンテンツの再生位置に同期させて関連情報をユーザに提示する。

Ａ−１．第１実施形態の装置構成
図１は、本発明の第１実施形態による情報提示装置１の構成を示すブロック図である。情報提示装置１は、時系列に伴って変化する画像や映像、音声等のコンテンツに合わせて、その時系列に応じて変化する別のコンテンツである関連情報を再生して提示するコンピュータ装置である。情報提示装置１としては、例えば、スマートフォン等の携帯電話端末、タブレットＰＣ（Personal computer）やノートＰＣ等の可搬情報端末、ＰＣ等が適用できる。図１において、情報提示装置１は、時刻測定部１０と、映像識別部１１と、再生位置同期部１２と、関連情報提示部１３とを備えている。

時刻測定部１０は、計時機能を備えており、現在時刻を出力する。
映像識別部１１は、時系列により変化する入力信号の区間を識別する信号識別部である。具体的には、映像識別部１１は、入力信号である入力映像と、時刻測定部１０によって出力された現在時刻とを入力とし、入力映像から識別ＩＤを検出し、検出した識別ＩＤと、識別ＩＤを検出した時刻を示す識別時刻とを出力する。本実施形態では、入力映像には、映像の区間を識別するための識別ＩＤが、所定間隔ごとに電子透かしとして埋め込まれている。映像識別部１１は、例えばカメラを備えており、テレビ機器等によって再生される映像コンテンツが入力映像として入力される。

再生位置同期部１２は、映像識別部１１による識別結果に基づいて、入力信号に対応する関連情報の再生位置を算出する。具体的には、再生位置同期部１２は、識別ＩＤと、識別時刻と、現在時刻とを入力とし、入力された映像に遅延なく同期させて提示すべき関連情報の再生位置の推定値を算出し、算出した推定再生位置を出力する。ここで、関連情報とは、入力映像に合わせて提示するコンテンツであり、時系列に伴って変化する情報である。

関連情報提示部１３は、再生位置同期部１２によって算出された推定再生位置に基づいて関連情報を再生する。具体的には、関連情報提示部１３は、関連情報を再生すべき推定再生位置を入力とし、入力された推定再生位置に対応する関連情報を再生して提示する。ここで、関連情報提示部１３は、例えば、入力映像と同時に、あるいは予めネットワークを介して送信される関連情報を受信して自身の記憶領域に記憶させておき、自身の記憶領域に記憶させた関連情報から、推定再生位置が示す部分を読み出して再生することができる。関連情報提示部１３は、例えば情報を表示するディスプレイを備えており、入力映像とともに関連情報を表示させる。

ここで、入力映像や関連情報が複数存在する場合、例えば、関連情報提示部１３は、入力映像を識別するコンテンツＩＤと関連情報を識別する関連情報とを対応付けた情報を自身の記憶領域に記憶させておく。そして、入力映像に電子透かしとして埋め込む識別ＩＤに、その入力映像のコンテンツを識別するコンテンツＩＤと、その区間を示す区間ＩＤとの双方の情報を含ませておく（例えば、識別ＩＤのうち、上位数ビットをコンテンツＩＤとし、下位数ビットを区間ＩＤとすることができる）。関連情報提示部１３は、電子透かしとして検出した識別ＩＤに含まれるコンテンツＩＤに対応する関連情報を読み出すことで、入力映像に対応する関連情報を特定することができる。あるいは、例えば、電子透かしとして、区間ＩＤのみを示す識別ＩＤの他に、入力映像のコンテンツを識別するためのコンテンツＩＤを電子透かしとして埋め込んでおくこともできるし、他の方法により入力映像に対応する関連情報を特定することもできる。

図２は、本第１実施形態の再生位置同期部１２の構成を示すブロック図である。図２において、再生位置同期部１２は、識別遅延時間推定部１２１と、再生開始時刻推定部１２２と、再生位置推定部１２３とを備えている。再生位置同期部１２は、識別ＩＤと、識別時刻と、現在時刻とを入力し、推定再生位置を出力する。

識別遅延時間推定部１２１は、入力信号に含まれるコンテンツに対して識別ＩＤが埋め込まれた区間が再生開始されてから識別ＩＤを識別できるまでに要した識別遅延時間の推定値を取得する。入力信号は、複数の識別ＩＤが順に電子透かしとして埋め込まれたコンテンツを含む信号である。具体的には、識別遅延時間推定部１２１は、識別ＩＤを入力とし、識別ＩＤに対応する入力映像の識別区間が再生開始されてから、識別ＩＤを識別できるまでに要した識別遅延時間の推定値を取得し、取得した推定識別遅延時間を出力する。

再生開始時刻推定部１２２は、推定識別遅延時間と識別時刻とを入力とし、推定識別遅延時間に基づいて入力映像の先頭が再生開始されたであろう再生開始時刻の推定値を算出し、算出した推定再生開始時刻を出力する。
再生位置推定部１２３は、推定再生開始時刻と再生位置を推定したい時刻を表す現在時刻とを入力し、関連情報の中の今再生すべき再生位置の推定値を算出し、算出した推定再生位置を出力する。

図３（ａ）〜（ｄ）は、本第１実施形態による情報提示装置１に入力される入力映像である映像コンテンツの一例を示す概念図である。ここでは、映像の識別に電子透かしを用いる例について説明する。図３（ａ）に示す映像コンテンツ１５には、予め、映像の区間を識別するための識別ＩＤを電子透かしとして埋め込んでおく。例えば、図３（ｂ）に示すように、一定の時間間隔毎に識別ＩＤを変化するように埋め込んでおく。図示の例では、ＩＤ_１、ＩＤ_２、ＩＤ_３、ＩＤ_４、ＩＤ_５、ＩＤ_６、ＩＤ_７、ＩＤ_８、ＩＤ_９、…というように変化するように埋め込んでおく。埋め込みの間隔は、電子透かしの検出に必要な映像区間の長さに応じて決定すればよいが、例えば、０．５〜１秒程度の映像区間から電子透かしの検出が可能な電子透かし方式を用いれば、１秒間隔で識別ＩＤが変化するように埋め込んでもよい。

また、例えば、図３（ｃ）に示すように、埋め込みの時間間隔を識別ＩＤ毎に変化させて埋め込んでおいてもよい。具体的には、例えば、識別ＩＤの時間間隔を、順に、ＩＤ_１＝１秒、ＩＤ_２＝２秒、ＩＤ_４＝３秒、ＩＤ_７＝１秒、ＩＤ_８＝２秒、…というように繰り返し変化させるようにしてもよい。ここで、例えばテレビ等の機器に出力される映像コンテンツがカメラによって撮影されて情報提示装置１に入力される場合、撮影する映像面に傾きがあれば検出は困難となり、またカメラの解像度等によっても検出の容易性が変化すると考えられる。また、例えば電子透かしが埋め込まれた映像コンテンツ中の画面の変化の大小や映像コンテンツによって表示する画像の空間周波数等によっても、検出の容易性が変化すると考えられる。

映像コンテンツに電子透かしとして埋め込まれた識別ＩＤを検出する際には、同一の識別ＩＤが埋め込まれている時間が長ければ長いほど、検出が容易（検出できる可能性が高い）であり、同一の識別ＩＤが埋め込まれている時間が短ければ短いほど、検出が困難（検出できる可能性が低い）になると考えられる。そこで、識別ＩＤの時間間隔に幅を持たせることで、電子透かしを検出する際の環境条件によって検出の容易性が異なる場合に、検出が容易な環境であれば、すべての電子透かしを検出することができる。つまり、情報提示装置１の再生位置同期部１２において、より精度よく再生位置の推定が可能となる一方、検出の難しい環境であっても、時間間隔を長くした電子透かしだけは検出することができ、ある程度の再生位置の推定が可能となるという利点がある。

また、例えば、図３（ｄ）に示すように、映像コンテンツの特性に応じて、埋め込みの時間間隔を識別ＩＤ毎に変化させて埋め込んでおいてもよい。具体的には、例えば、電子透かしの検出がしやすく、短い映像区間から電子透かしの検出が可能な特性を持つ映像のシーンでは、埋め込みの間隔を短くし（図３（ｄ）のＩＤ_１、ＩＤ_４、ＩＤ_８）、電子透かしの検出がしにくく、長い映像区間がないと電子透かしの検出ができない特性を持つ映像のシーンでは、埋め込みの間隔を長くしてもよい（図３（ｄ）のＩＤ_２、ＩＤ_５）。

ここで、一定時間間隔で識別ＩＤを変化させて埋め込んだ場合と、時間間隔を変化させて識別ＩＤを埋め込んだ場合とで、識別ＩＤの開始点が共通になるように埋め込みを行うことで、これらの埋め込みの時間間隔のバリエーションが混在する映像コンテンツに対しても再生位置同期部１２での同期を共通に行うことができるという利点がある。

例えば、図３（ｂ）、（ｃ）、（ｄ）では、識別ＩＤ_２、ＩＤ_４、ＩＤ_５、ＩＤ_８などが、それぞれ埋め込みの長さが異なるが、開始点は一致している。言い換えると、映像の先頭から埋め込みの開始点までの時間が同じであれば、その開始点から埋め込みを行う識別ＩＤが共通となるように、識別ＩＤを決定して埋め込みを行えばよい。

Ａ−２．第１実施形態の動作
図４は、本第１実施形態の情報提示装置１による情報提示の手順を示すフローチャートである。まず、情報提示装置１の映像識別部１１に対して、同期の対象となる映像コンテンツを入力する（ステップＳ１０：映像入力ステップ）。映像の入力は、例えば、カメラ等の撮影手段を用いて、対象となる映像コンテンツが表示されているテレビ、デジタルサイネージ、ディスプレイ等を撮影し、得られた撮影画像を入力するようにしてもよい。また、例えば、ＨＤＤ（Hard Disk Drive）、ＶＴＲ（Video Tape Recorder）、ＢＤ（Blue-ray Disc）、ＤＶＤ（Digital Versatile Disc）等に蓄積された映像を入力しても構わないし、ＴＶ放送やネットワーク動画配信サービス等で配信された映像を入力しても構わない。

次に、映像識別部１１は、入力映像に映っている映像の区間を識別する（ステップＳ１１：映像識別ステップ）。映像識別部１１は、例えば、入力映像に埋め込まれた電子透かしを検出する。電子透かしの検出は、例えば、非特許文献１や、特許文献２に記載されている方法を用いて行うことができる。映像識別部１１は、電子透かしを検出し、検出した電子透かしを識別ＩＤとして取得する。また、映像識別部１１は、電子透かし検出が完了した時点の現在時刻を、時刻測定部１０から取得し、これを識別時刻とする。

ここで、映像識別ステップ（ステップＳ１１）では、入力映像に映っている映像の区間を識別する区間識別処理を繰り返し実行する。すなわち、映像識別部１１は、一度、識別ＩＤを検出した後、再度、その時点から電子透かしの検出を開始して区間識別処理を繰り返す。映像識別部１１は、同じ識別ＩＤを複数回検出し続けた場合にも検出する毎に検出した識別ＩＤを出力してもよいし、前回と異なる識別ＩＤを検出した時点で、次に検出した識別ＩＤを出力するよう構成してもよい。また、映像の区間の識別は、画像認識を用いて行うように構成してもよい。

次に、再生位置同期部１２は、入力映像に遅延なく同期させて提示すべき関連情報の再生位置の推定値を算出する（ステップＳ１２〜Ｓ１４：再生位置同期処理）。この再生位置同期処理は、以下のサブステップから構成される。

（１）識別遅延時間推定ステップ
再生位置同期部１２は、識別ＩＤに対応する入力映像の識別区間が再生開始されてから、識別ＩＤを識別できるまでに要した識別遅延時間の推定値を取得する（ステップＳ１２）。識別遅延時間の推定値は、例えば、単純に電子透かしの検出に要する時間を実験的に測定しておき、その平均値を記憶しておくことで、その値を推定識別遅延時間としてもよい。

また、識別遅延時間を識別ＩＤ毎に実験的に測定しておき、図５に示すように、識別ＩＤ毎に異なる推定識別遅延時間を記憶しておいて、その値を用いるようにしてもよい。

図５は、本第１実施形態の情報提示装置１による、識別ＩＤ毎に異なる推定識別遅延時間を記憶する一例を示す概念図である。図５に示す例では、識別ＩＤ_１の推定識別遅延時間を１．２秒、識別ＩＤ_２の推定識別遅延時間を０．５秒、識別ＩＤ_３の推定識別遅延時間を２．１秒、…としている。再生位置同期部１２は、例えば、入力映像と同時に、あるいは予めネットワークを介してこのような推定識別遅延時間を受信して自身の記憶領域に記憶させておくことができる。

また、上記映像識別ステップ（ステップＳ１１）において、一度識別ＩＤを識別した後、再度、その時点から識別を開始して識別を繰り返すように構成した場合に、前回と同一の識別ＩＤを連続して識別した際、２回目の識別の時点での識別遅延時間を、同一識別ＩＤに対する１回目の識別時刻と２回目の識別時刻との差よりも大きくなるように推定値を算出するようにしてもよい。

（２）再生開始時刻推定ステップ
再生位置同期部１２は、推定識別遅延時間に基づいて、入力映像の先頭が再生開始されたであろう再生開始時刻の推定値を算出する（ステップＳ１３）。

図６は、本第１実施形態による、再生開始時刻を推定する方法を説明するための概念図である。ここでは、図３（ｂ）に示す、一定間隔で識別ＩＤを変化させた場合について説明するが、一定時間間隔で識別ＩＤを変化させて埋め込んだ場合と、時間間隔を変化させて識別ＩＤを埋め込んだ場合とで、識別ＩＤの開始点が共通になるように埋め込みを行っていれば、図３（ｃ）、（ｄ）に示す、時間間隔を変化させて識別ＩＤを埋め込んだ場合でも同様の手順で推定値が算出できる。

識別ＩＤが埋め込まれた時間間隔をｖとし、ＩＤ_１、ＩＤ_２、…ＩＤ_ｉに対して映像識別ステップ（ステップＳ１１）で得られた識別時刻をｔ_１、ｔ_２、…、ｔ_ｉとし、識別遅延時間推定ステップ（ステップＳ１２）で得られた推定識別遅延時間をｄ_１、ｄ_２、…、ｄ_ｉとする。また、推定したい再生開始時刻をｅとする。ここで、再生位置同期部１２は、例えば、入力映像と同時に、あるいは予めネットワークを介してｖの値を受信して自身の記憶領域に記憶させておくことができる。また、再生位置同期部１２は、例えば、入力映像中に埋め込まれた複数の識別ＩＤ毎に、その識別ＩＤが入力映像中に埋め込まれた複数の識別ＩＤのうちの何番目の識別ＩＤであるかを示す情報を自身の記憶領域に記憶させておくことができる。

識別時刻ｔ_ｉは、次式（１）で表される。

ＩＤ_ｉに対して推定される再生開始時刻ｅ^（ｉ）は、次式（２）で得られる。

ここで得られる再生開始時刻ｅ^（ｉ）は、推定識別遅延時間ｄ_ｉに基づくものであり、誤差を含んでいるため、複数のＩＤ_ｉでの測定結果を元に総合的にｅの値を推定値として算出するようにしてもよい。
例えば、単純に、次式（３）で複数の測定結果の平均を算出してもよい。

また、例えば、古く検出された識別ＩＤによる推定結果と、新しく検出された識別ＩＤによる推定結果とを重みづけして、新しく検出された識別ＩＤによる推定結果の重みを大きくするようにしてもよく、例えば、次式（４）のようにしてもよい。

ここで、α（０＜α＜１）は、重みパラメータであり、Ｎは、推定に利用する測定結果の個数である。この他、平均を算出する対象を過去Ｋ回の検出に限定して平均を算出するなどしても構わない。

（３）再生位置推定ステップ
再生位置同期部１２は、関連情報の中の今再生すべき再生位置を推定する（ステップＳ１４）。再生位置同期部１２は、例えば、次式（５）に示すように、時刻測定部１０から取得した現在時刻τと、再生開始時刻推定ステップ（ステップＳ１３）で得られた推定再生開始時刻ｅとの差を求めることで、今再生すべき再生位置Ｔの推定値を算出することができる。

次に、関連情報提示部１３は、関連情報における、再生位置推定ステップ（ステップＳ１４）で得られた再生位置に従って、関連情報を提示する（ステップＳ１５：情報提示ステップ）。

図７は、本第１実施形態による情報提示装置１での情報提示の一例を示す概念図である。例えば、図７に示すように、情報提示装置１は、カメラ２０でモニタ２２を撮影した映像を入力映像として入力し、入力映像と同期させて関連情報２４ａ、２４ｂ、２４ｃを関連情報提示部１３が備えるモニタ２３に再生して提示する。

ここで、関連情報としては、例えば、入力映像中に現在表示されている出演者の情報を提示するようにしてもよい。また、例えば、入力映像中の出演者のセリフの内容を同期させて提示するようにしてもよい。また、例えば、入力映像が、タレントが踊っているシーンであるような場合に、別なタレントやＣＧ（Computer Graphics）キャラクタなどを、画面に合わせて（同期して）踊るように提示するようにしてもよい。

また、情報の提示は、入力映像の画像に重畳するように表示しても構わない。具体的には、映像識別ステップ（ステップＳ１１）において、映像を識別する際に、入力映像中の対象の画像領域を検出しておき、得られた画像領域に空間的に位置を合わせた関連情報を重畳表示するようにすればよい。

画像領域の検出には、例えば、参考文献１（特許４０２００９３号、縁検出方法及び装置及びプログラム及び記憶媒体及び枠検出方法及び装置及びプログラム及び記憶媒体）や、参考文献２（北原，中村，片山，安野，“携帯端末上における幾何補正のためのリアルタイム矩形追跡手法”，電気情報通信学会技術研究報告，ＯＩＳ，オフィスインフォメーションシステム、１０６（３５３），ｐｐ．１−６（２００６））のような公知の手法を用いて行うことができる。参考文献１や、参考文献２のように、対象とする四辺形領域を検出することで、撮影画像の中での対象領域の位置を表す対象領域座標を得ることができ、これを用いて撮影しているカメラの外部パラメータや、射影変換パラメータを推定し、提示する関連情報を画像領域に空間的に位置を合わせるよう変形して表示することができる。

以上説明したように、第１実施形態の情報提示装置１によれば、入力映像中に埋め込まれた識別ＩＤに基づいて、入力映像に基づいて再生している映像コンテンツの再生が開始されてから現在までの時間の差を算出し、この差を考慮して関連情報を再生することで、映像コンテンツと関連情報とを同期させて再生することができる。より具体的には、情報提示装置１は、映像の区間の識別を完了した時刻と現在時刻とに基づいて、入力映像の識別区間が再生開始されてから、識別ＩＤを識別できるまでに要した識別遅延時間の推定値を用いて、再生開始時刻と、現在時刻における識別の対象となるコンテンツ上の再生位置との推定値を算出することで、再生されている映像コンテンツの再生位置に精度よく同期させて関連情報をユーザに提示することが可能となり、ユーザにとって利便性を向上させることができる。

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第２実施形態では、予め測定しておいた識別特性値に基づいて識別遅延時間推定を行うことを特徴とする。

Ｂ−１．第２実施形態の装置構成
本第２実施形態の情報提示装置１の構成は、図１に示す第１実施形態の構成と同様であるので説明を省略するが、再生位置同期部１２ａの構成が一部異なっている。
図８は、本第２実施形態による情報提示装置１の再生位置同期部１２ａの構成を示すブロック図である。なお、図２に対応する部分には同一の符号を付している。図８において、再生位置同期部１２ａは、識別遅延時間推定部１２１ａと、識別特性記憶部１２４と、再生開始時刻推定部１２２と、再生位置推定部１２３とを備えている。再生位置同期部１２ａは、識別ＩＤと、識別時刻と、現在時刻とを入力し、推定再生位置を出力する。

識別遅延時間推定部１２１ａは、識別ＩＤを入力し、識別ＩＤに対応する識別特性値を識別特性記憶部１２４から取得し、取得した識別特性値を用いて、識別ＩＤに対応する入力映像の識別区間が再生開始されてから、識別ＩＤを識別できるまでに要した識別遅延時間の推定値を取得し、取得した推定識別遅延時間を出力する。ここで、識別遅延時間推定部１２１ａは、識別特性記憶部１２４に記憶されている識別特性値に基づいて、識別が容易な場合には識別遅延時間が小さな値となるように識別遅延時間の推定値を算出し、識別が困難な場合には識別遅延時間が大きな値となるように識別遅延時間の推定値を算出する。
識別特性記憶部１２４は、識別ＩＤに対応付けて映像コンテンツの識別特性値を記憶する。識別特性値とは、入力信号に基づいて区間を識別する容易性の度合いを示す値である。

再生開始時刻推定部１２２は、推定識別遅延時間と識別時刻とを入力し、推定識別遅延時間に基づいて入力映像の先頭が再生開始されたであろう再生開始時刻の推定値を算出し、算出した推定再生開始時刻を出力する。再生位置推定部１２３は、推定再生開始時刻と再生位置を推定したい時刻を表す現在時刻とを入力し、関連情報の中の今再生すべき再生位置の推定値を算出し、算出した推定再生位置を出力する。

Ｂ−２．第２実施形態の動作
次に、本第２実施形態の動作として、上述した第１実施形態の情報提示装置１と異なる、識別遅延時間推定部１２１ａにおける識別遅延時間推定ステップ（図４のステップＳ１２に相当）の動作について説明する。その他、図４のステップＳ１０、Ｓ１１、Ｓ１３〜Ｓ１５の動作は、第１実施形態の情報提示装置１と同様であるので説明を省略する。本第２実施形態において、識別特性記憶部１２４は、識別ＩＤに対応付けて、対象となる映像コンテンツの識別ＩＤが埋め込まれる区間の識別し易さを表す識別特性値を記憶する。

図９（ａ）、（ｂ）は、本第２実施形態による識別特性記憶部１２４に記憶されている識別特性値の一例を示す概念図である。図９（ａ）には、映像コンテンツ１５を示し、図９（ｂ）には、映像コンテンツ１５の識別ＩＤが埋め込まれる区間の識別のし易さを表す識別特性値を示している。識別の対象とする映像コンテンツ１５は、映像の特性によって識別の容易性が変化し得る。例えば、映像の動きが少ないほど検出し易い電子透かし方式を用いる場合には、動きが少なくて識別し易い区間と、動きが大きくて識別し難い区間とが存在する。

本第２実施形態では、識別特性値として、電子透かしの検出し易さを表す値を用いる。識別特性値は、例えば、特許文献２に記載されている電子透かし方式を用いる場合には、実際に電子透かしを埋め込んだ上で検出を行い、区間毎に検出信頼性を表す検出指標値を求めて、これを識別特性値として用いてもよい。

また、電子透かしを実際に埋め込まず、元の映像コンテンツの動きの大きさや、時間方向の周波数成分の大きさなどを測定し、これを識別特性値として用いてもよい。動きの大きさは、例えば、映像中の２つのフレーム間の動きベクトルを求め、動きベクトルの大きさの平均値を用いてもよい。識別特性値は、映像の識別し易さを測る量であれば、どのような値でもよく、これらの例に限定するものではないことは言うまでもない。

図１０は、本第２実施形態による識別特性記憶部１２４に記憶する識別特性値の例を示す概念図である。識別特性記憶部１２４には、識別ＩＤ毎に識別特性値が記憶される。図示の例では、識別ＩＤ_１の識別特性値を１０．２３、識別ＩＤ_２の識別特性値を３．１３、識別ＩＤ_３の識別特性値を３．２３…としている。個々の識別ＩＤに対応する識別特性値は、例えば、識別ＩＤが埋め込まれる対象の区間に対する識別特性値の平均値や、中央値、最大値、最小値等を求めることで算出してもよい。

次に、本第２実施形態の識別遅延時間推定部１２１ａにおける識別遅延時間推定ステップ（図４のステップＳ１２に相当）について説明する。上述した第１実施形態では、識別遅延時間を直接実験的に求めるようにしたが、本第２実施形態では、代わりに識別特性値に基づいて識別遅延時間の推定値を算出する。例えば、識別ＩＤ_ｉに対する識別特性値ρ_ｉを、識別し易い場合には、正の大きな値、識別し難い場合には、正の小さな値をとるように定め、推定識別遅延時間ｄ_ｉを次式（６）のように算出してもよい。

ここで、α、β、γは、係数パラメータであり、いくつかの学習用に用意した実際のコンテンツで識別遅延時間と識別特性値との関係を測定して、α、β、γの値を実験的に求めるようにしてもよい。

すなわち、識別特性値ρ_ｉが大きな値の場合には、推定識別遅延時間が小さな値となり、識別特性値ρ_ｉが小さな値の場合には、推定識別遅延時間が大きな値となるように識別遅延時間ｄ_ｉの推定値を算出する。なお、識別特性値ρ_ｉの値の大小を、識別し易い場合には小さな値、識別し難い場合には大きな値となるように定めた場合、識別特性値ρ_ｉが小さな値の場合には推定識別遅延時間が小さな値、識別特性値ρ_ｉが大きな値の場合には推定識別遅延時間が大きな値となるように識別遅延時間ｄ_ｉの推定値を算出する。

ある映像コンテンツに対する識別遅延時間を直接実験により求める場合には、対象のコンテンツを用いて実際に撮影環境条件を加味して再撮影を行って測定する必要がある。これに対して、識別特性値を用いる場合には、事前に学習用コンテンツを用いてα、β、γの値を決定しておけば、対象のコンテンツに対しては、コンピュータ上のシミュレーションで識別特性値を求めることができるため効率的である。

上述した第２実施形態によれば、映像コンテンツに対して、識別ＩＤが埋め込まれているコンテンツ区間の識別特性を予め測定した識別特性値を記憶しておき、識別ＩＤに対する識別特性値を用いて、入力映像の識別区間が再生開始されてから識別ＩＤを識別できるまでに要した識別遅延時間を推定することで、対象コンテンツに対する事前処理を効率的に行いながら、再生されている映像コンテンツの再生位置に精度よく同期させて関連情報をユーザに提示することが可能となり、ユーザにとって利便性を向上させることができる。

Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
本第３実施形態では、映像を識別する際に得られた識別状況に基づいて識別遅延時間推定を行うことを特徴としている。

Ｃ−１．第３実施形態の装置構成
図１１は、本第３実施形態の情報提示装置１ａの構成を示すブロック図である。情報提示装置１ａは、時刻測定部１０と、映像識別部１１ａと、再生位置同期部１２ｂと、関連情報提示部１３とを備えている。本第３実施形態では、上述した第１実施形態の構成に対して、映像識別部１１ａと再生位置同期部１２ｂとが異なる。時刻測定部１０は、現在時刻を出力する。映像識別部１１ａは、入力映像と現在時刻とを入力し、入力映像を識別し、識別ＩＤと、識別時刻と、識別状況とを出力する。また、映像識別部１１ａは、入力映像の区間を識別する際に、入力信号に基づく区間の識別の容易性の度合いを示す識別状況値を算出する。再生位置同期部１２ｂは、識別ＩＤと、識別時刻と、識別状況と、現在時刻とを入力し、入力した映像に遅延なく同期させて提示すべき関連情報の再生位置の推定値を算出し、算出した推定再生位置を出力する。関連情報提示部１３は、推定再生位置を入力し、算出した推定再生位置に対応する関連情報を提示する。

図１２は、本第３実施形態の再生位置同期部１２ｂの構成を示すブロック図である。なお、図２に対応する部分には同一の符号を付している。図１２において、再生位置同期部１２ｂは、識別遅延時間推定部１２１ｂと、再生開始時刻推定部１２２と、再生位置推定部１２３とを備えている。再生位置同期部１２ｂは、識別ＩＤと、識別時刻と、識別状況と、現在時刻とを入力し、推定再生位置を出力する。

識別遅延時間推定部１２１ｂは、識別ＩＤと識別状況とを入力し、識別状況に基づき、識別ＩＤに対応する入力映像の識別区間が再生開始されてから、識別ＩＤを識別できるまでに要した識別遅延時間の推定値を算出し、推定識別遅延時間を出力する。ここで、識別遅延時間推定部１２１ｂは、映像識別部１１ａが算出した識別状況値に基づいて、識別が容易であった場合には識別遅延時間が小さな値となるように識別遅延時間の推定値を算出し、識別が困難であった場合には識別遅延時間が大きな値となるように識別遅延時間の推定値を算出する。

再生開始時刻推定部１２２は、推定識別遅延時間と識別時刻とを入力し、推定識別遅延時間に基づいて入力映像の先頭が再生開始されたであろう再生開始時刻の推定値を算出し、推定再生開始時刻を出力する。再生位置推定部１２３は、推定再生開始時刻と再生位置を推定したい時刻を表す現在時刻とを入力し、関連情報の中の今再生すべき再生位置の推定値を算出し、推定再生位置を出力する。

本第３実施形態の構成は、上述した第２実施形態の構成と類似しているが、映像識別部１１ａが映像を識別する際に得られた識別状況を出力し、再生位置同期部１２ｂの識別遅延時間推定部１２１ｂが、上記識別状況を入力して識別遅延時間の推定を行う点が異なっている。

Ｃ−２．第３実施形態の動作
次に、本第３実施形態の動作として、前述した第１実施形態の情報提示装置１と異なる、映像識別部１１ａにおける映像識別ステップ（図４のステップＳ１１に相当）の動作と、識別遅延時間推定部１２１ｂにおける識別遅延時間推定ステップ（図４のステップＳ１２に相当）の動作について説明する。その他の動作は、第１実施形態の情報提示装置１と同様であるので説明を省略する。

映像識別部１１ａは、第１実施形態と同様に、入力映像に映っている映像を識別する（映像識別ステップ：ステップＳ１１に相当）。このとき、映像識別部１１ａは、映像を識別する際に、識別がどのくらい容易であったかの識別状況を表す値を測定し、識別ＩＤと識別時刻と併せて出力する。識別状況としては、例えば、以下のような値を用いることができる。

（１）識別に必要となった入力映像時間
映像の識別に、例えば、特許文献２に記載された方法を用いて電子透かしの検出を行うとする。特許文献２に記載された方法では、所定の区間の入力映像から電子透かしを検出することができるが、電子透かしの検出ができなかった場合、さらに入力映像から追加の区間を入力し、検出に成功するまで累積して処理を繰り返すよう構成することができる。これは、特許文献２に記載された方法が、より長い入力区間から電子透かしの検出を行う方が、より電子透かしを検出しやすい特性を持つ方式であるからである。

図１３（ａ）、（ｂ）、（ｃ）は、本第３実施形態による映像識別部１１ａが出力する識別状況値の例を示す概念図である。図１３（ａ）は、対象となる映像コンテンツ１５である。図１３（ｂ）、（ｃ）の縦軸は、電子透かし検出の信頼性を表す検出指標値であり、例えば、特許文献２の方法における複素相関値の絶対値であってもよい。検出指標値は、正規化されていてもよい。

図１３（ｂ）では、最初に入力した映像区間で得られた検出指標値が閾値を越えていないため検出に失敗し、追加で映像区間を入力している。１回の追加入力でも、まだ検出指標値が閾値を越えていないため、再度追加で映像区間を入力し、３つの映像区間全体からの検出で、検出指標値が閾値を越え、検出に成功している。この結果、識別に必要となった入力映像時間は、３つ分の映像区間全体の長さである。

一方、図１３（ｃ）では、最初に入力した映像区間で得られた検出指標値が、すでに閾値を越えているため、追加で映像区間を入力することなく検出に成功している。この結果、識別に必要となった入力映像時間は１つ分の映像区間全体の長さである。

識別に必要な入力映像時間は、検出しやすい映像コンテンツの部位においては短くなり、検出しにくい映像コンテンツの部位においては長くなるという性質を持つため、識別がどのくらい容易であったかを表す、識別状況の値として用いることができる。

ここで、入力映像区間は、映像の複数のフレーム単位であってもよいし、１フレーム単位であってもよい。なお、入力映像のどこから映像の識別を開始するかは、利用状況に依存して変化するため、入力する映像区間の始点は、図３（ｂ）〜（ｄ）に示す埋め込んだ識別ＩＤの区間の開始点とは一致せず、識別に必要となった入力映像時間と識別遅延時間とは一致しない。

（２）識別成功時の検出指標値
また、識別状況の値としては、識別成功時の検出指標値を用いることもできる。
図１３（ｂ）、（ｃ）において、識別成功時の検出指標値の値は、識別が困難であった同図（ｂ）では小さな値、識別が容易であった同図（ｃ）では大きな値となっている。検出指標値の時間方向に対する平均的な傾きは、識別が困難である場合の方が、識別が容易である場合に比べて小さくなる。

入力区間の単位で検出の成功失敗を判定すると、識別成功時の検出指標値の値は、識別が容易である場合には確率的に大きな値、識別が困難である場合には確率的に小さな値をとる可能性が大きい。そのため、識別成功時の検出指標値の値を、識別がどのくらい容易であったかを表す、識別状況の値として用いることができる。

（３）連続して同一の識別ＩＤを検出した回数
また、識別状況の値としては、連続して同一の識別ＩＤを検出した回数を用いることもできる。映像識別ステップ（図４のステップＳ１１に相当）において、一度、識別ＩＤを識別した後、再度、その時点から識別を開始して識別を繰り返すように構成した場合に、前回と異なる識別ＩＤを識別するまでの間に、前回と同一の識別ＩＤを連続して識別した回数を記録するようにする。１つの識別ＩＤに対応する映像区間の中で連続して同じ識別ＩＤを識別できる状況は、識別が容易であることを表している。

次に、本第３実施形態の識別遅延時間推定部１２１ｂにおける識別遅延時間推定ステップ（図４のステップＳ１２に相当）について説明する。上述した第１実施形態では、識別遅延時間を直接実験的に求めるよう構成したが、本第３実施形態では、代わりに識別状況を表す値に基づいて識別遅延時間の推定値を算出する。

例えば、識別ＩＤ_ｉに対する識別状況値τ_ｉを、識別に必要となった入力映像時間のように、識別が困難であった場合には正の大きな値、識別が容易であった場合には正の小さな値をとるように定め、推定識別遅延時間ｄ_ｉを次式（７）のように算出してもよい。

ここで、α、βは、係数パラメータであり、いくつかの学習用に用意した実際のコンテンツで識別遅延時間と識別状況値との関係を測定して、α、βの値を実験的に求めるようにしてもよい。

すなわち、識別状況値τ_ｉが小さな値の場合には、推定識別遅延時間が小さな値、識別状況値τ_ｉが大きな値の場合には、推定識別遅延時間が大きな値となるように識別遅延時間ｄ_ｉの推定値を算出すればよい。なお、識別状況値τ_ｉを、識別成功時の検出指標値のように、識別し易い場合には大きな値、識別し難い場合には小さな値となるように定めた場合、識別状況値τ_ｉが大きな値の場合には推定識別遅延時間が小さな値、識別状況値τ_ｉが大きな値の場合には推定識別遅延時間が大きな値となるように識別遅延時間ｄ_ｉの推定値を算出すればよい。

前述した第２実施形態では、ある映像コンテンツに対する識別特性値を求めておく場合には、対象のコンテンツに対するシミュレーションを事前に行っておく必要があるのに対し、本第３実施形態では、識別状況値を用いる場合には、事前に学習用コンテンツを用いてα、βの値を決定しておけば、対象のコンテンツに対しては事前の処理が必要なく、効率的である。

上述した第３実施形態によれば、映像コンテンツを識別する際に、識別の容易性を表す指標値を識別状況として算出し、算出した識別状況値を用いて、入力映像の識別区間が再生開始されてから識別ＩＤを識別できるまでに要した識別遅延時間の推定値を算出するようにしたので、対象となる映像コンテンツに対する事前処理を不要とし、再生されている映像コンテンツの再生位置に精度よく同期させて関連情報をユーザに提示することが可能となり、ユーザにとって利便性を向上させることができる。

Ｄ．第４実施形態
次に、本発明の第４実施形態について説明する。
本第４実施形態では、情報提示を行う代わりに、情報登録を行うことを特徴とする。

Ｄ−１．第４実施形態の装置構成
図１４は、本第４実施形態の情報入力装置３の構成を示すブロック図である。図１４において、情報入力装置３は、時刻測定部３０と、映像識別部３１と、再生位置同期部３２と、関連情報入力部３３とを備えている。時刻測定部３０は、現在時刻を出力する。映像識別部３１は、入力映像と現在時刻とを入力し、入力映像を識別し、識別ＩＤと識別時刻とを出力する。再生位置同期部３２は、識別ＩＤと、識別時刻と、現在時刻とを入力し、入力した映像に対して関連情報を対応付けるべき再生位置の推定値を、遅延なく同期するように算出し、推定再生位置を出力する。関連情報入力部３３は、推定再生位置を入力し、推定された再生位置に対応付けて関連情報を入力する。

図１５は、本第４実施形態の再生位置同期部３２の構成を示すブロック図である。図１５において、再生位置同期部３２は、識別遅延時間推定部３２１と、再生開始時刻推定部３２２と、再生位置推定部３２３とから構成されている。再生位置同期部３２は、識別ＩＤと、識別時刻と、現在時刻とを入力し、推定再生位置を出力する。

識別遅延時間推定部３２１は、識別ＩＤを入力し、識別ＩＤに対応する入力映像の識別区間が再生開始されてから、識別ＩＤを識別できるまでに要した識別遅延時間の推定値を取得し、取得した推定識別遅延時間を出力する。再生開始時刻推定部３２２は、推定識別遅延時間と識別時刻とを入力し、推定識別遅延時間に基づいて入力映像の先頭が再生開始されたであろう再生開始時刻の推定値を算出し、算出した推定再生開始時刻を出力する。再生位置推定部３２３は、推定再生開始時刻と再生位置を推定したい時刻を表す現在時刻とを入力し、関連情報の中の今再生すべき再生位置の推定値を算出し、算出した推定再生位置を出力する。

本実施例の情報入力装置３は、前述した第１実施形態の情報提示装置１と類似しているが、関連情報を提示する代わりに、推定再生位置に関連付けて情報を入力する点が異なっている。本第４実施形態の情報入力装置３における再生位置同期部３２は、前述した第１実施形態の再生位置同期部１２と同様の機能を有している。また、前述した第２実施形態の再生位置同期部１２ａや、第３実施形態の映像識別部１１ａ、再生位置同期部１２ｂと組み合わせて動作させても構わない。

Ｄ−２．第４実施形態の動作
次に、本第４実施形態の動作として、上述した第１実施形態の情報提示装置１と異なる、関連情報入力部３３の動作について説明する。

図１６は、本第４実施形態の情報入力装置３による情報入力の手順を示すフローチャートである。なお、図４に対応するステップには同じ符号を付しており、映像入力ステップＳ１０、映像識別ステップＳ１１、再生位置同期処理のステップＳ１２〜Ｓ１４は、第１実施形態の対応するステップと同様であるので説明を省略する。

情報入力装置３の関連情報入力部３３は、識別された映像コンテンツの指定した再生位置に対応付けてユーザが登録したい関連情報を入力する（ステップＳ２０：情報入力ステップ）。なお、情報入力ステップでは、ユーザは、関連情報の入力に先立ち、これから入力する関連情報を対応付ける映像コンテンツの再生位置に合わせて、ボタンを押下するなどして情報入力装置３に対してタイミングを指定してもよい。その場合、ボタンを押下された時点の現在時刻が再生位置同期部３２に入力されるように構成する。

ユーザが入力した関連情報は、再生位置同期部３２で算出された推定再生位置に対応付けて登録される。登録した関連情報は、例えば、情報入力装置３に接続された記憶装置に保存しておき、前述した第１実施形態から第３実施形態の情報提示装置１を用いた情報提示に利用してもよい。

また、関連情報の登録は、例えば、ネットワークを経由して専用の情報サーバを用いるようにしてもよいし、また、例えば、推定再生位置をｔｗｉｔｔｅｒ（登録商標）のハッシュタグで表現するようにして、１つのｔｗｅｅｔ（登録商標）として登録するようにしてもよい。

また、ステップＳ１１の映像識別ステップにおいて、映像を識別する際に、入力映像中の対象の画像領域の検出を行っておき、得られた画像領域上で、撮影カメラが狙っていた空間的な位置を、推定再生位置と合わせて対応付けて登録することで、映像の時間的位置、空間的位置を組み合わせて関連情報として登録するようにしてもよい。

上述した第４実施形態によれば、ユーザが入力した情報を、算出された映像コンテンツの再生位置に対応付けて登録するようにしたので、再生されている映像コンテンツに精度よく同期させてユーザが関連情報を登録することが可能となり、ユーザにとってより利便性を向上させることができる。

Ｅ．第５実施形態
次に、本発明の第５実施形態について説明する。
映像識別ステップにおける映像の識別を、特許文献２の電子透かし検出方法のように、
・Ｎ−１次元パターンにより周期信号を変調して得られた信号をあらかじめ埋め込んだ入力信号を入力し、
・前記周期信号で上記入力信号を復調し、複素数、もしくは２次元ベクトルのパターンであるＮ−１次元パターンを求め、
・上記Ｎ−１次元パターンの実部及び虚部の値、もしくは２次元ベクトルの各成分値に基づいて検出系列を求め、
・上記検出系列と埋め込み系列との相関値の大きさに基づいて、埋め込まれている電子透かしを検出する
ように構成した場合には、電子透かし検出の際に得られた検出系列と埋め込み系列との複素相関値の偏角、もしくはビット毎の総和の偏角で求められる位相変位量を用いて、識別遅延時間の推定値の算出をより精度よく行うようにしてもよい。

すなわち、１つの識別ＩＤに対応する映像区間に埋め込む電子透かしパターンを初期位相から始まるように構成すれば、電子透かし検出の際に得られた位相変位量は、識別時刻における初期位相からの変位を表すことになる。これは、埋め込みに用いる時間方向周期信号の周期分の不定性があるが、識別時刻の詳細なタイミングを表している。本発明の第１から第４実施形態の方法で得られた推定識別遅延時間を、さらに、その近傍で、検出で得られた位相変位量に合致する時間になるよう補正する。これにより、より精度よく識別遅延時間の推定値を算出することができる。

上述した第４実施形態では、推定再生位置を用いて入力情報を登録する情報入力装置３について説明したが、再生位置の推定値を算出した上で、情報を登録する代わりに、情報を送信することでユーザインタラクションに使うこともできる。例えば、情報の送信側で識別ＩＤと、推定再生位置と、入力情報とを、他の情報提示装置に送信し、他の情報提示装置では受信した識別ＩＤと再生位置とに合わせて、関連情報を提示するように構成してもよい。

また、例えば、第４実施形態の映像識別部３１、再生位置同期部３２、時刻測定部３０のみから構成されるような情報入力装置３を用い、推定再生位置を求め、これに対して任意の処理を行った上で、処理結果をユーザに提示するように構成してもよい。具体的には、例えば、予めコンテンツとして、ユーザが興味を持つシーンを測るための映像コンテンツを用意し、ユーザが興味を持ったタイミングでボタンを押下するよう情報入力装置３を構成することで、ユーザが興味を持ったシーンを正確に計測することが可能になる。

また、ここでは、情報入力装置３の内部で処理を行う例を示したが、識別ＩＤと推定再生位置とをサーバ（図示略）に送信し、そのサーバ上で処理を行うように構成しても構わない。

また、上述の実施形態では、あらかじめ映像コンテンツに対して、映像コンテンツの先頭から埋め込み区間の開始点までの時間に基づいて埋め込みを行う識別ＩＤを決定して埋め込みを行う例を示したが、任意の映像区間毎に識別ＩＤを決定して埋め込みを行うように構成してもよい。この場合は、埋め込み時に決定した識別ＩＤに対応する映像区間の開始点を記録し、あらかじめ情報提示装置もしくは情報入力装置の記憶装置に記憶させておき、再生開始時刻推定部において、数式（２）の代わりに次式（８）で再生開始時刻ｅ^（ｉ）を算出するようにしてもよい。

ここで、Ｔｉｍｅ（ＩＤ_ｉ）は識別ＩＤ_ｉに対応する映像区間の開始点である。
また例えば、映像コンテンツのシーン境界等を検出し、検出したシーン境界を区間の境界として識別ＩＤを埋め込みを行うように構成してもよい。この場合は、映像区間の開始点を記憶しておく代わりに、情報提示装置もしくは情報入力装置において、入力映像のシーン境界を検出してこれを映像区間の開始点として用いて推定を行うようにしても構わない。

上述の実施形態では、入力信号として映像信号を用いる例を示したが、音声信号を入力信号とし、音声信号向けの識別手段を用いて同様の装置を構成することで、音声の再生位置に同期させて関連情報を提示する構成にしても構わない。また、関連情報として音声を用い、音声情報を提示するように構成しても構わない。

上述した第１実施形態から第５実施形態によれば、以下の効果を得ることができる。
本発明の情報提示装置を用いて情報提示を行うことで、再生されているコンテンツの再生位置に精度よく同期させて関連情報をユーザに提示することが可能となり、ユーザにとって利便性の高い情報提示装置を構成することができる。

また、対象コンテンツに対する事前処理を効率的に行いながら、再生されているコンテンツの再生位置に精度よく同期させて関連情報をユーザに提示することが可能となり、ユーザにとって利便性の高い情報提示装置を構成することができる。

また、対象コンテンツに対する事前処理を不要とし、再生されているコンテンツの再生位置に精度よく同期させて関連情報をユーザに提示することが可能となり、ユーザにとって利便性の高い情報提示装置を構成することができる。

また、本発明の情報入力装置を用いて情報入力を行うことで、再生されているコンテンツに精度よく同期させてユーザが関連情報を登録することが可能となり、上述した情報提示装置と組み合わせて、ユーザにとってより利便性の高い情報交換の手段を提供することができる。

なお、本発明における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより情報提示を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

また、上述した機能の一部または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

１、１ａ 情報提示装置
３ 情報入力装置
１０ 時刻測定部
１１、１１ａ 映像識別部
１２、１２ａ、１２ｂ 再生位置同期部
１２１、１２１ａ、１２１ｂ 識別遅延時間推定部
１２２ 再生開始時刻推定部
１２３ 再生位置推定部
１２４ 識別特性記憶部
１３ 関連情報提示部
３０ 時刻測定部
３１ 映像識別部
３２ 再生位置同期部
３３ 関連情報入力部

Claims (7)

1. 時系列により変化する入力信号の区間を識別する信号識別部と、
   前記信号識別部による識別結果に基づいて、前記入力信号に対応する関連情報の再生位置を算出する再生位置同期部と、
   前記再生位置同期部によって算出された前記再生位置に基づいて前記関連情報を再生する情報提示部と、
   を備えることを特徴とする情報提示装置。
2. 前記入力信号は、複数の識別ＩＤが順に電子透かしとして埋め込まれたコンテンツを含む信号であり、
   前記再生位置同期部は、前記コンテンツの前記識別ＩＤが埋め込まれた区間が再生開始されてから識別ＩＤを識別できるまでに要した識別遅延時間の推定値を取得する識別遅延時間推定部を備える
   ことを特徴とする請求項１に記載の情報提示装置。
3. 前記再生位置同期部は、
   前記入力信号に基づいて前記区間を識別する容易性の度合いを示す識別特性値を記憶する識別特性記憶部を備え、
   前記識別遅延時間推定部は、
   前記識別特性記憶部に記憶されている前記識別特性値に基づいて、識別が容易な場合には前記識別遅延時間が小さな値となるように前記識別遅延時間の推定値を算出し、識別が困難な場合には前記識別遅延時間が大きな値となるように前記識別遅延時間の推定値を算出する
   ことを特徴とする請求項２に記載の情報提示装置。
4. 前記信号識別部は、
   前記入力信号の区間を識別する際に、前記入力信号に基づく前記区間の識別の容易性の度合いを示す識別状況値を算出し、
   前記識別遅延時間推定部は、
   前記識別状況値に基づいて、識別が容易であった場合には前記識別遅延時間が小さな値となるように前記識別遅延時間の推定値を算出し、識別が困難であった場合には前記識別遅延時間が大きな値となるように前記識別遅延時間の推定値を算出する
   ことを特徴とする請求項２に記載の情報提示装置。
5. 時系列により変化する入力信号の区間を識別する信号識別部と、
   前記信号識別部による識別結果に基づいて、前記入力信号に対応する関連情報の再生位置を算出する再生位置同期部と、
   前記再生位置同期部によって算出された前記再生位置に基づいて前記関連情報を入力する情報入力部と、
   を備えることを特徴とする情報入力装置。
6. 時系列により変化する入力信号に、所定時間間隔ごとに区間を識別する識別ＩＤを埋め込む識別情報埋め込み方法であって、
   前記入力信号の先頭から埋め込み開始点までの時間に基づいて埋め込みを行う識別ＩＤを決定するステップと、
   前記入力信号に基づいて前記区間を識別する容易性の度合いに基づいて前記識別ＩＤを埋め込む時間間隔を変化させるステップと
   を含むことを特徴とする識別情報埋め込み方法。
7. 情報提示装置のコンピュータを、
   時系列により変化する入力信号の区間を識別する信号識別部、
   前記信号識別部による識別結果に基づいて、前記入力信号に対応する関連情報の再生位置を算出する再生位置同期部、
   前記再生位置同期部によって算出された前記再生位置に基づいて前記関連情報を再生する情報提示部、
   として機能させるためのプログラム。