JP2007272975A - オーサリング支援装置、オーサリング支援方法及びプログラム、並びにオーサリング情報共有システム - Google Patents

Abstract

【課題】ユーザがコンテンツ中の時間的に幅を持った領域にコメントを付与する場合に、ユーザの負担を軽減することの可能なオーサリング支援装置を提供すること。
【解決手段】オーサリング支援装置１において、コンテンツ蓄積部１６は少なくとも映像を含むコンテンツを記憶する。コンテンツの再生中又は一時停止中にユーザからコメント書込を指示されると、コメント入力部１１は、ユーザからのコメントを入力する。シーン種別判別部１４は、入力されたコメントの内容に基づいて、コメントを付与する所定のシーンのシーン種別を判別する。シーン抽出部１２は、判別されたシーン種別に応じて、コンテンツから、所定のシーンを示す情報を抽出する。この抽出の結果は表示部１３に表示される。
【選択図】 図１

Description

本発明は、コンテンツに対してユーザがコメントを付与する作業を支援するオーサリング支援装置、オーサリング支援方法及びプログラム、並びにオーサリング情報共有システムに関する。

近年、コンテンツ（例えば映像コンテンツ）に対してユーザがコメントを付与するオーサリング技術が良く利用されるようになって来ている。

しかし、コンテンツに対してコメントを付与する場合、コメント付与の対象とするコンテンツ中の一点（時間的に幅のない点）、あるいは、開始点及び終了点（開始時刻及び終了時刻）を、ユーザが手動により指定して、コメントを付与するしかなかった。

例えば特許文献１には、ユーザが指定したシーンのある時刻に対してコメントを書く方法が開示されている。しかしながら、この方法では、ユーザは、ある時間的な範囲を持ったシーンについてコメントしたくても、そのシーン中のある時間的な１点にしかコメントを付与することができなかった。

また、例えば一般的なビデオオーサリングツールでは、シーンの開始点と終了点を指定して、シーンを区切ることにより時間的な幅を持つシーンに対してコメントを付与することもできるが、この場合は、ユーザはシーンの開始点と終了点を指定しなければならなかった。

また、例えば非特許文献１には、映像に関して視聴者間でコミュニケーションをとる手法について開示されている。しかしながら、この方法では、ユーザが映像についてコメントを入力する範囲は、予め区切られた時間範囲であり、ユーザの任意の範囲を指定することはできなかった。
特開２００４−１９３８７１号公報 山田一穂，宮川和，森本正志，児島治彦：映像の構造情報を活用した視聴者間コミュニケーション方法の提案，情報処理学会，グループウェアとネットワークサービス，第４３巻，２００１年

従来のオーサリング支援技術においては、ユーザがコンテンツにコメントを付与する場合、ユーザがコメントを付与する対象とする範囲の開始点及び終了点を指定する必要があった。また、他の従来技術として、ユーザがコンテンツ中の１点のみを指定するものがあるが、これはコンテンツ中の１つの時間的な点に対してコメントを付与し、時間的に幅を持った領域にコメントを付与することはできなかったり、開始点だけを指定し、領域の幅がシーンによらずに予め決められてしまっていたりするものであった。

本発明は、上記事情を考慮してなされたもので、ユーザがコンテンツ中の時間的に幅を持った領域にコメントを付与する場合に、ユーザの負担を軽減することの可能なオーサリング支援装置、オーサリング支援方法及びプログラム、並びにオーサリング情報共有システムを提供することを目的とする。

本発明に係るオーサリング支援装置は、少なくとも映像を含むコンテンツを記憶する記憶手段と、前記コンテンツ中の所定のシーンに付与するコメントの入力を受け付ける入力手段と、入力された前記コメントの内容に基づいて、前記コメントを付与する前記所定のシーンのシーン種別を判別する判別手段と、判別された前記シーン種別に応じて、前記コンテンツから、前記所定のシーンを示す情報を抽出する抽出手段と、前記抽出の結果を表示する表示手段とを備えたことを特徴とする。

また、本発明は、サーバ装置と、複数のクライアント装置とを含むオーサリング情報共有システムにおいて、前記クライアント装置は、少なくとも映像を含むコンテンツを記憶する記憶手段と、前記コンテンツ中の所定のシーンに付与するコメントの入力を受け付ける入力手段と、入力された前記コメントの内容に基づいて、前記コメントを付与する前記所定のシーンのシーン種別を判別する判別手段と、判別された前記シーン種別に応じて、前記コンテンツから、前記所定のシーンを示す情報を抽出する抽出手段と、前記抽出の結果を表示する表示手段と、前記サーバ装置へ、前記コメントと前記シーン種別と前記所定のシーンを示す情報とを含むオーサリング情報を送信する送信手段とを備え、前記サーバ装置は、前記クライアント装置から前記オーサリング情報を受信する受信手段と、受信された前記オーサリング情報を記憶するオーサリング情報記憶手段とを備えたことを特徴とする。

なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。
また、装置または方法に係る本発明は、コンピュータに当該発明に相当する手順を実行させるための（あるいはコンピュータを当該発明に相当する手段として機能させるための、あるいはコンピュータに当該発明に相当する機能を実現させるための）プログラムとしても成立し、該プログラムを記録したコンピュータ読み取り可能な記録媒体としても成立する。

本発明によれば、ユーザがコンテンツ中の時間的に幅を持った領域にコメントを付与する場合に、ユーザの負担を軽減することが可能になる。

以下、図面を参照しながら本発明の実施形態について説明する。

（第１の実施形態）
以下では、コメントを付与する対象となるコンテンツとして、映像コンテンツを例にとって説明する。また、以下では、映像コンテンツの映像部分を中心に説明するが、映像コンテンツは、映像部分に音声部分を伴うものであっても、映像部分に音声部分を伴わないものであってもよい。

図１に、本発明の第１の実施形態に係るオーサリング支援装置の構成例を示す。

図１に示されるように、本実施形態のオーサリング支援装置１は、ユーザからのコメントの入力やコメント入力のための所定の指示等を受け付けるコメント入力部１１、シーン種別に応じてコンテンツからシーンを抽出するシーン抽出部１２、コンテンツの表示やコメント入力のための表示等を行う表示部１３、ユーザにより入力されたコメントに基づいて、コメント付与の対象となるシーンのシーン種別を判別するシーン種別判別部１４、シーン種別の判別のためのルールを蓄積したシーン種別判別ルール記憶部１５、ユーザがコメントを付与する対象であるコンテンツを蓄積したコンテンツ蓄積部１６、コンテンツの再生等を制御するコンテンツ制御部１７を備えている。

なお、図１のオーサリング支援装置は、１つの装置として構成してもよい。また、図１のオーサリング支援装置の各要素がネットワークを介して複数の装置上に分散して存在する形態も可能である（例えば、サーバクライアントモデルで構築することも可能である）。

以下、本実施形態のオーサリング支援装置の動作について説明する。

図２に、本実施形態に係るオーサリング支援装置における処理手順の一例を示す。

ユーザは、まず、所望のコンテンツの閲覧を行うために、再生・巻き戻し・早送りなどの指示を（図示しない指示受付部から）与える。

オーサリング支援装置のコンテンツ制御部１７は、（図示しない指示受付部により）ユーザから受け付けた指示に応じて、コンテンツの再生・巻き戻し・早送りなどのコンテンツ再生制御を行う（ステップＳ１０）。その際、コンテンツは、表示部１３に表示されるようにしてもよい。なお、コンテンツが音声を伴うものである場合には、音声が（図示しないスピーカ等から）出力される。

次に、ユーザは、コンテンツの閲覧中に、コメントを記入するシーンになった場合、コメント入力部１１を操作することにより、コメントを書き込む。

ここでは、最初に、コメント書込指示を入力するものとする。

オーサリング支援装置のコメント入力部１１は、ユーザからのコメント書込指示が入力された場合（ステップＳ１１）、ユーザからのコメントの書き込みを受け付ける（ステップＳ１２）。

ここでは、一例として、コンテンツの再生中又は一時停止中に、ユーザからのコメント書込指示が（コメント入力部１１から）入力された場合に、コメント入力インターフェースを表示させる（なお、ここでは、表示部１３に表示させるものとする）。

コンテンツの再生中にコメント書込指示が入力された場合には、再生中のコンテンツを、コメントを書き込むシーン（例えば、ユーザからのコメント書込指示が入力されたときに再生中であったコンテンツの箇所）で一時停止してから、コメント入力インターフェースを表示させるようにしてもよいし、上記コンテンツを再生させたまま、コメント入力インターフェースを表示させるようにしてもよい。いずれの方法を取るかについては、予め定める（例えば、予めユーザがいずれかを選択して設定しておく）ようにしてもよいし、その都度ユーザが指示する（例えば、ユーザがコメント書込指示をするときに併せて指示する（具体的には、例えば、コメント書込指示ボタンを２種類用意し、所望のボタンをクリックして指示する、あるいは、コメント書込指示ボタンをクリックしたかダブルクリックしたかによって指示する、など））ようにしてもよい。

コンテンツの一時停止中にコメント書込指示が入力された場合には、コンテンツが一時停止されたまま、コメント入力インターフェースを表示させるものとする。

このとき、コメント入力部１１は、ユーザがコメントを書き込もうとした場所（例えば、ユーザからのコメント書込指示が入力されたときに再生中又は一時停止中であったコンテンツの箇所）を示す情報として、当該場所をコンテンツ中で特定する時間（例えば、コンテンツの先頭からの時間）を保持する。この時間のことを「代表時間」と呼ぶものとする。例えば、ユーザがコンテンツの再生中にコメント書込指示を入力した場合は、コメント書込指示を入力したときのコンテンツの再生時間を保持し、ユーザが一時停止してコメント入力部１１を操作した場合は、この一時停止したときのコンテンツの再生時間を保持する。

図３に、上記のコメント入力インターフェースの一例を示す。

図３に例示するように、このコメント入力インターフェースには、コメントを書き込むコメント記入部３０１と、そのコメントに応じたシーンを抽出するためのシーン抽出ボタン３０２と、再生場所を表示するタイムバー３０３と、コンテンツを表示する表示部３０４とが設けられている。

なお、図３の例には、コメント入力インターフェースとしてコンテンツ表示もあるが、コンテンツ表示は表示部１３にあってもよい。図３の例では、コンテンツ表示に代表時間でのコンテンツが表示されている。

ここで、ユーザは、コメント記入部３０１にコメントを書き込む。図３の例では、「このセリフかっこいい！」と書き込まれた場合を例示している。コメントの書き込みには、どのような方法を利用しても構わない。例えば、コメント入力部１１が書き込みインターフェースを持っており、キーボードにより文字を入力するようにしてもよいし、リモコンにより文字を入力するようにしてもよいし、他の方法によっても構わない。

図３の例では、コメントの入力が終ると、ユーザがシーン抽出ボタン３０２を押すことにより、ステップＳ１３のシーン種別判定へ進むことになる。

なお、上記例では、ステップＳ１３のシーン種別判定へ進む方法として、ユーザがシーン抽出ボタン３０２を押す方法をとったが、ユーザが明示的な指示を行う他の方法も可能である。また、ユーザからの明示的な指示がなくても、一定時間以上、ユーザからのコメントの入力がなかった場合に、コメントの入力が完了したものとみなして、ステップＳ１３のシーン種別判定へ進むようにする方法も可能である。

ステップＳ１３のシーン種別判定は、シーン種別判定部１４により行われる。シーン種別判定部１４は、シーン種別判定にあたって、その判定のためのルールであるシーン種別判定ルールを用いる。

図４に、シーン種別判別ルール記憶部１５に蓄積されているシーン種別判定ルールの一例を示す。

図４に例示するように、このシーン種別判定ルールは、ルールＩＤ、種別、ウェイト、表記を持っている。ここで、「ルールＩＤ」（ルール識別子）は、各ルールを管理（識別）するためのＩＤ、「種別」は、当該ルールにより判定されるシーン種別、「ウェイト」は、シーン種別を判定するときのスコアを計算するための荷重、「表記」は、ユーザが記入したコメントに対してマッチさせる表記である。

シーン種別判定部１４は、ユーザが入力したコメントに対して、そのシーン種別毎のスコアを計算する。

この計算方法は、例えば、Ｓｃｏｒｅ＿ｉ＝ＳＵＭ（Ｗｅｉｇｈｔ＿ｉ）である。ここで、Ｓｃｏｒｅ＿ｉは、ｉ番目のシーン種別のスコア、Ｗｅｉｇｈｔ＿ｉは、ｉ番目のシーン種別を持つルールのうち、表記がマッチしたルールのウェイトである。

ここで、このときのシーン種別判定方法について具体例を用いて説明する。

例えば、ユーザが「このセリフは無いよね。ヒドイこと言うなぁ」というコメントの書き込みをした場合についてスコアを計算するものとする。

この場合、図４のルールのうち、ルールＩＤ＝１，２，３のルールにおいて表記がマッチする。この場合、１番目のシーン種別として「セリフ」のスコア、２番目のシーン種別として「カット」のスコア、３番目のシーン種別として「ＣＭ」のスコア、４番目のシーン種別として「テロップ」のスコアを計算すると、
Ｓｃｏｒｅ＿１＝ＳＵＭ（２，１，１）＝４
Ｓｃｏｒｅ＿２＝ＳＵＭ（）＝０
Ｓｃｏｒｅ＿３＝ＳＵＭ（）＝０
Ｓｃｏｒｅ＿４＝ＳＵＭ（）＝０
となり、セリフのスコアは４点、それ以外のスコアは０点となる。

このようにして、ユーザが入力したコメントに対して、各シーン種別毎にスコアが計算される。

図４のシーン種別判定ルールは、ユーザの入力したコメントから、シーン種別がより正しく判定されるように変更して用いると好ましい。

ところで、シーン種別毎のスコアを計算する別の手法として、ルールに記述されている表記とユーザが入力したコメントとの類似度を利用することもできる。

この類似度を計算する方法としては、公知の自然言語処理技術を用いることができる。

例えば、ルールに記述されている表記とユーザが入力したコメントとに共通に現れる語の数をスコアとしてもよい。

また、例えば、類似度を計算する方法として、文献“東京大学出版会、徳永健伸著、言語と計算−５ 情報検索と言語処理、第２章「情報検索の基礎」”にある、検索質問に対する文書の適合度を計算するベクトル空間モデルを利用して、ルールの表記とユーザのコメントとの類似度を定義してもよい。

これらは、ルールに記述されている表記とユーザが入力したコメントとに共通に現れる語とを利用してスコアを計算するため、必ずしもルールのウェイトは必要ではない。

また、図示していないが、類義語辞書や同義語辞書を用いることにより、表記上異なる表現であってもその内容の類似性から、類似度を求めることもできる。

これらにより、表記として、例えば図５のように、コンテンツのセリフやテロップの内容を、そのまま、ユーザが入力したコメントと比較することも、できるようになる。図５において、（セリフ）には、代表時間でのセリフがそのまま入力される。また、（テロップ）には、代表時間でのテロップがそのまま入力される。

これにより、例えば、コンテンツ内のセリフとして、「特許明細書を書くのは難しい」というような発言があった場合、このルールは、図６のようになる。

ユーザがコメントとして、「特許明細書を書くのって、そんなに難しいんですか？」と入力した場合、例えば、共通に現れる語をスコアとする場合、「特許明細書」「書く」「難しい」が共通として現れるため、このルールＩＤの表記とユーザのコメントとの類似度は、３となる。

これにより、シーン種別が「セリフ」のスコアを、シーン種別が「セリフ」であるルールにおいて計算された類似度の最大値としてもよいし、類似度の合計としてもよい。最大値とする場合は、これらのルールの中で「セリフ」のルールでは、ルールＩＤ＝９のルールが類似度最大となるため、シーン種別がセリフのスコアは３となる。

次に、シーン種別判定部１４で計算されたスコアをもとに、ステップＳ１４では、シーン抽出部１２により対応するシーンが抽出される。

ここで、シーン種別が「セリフ」と判定された場合を例にとって、シーン抽出部１２の動作について説明する。

シーン抽出部１２は、コンテンツから、「代表時間」付近のセリフの開始時間から終了時間までを抽出する。

ここでは、シーン抽出部１２は、字幕認識部（図示せず）を持つ。この字幕認識部は、コンテンツの字幕が表示されたときの先頭からの時間と、字幕の表示が消えたときの先頭からの時間を抽出する。

字幕を認識する方法としては、例えば、コンテンツが放送波の場合は、字幕放送として受信した字幕を使うことができる。また、例えば、コンテンツがＤＶＤの場合も、字幕を認識することができる。また、例えば、画面に表示された文字から、テロップ認識技術により、字幕を認識することもできる。

図７に、字幕が表示されたときのコンテンツの先頭からの経過時間である開始時間と、字幕が消えたときのコンテンツの先頭からの経過時間である終了時間の例を示す。図７では、開始時間と終了時間とがミリ秒で記述されている。コンテンツが放送番組の場合は、コンテンツの先頭は、番組の開始時刻として計算することができる。なお、ユーザがシーン抽出ボタン３０２を押したときに、そのときの代表時間の付近のみについて、字幕の開始時間と終了時間を抽出してもよいし、予めコンテンツの全ての字幕の開始時間と終了時間を求めて、図７のようなテーブルを作成しておいてもよい。

この開始時間から終了時間までの間で、代表時間を含む時間間隔を、ユーザが入力したコメントに対応するシーンとして抽出する。例えば、代表時間がコンテンツの先頭から９７秒のときは、図７を参照して、９６８９１ミリ秒から９８０６６ミリ秒までを対応するシーンとして抽出する。

もし代表時間を含む時間間隔が図７のいずれの開始時間から終了時間にもあたらない場合は、最も近い時間間隔を対応するシーンとして抽出してもよい。

上記では、シーン種別が「セリフ」と判定された場合に、字幕情報を利用して図７の時間間隔を抽出する例について説明したが、音声認識技術を用いて字幕を抽出することも可能である。この場合、シーン抽出部１２は、音声認識部（図示せず）を持つ。この音声認識部により、セリフの開始時間と終了時間とを決定することができる。例えば、代表時間の付近について、コンテンツの音声部分の音声認識を行い、音声認識結果に応じてコンテンツからセリフの区間を抽出する（例えば、コンテンツ中でセリフが開始されたときの先頭からの時間と、セリフが終了したときの先頭からの時間を抽出する）。

また、シーン抽出部１２において、字幕認識結果と音声認識結果との両方を用いることもできる。これは、例えば実際の音声と表示される字幕とがずれている場合に、そのずれを補正することにより、正確にセリフのシーンを抽出することができるので、有効である。この場合、シーン抽出部１２は、字幕認識部と音声認識部との両方を持つ。まず、字幕認識部により、字幕の時間間隔を抽出するとともに、字幕の発話内容を文字情報として抽出する。次に、その時間間隔の付近で、発話内容の文字情報を発話している時間間隔を音声認識部により探索する。これは、発話内容を文字情報として音声認識部に与えることにより、何も情報がない場合に比較して、セリフ区間の抽出精度を向上することができるためである。このようにして、字幕認識部により抽出されたセリフの時間間隔に対して、そのずれを音声認識部により補正することにより、セリフのシーンをより正確に抽出することができる。

以上のことから、シーン種別が「セリフ」の場合のシーンを抽出することができるようになる。

次に、シーン種別が「カット」と判定された場合を例にとって、シーン抽出部１２の動作について説明する。

この場合、シーン抽出部１２は、カット検出部（図示せず）を持つ。カット検出部は、コンテンツにおけるカメラ切り替えのタイミングを抽出する。これは、例えば、コンテンツにおいて、前後のフレームでの画像を比較し、その類似度を計算することで抽出することができる。この類似度は、前後のフレームでの画像の同じ座標の画素値を比較し、その差の合計として求めることができる。この差がある閾値以上の場合、前後のフレームでの画像が大きく変化していることを意味するので、この点をカット点とすることができる。

また、カット検出のための他の手法として、文献２“「ゆう度比検定を用いたＭＰＥＧビットストリームからの動画像カット検出手法」、「電子情報通信学会論文誌 Ｖｏｌ．Ｊ８２−Ｄ２ Ｎｏ．３」、（１９９９年３月）、金子敏充、堀修著、社団法人電子情報通信学会発行、３６１頁〜３７０頁”や文献３“「動きベクトル符号量を用いたＭＰＥＧ動画像からの高速カット検出」，電子情報通信学会 パターン認識・メディア理解研究会（ＰＲＭＵ），（１９９６年１１月），金子敏充，堀修，社団法人電子情報通信学会発行”のような手法を用いることもできる。

図８に、このようにして検出したカット点でのコンテンツの先頭からの時間の例を示す。カット点はコンテンツから順に検出されるため、先行するカットの終了時間と、これに後続するカットの開始時間とが一致している（この点が、図７に示したセリフの時間間隔とは異なっている）。

このようにして検出したカットの時間間隔（図８）は、シーン種別が「セリフ」の場合における図７の使い方と同様に用いる。

ユーザにより入力されたコメントのシーン種別が「カット」の場合、代表時間を含むカットの時間間隔を対応するシーンとして抽出する。このとき、字幕の場合との相違点は、必ずどこかのカット間隔が対応することである。例えば、全くカメラ切り替えのないコンテンツの場合は、コンテンツ全体が１つのカット間隔となり、どこを代表時間としてもコンテンツ全体が対応するシーンとして抽出することができる。

次に、シーン種別が「ＣＭ」（コマーシャルメッセージ）と判定された場合を例にとって、シーン抽出部１２の動作について説明する。

この場合、シーン抽出部１２は、ＣＭ検出部（図示せず）を持つ。ＣＭ検出部は、コンテンツにおけるＣＭを抽出する。

ＣＭを検出する方法としては、例えば、以下に示すようなものがある。
（１）（例えば前述した方法により）カット検出を行い、その検出時間が１５秒（または３０秒）ごとに検出される部分をＣＭ部分と判定する。
（２）ＣＭの前後で無音区間があることを利用して、無音区間が１５秒（または３０秒）毎に検出された場合、その無音区間をＣＭ部分と判定する。
（３）音声がモノラルの番組コンテンツのときにステレオ放送の部分をＣＭと判定する。
（４）ＣＭの画像パターンを記憶しておき、その画像パターンとマッチする部分をＣＭ部分と判定する。
（５）例えば特開２００３−２５７１６０号公報に開示されているような、ＴＶ信号の音声モード、ＴＶ信号における映像信号レベル、音声信号レベルパターンを利用してＣＭ区間を検出する。これは、例えば、番組コンテンツが二カ国放送の場合に、そうでない部分をＣＭ部分と判定する。

ＣＭ検出部では、上記のうちのいずれかの方法を用いて、または、上記方法のいくつか組み合わせて用いることにより、入力されたコンテンツからＣＭ部分を検出する。

このようにして検出したＣＭでのコンテンツの先頭からの時間の例を図９に示す。これも、シーン種別がセリフの場合における図７の使い方と同様に用いる。

次に、シーン種別が「テロップ」と判定された場合を例にとって、シーン抽出部１２の動作について説明する。

この場合、シーン抽出部１２は、テロップ認識部を持つ。テロップ認識部は、コンテンツにおけるテロップが表示されたときの先頭からの時間と、テロップの表示が消えたときの先頭からの時間を抽出する。

テロップを認識する方法としては、例えば、映像認識技術を用いることができる。画面からＯＣＲによって文字を認識することにより、テロップを認識することができる。

テロップ認識結果は、シーン種別が「セリフ」のときと同様に図７のような時間間隔が得られる。この結果は、シーン種別が「セリフ」の場合と同様に用いられる。

以上のようにして、シーン種別が「セリフ」、「カット」、「ＣＭ」、「テロップ」について説明したが、これら全てをシーン抽出部１２が持ってもよいし、どれか一部を持ってもよい。

また、シーン種別判定部１４が他のシーン種別を認識する場合は、それに対応した時間間隔を抽出する機能を持つことにより、対応することができる。例えば、曲のシーンを抽出する機能をシーン抽出部１２が持つことにより、ユーザが例えば「このＢＧＭ」という記入を行ったときに、シーン種別判定部１４は「曲」というシーン種別を出力し、シーン抽出部１２がそれに対応するシーンを抽出することにより、対応するシーンを抽出することも可能である。

また、シーン区間の時間間隔を、図示しない通信手段を用いて、時間間隔を配信するサーバと通信し、対応する時間間隔を受信することも可能である。また、コンテンツ蓄積部１６にコンテンツを蓄積する場合は、放送波を受信したり、ネットワークから受信したりすることにより蓄積するが、このとき、シーン区間の時間間隔を同時に受信することも可能である。これらの場合、シーン区間の時間間隔を配信するサーバが必要となるが、これは、例えば、これまでシーン抽出部１２を用いた抽出方法により作成してもよいし、例えば、手動で抽出したシーン区間をサーバが保持し、配信してもよい。手動でシーン区間を作成する場合には、これまで記述したシーン区間だけでなく、俳優に対応するシーン区間や、車や服などのシーン区間を作成することも可能である。

次に、ステップＳ１５では、コメントに対応するシーン抽出結果に関する表示を行う。この表示は、表示部１３で行われるようにしてもよい。

図１０に、表示画面の一例を示す。

図１０に例示するように、この表示画面には、コメントを書き込むコメント入力部４０１と、コンテンツの時間を示すタイムバー４０３と、コメントに対応するシーン抽出結果を示す時間間隔ポインタ４０２と、コンテンツを表示する表示部４０４と、シーン種別を表示するシーン種別表示部４０５とが設けられている。

表示部４０４では、例えば、コンテンツ中で、ユーザが入力したコメントに対応するシーンを優先的に表示するようにしてもよい（例えば、ユーザがコメントを入力した代表時間で停止した画像を表示してもよい）。また、例えば、抽出されたシーン区間を強調した表示をしてもよい（例えば、抽出されたシーン区間だけをループ再生するようにしてもよい）。また、これら以外の表示情報も可能である。

時間間隔ポインタ４０２では、抽出されたシーン区間が幅をもって表示されている。

シーン種別表示部４０５では、抽出されたシーン区間がプルダウンメニューとして表示されている。ここでは、シーン種別判定部１４がスコアを付けた順に表示される（図１０では、シーン種別の第1候補として「セリフ」が表示されている場合を例示している）。このとき、シーン抽出部１２が抽出できなかったシーン種別は表示されなくてもよい。ユーザは別のシーン種別も選択することができる。ユーザが別のシーン種別を選択すると、ユーザに選択されたシーン種別の時間間隔が適用される。

また、シーン抽出部１２で抽出したシーン区間以外にも、代表時間の付近から一定区間をシーン区間として抽出して表示してもよい。図１０のシーン種別表示部４０５では、代表時間から前後３秒の区間を抽出した場合と、代表時間から前１０秒の区間を抽出した場合と、代表時間から後ろ１０秒の区間を抽出した場合がシーン種別として選択できるようにシーン種別表示部４０５に表示されている。

シーン種別表示部４０５でユーザが別のシーン種別を選択すると、表示部４０４と時間間隔ポインタ４０２は、そのシーン区間が強調して表示される。

ところで、図２の手順例では、ユーザによるコメント入力が完了してから（又はユーザによるコメント入力が完了したものとみなされてから）、ステップＳ１３のシーン種別判定へ進む方法をとっているが、ユーザによるコメント入力の途中であっても、随時、ステップＳ１３へ進むようにすることも可能である。

図１１に、この場合の処理手順の一例を示す。図２の処理手順と相違する点は、ステップＳ１５の表示の後に、コメントが追加されたかどうかの判断（ステップＳ１６）があることである。

例えば、ユーザが「このセリフは無いよね。ヒドイこと言うなぁ」というコメントを入力しようとする場合、「このセリフ」まで入力した時点で、本オーサリング支援装置はシーン種別を判定することができる。よって、ユーザがコメント入力部１１を操作して、コメントの入力を始めるとき、文字を入力する毎にステップＳ１３へ進んで処理を行う。ここで、文字を入力する毎にとは、例えば、ユーザが１文字入力する毎でもよいし、かな漢変換を確定する毎でもよいし、ある一定時間（例えば３秒）入力が無かったときにステップＳ１３へ進んでもよい。さらに文字が追加されると、入力中のコメント全体についてステップＳ１３以降の処理を行う。この場合、シーン抽出ボタン３０２は不要となる。このように、ユーザのコメント入力に応じて、随時、対応シーンを抽出することにより、よりユーザの負担を軽減することができる。

以上のことから、本実施形態により、ユーザは入力したコメントに対応するシーン区間を容易に抽出することができるようになり、オーサリングの作業の負担を軽減することができる。

（第２の実施形態）
以下では、第１の実施形態と相違する点を中心に説明する。

図１２に、本発明の第２の実施形態に係るオーサリング情報共有システムの構成例を示す。

図１２に示されるように、本実施形態のオーサリング情報共有システムには、ネットワーク５に接続されたサーバ３とクライアント２とが含まれている。なお、クライアント２は、図１２では１台のみ示しているが、複数台存在して構わない。

クライアント２は、ユーザからのコメントの入力やコメント入力のための所定の指示等を受け付けるコメント入力部１１、シーン種別に応じてコンテンツからシーンを抽出するシーン抽出部１２、コンテンツの表示やコメント入力のための表示等を行う表示部１３、ユーザにより入力されたコメントに基づいて、コメント付与の対象となるシーンのシーン種別を判別するシーン種別判別部１４、シーン種別の判別のためのルールを蓄積したシーン種別判別ルール記憶部１５、ユーザがコメントを付与する対象であるコンテンツを蓄積したコンテンツ蓄積部１６、コンテンツの再生等を制御するコンテンツ制御部１７、サーバ３との通信を行う通信部１８を備えている。すなわち、図１２のクライアント２は、図１２のオーサリング支援装置１に、通信部１８を追加したものである。

サーバ３は、クライアント２との通信を行う通信部３３、投稿されたオーサリング情報を蓄積するオーサリング情報蓄積部３２、コメントを要約するコメント要約部３１を備えている。

なお、図１２の構成例では、コメント要約部３１は、サーバ３側に設けられているが、各々のクライアント２側に設けるようにしてもよい。また、サーバ３側にコメント要約部を設けるとともに、クライアント２の全部又は一部にコメント要約部３１を設けるようにしても構わない。

ユーザは、第１の実施形態で説明した方法を用いて、対象コンテンツに付与すべきコメントを入力し、クライアント２は、第１の実施形態のオーサリング支援装置１と同様にして、そのコメントに対応するシーンを抽出する。本実施形態では、一人のユーザにより付与されたコメントを、複数のユーザ間で共有するために、そのクライアント２からサーバ３への投稿を行う。

ユーザがクライアント２においてコメントを記入し、そのコメントに対応するシーンがクライアント２により抽出された後、例えばクライアント２に設けられた投稿ボタン（図示せず）をユーザが押すことにより、これに応答してクライアント２は、コメントと、これに対応するシーン区間の時間情報と、シーン種別とを含むオーサリング情報を、通信部１８を用いて、サーバ３へ送信する。

サーバ３は、クライアント２から投稿されたオーサリング情報を、通信部３３を用いて受信し、オーサリング情報蓄積部３２に蓄積する。

共有されたオーサリング情報は、個々のクライアント２で表示することができる。

図１３に、このときのコメント表示画面の一例を示す。

図１０に例示するように、このコメント表示画面には、コメント表示部６０１、コンテンツ表示画面６０２が設けられている。クライアント２においては、オーサリング情報に含まれる「シーン区間の時間情報」をもとに、オーサリング情報に含まれる「コメント」に対応するシーンを再生するときに同期して、当該「コメント」を表示することができる。また、「コメント」と同時に、オーサリング情報に含まれる「シーン種別」を表示することができる。

サーバ３は、クライアント２からオーサリング情報の送信要求を受けると、対応するオーサリング情報をクライアント２へ送信する。

また、ユーザが選択したオーサリング情報に含まれる「シーン種別」も表示することにより、簡単なコメントであっても、それが「カット」についてのコメントなのか、「セリフ」についてのコメントなのか、「ＣＭ」についてのコメントなのかなどを、ユーザは理解することが可能となる。

これにより、ユーザ間でシーンに対応するコメントを共有することができる。

ところで、あるシーンに対応する共有されているオーサリング情報が多すぎると、クライアント２で表示できない場合がある。この場合、コメントが表示できるようにコメント要約部３１によりコメントを要約するようにしてもよい。

コメント要約部３１は、言語処理技術を用いて、似ているコメントを要約する。これには言語処理技術の複数文書の要約技術を用いることができる。

例えば、各コメントから形態素解析技術により単語を抽出する。同じシーン区間に対応する複数のコメントから、重複する単語が多いコメントを類似したコメントとして、要約する。２つのコメントを要約する方法は、例えば、片方のコメントのみを選択することで可能である。

同じシーンであるか否かの判断方法については、例えば、オーサリング情報が持つシーン区間の時間情報が一致する場合にのみ同じシーンと判断する方法や、オーサリング情報が持つシーン区間の時間情報が一致するか又は一致しなくても類似している場合に同じシーンと判断する方法などが考えられる。

また、ユーザがシーン種別を選択してオーサリング情報を作成した場合、あるユーザはセリフに関するコメントとして作成し、また別のユーザは同じ区間で同じ単語を使ってコメントを作成しても、カットに関するコメントを作成した場合には、別のコメント種別を選択することになる。この場合、コメントの表示は類似していてもユーザの意図は異なるため、要約しないことが望ましい。

よって、同じシーンに対応するコメントで要約するのではなく、同じシーンでかつ同じシーン種別を持つコメントで要約処理を行うことにより、例えば、同じシーンでかつコメントに含まれる単語が似ている場合でも、シーン種別が異なる場合には要約しない処理が可能となり、ユーザの意図に沿った表示と要約が可能となる。

以上のことから、ユーザは容易にシーンに対するコメントを作成することができ、また容易にコメント情報を共有・表示することが可能となる。

なお、以上の各機能は、ソフトウェアとして記述し適当な機構をもったコンピュータに処理させても実現可能である。
また、本実施形態は、コンピュータに所定の手順を実行させるための、あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるためのプログラムとして実施することもできる。加えて該プログラムを記録したコンピュータ読取り可能な記録媒体として実施することもできる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施形態に係るオーサリング支援装置の構成例を示す図 同実施形態に係るオーサリング支援装置における処理手順の一例を示すフローチャート 同実施形態におけるコメント入力インターフェースの一例を示す図 シーン種別判定ルールの一例を示す図 シーン種別判定ルールの一例を示す図 シーン種別判定ルールの一例を示す図 字幕の開始時間及び終了時間について説明するための図 カットの開始時間及び終了時間について説明するための図 ＣＭの開始時間及び終了時間について説明するための図 表示画面の一例を示す図 同実施形態に係るオーサリング支援装置における処理手順の他の例を示すフローチャート 本発明の第２の実施形態に係るオーサリング情報共有システムの構成例を示す図 表示画面の一例を示す図

符号の説明

１…オーサリング支援装置、２…クライアント装置、１１…コメント入力部、１２…シーン抽出部、１３…表示部、１４…シーン種別判別部、１５…シーン種別判別ルール記憶部、１６…コンテンツ蓄積部、１７…コンテンツ制御部、１８…通信部、５…ネットワーク、３…サーバ装置、３１…コメント要約部、３２…オーサリング情報蓄積部、３３…通信部

Claims (20)

1. 少なくとも映像を含むコンテンツを記憶する記憶手段と、
   前記コンテンツ中の所定のシーンに付与するコメントの入力を受け付ける入力手段と、
   入力された前記コメントの内容に基づいて、前記コメントを付与する前記所定のシーンのシーン種別を判別する判別手段と、
   判別された前記シーン種別に応じて、前記コンテンツから、前記所定のシーンを示す情報を抽出する抽出手段と、
   前記抽出の結果を表示する表示手段とを備えたことを特徴とするオーサリング支援装置。
2. 前記入力手段は、前記コメントの入力を受け付けるのに先立って、前記コンテンツの再生中又は一時停止中にコメント書込指示の入力を受け付け、該コメント書込指示が入力された場合に、前記コメントを入力するためのコメント入力インターフェースを表示して、該コメント入力インターフェースにより前記コメントの入力を受け付けることを特徴とする請求項１に記載のオーサリング支援装置。
3. 前記判別手段は、入力された前記コメントの内容と、個々のシーン種別ごとに対応付けて予め1又は複数個ずつ規定された文字情報の各々とを比較することによって、前記シーン種別を判別することを特徴とする請求項１に記載のオーサリング支援装置。
4. 前記判別手段は、入力された前記コメントの内容と、シーン種別に対応付けて予め規定された方法に従って前記コンテンツに含まれる画像データ、音声データ又はテキストデータから得られた文字情報とを比較することによって、前記シーン種別を判別することを特徴とする請求項１に記載のオーサリング支援装置。
5. 前記シーン抽出手段は、前記コンテンツが音声をも含むものである場合に前記コンテンツの音声を認識する音声認識手段を有するものであり、
   前記シーン抽出手段は、選択された前記シーン種別がセリフである場合に、前記所定のシーンを示す情報として、前記音声認識手段による音声認識結果に応じて、前記コンテンツからセリフの区間を示す情報を抽出するものであることを特徴とする請求項１に記載のオーサリング支援装置。
6. 前記シーン抽出手段は、前記コンテンツのＣＭ区間を認識するＣＭ区間認識手段を有するものであり、
   前記シーン抽出手段は、選択された前記シーン種別がＣＭである場合に、前記所定のシーンを示す情報として、前記ＣＭ区間認識手段によるＣＭ区間認識結果に応じて、前記コンテンツからＣＭの区間を示す情報を抽出するものであることを特徴とする請求項１に記載のオーサリング支援装置。
7. 前記シーン抽出手段は、コンテンツのカットを認識するカット認識手段を有するものであり、
   前記シーン抽出手段は、選択された前記シーン種別がカットである場合に、前記所定のシーンを示す情報として、前記カット認識手段によるカット認識結果に応じて、前記コンテンツからカットの区間を示す情報を抽出するものであることを特徴とする請求項１に記載のオーサリング支援装置。
8. 前記シーン抽出手段は、前記コンテンツのテロップを認識するテロップ認識手段を有するものであり、
   前記シーン抽出手段は、選択された前記シーン種別がテロップである場合に、前記所定のシーンを示す情報として、前記テロップ認識手段によるテロップ認識結果に応じて、前記コンテンツからテロップの区間を示す情報を抽出するものであることを特徴とする請求項１に記載のオーサリング支援装置。
9. 前記シーン抽出手段は、前記コンテンツの字幕を認識する字幕認識手段を有するものであり、
   前記シーン抽出手段は、選択された前記シーン種別が字幕である場合に、前記所定のシーンを示す情報として、前記字幕認識手段による字幕認識結果に応じて、前記コンテンツから字幕の区間を示す情報を抽出するものであることを特徴とする請求項１に記載のオーサリング支援装置。
10. 前記シーン抽出手段は、前記コンテンツの字幕を認識する字幕認識手段と、前記コンテンツが音声をも含むものである場合に前記コンテンツの音声を認識する音声認識手段とを有するものであり、
    前記シーン抽出手段は、選択された前記シーン種別が字幕である場合に、前記所定のシーンを示す情報として、前記字幕認識手段により前記コンテンツの字幕から、対応する音声の内容を抽出し、次いで、前記音声認識手段により、前記コンテンツから、該抽出された内容の音声が発話された区間を示す情報を抽出することによって、前記コンテンツから字幕の区間を示す情報を抽出するものであることを特徴とする請求項１に記載のオーサリング支援装置。
11. 前記シーン抽出手段は、前記区間を、ユーザにより指定された前記コンテンツ中の指定箇所を含む領域又は該指定箇所の近傍の領域から抽出することを特徴とする請求項５ないし１０のいずれか１項に記載のオーサリング支援装置
12. 前記指定箇所は、前記コンテンツの再生中にユーザによりコメント書込指示が入力された場合における、該コメント書込指示が入力されたときに再生されていた前記コンテンツ中の箇所、又は前記コンテンツの一時停止中にユーザによりコメント書込指示が入力された場合における、該コメント書込指示が入力されたときに一時停止されていた前記コンテンツ中の箇所であることを特徴とする請求項１１に記載のオーサリング支援装置
13. 前記区間を示す情報は、前記コンテンツにおいて前記区間の開始点と終了点とを特定可能とする時間情報であることを特徴とする請求項５ないし１２のいずれか１項に記載のオーサリング支援装置
14. 前記表示手段は、入力された前記コメントの内容に基づいて抽出された前記所定のシーンを優先的に表示することを特徴とする請求項１ないし１３のいずれか１項に記載のオーサリング支援装置。
15. 前記表示手段は、入力された前記コメントの内容に基づいて抽出された前記所定のシーンを強調して表示することを特徴とする請求項１ないし１３のいずれか１項に記載のオーサリング支援装置。
16. 少なくとも映像を含むコンテンツを記憶する記憶手段を備えたオーサリング支援装置のオーサリング支援方法において、
    前記コンテンツ中の所定のシーンに付与するコメントの入力を受け付ける受付ステップと、
    入力された前記コメントの内容に基づいて、前記コメントを付与する前記所定のシーンのシーン種別を判別する判別ステップと、
    判別された前記シーン種別に応じて、前記コンテンツから、前記所定のシーンを示す情報を抽出する抽出ステップと、
    前記抽出の結果を表示する表示ステップとを有することを特徴とするオーサリング支援方法。
17. 少なくとも映像を含むコンテンツを記憶する記憶手段を備えたオーサリング支援装置としてコンピュータを機能させるためのプログラムであって、
    前記コンテンツ中の所定のシーンに付与するコメントの入力を受け付ける受付ステップと、
    入力された前記コメントの内容に基づいて、前記コメントを付与する前記所定のシーンのシーン種別を判別する判別ステップと、
    判別された前記シーン種別に応じて、前記コンテンツから、前記所定のシーンを示す情報を抽出する抽出ステップと、
    前記抽出の結果を表示する表示ステップとをコンピュータに実行させることを特徴とするプログラム。
18. サーバ装置と、複数のクライアント装置とを含むオーサリング情報共有システムにおいて、
    前記クライアント装置は、
    少なくとも映像を含むコンテンツを記憶する記憶手段と、
    前記コンテンツ中の所定のシーンに付与するコメントの入力を受け付ける入力手段と、
    入力された前記コメントの内容に基づいて、前記コメントを付与する前記所定のシーンのシーン種別を判別する判別手段と、
    判別された前記シーン種別に応じて、前記コンテンツから、前記所定のシーンを示す情報を抽出する抽出手段と、
    前記抽出の結果を表示する表示手段と、
    前記サーバ装置へ、前記コメントと前記シーン種別と前記所定のシーンを示す情報とを含むオーサリング情報を送信する送信手段とを備え、
    前記サーバ装置は、
    前記クライアント装置から前記オーサリング情報を受信する受信手段と、
    受信された前記オーサリング情報を記憶するオーサリング情報記憶手段とを備えたことを特徴とするオーサリング情報共有システム。
19. 前記サーバ装置は、前記オーサリング情報記憶手段に記憶されている複数の前記オーサリング情報にそれぞれ含まれる前記コメントを要約するためのコメント要約手段を更に備えたことを特徴とする請求項１８に記載のオーサリング情報共有システム。
20. 前記コメント要約手段は、前記オーサリング情報記憶手段に記憶されている複数の前記オーサリング情報にそれぞれ含まれる前記コメントのうち、前記シーン種別が同じであり且つ前記所定のシーンが相対応するものについて、前記要約を行うことを特徴とする請求項１９に記載のオーサリング情報共有システム。

Images