JP2007334704A - コンテンツ評価システム - Google Patents

Abstract

【課題】 講義や講義コンテンツに対して簡便にコメントを付与し、簡便にコメント等に対応する講義箇所を抽出して表示し、さらにはコメントデータに一覧性を持たせ、コンテンツの評価を簡便かつ迅速に行なえるようにすること。
【解決手段】 コメント入力において、コメント入力領域にカーソルを置く、或いはテキストを入力し始めると再生していたコンテンツが停止し、コメント入力後、例えば画面領域をマウス等でクリックすると、停止したフレームから映像再生を再開する。さらに、その後、例えばマウスで右クリックすることにより、コメントの有効時間帯を指定する。さらには、入力されたコメントを選択すると、対応する講義箇所を抽出・表示し、コメントデータの頻出・有効時間帯状況も複数のコメントに渡ってグラフ表示する。
【選択図】 図１

Description

本発明は、音声やテキストなど複数のメディアを統合利用するシステムであり、ネットワーク環境における複数台のPCによるサーバクライアント環境を対象とし、例えば講演や講義等の映像を迅速かつ正確に解析して、映像に対してコメントを付与する機能を提供することで、コンテンツに対する付加情報を持たせ、コンテンツ閲覧における意味づけを行なうコンテンツ評価システムに関する。

ブロードバンドの普及等を背景として、映像等を含むマルチメディアコンテンツが急増している。特に教育分野においては、授業映像をアーカイブして再利用したり、ストリーミングにより授業映像を遠隔地に配信したりといったサービスも増えつつある。一方、増加の一途である映像コンテンツを評価し、より良い教育用コンテンツを作成するといった活動も始まりつつあり、さらには、授業そのものに対する評価を行なう上で、複数の人による授業評価を行なうといった活動も、教員のスキルアップ・スキル維持において必要な機能であるという認識も高まってきている。これらの問題点を解決する技術としては、授業等の映像を用いて、各受講者の学習状況に適応した学習コンテンツを生成し、さらに多人数の学習者各々の学習状況を把握することによって効率よくチュータリングを行うことを目的とする情報配信システムが提案されている。（例えば、特許文献１参照）
特開2004-354849号公報

前述した従来の技術には、汎用の映像コンテンツを解析し、コンテンツの内容を認識するための複数メディア情報のマルチモーダル解析機能、同コンテンツに対するテストやアンケート等の解答過程に基づいた映像箇所の抽出・配信機能を搭載している。しかし、本技術では、ユーザに提供されるテストやアンケートを通してコンテンツに対するアクセス状態を把握するのみであり、ユーザ自身がコンテンツの各箇所に対して考えたことをコメントとして記載し、コンテンツに対して付加情報を登録したり、後に同コメントを付与した箇所を閲覧したりといった機能を十分に満たすことはできなかった。

本発明は、上記の問題点に鑑みてなされたものであり、講義や講義の映像コンテンツを評価するために、指示する箇所に対してコメントを付与し、同コメントと対象とした講義コンテンツとの時間的対応付けを行なうことを目的とする。さらに同講義コンテンツの意味を抽出することによって、入力されたコメントや別途キーワードからコメントを付与した映像箇所やキーワードが出現する映像箇所を抽出し、コメントの頻出状況を算出して表示することを目的とする。

上記の課題を解決するために、本願で開示する代表的な発明は以下の通りである。
動画像を再生表示する画像表示部に再生表示の停止指示の入力を受けると、コメント記入欄を上記画像表示部に表示し、上記コメント記入欄に入力されたデータと上記停止した地点の動画像とを対応づけて記録する動画像処理プログラム。及び、表示部に動画像を再生表示するとともに、コメント記入欄を表示し、上記コメント記入欄に入力がなされるか、入力デバイスのカーソル位置が該コメント記入欄に移動されると、上記動画像の再生表示を停止することを特徴とする動画像処理プログラム。

本発明により、教師などの講演／講義の担当者や評価者等が、授業や授業映像に対して簡便にコメントを付与することができる。
さらに、評価者等が動画像の再生を停止した時点において、既にコメントが入力されている場合は、入力済みのコメントがコメント入力領域に表示されるため、評価者等は既に入力済みである他のコメントを参考にしながら、コメントの入力が行える。また、コメントの入力を行っている間は動画像の再生が停止されるため、コメント入力時に映像が先に進んでしまい、再度映像を巻き戻して確認するといった負荷を軽減することができる。

以下、本発明の一実施形態について図面を参照しながら説明する。実施形態の一つとして示すシステムは、ネットワーク環境における複数台のPCによるサーバクライアント環境を対象とし、例えば講演/講義といった映像を迅速かつ正確に解析して、ユーザが所望する講義/講演映像箇所を抽出して提供することで、講演/講義映像コンテンツに対する簡便な評価を行なうことを可能にするコンテンツ評価システムである。

図１を用いて、本発明の実施の形態を説明する。図１は、コンテンツ評価システムの構成の一例を示すブロック図である。
１０１は、講演／講義の映像や音声、講演／講義の観察データや評価データ等、全てのコンテンツデータの保存・管理・解析を行うデータサーバ端末である。
１０２は、教師などが講演や講義を行なう講演／講義用端末である。
１０３は、講演や講義の映像を撮像する録画用端末である。講演／講義の様子を撮影する講演／講義映像撮像カメラ１０３−１及び１０３−２が接続されている。録画の開始及び停止、データサーバ端末１０１への録画データ転送を、講演／講義用端末１０２からの指示に基づいて、自動的に動作する。

１０４は、講演／講義の観察を行ない、講演／講義の各場面に対してコメントを付与する観察用端末である。
１０５は、講演／講義の評価結果を表示する評価用端末である。

データサーバ端末１０１、講演／講義用端末１０２、録画用端末１０３、講演／講義映像撮像カメラ１０３−１及び１０３−２、観察用端末１０４、評価用端末１０５は、それぞれネットワーク１（例えば、インターネット）を介して接続されている。なお、本例においては、録画用端末１０３に対して講演／講義映像カメラ１０３−１及び１０３−２及び１０３−３を３台接続している例を示すが、さらに複数台が接続される場合もあり、本例に限定されるものではない。

本実施の形態のコンテンツ評価システムは、講演及び講義の模様を撮影し、同時に講演に対するコメントを記録する、或いは撮影済みである講演・講義コンテンツに対してコメントを付与するシステムであり、さらには、講演／講義担当者やコンテンツ作成者、評価者、また講演／講義を受ける受講者が、検索キーとなる単語を含むテキストを入力する、或いは付与されたコメントを選択することによって、入力された単語や選択されたコメントに対応する講演或いは講義映像の範囲或いは時刻を抽出し、同抽出範囲・時刻を一致度の高いものから順に表示することで、ユーザが指示する講義／講演映像箇所を表示・提供するシステムである。また、入力されたコメントが複数であった場合には、複数のコメントを時系列に複数表示したり、入力されたコメント毎にその頻度を表示したりするシステムである。

すなわち、教師などが講演／講義用端末１０２を用いて講演／講義を行ない、その模様を録画用端末１０３で撮像する。記録された講演／講義データ及び撮像されたデータは、それぞれ講演／講義用端末１０２及び録画用端末１０３からデータサーバ端末１０１へ送信される。さらに、教師などの評価者が、必要に応じて観察用端末を用いて講演／講義の観察・評価を行ない、コメントを付与する。コメントの付与は、授業を行なっている時間でも行えるし、既に記録されている授業映像コンテンツに対して行なうこともできる。記録されたコメントデータは、観察用端末１０４から送信される。

データサーバ端末１０１において、送信されたコメントデータ、講演／講義の撮像データを解析して、講演／講義結果データベースを作成する。講演／講義の撮像データの解析においては特開2004-354849号公報に記載のように、授業中の講演者の音声データ及び授業に利用したテキストデータ或いはプレゼンデータを用いて行ない、授業映像中に出現する単語群を抽出する。評価用端末１０５において、検索キーとなる単語或いはセンテンスといったテキストが入力されると、データサーバ端末１０１は、入力された単語と、講演／講義映像の認識結果である単語群とのマッチングを行う。マッチングの結果、対応する映像箇所・映像時刻が抽出されると、抽出された映像時刻に対応したフラグが優先度の高いものから順に、評価用端末１０５の講演／講義データ表示領域に表示され、さらに同フラグからひとつのフラグを選択すると、同フラグに対応する映像箇所が表示される。

また、観察や評価により記録したコメントデータが複数ある場合には、各コメントを時系列に表示する、或いは記録されたコメント毎の出現頻度を表示する。

＜データサーバ端末１０１ に関する説明＞
次に、データサーバ端末１０１の構成の一例に関して、図２を用いて説明する。
１０１１は、起動したプログラムに応じて処理を行うＣＰＵである。１０１２は、サーバの起動とともに、システムプログラム１０１２０１、プレゼンテーションソフトウェアプログラム１０１２０２、形態素解析プログラム１０１２０３、データ管理プログラム１０１２０４、コンテンツ評価システム１０１２０５を読み込んで、格納するプログラム格納メモリである。

ハードディスク１０１３は、プログラムやデータ等を記憶して格納する。
ハードディスク１０１３に保持されているデータは、必要に応じてメモリ１０１２上に読み込まれ、ＣＰＵ１０１１によって処理がなされる。

具体的には、形態素解析プログラム１０１２０３によって解析された講演／講義結果データ１０１３０７を格納し、講演／講義用端末１０２、録画用端末１０３より送信された講演／講義映像データ１０３３０１、図５の観察用端末１０４より送信されたコメントデータ１０４３０１をハードディスク１０１３にそれぞれ格納する。

＜講演及び講義用端末１０２ に関する説明＞
次に、講演／講義用端末１０２の構成の一例に関して、図３を用いて説明する。
１０２１は、起動したプログラムに応じて処理を行うＣＰＵである。１０２２は、サーバの起動とともに、システムプログラム１０２２０１、プレゼンテーションソフトウェアプログラム１０２２０２、講演／講義プログラム１０２２０３を読み込んで、格納するプログラム格納メモリである。

ハードディスク１０２３は、プログラムやデータ等を記憶して格納する。ハードディスク１０２３に保持されているデータは、必要に応じてメモリ１０２２上に読み込まれ、ＣＰＵ１０２１によって処理がなされる。具体的には、図２のデータサーバ端末１０２より送信された講演／講義資料データ１０２３０１を格納する。

＜録画用端末１０３ に関する説明＞
次に、録画用端末１０３の構成の一例に関して、図４を用いて説明する。
１０３１は、起動したプログラムに応じて処理を行うＣＰＵである。１０３２は、サーバの起動とともに、システムプログラム１０３２０１、エンコーダプログラム１０３２０２、コンテンツ録画プログラム１０３２０３を読み込んで、格納するプログラム格納メモリである。１０３３は、プログラムやデータ等を格納するハードディスクである。
具体的には、コンテンツ録画プログラム１０３２０３によって録画された講演／講義映像データ１０３３０１を格納する。

＜観察用端末１０４に関する説明＞
次に、観察用端末１０４の構成の一例に関して、図５を用いて説明する。
１０４１は、起動したプログラムに応じて処理を行うＣＰＵである。

１０４２は、サーバの起動とともに、システムプログラム１０４２０１、観察プログラム１０４２０２を読み込んで、格納するプログラム格納メモリである。１０４３は、観察プログラム１０４２０２によって記録されたコメントデータ１０４３０１を格納するハードディスクである。

＜評価用端末１０５に関する説明＞
次に、評価用端末１０５の構成の一例に関して、図６を用いて説明する。
１０５１は、起動したプログラムに応じて処理を行うＣＰＵである。
１０５２は、サーバの起動とともに、システムプログラム１０５２０１、評価プログラム１０５２０２を読み込んで、格納するプログラム格納メモリである。

＜講演／講義データの生成処理フローの説明＞
次に、図７を用いて、講演／講義データの生成処理に関して説明する。
図７は、講演／講義データの生成処理を主要機能単位で示した機能ブロック図である。
まずデータサーバ端末（図１の１０１）にて、コンテンツ評価システム（図２の１０１２０５）を起動する（Ｓ１００１）。

次に、講演／講義を行なう者（以下、教師）がデータサーバ端末（図１の１０１）にあるデータ管理プログラム（図２の１０１２０４）に、講演／講義で使用する資料（電子ファイル）を登録する（Ｓ１００２）。本例では、プレゼンテーションソフトウェアプログラム（図２の１０１２０２）を利用して作成した資料を使用して講演／講義を行なう場合について説明する。講演／講義に資料を用いない場合は、資料を登録する必要はない。

次に、教師が、講演／講義映像撮像カメラ（図１の１０３−１及び１０３−２）を映像記録状態にして、録画用端末（図１の１０３）にてコンテンツ録画プログラム（図４の１０３２０３）を起動する。録画に利用する講演／講義映像撮像カメラ（図１の１０３−１及び１０３−２）を設定して、録画待機状態にする（Ｓ１００３）。

次に、教師が、講演／講義用端末（図１の１０２）にて、講演／講義プログラム（図３の１０２２０３）を起動して、Ｓ１００２で登録した資料を呼び出す。録画用端末（図１の１０３）のコンテンツ録画プログラム（図４の１０３２０３）に接続して、講演／講義待機状態にする（Ｓ１００４）。

次に、講演／講義の様子を観察する担当者（以下、観察者）が、観察用端末（図１の１０４）にて、観察プログラム（図５の１０４２０２）を起動して、観察待機状態にする（Ｓ１００５）。

次に、教師が講演／講義用端末（図１の１０２）の講演／講義プログラム（図３の１０２２０３）を用いて、講演／講義を開始すると、講演／講義情報の記録を開始する（Ｓ１００６）。講演／講義情報の記録データである資料利用時刻データや撮像した授業映像・音声データは、講演／講義結果ログデータとして、講演／講義用端末（図１の１０２）に記録される。

教師が講演／講義用端末（図１の１０２）の講演／講義プログラム（図３の１０２２０３）を用いて、講演／講義を開始すると、録画用端末（図１の１０３）のコンテンツ録画プログラム（図４の１０３２０３）が自動的に起動され、講演／講義映像の録画を開始する（Ｓ１００７）。講演／講義映像撮像データは、録画用端末（図１の１０３）に記録される。

講演／講義が開始されたと同時に、観察者は観察用端末（図１の１０４）の観察プログラム（図５の１０４２０２）を用いて観察処理を開始する（Ｓ１００８）。取得したデータは、時刻データと共に観察用端末（図１の１０４）にコメントデータとして記録される。ここで、あらかじめ、コメント用のキーワード（「声が小さい」、「解説が少ない」等）を設定し、同キーワードを表示したボタンを作成しておき、観察時に同ボタンを押すと、ボタンをおした時刻に、同ボタンに表示されているキーワードがコメントデータとして取得される。

次に、教師が講演／講義を終了すると、講演／講義用端末（図１の１０２）に記録された講演／講義結果ログデータ（図３の１０２３０２）が、データサーバ端末（図１の１０１）に転送される（Ｓ１００９）。

さらに、録画用端末（図１の１０３）のコンテンツ録画プログラム（図４の１０３２０３）が自動制御され、講演／講義映像の録画を終了する。録画終了と同時に、講演／講義映像データ（図４の１０３３０１）が、録画用端末（図１の１０３）からデータサーバ端末（図１の１０１）に転送される（Ｓ１０１０）。
観察者が観察を終了すると、観察用端末（図１の１０４）に記録されたコメントデータ（図５の１０４３０１）が、観察用端末（図１の１０４）からデータサーバ端末（図１の１０１）に転送される（Ｓ１０１１）。

転送された講演／講義結果ログデータ（図３の１０２３０２）、講演／講義映像データ（図４の１０３３０１）、コメントデータ（図５の１０４３０１）がデータサーバ端末に格納される（Ｓ１０１２）。

S１００２〜S１０１２の各ステップの詳細機能については、以下、順に説明する。
＜リアルタイム観察における、コメントデータの入力フローの説明＞
次に、図８、図９、図１０を用いて、授業が行なわれている時に観察を行なう（以下リアルタイム観察とする）場合におけるコメントデータ入力処理の詳細に関して説明する。

まず、コメント入力のフローに関して説明する。図８は、リアルタイム観察を行なう場合のフローを示している。
観察者は、まず観察用端末（図１の１０４）にて、観察プログラム（図５の１０４３０１）を起動して、リアルタイム観察モードを選択する（S２００１）。次に、観察対象となる講演／講義データ名を、システム画面上に表示されている、観察対象講演／講義データリストから選択する（Ｓ２００２）。

次に、システム画面上に表示されている観察データ名登録領域に、コメントデータとして登録するコメントデータ名を入力する（Ｓ２００３）。

次に、システム画面上に表示されている、観察初期情報登録ボタンを押す。これで観察に必要な情報がデータサーバ端末（図１の１０１）に転送されて、登録される（Ｓ２００４）。図１０に示すような観察データ入力画面に遷移して、コメントデータ入力処理が開始される。（Ｓ２００５）
観察者は、講演／講義の進行に合わせて観察用端末（図１の１０４）のコメントデータ入力画面上でコメントデータの入力を行う（Ｓ２００６）。コメントデータを入力するには、画面上に表示されているコメント入力領域に、観察内容を直接入力する。或いは、システム画面上に表示されているコメントデータキーワード表示部から、該当するキーワードを選択して、コメントデータを作成する。

コメントデータを直接入力する、或いはコメントデータキーワード表示部から該当キーワードを選択すると、システム画面上に表示されているコメントリスト表示領域に、コメントデータの内容と、コメントデータの入力時刻が表示される。取得したデータは、時刻データと共に観察用端末（図１の１０４）にコメントデータとして記録される（Ｓ２００７）。

観察者が観察を終了すると、観察用端末（図１の１０４）に記録されたコメントデータ（図５の１０４３０１）が、データサーバ端末（図１の１０１）に転送される（Ｓ２００８）。

次に、図９を用いて、リアルタイム観察を行なう場合の、観察対象講演／講義データの設定方法について説明する。図９は、観察対象講演／講義データ選択を行なうための画面の一例を示す図であり、観察に必要な初期情報を入力する画面が表示されている。

２０１は、観察モードの選択領域であり、授業が行なわれるのと同時に観察を行なう場合に選択するリアルタイム観察ボタン２０２と、既に授業映像として記録されているコンテンツに対してコメントを付与する場合に選択するノンリアルタイム観察ボタン２０３が配置されている。リアルタイム観察ボタン２０２を押下すると、リアルタイム観察モードでコメントデータを取得するフローに遷移する。

２０４は、観察初期情報入力領域である。２０５は、観察対象講演／講義データリスト表示領域である。選択ボタン２０６を押すと、データサーバ端末（図１の１０１）に登録されている、観察対象講演／講義データリストが、観察対象講演／講義データリスト表示領域２０５に表示される。２０７は、観察セット名登録領域である。任意の観察セット名を入力することが可能である。２０８は、観察セットを管理する管理ＩＤ表示領域である。観察セットが生成された時点で、管理ＩＤデータが自動生成される。

観察者は、観察対象講演／講義データリスト表示領域２０５に表示されているデータの中から、観察対象となる講演／講義データを選択する。観察データ名登録領域２０７に、登録する観察データの名前を入力して、観察初期情報登録ボタン２０９を押下すると、観察対象講演／講義データリスト表示領域２０５に表示されている、観察対象となる講演／講義データ、観察セット名登録領域２０７に表示されている観察セット名、管理ＩＤ表示領域２０８に表示されている管理ＩＤデータが、データサーバ端末（図の１０１）に転送され、図１０に示すような観察の個々のデータであるコメントデータ入力画面に遷移して、コメントデータ入力処理が開始される。

本実施例では、観察者が、観察対象講演／講義データリスト表示領域２０５に表示されているデータの中から、観察対象となる講演／講義データ「情報セキュリティの徹底」を選択したものとし、観察データ名登録領域２０７には、観察データの名前として「情報セキュリティ_R001」と入力したものとする。

次に、図１０を用いて、リアルタイム観察におけるコメントデータ入力方法について説明する。
図１０は、コメントデータ入力画面の一例を示す図である。
３０１は、観察内容を入力するコメント入力領域である。観察者が、講演／講義の進行に合わせて、適宜入力を行う。

３０２は、コメントデータキーワード表示部である。コメントデータキーワード表示部３０２に表示されているコメントキーワードを選択し、選択ボタン３０６を押下して決定する。更新ボタン３０７を押下すると、選択したコメントキーワードと、同キーワードを選択した時刻が、コメントデータとして、コメントリスト表示領域３０４に表示される。コメントリスト表示領域３０４に表示されているコメントデータを選択して、選択削除ボタン３０８を押下すると、選択したコメントデータを削除することができる。

３０３は、コメントキーワード編集ボタンである。コメントキーワードの新規作成、削除など、コメントキーワード表示部３０２に表示されるキーワード一覧情報を編集することができる。

３０４は、コメントリスト表示領域である。コメント入力領域３０１に入力されたコメントデータの内容或いは、コメントデータキーワード表示部３０２で選択されたキーワードを含む観察データの内容と、コメントデータ入力時刻が表示される。

観察完了＆データアップロードボタン３０５を押下すると、観察処理を完了して、観察用端末（図１の１０４）に記録されたコメントデータが、データサーバ端末（図１の１０１）に転送される。戻るボタン３０９を押下すると、図９に示すような観察対象講演／講義データ選択画面に遷移する。

本実施例では、観察者が、コメントデータキーワード表示部３０２に表示されているキーワードの中から、「質問対応」を選択したものとし、コメントリスト表示領域３０４に、選択したキーワード「質問対応」が表示され、コメントデータ入力時刻「00:57:39」がコメントデータとして表示されているものとする。
＜ノンリアルタイム観察における、観察データの入力フローの説明＞
次に、図１１、図１２、図１３を用いて、ノンリアルタイム観察におけるコメントデータ入力処理の詳細に関して説明する。

まず、ノンリアルタイム観察のフローについて説明する。図１１は、ノンリアルタイム観察の処理を示すフローである。観察者は、まず観察用端末（図１の１０４）にて、観察プログラム（図５の１０４３２０２）を起動し、ノンリアルタイム観察モードを選択する（S３００１）。次に、観察対象となる講演／講義データ名を、システム画面上に表示されている、観察対象講演／講義データリストから選択する（Ｓ３００２）。

次に、システム画面上に表示されている観察データ名登録領域に、コメントデータとして登録するコメントデータ名を入力する（Ｓ３００３）。

次に、システム画面上に表示されている、観察対象講演／講義映像を再生する。再生と同時に、ノンリアルタイム観察処理が開始され、コメントデータの入力が可能となる（Ｓ３００４）。

観察者は、講演／講義映像を閲覧しながら、観察用端末（図１の１０４）のコメントデータ入力画面上でコメントデータの入力を行う（Ｓ３００５）。

コメントデータを入力するには、画面上に表示されているコメント入力領域に、コメント内容を直接入力する。或いは、システム画面上に表示されているコメントデータキーワード表示部から、該当するキーワードを選択して、コメントデータを作成する。

コメントデータを直接入力、或いはコメントデータキーワード表示部から該当キーワードを選択してコメントデータを選択すると、システム画面上に表示されているコメントリスト表示領域に、コメントデータの内容と、講演／講義映像の再生位置時刻が表示される。取得したデータは、講演／講義映像の再生位置時刻データと共に観察用端末（図１の１０４）にコメントデータとして記録される（Ｓ３００６）。

観察者が観察処理を終了すると、観察用端末（図１の１０４）に記録されたコメントデータ（図５の１０４３０１）が、観察用端末（図１の１０４）からデータサーバ端末（図１の１０１）に転送される（Ｓ３００７）。

次に、図１２を用いて、ノンリアルタイム観察を行なう場合のコメントデータ入力方法について説明する。
４０１は、観察対象講演／講義データリスト表示領域である。選択ボタン４０２を押すと、データサーバ端末（図１の１０１）に登録されている、観察対象講演／講義データリストが、観察対象講演／講義データリスト表示領域４０１に表示される。４０３は、観察データ名登録領域である。任意の観察データ名を入力することが可能である。

４０４は、観察対象となる講演／講義映像表示領域である。講演／講義の際に使用した資料（電子ファイル）や、教師や受講者等の映像を再生する。本実施例においては、観察の対象とする授業映像コンテンツは、録画用端末１０３に、講演／講義映像撮像カメラ１０３−１、講演／講義映像撮像カメラ１０３−２、講演／講義映像撮像カメラ１０３−３を３台接続して、講演／講義映像撮像カメラ１０３−１で教師映像、講演／講義映像撮像カメラ１０３−２で受講者映像、講演／講義映像撮像カメラ１０３−３で全体映像をそれぞれ撮像したものとする。講演／講義資料表示領域４０５に講演／講義資料を、教師映像再生領域４０６に教師映像を、受講者映像再生領域４０７に受講者映像を、全体映像再生領域４０８に講演／講義の全体映像を再生表示するものとする。４１６は、講演／講義映像表示領域タグであり、講演／講義資料表示領域４０５、教師映像再生領域４０６、受講者映像再生領域４０７、全体映像再生領域４０８にそれぞれ付与している。講演／講義映像表示領域タグ４１６を選択することで、講演／講義映像表示領域に表示する内容を変更することができる。例えば、「動画＋資料」タグを選択すると、観察対象とする授業映像コンテンツの全ての動画像及び、使用されている講演／講義資料を表示する。

４０９は、観察内容を入力するコメント入力領域である。観察者が、講演／講義映像を閲覧しながら、適宜入力を行う。コメント入力を行なった後、例えばマウスの右ボタンを押すと、同コメントに関する時間帯が終了する意味のイベントを発生し、コメント有効領域を指定する。右ボタンで終了せずに次のコメントを入力した場合には、ここでは例えば次のコメントを入力した時刻までその前のコメントが有効であるとみなす。

４１０は、コメントデータキーワード表示部である。コメントデータキーワード表示部４１０に表示されているキーワードを選択すると、選択したキーワードと、講演／講義映像の再生位置時刻が、コメントデータとしてコメントリスト表示領域４１２に表示される。コメントリスト表示領域４１２に表示されているコメントデータを選択して、選択削除ボタン４１４を押下すると、選択したコメントデータを削除することができる。

４１１は、キーワード編集ボタンである。コメント用キーワードの新規作成、削除など、コメントデータキーワード表示部４１０に表示されるキーワード一覧情報を編集することができる。

４１２は、コメントリスト表示領域である。コメント入力領域４０９に入力されたコメントデータの内容或いは、コメントデータキーワード表示部４１０で選択されたキーワードを含むコメントデータの内容と、講演／講義映像の再生位置時刻が表示される。

観察完了＆データアップロードボタン４１３を押下すると、観察処理を完了して、観察用端末（図１の１０４）に記録された観察データが、データサーバ端末（図１の１０１）に転送される。

戻るボタン４１５を押下すると、図９に示すような観察対象講演／講義データ選択画面に遷移する。

本実施例では、観察者が、コメントデータキーワード表示部４１０に表示されているキーワードの中から、「質問対応」を選択したものとし、コメントリスト表示領域４１２に、選択したキーワード「質問対応」が表示され、講演／講義映像の再生位置時刻「00:57:39」がコメントデータとして表示されているものとする。

また、別の入力方法として、以下２つの入力方法がある。図１３のフロー及び図１４の画面例に示すように、観察者が講演／講義映像の再生を停止すると、停止した時点でコメント入力領域が表示される（Ｓ４００５）。
観察者が講演／講義映像の再生を停止した時点で、コメント入力領域が表示されるため、予め表示されている情報が多いノンリアルタイム観察画面においても、すぐにコメント入力領域を認識し、入力することができる。

さらに、観察者が講演／講義映像の再生を停止した時点において、既にコメントが入力されている場合は、入力済みのコメントがコメント入力領域に表示される。そのため、観察者は既に入力済みである他のコメントを参考にしながら、コメントの入力が行える。

コメントデータを入力するには、画面上に表示されているコメント入力領域に、観察内容を直接入力する。或いは、システム画面上に表示されている観察データキーワード表示部から、該当するキーワードを選択して、コメントデータを作成する。コメント入力を行なった後、例えばマウスの右ボタンを押すと、同コメントに関する時間帯が終了する意味のイベントを発生し、コメント有効領域を指定する。右ボタンで終了せずに次のコメントを入力した場合には、ここでは例えば次のコメントを入力した時刻までその前のコメントが有効であるとみなす。これにより、コメント入力時に映像が先に進んでしまい、もう一度巻き戻して見るといった負荷を軽減することができる。また図１５に示すように、別の方法として、講演／講義映像の再生中に、画面上に表示されているコメント入力領域にテキストを入力する、或いはパソコンのキーボードやマウスなどの入力デバイスによってカーソル位置を合わせると、講演／講義映像の再生が停止する方法がある（Ｓ５００５）。再生を停止した時点でコメントを入力する、或いはキーワードを選択すると、停止した時刻と入力或いは選択したコメント・キーワードが対応付けられる。ここでもコメント入力を行なった後、例えばマウスの右ボタンを押すと、同コメントに関する時間帯が終了する意味のイベントを発生し、コメント有効領域を指定する。右ボタンで終了せずに次のコメントを入力した場合には、ここでは例えば次のコメントを入力した時刻までその前のコメントが有効であるとみなす。

また、講演／講義映像の停止中に、映像表示領域に合わせてマウスをクリックする、或いはパソコンのキーボードでEnterキーを押す等といったイベントを発生させると、Ｓ５００５で停止した続きから、講演／講義映像の再生を始める（Ｓ５００６）。
＜講演／講義結果ログデータの解析処理フローの説明＞
次に、図１６を用いて、講演／講義結果ログデータ解析処理の詳細に関して説明する。図１６は、講演／講義結果ログデータ解析処理を機能単位で示すフローの一例である。

データサーバ端末（図１の１０１）では、形態素解析プログラム１０１２０３を起動して（S６００１）、講演／講義端末（図１の１０２）より送信された講演／講義結果のログデータを解析する（S６００２）。

次に、解析されたログデータを、講演／講義結果データベースに格納する。
講演／講義結果データベースは、講演／講義で使用した資料データ、形態素解析結果データ、コメントデータ、ユーザ情報から構成される（S６００３）。

格納された講演／講義結果データベースは、教師などの講演／講義の担当者や評価者等が、評価用端末（図１の１０５）において、評価プログラム（図６の１０５２０２）を起動して、講演／講義の観察結果に基づいた評価を行なう場合等に利用される（Ｓ６００４）。

＜映像検索における、検索結果表示処理フローの説明＞
次に、図１７、図１８、図１９、図２０を用いて、講演／講義の観察結果に基づいた評価を行なう場合について説明する。
まず、図１７を用いて、ユーザが所望する講義／講演映像箇所を検索するために単語を検索キーとして入力した場合の検索結果表示処理の詳細に関して説明する。図１７は、検索結果表示処理を示すフローの一例である。

評価者等は、まず評価用端末（図１の１０５）にて、評価プログラム（図６の１０５２０２）を起動して、記録参照モードを選択する（Ｓ７００１）。次に、評価対象となる講演／講義データ名を、システム画面上に表示されている、評価対象講演／講義データリストから選択する（Ｓ７００２）。

次に、評価対象となる観察データ名を、システム画面上に表示されている観察データリストから選択する（Ｓ７００３）。

次に、システム画面上に表示されている、検索語入力領域に、検索キーとなる任意の単語を入力する（Ｓ７００４）。検索語入力領域に入力された単語と、講演／講義結果データベースに格納されている単語情報とのマッチングを行なう（Ｓ７００５）。マッチングの結果、もっとも頻出する単語を含むコンテンツ或いはコンテンツの一部分が、検索結果一覧表示領域に、検索結果候補として一致度の高いものから順に表示される（Ｓ７００６）。

検索結果一覧表示領域に表示された検索結果候補の中から１つを選択すると、対応した映像箇所或いはコンテンツの一部が講演／講義データ表示領域に表示される（Ｓ７００７）。また、観察イベント一覧表示領域に、タグ単位で時系列に表示されているコメントデータを選択すると、コメントデータの付与時刻に対応したコンテンツ部分が、講演／講義データ表示領域に表示される（Ｓ７００８）。

観察イベント一覧表示領域に、タグ単位で時系列に表示されているコメントデータを選択すると、その他コメントデータの中に、同様の単語が含まれていれば、同単語を含むコメントデータは強調表示される。

次に、図１８を用いて、ユーザが所望する講義／講演映像箇所を検索するための、文章を検索キーとして入力した場合の検索結果表示処理の詳細に関して説明する。図１８は、検索結果表示処理を示すフローの一例である。

評価者等は、まず評価用端末（図１の１０５）にて、評価プログラム（図６の１０５２０２）を起動して、記録参照モードを選択する（Ｓ８００１）。次に、評価対象となる講演／講義データ名を、システム画面上に表示されている、評価対象講演／講義データリストから選択する（Ｓ８００２）。

次に、評価対象となる観察データ名を、システム画面上に表示されている観察データリストから選択する（Ｓ８００３）。

次に、システム画面上に表示されている、検索語入力領域に、検索キーとなる任意の文章を入力する（Ｓ８００４）。検索語入力領域に入力された文章は、形態素解析処理により、単語に分解される（Ｓ８００５）。

形態素解析の結果、分解された単語と、講演／講義結果データベースに格納されている単語情報とのマッチングを行なう（Ｓ８００６）。
マッチング処理の結果、もっとも頻出する単語を含むコンテンツの一部分が、検索結果一覧表示領域に、検索結果候補として一致度の高いものから順に表示される（Ｓ８００７）。

検索結果一覧表示領域に表示された検索結果候補の中から１つを選択すると、対応した映像箇所或いはコンテンツの一部が講演／講義データ表示領域に表示される（Ｓ８００８）。
また、観察イベント一覧表示領域に、タグ単位で時系列に表示されているコメントデータを選択すると、コメントデータの付与時刻に対応したコンテンツ部分が、講演／講義データ表示領域に表示される（Ｓ８００９）。

次に、図１９、図２０を用いて、取得した観察データを集計して可視化する場合について説明する。
まず、図１９は、各観察者によるコメントを時系列に表示する画面の一例である。各観察者が入力したコメントデータを観察者毎にコメント入力時刻を合わせて表示する。これにより、１つの授業に対して、複数の観察データがある場合、時系列変化状況を比較することができる。

取得した観察データは、データサーバ端末（図１の１０１）にて集計される。
観察データ集計ボタンを押すと、データサーバ端末は観察データの集計処理を行なって、集計結果を観察データ集計結果表示領域に表示する。

また、各コメントデータがどのくらいの時間を示しているかを表すグラフを表示する。これは、授業毎に入力されたコメント項目の内訳やコメントに対する時間・頻度を把握するために行なう。図２０にグラフの一例を示す。各観察者から入力されたコメントの種類を抽出し、さらに同コメントの形態素解析を行なう。形態素解析を行なった結果として得られた単語から共通する単語及び観察者間に共通しない単語をそれぞれ抽出する。共通する
単語がある場合には、同単語を含むコメントが入力されてから次のコメントが入力されるまでの時間、或いは同単語が入力されてから同単語を含むコメント終了イベントが発生した時刻までの時間を同単語が示す時間とし、同時間を全ての観察者に関してグラフに累積し、表示する。

以上のことから、本発明を用いることにより、教師などの講演／講義の担当者や評価者等が、検索キーとなる単語を含むテキストを入力することによって、入力された単語と講演／講義映像との認識結果をマッチング処理し、一致したコンテンツ或いはコンテンツの一部分を優先度の高いものから順に表示し、そのうち１つを選択すると、対応した映像箇所或いはコンテンツの一部を表示することで、ユーザが所望する講義／講演映像箇所を提供することができる。

また、観察や評価の際に取得したコメントデータを集計して、各コメントを時系列に表示する、或いはコメント毎の平均値を表示することで、コメントデータから抽出された特徴量を用いて、講演／講義内容を分析理解することができる。

本発明のコンテンツ評価システムの構成の一例を示すブロック図。 同じく、データサーバ端末101の構成の一例を示すブロック図。 同じく、講演／講義用端末102の構成の一例を示すブロック図。 同じく、録画用端末103の構成の一例を示すブロック図。 同じく、観察用端末104の構成の一例を示すブロック図。 同じく、評価用端末105の構成の一例を示すブロック図。 講演／講義データの生成処理を主要機能単位で示す機能ブロック図。 リアルタイム観察における、コメントデータ入力処理を示すフローの一例。 リアルタイム観察における、観察対象講演／講義データ選択画面の一例を示す図。 リアルタイム観察における、コメントデータ入力画面の一例を示す図。 ノンリアルタイム観察における、コメントデータ入力処理を示すフローの一例。 ノンリアルタイム観察における、コメントデータ入力画面の一例を示す図。 ノンリアルタイム観察における、コメントデータ入力処理を示すフローの一例。 ノンリアルタイム観察における、コメントデータ入力画面の一例を示す図。 ノンリアルタイム観察における、コメントデータ入力処理を示すフローの一例。 講演／講義結果解析処理を機能単位で示すフローの一例。 映像抽出方法における、単語を検索キーとして入力した場合の検索結果表示処理を示すフローの一例。 映像抽出方法における、文章を検索キーとして入力した場合の検索結果表示処理を示すフローの一例。 複数のコメントデータを一覧表示する画面の一例。 コメントデータを一覧表示する画面の一例。

符号の説明

１：ネットワーク、１０１：データサーバ端末、１０２：講演／講義用端末、
１０３：録画用端末、１０３−１：講演／講義映像撮像カメラ、
１０３−２：講演／講義映像撮像カメラ、１０３−３：講演／講義映像撮像カメラ、
１０４：観察用端末、１０５：評価用端末。

Claims (10)

1. 動画像を画像表示部に再生表示し、
   上記再生表示の停止指示の入力を受けると、コメント記入欄を上記画像表示部に表示し、
   上記コメント記入欄に入力されたデータと上記停止した地点の動画像とを対応づけて記録する動画像処理プログラム。
2. 表示部に動画像を再生表示するとともに、コメント記入欄を表示し、
   上記コメント記入欄に入力がなされるか、入力デバイスのカーソル位置が該コメント記入欄に移動されると、上記動画像の再生表示を停止することを特徴とする動画像処理プログラム。
3. 予め設定したコメント入力用のキーワードを上記表示部に表示し、上記コメント記入欄への入力は、前記コメント記入欄に直接入力する、或いは上記コメント入力用キーワードの何れを選択することで行われることを特徴とする請求項１又は２に記載の動画像処理プログラム。
4. 上記動画像に関連する資料を表示する映像・映像関連データ表示部と、
   検索キーを入力する検索語入力部と、
   上記検索キーを用いて抽出された動画像、或いは動画像データに関連する資料の初端部或いは範囲を示すタグを表示する検索結果一覧表示部とを備えることを特徴とする請求項１乃至３の何れかに記載の動画像処理プログラム。
5. 上記コメント記入欄に入力されたデータを時系列に表示し、表示されたコメントデータを指定又はキーワードを入力すると、該指定箇所或いは該キーワードに対応する上記動画像を表示することを特徴とする請求項４に記載の動画像処理プログラム。
6. 前記検索結果一覧表示部は、前記検索語入力部に単語とのマッチングの結果を優先度の高いものから順に表示することを特徴とする請求項４に記載の動画像処理プログラム。
7. 前記検索結果一覧表示部から検索結果の１つを選択すると、同検索結果に対応した前記映像箇所や前記映像関連データが前記データ表示部に表示されることを特徴とする、請求項４又は６に記載の動画像処理プログラム。
8. 時系列に表示されたコメントデータからコメントを選択すると、コメントの付与時刻に対応したコンテンツ部分が、前記データ表示部に表示されることを特徴とする、請求項４に記載の動画像処理プログラム。
9. 前記コメントデータ表示部で、
   あらかじめ指定されていて、かつコメントとして登録されたコメント名をひとつ選択すると、前記時系列に表示されたコメントデータ中のコメントのうち、選択されたコメント名が強調表示されることを特徴とする、請求項４〜８の何れかに記載の動画像処理プログラム。
10. 同じコンテンツに対する複数人或いは回数によるコメントを時系列に表示する、或いはコメント毎の平均値を表示することを特徴とする、請求項４〜９の何れかに記載の動画像処理プログラム。

Images