JP2013200649A - 情報処理装置及び情報処理プログラム - Google Patents

Abstract

【課題】文書が撮影された動画を再生する場合にあって、操作者によって選択された単語が説明された時刻から動画を再生することができるようにした情報処理装置を提供する。
【解決手段】情報処理装置の音声認識手段は、文書が撮影された動画の音声を認識し、検出手段は、前記音声認識手段による認識結果と前記動画に撮影されている文書から抽出した単語とでいずれにも出現している単語を検出し、抽出手段は、前記検出手段によって検出された単語の前記動画における発生時刻と該単語の前記文書における位置を抽出し、表示手段は、前記抽出手段によって抽出された単語を他の単語とは異なる態様で前記文書上に表示し、指定手段は、操作者の操作に基づいて、前記表示手段によって表示された単語を指定し、再生手段は、前記指定手段によって指定された単語の発生時刻から前記動画を再生する。
【選択図】図１

Description

本発明は、情報処理装置及び情報処理プログラムに関する。

特許文献１には、動画データや音声データにおけるキーワードの位置まで検索することができる画像処理装置、画像処理プログラム及び画像処理方法を提供することを課題とし、文書データに係る音声データについて、予め音声認識によってテキストデータを作成すると共に、テキストデータと音声データとを対応する位置において区切る区切り位置を決定しておき、キーワード検索時にテキストデータにキーワードが検出されたら、そのキーワードの直前の区切り位置から音声データを再生することが開示されている。

特許文献２には、映像情報、活字情報、その他の情報伝達媒体を介して提供される複合的な情報を利用するデータベースシステムにおいて、各情報間の関連度の識別に用いられる複合的な情報間の関連性識別方法に関し、任意のマルチメディア情報間に多様な関連付けを行うことができることを目的とし、画像情報、音声情報、テキスト情報、その他各メディア情報を含む複合的な情報間の関連性識別方法において、各情報に、個々の特徴を自然言語で表現した特徴表現文と、その情報の発生時刻データとを付加し、各情報の特徴表現文を自然言語解析して各特徴量を抽出し、各情報の発生時刻データと、各情報の特徴表現文を自然言語解析して抽出した時間に関する情報とを用いて、その情報が実際に発生した絶対時間に変換し、各情報の特徴量及び絶対時間の比較により各情報間の関連度を算出することが開示されている。

特許文献３には、受講者が、デジタルコンテンツの特定の一部分を後日見返したいと考えた場合に、テキスト検索の手段により、画面表示用文字ファイル、音声ファイル、動画ファイルで構成されるデジタルコンテンツの部分の特定が容易な、資料等の教材とデジタルコンテンツの保管が煩雑でないデジタルコンテンツ製作方法を提供することを課題とし、対人説明を実行する講師又は説明者をビデオカメラで音声付動画撮影し、その説明音声を文字変換した文字データベースを、説明の単位毎に分割整理命名された画面表示用文字ファイル、音声ファイル、動画ファイルで構成されるデジタルコンテンツとリンクさせ、デジタルコンテンツに文字データベースを検索させるテキスト検索要求部を設け、文字データと動画ファイルを編集材料として精製される教材ファイルを、画面表示用文字ファイル、音声ファイル、動画ファイルで構成されるデジタルコンテンツとリンクさせたことが開示されている。

特許文献４には、会議等の情報が漏れなく記録でき、しかも後でユーザが要求する情報を容易に指定して選択された部分のみを再生できる装置・方法の提供を目的とし、順次文字図形情報及び音声／画像を入力し、それぞれ記録部及び記憶部に記憶すると共に、この文字図形情報が入力された時刻を時刻発生部を用いて前記文字図形情報に対応付け、この対応を記憶部に記憶し、その後記憶された文字図形情報を表示部に表示し、その一部を信号再生位置指定部により指定すると、これに対応する時刻により特定される音声／画像信号の一部を再生部が再生することが開示されている。

特開２０１０−０５５２５９号公報 特開平０５−２３３７１９号公報 特開２００１−０５６８２２号公報 特開平０６−３４３１４６号公報

本発明は、文書が撮影された動画を再生する場合にあって、操作者によって指定された単語が説明された時刻から動画を再生することができるようにした情報処理装置及び情報処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、文書が撮影された動画の音声を認識する音声認識手段と、前記音声認識手段による認識結果と前記動画に撮影されている文書から抽出した単語とでいずれにも出現している単語を検出する検出手段と、前記検出手段によって検出された単語の前記動画における発生時刻と該単語の前記文書における位置を抽出する抽出手段と、前記抽出手段によって抽出された単語を他の単語とは異なる態様で前記文書上に表示する表示手段と、操作者の操作に基づいて、前記表示手段によって表示された単語を指定する指定手段と、前記指定手段によって指定された単語の発生時刻から前記動画を再生する再生手段を具備することを特徴とする情報処理装置である。

請求項２の発明は、前記抽出手段による抽出結果に基づいて、集合を生成する生成手段をさらに具備し、前記表示手段は、前記生成手段によって生成された集合を前記文書上に表示し、前記指定手段は、操作者の操作に基づいて、前記表示手段によって表示された集合を指定し、前記再生手段は、前記指定手段によって指定された集合内の単語のうち、該単語の発生時刻に基づいて、前記動画を再生することを特徴とする請求項１に記載の情報処理装置である。

請求項３の発明は、前記生成手段は、前記抽出手段によって抽出された単語の発生時刻又は単語の位置の周辺領域における関連度に基づいて、集合を生成することを特徴とする請求項２に記載の情報処理装置である。

請求項４の発明は、前記生成手段は、前記抽出手段によって抽出された単語の位置として、前記文書における該単語が含まれるレイアウトを用いることを特徴とする請求項３に記載の情報処理装置である。

請求項５の発明は、前記生成手段は、前記動画内の説明者の動作に基づいて、前記関連度を算出することを特徴とする請求項３から４のいずれか一項に記載の情報処理装置である。

請求項６の発明は、前記指定手段は、指定された集合内の単語を他の単語とは異なる態様で前記文書上に表示し、操作者の操作に基づいて、該表示している単語を指定することを特徴とする請求項２から５のいずれか一項に記載の情報処理装置である。

請求項７の発明は、コンピュータを、文書が撮影された動画の音声を認識する音声認識手段と、前記音声認識手段による認識結果と前記動画に撮影されている文書から抽出した単語とでいずれにも出現している単語を検出する検出手段と、前記検出手段によって検出された単語の前記動画における発生時刻と該単語の前記文書における位置を抽出する抽出手段と、前記抽出手段によって抽出された単語を他の単語とは異なる態様で前記文書上に表示する表示手段と、操作者の操作に基づいて、前記表示手段によって表示された単語を指定する指定手段と、前記指定手段によって指定された単語の発生時刻から前記動画を再生する再生手段として機能させるための情報処理プログラムである。

請求項１の情報処理装置によれば、文書が撮影された動画を再生する場合にあって、操作者によって指定された単語が説明された時刻から動画を再生することができる。

請求項２の情報処理装置によれば、検出した単語の集合を表示することができる。

請求項３の情報処理装置によれば、単語の発生時刻又は単語の位置の周辺領域における関連度に基づいて、集合を生成することができる。

請求項４の情報処理装置によれば、単語の位置として、文書における単語が含まれるレイアウトを用いることができる。

請求項５の情報処理装置によれば、動画内の説明者の動作に基づいて、関連度を算出することができる。

請求項６の情報処理装置によれば、指定された集合内の単語を他の単語とは異なる態様で文書上に表示することができる。

請求項７の情報処理プログラムによれば、文書が撮影された動画を再生する場合にあって、操作者によって指定された単語が説明された時刻から動画を再生することができる。

本実施の形態の構成例についての概念的なモジュール構成図である。 動画データ記憶モジュール内のデータ例を示す説明図である。 スライド単語記憶モジュール内のデータ例を示す説明図である。 動画・スライドテーブルのデータ構造例を示す説明図である。 スライド・単語テーブルのデータ構造例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 音声処理装置による処理例を示す説明図である。 音声処理装置の処理結果例を示す説明図である。 単語・クラスタテーブルのデータ構造例を示す説明図である。 グループ化モジュールによる処理例を示す説明図である。 表示モジュールによる表示例を示す説明図である。 グループ化モジュールによる処理例を示す説明図である。 グループ化モジュールによる処理例を示す説明図である。 グループ化モジュールによる処理例を示す説明図である。 グループ化モジュールによる処理例を示す説明図である。 表示モジュール、指定モジュールによる表示例を示す説明図である。 表示モジュール、指定モジュールによる表示例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という意味を有する記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。

本実施の形態である情報処理装置は、動画を再生するものであって、図１の例に示すように、音声処理装置１００、グループ化モジュール１３０、表示モジュール１４０、指定モジュール１５０、再生モジュール１６０を有している。
音声処理装置１００は、動画データ記憶モジュール１１０、音声認識モジュール１１２、単語検出モジュール１１４、スライド単語記憶モジュール１１６、座標記録モジュール１１８、座標記憶モジュール１２０を有している。
文書（以下、スライドともいう）を用いて説明する講師の動画（ビデオ）を撮影し、スライドとビデオの時刻同期をとって表示する技術がある。この技術では、特定のスライドを選択することで、このスライドについて説明しているビデオを再生することができる。
スライド中の一部分についての説明だけを聴講したい場合がある。
本実施の形態は、スライドの一部分についての説明を動画の音声情報を用いて判別し、スライド内の位置と関連付けを行う。そして、スライドの一部分を指定すると、対応する箇所からの動画を再生する。

動画データ記憶モジュール１１０は、音声認識モジュール１１２と接続されている。動画データ記憶モジュール１１０は、スライドが撮影された動画を記憶している。ここでの動画とは、主に文書を用いた発表、説明等を撮影したものであり、具体的には、講義、授業等の内容を撮影したものがあるが、これに限る必要はなく、文書を用いた説明であれば、例えば、金融商品の説明場面等であってもよい。なお、ここでの文書とは、少なくとも文字を含み、場合によっては図形、画像、動画等、又はこれらの組み合わせを含めてもよい。また、撮影されている文書として、プロジェクタ等で投影されている文書、大型ディスプレイ等に表示されている文書等が該当する。

動画データ記憶モジュール１１０には、スライドと動画が同期しており、このスライドを表示している動画の時刻（例えば、ｔ１からｔ２）を示す情報が記憶されている。図２は、動画データ記憶モジュール１１０内のデータ例を示す説明図である。動画２００において、スライド１：２０１はｔ１からｔ２まで表示されており、スライド２：２０２はｔ２からｔ３まで表示されており、スライド３：２０３はｔ３からｔ４まで表示されており、スライド４：２０４はｔ４から表示されていることを示しているデータが、動画データ記憶モジュール１１０には記憶されている。
より具体的には、動画データ記憶モジュール１１０は、動画・スライドテーブル４００を記憶している。図４は、動画・スライドテーブル４００のデータ構造例を示す説明図である。動画・スライドテーブル４００は、動画ＩＤ欄４１０、スライドＩＤ欄４２０、開始時欄４３０、終了時欄４４０を有している。動画ＩＤ欄４１０は、動画２００を本実施の形態で一意に識別する情報である動画ＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）を記憶している。この動画ＩＤによって動画データにアクセスできる。スライドＩＤ欄４２０は、その動画に撮影されている文書（のページ）を本実施の形態で一意に識別する情報であるスライドＩＤを記憶している。このスライドＩＤによって、そのスライド内に記載されているテキストデータを抽出できる。開始時欄４３０は、そのスライドが撮影されている開始時刻（動画２００内における最初からの経過時間であってもよいし、日時（年、月、日、秒、秒以下、又はこれらの組み合わせであってもよい）であってもよい）を記憶している。終了時欄４４０は、そのスライドが撮影されている終了時刻（動画２００内における最初からの経過時間であってもよいし、日時（年、月、日、秒、秒以下、又はこれらの組み合わせであってもよい）であってもよい）を記憶している。

音声認識モジュール１１２は、動画データ記憶モジュール１１０、単語検出モジュール１１４と接続されている。音声認識モジュール１１２は、動画データ記憶モジュール１１０に記憶されているスライドが撮影された動画を対象として、その動画内の音声を認識する。音声の認識処理は、既存の技術を用いればよい。なお、スライド内の単語は、既にスライド単語記憶モジュール１１６に記憶されているので、スライド内の単語だけを対象とした音声認識を行うようにしてもよい。その場合、動画・スライドテーブル４００の開始時欄４３０、終了時欄４４０を用いて、その間における音声認識は、その間に撮影されているスライド内の単語だけを対象とすればよい。また、認識結果として、単語とその単語の動画における発生時刻（言い始めの時刻と言い終わりの時刻を含んでいてもよい）を含めてもよい。

単語検出モジュール１１４は、音声認識モジュール１１２、スライド単語記憶モジュール１１６、座標記録モジュール１１８と接続されている。単語検出モジュール１１４は、音声認識モジュール１１２による認識結果と動画に撮影されているスライドから抽出した単語とでいずれにも出現している単語を検出する。「動画に撮影されているスライドから抽出した単語」は、スライド単語記憶モジュール１１６に記憶されている。例えば、音声認識モジュール１１２による認識結果とスライド単語記憶モジュール１１６に記憶されている単語とのマッチング処理を行ってもよいし、スライド内の単語だけを対象とした音声認識を行った場合は、スライド単語記憶モジュール１１６に記憶されている単語であって音声認識モジュール１１２で音声認識されたものを検出すればよい。

スライド単語記憶モジュール１１６は、単語検出モジュール１１４と接続されている。スライド単語記憶モジュール１１６は、動画に撮影されているスライドから抽出した単語を記憶している。スライド単語記憶モジュール１１６は、スライド中の文章はテキスト化されており、各単語のスライド上の位置を記憶している。例えば、文字認識結果、そのスライドのファイルから取り出すようにしてもよい。
例えば、スライド１：２０１には、図２に示すような文字が記載されている。スライド１：２０１から文字を取り出すのに、撮影されたスライド１：２０１を対象として文字認識処理を行ってもよいし、スライド１：２０１の元のファイル（電子データ）からテキストデータを抽出してもよい。そして、テキストデータから形態素解析（単語辞書内の単語との照合等）を行って、単語を取り出す。そして、その単語のスライド１：２０１における位置を取り出す。
スライド単語記憶モジュール１１６は、例えばスライド・単語テーブル５００を記憶している。図５は、スライド・単語テーブル５００のデータ構造例を示す説明図である。スライド・単語テーブル５００は、動画ＩＤ欄５１０、スライドＩＤ欄５２０、単語数欄５３０、単語１欄５４０、単語位置欄５５０を有している。単語位置欄５５０は、ｘ欄５５２、ｙ欄５５４を有している。動画ＩＤ欄５１０は、動画ＩＤを記憶している。スライドＩＤ欄５２０は、スライドＩＤを記憶している。単語数欄５３０は、そのスライド内の単語の数を記憶している。その単語の数だけ単語１欄５４０、単語位置欄５５０の組み合わせがスライド・単語テーブル５００内にある。単語１欄５４０は、単語（テキストデータ）を記憶している。単語位置欄５５０は、その単語のスライド内の位置を記憶している。ｘ欄５５２は、ｘ座標を記憶している。ｙ欄５５４は、ｙ座標を記憶している。例えば、図２に示すようにスライドの左下を原点とした座標系としてもよいし、左上等を原点としてもよい。

座標記録モジュール１１８は、単語検出モジュール１１４、座標記憶モジュール１２０と接続されている。座標記録モジュール１１８は、単語検出モジュール１１４によって検出された単語の動画における発生時刻とその単語のスライドにおける位置を抽出する。そして、その抽出した情報を座標記憶モジュール１２０に記憶させる。「単語の動画における発生時刻」は、音声認識モジュール１１２の認識結果である。「単語のスライドにおける位置」は、スライド単語記憶モジュール１１６（より具体的には、その単語に対応するスライド・単語テーブル５００のｘ欄５５２、ｙ欄５５４）から抽出すればよい。

座標記憶モジュール１２０は、座標記録モジュール１１８、グループ化モジュール１３０と接続されている。座標記憶モジュール１２０は、座標記録モジュール１１８による抽出結果を記憶する。
座標記憶モジュール１２０は、例えば、単語・クラスタテーブル９００を記憶している。図９は、単語・クラスタテーブル９００のデータ構造例を示す説明図である。単語・クラスタテーブル９００は、動画ＩＤ欄９１０、スライドＩＤ欄９２０、単語欄９３０、単語位置欄９４０、発生時欄９５０、クラスタＩＤ欄９６０を有している。単語位置欄９４０は、ｘ欄９４２、ｙ欄９４４を有している。動画ＩＤ欄９１０は、動画ＩＤを記憶している。スライドＩＤ欄９２０は、スライドＩＤを記憶している。単語欄９３０は、座標記録モジュール１１８によって抽出された単語を記憶している。単語位置欄９４０は、その単語のスライド内の位置を記憶している。ｘ欄９４２は、ｘ座標を記憶している。ｙ欄９４４は、ｙ座標を記憶している。発生時欄９５０は、その単語の動画における発生時刻を記憶している。クラスタＩＤ欄９６０は、グループ化モジュール１３０による処理結果（その単語が含まれるクラスタを本実施の形態で一意に識別する情報であるクラスタＩＤ）を記憶している。

グループ化モジュール１３０は、座標記憶モジュール１２０、表示モジュール１４０と接続されている。グループ化モジュール１３０は、座標記録モジュール１１８による抽出結果（座標記憶モジュール１２０に記憶されている抽出結果）に基づいて、集合（以下、クラスタともいう）を生成する。その生成したクラスタのクラスタＩＤを単語・クラスタテーブル９００のクラスタＩＤ欄９６０に記憶させる。
集合の生成は、（１）単語の音声としての発生時刻、（２）その単語のスライドにおける位置（ｘ）、（３）その単語のスライドにおける位置（ｙ）の３つの要素からなる空間における位置に基づいてクラスタを生成する。クラスタ生成は、既存のクラスタリング（ｃｌｕｓｔｅｒｉｎｇ）手法を用いればよい。なお、それぞれの要素は、範囲を有していてもよい。発生時刻の範囲とは、その単語が発せられた時点から言い終わるまでの区間であり、位置の範囲とは、その単語が占めている領域の範囲である。

グループ化モジュール１３０は、座標記録モジュール１１８によって抽出された単語の発生時刻又は単語の位置の周辺領域における関連度に基づいて、集合を生成するようにしてもよい。詳細については、図１２、１４の例を用いて後述する。
グループ化モジュール１３０は、座標記録モジュール１１８によって抽出された単語の位置として、スライドにおけるその単語が含まれるレイアウトを用いるようにしてもよい。詳細については、図１３の例を用いて後述する。
グループ化モジュール１３０は、動画内の説明者の動作に基づいて、関連度を算出するようにしてもよい。詳細については、図１５の例を用いて後述する。

表示モジュール１４０は、グループ化モジュール１３０、指定モジュール１５０と接続されている。表示モジュール１４０は、グループ化モジュール１３０によって生成された集合をスライド上に表示する。詳細については、図１１、図１６（ａ）、図１７（ａ）の例を用いて後述する。
指定モジュール１５０は、表示モジュール１４０、再生モジュール１６０と接続されている。指定モジュール１５０は、操作者の操作に基づいて、表示モジュール１４０によって表示された集合を指定する。
また、指定モジュール１５０は、指定された集合内の単語を他の単語とは異なる態様でスライド上に表示し、操作者の操作に基づいて、その表示している単語を指定するようにしてもよい。詳細については、図１６（ｂ）、図１７（ｂ）の例を用いて後述する。

再生モジュール１６０は、指定モジュール１５０と接続されている。再生モジュール１６０は、指定モジュール１５０によって指定された集合内の単語のうち、その単語の発生時刻に基づいて、動画を再生する。「単語の発生時刻に基づいて、前記動画を再生する」とは、その集合の中で単語の発生時刻が予め定められた順番のものの発生時刻から再生してもよい。例えば、その集合の中で単語の発生時刻が最も古い（最も早くに説明が行われた）時刻から再生するようにしてもよいし、その集合の中で単語の発生時刻が最も新しい（最も遅くに説明が行われた）時刻から再生するようにしてもよい。

図６は、本実施の形態による処理例を示すフローチャートである。
ステップＳ６０２では、音声処理装置１００は、動画の音声から、スライド中の単語ａが検出されたとき、その時刻ｔ＿ａと単語ａの座標（ｘ＿ａ，ｙ＿ａ）を記録する。
図７は、音声処理装置１００による処理例を示す説明図である。図８は、音声処理装置１００の処理結果例を示す説明図である。
検出結果７０２は、「高速」という単語を動画２００の開始後３０秒に検出し、スライド１：２０１から検出単語８０２と検出単語８０８の位置を検出したことを示している。
検出結果７０４は、「プリント」という単語を動画２００の開始後３５秒に検出し、スライド１：２０１から検出単語８１０の位置を検出したことを示している。
検出結果７０６は、「ウォームアップ」という単語を動画２００の開始後５０秒に検出し、スライド１：２０１から検出単語８１２の位置を検出したことを示している。
検出結果７０８は、「スキャン」という単語を動画２００の開始後１００秒に検出し、スライド１：２０１から検出単語８０４の位置を検出したことを示している。
検出結果７１０は、「モノクロ」という単語を動画２００の開始後１１０秒に検出し、スライド１：２０１から検出単語８０６の位置を検出したことを示している。

ステップＳ６０４では、グループ化モジュール１３０は、３次元空間（ｘ，ｙ，ｔ）で記録された点を配置し、クラスタリング処理によってグループ化する。
図１０は、グループ化モジュール１３０による処理例を示す説明図である。この空間例は、図３の例に示すｘ軸、ｙ軸（スライド１：２０１のｘ軸、ｙ軸）と動画２００の経過時間の軸によって構成されている。図１０の例は、グループ化モジュール１３０によるクラスタリング処理の結果、検出結果７０２、検出結果７０４、検出結果７０６を含むクラスタ１：１０１０と、検出結果７０８、検出結果７１０を含むクラスタ２：１０２０の２つのクラスタができあがったことを示している。

ステップＳ６０６では、表示モジュール１４０は、各クラスタをスライド（ｘ，ｙ）上に投影し、部分領域を表示する。各クラスタの動画の時刻で最小のもの（最も古いもの）を、各クラスタ領域に対応する動画再生位置にする。図１１は、表示モジュール１４０による表示例を示す説明図である。表示モジュール１４０は、本実施の形態の備え付けられているディスプレイ等にスライド１：２０１を表示し、その上にグループ化モジュール１３０によるクラスタリングの結果（クラスタ１の投影領域１１１０、クラスタ２の投影領域１１２０）を表示する。

ステップＳ６０８では、指定モジュール１５０は、ビューアにおいて、あるクラスタを指定する。つまり、操作者の操作によって、ステップＳ６０６で表示されたスライド上のクラスタを指定する。
ステップＳ６１０では、再生モジュール１６０は、対応する時刻から動画を再生する。つまり、ステップＳ６０８で指定したクラスタの動画再生位置から動画を再生する。

また、グループ化モジュール１３０は次に示すような処理（図１２、１３、１４、１５）を行ってもよい。
図１２は、グループ化モジュール１３０による処理例を示す説明図である。前述の例では、単語のスライドにおける位置（ｘ，ｙ）によって、クラスタリング処理を行ったが、単語のスライドにおける位置（ｘ，ｙ）の周辺領域に関連度を付して、クラスタリング処理を行ってもよい。例えば、図１２の例に示すように、関連度として、検出単語領域１２０２（ｘ軸における検出単語領域１２２２）に最高値の関連度を付し、その周辺領域（関連領域１２２４、１２２６）に図１２に示すようなｘ１では最低値の関連度、ｘ２、ｘ３では最高値、ｘ４では最低値の関連度となるような算出式を用いるようにしてもよい。また、ｘ１、ｘ４の位置（すなわち、周辺領域の大きさを示す値）は、予め定められた値であってもよいし、検出単語領域１２０２の大きさに応じた値としてもよい。また、異なる単語の周辺領域が重なり合う場合があるが、その場合は、互いの関連度を加算するようにしてもよいし、いずれか大きい方（又は小さい方）の値を採用するようにしてもよい。

図１３は、グループ化モジュール１３０による処理例を示す説明図である。スライド１：２０１を予めレイアウト領域に分けておき、単語が含まれるレイアウト領域を用いてもよい。つまり、「単語が含まれるレイアウト領域の位置」を「単語がある位置」として、クラスタリング処理を行う。その場合に、前述の関連度を付すようにしてもよい。レイアウト領域に分けるとは、例えば、スライド１：２０１が画像の場合は、予め定められた大きさ以上の空白領域でスライド１：２０１を分割する等して、レイアウト領域に分ける。また、スライド１：２０１が電子文書の場合は、電子文書内のタグ情報（タイトル、段落等を示す情報）を用いて、レイアウト領域に分ける。図１３の例では、単語「プリント」が含まれるレイアウト領域として、タイトル領域１３０６を抽出し、タイトル領域１３０６の位置を単語「プリント」がある位置としてクラスタリング処理を行う。また、関連度として、図１２の例と同等のものをタイトル領域１３０６に付す。

図１４は、グループ化モジュール１３０による処理例を示す説明図である。関連領域（音声）１４１２は、単語「プリント」の音声認識モジュール１１２による音声認識の結果（検出単語領域（音声）１４１０）の周辺領域である。関連領域（音声）１４１２は、一連の発言区間（無音から無音までの区間）であってもよいし、検出単語領域（音声）１４１０に対して予め定められた関連領域（音声）１４２４、関連領域（音声）１４２６を加えた区間であってもよい。なお、関連領域（音声）１４１２として、単語の発生時刻から後の周辺領域（関連領域（音声）１４２６）の長さを、その発生時刻より前の周辺領域（関連領域（音声）１４２４）の長さよりも長くするようにしてもよい。対象としている単語が発生してからの音声の方が、発生する前よりも、その単語の説明となる場合が多いので、関連度が高い場合が多いからである。

図１５は、グループ化モジュール１３０による処理例を示す説明図である。
説明者１５００は、説明においてスライド１：２０１に対して、ポインティングデバイス１５１０等を用いて指し示す動作を行うことがある。スライド１：２０１へのポインティング情報（ポインティングデバイス１５１０が指し示したスライド１：２０１内の位置）から、スライド領域（ｘ，ｙ）と時刻の関連度を算出する。説明者１５００が、ポインティングデバイス１５１０を用いてポインティング領域１５２０を指し示した場合、その動作を行った時刻において発生した音声の単語の関連度を、他の時刻（そのような動作が行われていない時刻）における単語の関連度よりも高い値とする。また、その動作によって発生したポインティング領域１５２０の位置にある単語の関連度を、他の位置にある単語（ポインティング領域１５２０外の位置にある単語）の関連度よりも高い値とする。
なお、ポインティングデバイス１５１０として、３次元マウス等のように、３次元の位置を検出するものとしてもよいし、ポインティングデバイス１５１０以外に、動画中での説明者１５００の手の位置を動画像認識技術によって検出するようにしてもよいし、また、スライド１：２０１が電子文書であり、カーソルを表示して、マウス等でそのカーソルを移動する場合は、カーソルの位置を検出するようにしてもよいし、スライド１：２０１を表示しているディスプレイがタッチパネルである場合は、接触された位置を検出するようにしてもよい。

図１６は、表示モジュール１４０、指定モジュール１５０による表示例を示す説明図である。図１６（ａ）は、図１１の例と同等のものである。図１６（ｂ）は、図１６（ａ）の状態から、操作者の操作によってクラスタ１の投影領域１１１０が選択された場合の状態を示している。つまり、前述の例では、クラスタが指定されるとそのクラスタに対応した時刻から動画を再生するが、この例では、そのクラスタに属するキーワードを他の単語とは異なる態様で表示し、その単語を指定するとその単語を発言した時刻から動画を再生する。異なる態様とは、例えば、図１６（ｂ）の例に示すキーワード領域１６１２のように、その単語を囲むようにしてもよいし、その単語を赤色で表示するようにしてもよいし、その単語を大きく表示するようにしてもよいし、その単語をフリッカーさせるようにしてもよい。異なる態様として、図１７（ｂ）の例のように表示してもよい。また、選択されたクラスタ１の投影領域１１１０を拡大して表示するようにしてもよい。また、この処理は、クラスタ１の投影領域１１１０が指定された場合、クラスタ内には複数の単語が含まれているか否かを判断し、複数ある場合に、この処理を行うようにしてもよい。
例えば、キーワード領域１６１２が指定されると、キーワードとしての単語“高速”が選択され、ｔ＝３０から動画が再生される。キーワード領域１６１４が指定されると、キーワードとしての単語“プリント”が選択され、ｔ＝３５から動画が再生される。キーワード領域１６１６が指定されると、キーワードとしての単語“ウォームアップ”が選択され、ｔ＝５０から動画が再生される。

図１７は、表示モジュール１４０、指定モジュール１５０による表示例を示す説明図である。図１７（ａ）は、図１１の例と同等のものである。図１７（ｂ）は、図１７（ａ）の状態から、操作者の操作によってクラスタ１の投影領域１１１０が選択された場合の状態を示している。
ここでは、クラスタが指定された場合に、そのクラスタ内には再生時刻の候補が複数あるか否かを判断し、複数ある場合には、その動画のサムネイルリストのダイヤログを表示する。つまり、クラスタ１の投影領域１１１０が指定された場合、クラスタ内には複数の単語が含まれているか否かを判断し、複数ある場合はキーワード表示領域１７１０を表示する。キーワード表示領域１７１０には、クラスタ１の投影領域１１１０内に含まれている単語検出モジュール１１４が検出した単語のリストを表示する。キーワード表示領域１７１０内の単語を指定すると、その単語に対応した時刻から動画を再生する。

図１に例示の実施の形態は、グループ化モジュール１３０による処理を行っているが、この処理を行わなくてもよい。つまり、実施の形態としてグループ化モジュール１３０がないモジュール構成であってもよい。その場合、座標記憶モジュール１２０は表示モジュール１４０と接続されている。
そして、表示モジュール１４０は、座標記録モジュール１１８によって抽出された単語（座標記憶モジュール１２０に記憶されている抽出結果）を他の単語とは異なる態様でスライド上に表示する。例えば、図１６（ｂ）、図１７（ｂ）のように表示する。ただし、もちろんのことながらクラスタ表示は行わない。
指定モジュール１５０は、操作者の操作に基づいて、表示モジュール１４０によって表示された単語を指定する。
再生モジュール１６０は、指定モジュール１５０によって指定された単語の発生時刻から動画を再生する。

なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図１８に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバーとなり得るコンピュータ等である。つまり、具体例として、処理部（演算部）としてＣＰＵ１８０１を用い、記憶装置としてＲＡＭ１８０２、ＲＯＭ１８０３、ＨＤ１８０４を用いている。ＨＤ１８０４として、例えばハードディスクを用いてもよい。音声認識モジュール１１２、単語検出モジュール１１４、座標記録モジュール１１８、グループ化モジュール１３０、表示モジュール１４０、指定モジュール１５０、再生モジュール１６０等のプログラムを実行するＣＰＵ１８０１と、そのプログラムやデータを記憶するＲＡＭ１８０２と、本コンピュータを起動するためのプログラム等が格納されているＲＯＭ１８０３と、補助記憶装置であるＨＤ１８０４と、キーボード、マウス、タッチパネル等に対する利用者の操作に基づいてデータを受け付ける受付装置１８０６と、ＣＲＴ、液晶ディスプレイ等の出力装置１８０５と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インタフェース１８０７、そして、それらをつないでデータのやりとりをするためのバス１８０８により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。

前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図１８に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１８に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えばＡＳＩＣ等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１８に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、情報家電、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。

１００…音声処理装置
１１０…動画データ記憶モジュール
１１２…音声認識モジュール
１１４…単語検出モジュール
１１６…スライド単語記憶モジュール
１１８…座標記録モジュール
１２０…座標記憶モジュール
１３０…グループ化モジュール
１４０…表示モジュール
１５０…指定モジュール
１６０…再生モジュール

Claims (7)

1. 文書が撮影された動画の音声を認識する音声認識手段と、
   前記音声認識手段による認識結果と前記動画に撮影されている文書から抽出した単語とでいずれにも出現している単語を検出する検出手段と、
   前記検出手段によって検出された単語の前記動画における発生時刻と該単語の前記文書における位置を抽出する抽出手段と、
   前記抽出手段によって抽出された単語を他の単語とは異なる態様で前記文書上に表示する表示手段と、
   操作者の操作に基づいて、前記表示手段によって表示された単語を指定する指定手段と、
   前記指定手段によって指定された単語の発生時刻から前記動画を再生する再生手段
   を具備することを特徴とする情報処理装置。
2. 前記抽出手段による抽出結果に基づいて、集合を生成する生成手段
   をさらに具備し、
   前記表示手段は、前記生成手段によって生成された集合を前記文書上に表示し、
   前記指定手段は、操作者の操作に基づいて、前記表示手段によって表示された集合を指定し、
   前記再生手段は、前記指定手段によって指定された集合内の単語のうち、該単語の発生時刻に基づいて、前記動画を再生する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記生成手段は、前記抽出手段によって抽出された単語の発生時刻又は単語の位置の周辺領域における関連度に基づいて、集合を生成する
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記生成手段は、前記抽出手段によって抽出された単語の位置として、前記文書における該単語が含まれるレイアウトを用いる
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記生成手段は、前記動画内の説明者の動作に基づいて、前記関連度を算出する
   ことを特徴とする請求項３から４のいずれか一項に記載の情報処理装置。
6. 前記指定手段は、指定された集合内の単語を他の単語とは異なる態様で前記文書上に表示し、操作者の操作に基づいて、該表示している単語を指定する
   ことを特徴とする請求項２から５のいずれか一項に記載の情報処理装置。
7. コンピュータを、
   文書が撮影された動画の音声を認識する音声認識手段と、
   前記音声認識手段による認識結果と前記動画に撮影されている文書から抽出した単語とでいずれにも出現している単語を検出する検出手段と、
   前記検出手段によって検出された単語の前記動画における発生時刻と該単語の前記文書における位置を抽出する抽出手段と、
   前記抽出手段によって抽出された単語を他の単語とは異なる態様で前記文書上に表示する表示手段と、
   操作者の操作に基づいて、前記表示手段によって表示された単語を指定する指定手段と、
   前記指定手段によって指定された単語の発生時刻から前記動画を再生する再生手段
   として機能させるための情報処理プログラム。

Images