JP2010108296A - 情報処理装置、情報処理方法 - Google Patents

Abstract

【課題】 音声情報が記録された文書において所望の文字列を指定することで、指定した文字列に対応する音声をより簡便に検索する。
【解決手段】発話内容を示す音声情報と、発話中の各タイミングにおける時刻を示す時刻情報とを取得する。音声情報に対応する発話内容を文字列として記した文書情報を作成し、文字列を構成する文字に対して、文字の発話時刻を特定するための情報を埋め込み情報として埋め込み、出力する。埋め込み方法としては、文字列を複数の分割文字列に分割した場合に、先頭グループ中の先頭文字の発話時刻を先頭グループ中の文字に埋め込む。また、後続グループ中の先頭文字の発話時刻と先頭グループ中の先頭文字の発話時刻との差分情報を後続グループ中の文字に埋め込む。
【選択図】 図１

Description

本発明は、音声情報に基づいて、検索用の文書情報を生成するための技術に関するものである。

会議や講義を記録した動画や録音物から会議の議事録や講義の講義録を作成することがよく行われる。議事録は通常会議の要約文書であり、講義録は講義のほぼ全文が掲載される。その際、元の動画・音声と議事録・講義録を関連付けるために、動画・音声から、その音声の波形データや時刻情報を印字し、その内容を反映した文書を生成する技術が開示されている。
特開２００６−２９５６０６号公報

従来技術では、録音された音声を書き起こした文書中の、特定部分に対応する音声を再生しようとすると、その特定部分の録音音声中の時刻を推定し、該当すると思われる箇所の音声を確認しながら探すことが必要であり、効率的に検索する方法がなかった。

本発明は以上の問題に鑑みてなされたものであり、音声情報が記録された文書において所望の文字列を指定することで、指定した文字列に対応する音声をより簡便に検索する為の技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。

すなわち、発話内容を示す音声情報と、当該発話中の各タイミングにおける時刻を示す時刻情報とを取得する手段と、
前記音声情報に対応する前記発話内容を文字列として記した文書情報を取得する手段と、
前記文字列における文字に対して、当該文字の発話時刻を特定するための情報を埋め込み情報として埋め込む埋め込み手段と、
前記埋め込み手段により前記埋め込み情報が埋め込まれた文書情報を出力する文書出力手段と
を備え、
前記埋め込み手段は、
前記文字列を複数の分割文字列に分割した場合に、それぞれの分割文字列について、
１つの分割文字列を、１つの埋め込み情報を埋め込む為に用いる文字のグループ単位で分割した場合の先頭グループ中の先頭文字の発話時刻を前記時刻情報に基づいて求め、求めた発話時刻を示す情報を前記埋め込み情報として前記先頭グループ中の文字に埋め込む第１の手段と、
前記先頭グループに後続するグループである後続グループ中の先頭文字の発話時刻を前記時刻情報に基づいて求め、求めた発話時刻と前記第１の手段が求めた発話時刻との差分情報を前記埋め込み情報として前記後続グループ中の文字に埋め込む第２の手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の情報処理方法は以下の構成を備える。

すなわち、発話内容を示す音声情報と、当該発話中の各タイミングにおける時刻を示す時刻情報とを取得する工程と、
前記音声情報に対応する前記発話内容を文字列として記した文書情報を取得する工程と、
前記文字列における文字に対して、当該文字の発話時刻を特定するための情報を埋め込み情報として埋め込む埋め込み工程と、
前記埋め込み工程で前記埋め込み情報が埋め込まれた文書情報を出力する文書出力工程と
を備え、
前記埋め込み工程は、
前記文字列を複数の分割文字列に分割した場合に、それぞれの分割文字列について、
１つの分割文字列を、１つの埋め込み情報を埋め込む為に用いる文字のグループ単位で分割した場合の先頭グループ中の先頭文字の発話時刻を前記時刻情報に基づいて求め、求めた発話時刻を示す情報を前記埋め込み情報として前記先頭グループ中の文字に埋め込む第１の工程と、
前記先頭グループに後続するグループである後続グループ中の先頭文字の発話時刻を前記時刻情報に基づいて求め、求めた発話時刻と前記第１の工程で求めた発話時刻との差分情報を前記埋め込み情報として前記後続グループ中の文字に埋め込む第２の工程と
を備えることを特徴とする。

本発明によれば、音声情報が記録された文書において所望の文字列を指定することで、指定した文字列に対応する音声をより簡便に検索することができる。

以下、本発明における好適な実施形態を、図面を用いて詳細に説明する。

＜第１の実施形態＞
まず、本実施形態における、時刻情報が埋め込み情報として埋め込まれた文書を生成する、文書作成装置について説明する。図１は本実施形態における文書作成装置（情報処理装置）の主要な機能構成を示すブロック図である。

本実施形態に係る文書作成装置は、動画像データや音声データから、時刻情報が埋め込み情報として埋め込まれた文書を生成する装置であり、係る目的のためにこの文書作成装置は次のような構成を有する。即ち、本実施形態に係る文書作成装置は、動画・音声入力部１０２、文字列・時刻情報取得部１０３、文書生成部１０４、透かし情報埋め込み部１０５、文書出力部１０６を有する。

動画・音声入力部１０２は、音声データを含む動画データ（動画像情報）又は音声データといった、少なくとも発話内容を示す音声情報を含むデータ１０１から音声データを取得する。

文字列・時刻情報取得部１０３は、データ１０１に含まれている時刻情報を取得する。時刻情報とは、音声データが示す発話開始の時刻から定期的（例えば１秒毎）に計時した時刻を示す情報であり、発話中の各タイミングにおける時刻を示す。更に文字列・時刻情報取得部１０３は、動画・音声入力部１０２が取得した音声データに対応する発話内容を示す文字列を取得する。

文書生成部１０４は、文字列・時刻情報取得部１０３により取得された文字列を記した文書データを作成する。更に文書生成部１０４は、この文書データ中の各文字について、その文字が発話された時刻（絶対時刻）を、上記時刻情報を用いて特定し、その文字に関連付けて管理する。

透かし情報埋め込み部１０５は、文書生成部１０４が生成した文書データ中の文字に対して、その文字の発話時刻を特定するための時刻情報を埋め込み情報として埋め込む。

文書出力部１０６は、電子透かし埋め込み部１０５により埋め込み情報が埋め込まれた時刻情報含有文書１０７（図１では議事録、講義録）として出力する。

次に、図１に示した各部の動作について、図３のフローチャートを用いて説明する。図３は、文書データ中の文字に対してその文字に対応する時刻情報を埋め込んで出力する処理のフローチャートである。

まずステップＳ３０１では、動画・音声入力部１０２は、音声データを含む動画データ又は音声データといった、少なくとも音声情報を含むデータ１０１から音声データを取得する。ここでの音声データは、音波からなる現実の音声をＡ／Ｄ変換した結果としてのデータであってもよいし、サーバ等からダウンロードされたり放送局から放送されたりするストリーミング形式のデータであってもよい。また、ファイルやＣＤ・ＤＶＤなどの記録媒体に格納されたデータであってもよい。また、音声を書き起こした文字列と、その文字列に対応する動画又は音声中の部分に対応する時刻情報と、それらを関連付けるデータとを入力することもできる。また、ユーザが入力する、動画又は音声の作成時刻、作成者その他の関連情報を取得することもできるし、既にデータ化されている動画又は音声を取得する場合には、そのヘッダ情報を取得することもできる。

次にステップＳ３０２では、文字列・時刻情報取得部１０３は、データ１０１に含まれている、上述の時刻情報を取得すると共に、動画・音声入力部１０２が取得した音声データに対して音声認識処理を行い、その発話内容を示す文字列を生成する。ここでの音声認識は、音声を分割し、その中に含まれる音声の特徴量を認識辞書と比較し、対応する文字コードを取得することを指す。あるいは、動画に付与されたクローズドキャプション情報や字幕情報から、時刻情報と共に文字列を取得してもよい。

次にステップＳ３０３では、文書生成部１０４は、ステップＳ３０２で得たそれぞれの文字コードに対応する文字を並べた文字列を生成し、漢字変換、整形等の文書形成操作を施し、文書情報を生成する。更に文書生成部１０４は、この文書データ中の各文字について、その文字が発話された時刻（絶対時刻）を、上記時刻情報を用いて特定し、その文字に関連付けて管理する。

ここで、以降の処理では、この文書情報に対して埋め込み情報を埋め込むのであるが、以下に埋め込み技術について説明する。

電子透かしとは、文書に対して、通常見ただけでは知得されない形で情報を埋め込む技術であり、情報の埋め込み方法には様々な方法がある。本実施形態では、第１の埋め込み手段として文字間の距離を制御することで埋め込み情報を埋め込む方法（方式１）を用いる。また、第２の埋め込み手段として１つ１つの文字の属性を変化させて情報を埋め込む例として文字にパターンを重畳する方法（方式２）を用いる。

＜方式１：文字の間隔を操作する方法＞
文字の間隔を操作することで埋め込み情報を埋め込む方法について図１７と図１８を用いて説明する。図１７は、埋め込み情報を埋め込む前の文書情報の一部を示す図である。図１８は、図１７に示した文書情報の一部に対して埋め込み情報を埋め込んだ後の文書情報の一部を示す図である。

図１７に示される各文字間の空白長Ｐ０、Ｓ０、Ｐ１、Ｓ１は、埋め込み情報が埋め込まれると、図１８に示される各文字間の空白長Ｐ０’、Ｓ０’、Ｐ１’、Ｓ１’となる。図１７及び図１８では、文字が５文字、文字間の空白が４つある。本実施形態では、１ビットに対して２つの空白長を割り当てることから、４つの空白によって２ビットの情報を埋め込むことが可能である。例えば、Ｐ＞Ｓが「１」を表し、Ｐ＜Ｓが「０」を表すとする。ここで、図９におけるＰ０とＳ０との間の「子」という文字を左に、Ｐ１とＳ１との間の「か」という文字を左にシフトしたとする。すると、図１０に示す如く、Ｐ０’＜Ｓ０’、Ｐ１’＜Ｓ１’となり、００というビット列がこれらの空白に埋め込まれたことになる。

＜方式２：文字にパターンを重畳する方法＞
図１９は、文字にパターンを重畳することでこのパターンに対応する埋め込み情報をこの文字に対して埋め込む方法を説明する為の図である。例えば、文字に対して埋め込み情報「１」を埋め込む場合には、この文字に対してパターン１を重畳する。一方、文字に対して埋め込み情報「０」を埋め込む場合には、この文字に対してパターン２を重畳する。図１９の下部には、文字「あ」に対してパターン１を重畳した例を示している。この場合、この文字「あ」には埋め込み情報「１」が埋め込まれたことになる。もちろん、パターン１，パターン２として用いることができるパターンはこれ以外のものであっても良い。

以上、文書に電子透かしを埋め込む方法のうち、典型的な例をあげた。もちろん、他の電子透かし埋め込み方法を用いても良い。

ここで、方式１に従って時刻情報を埋め込む処理についてより詳細に説明する。

本実施形態では、文書中の文字列を１行毎に分割し、１行分の文字列（分割文字列）に対して、先頭文字の発話絶対時刻と、先頭文字に後続する文字の先頭文字の発話時刻に対する発話相対時刻と、を埋め込む。なお、発話絶対時刻、発話相対時刻は何れも、６ビットのビット列でもって表現可能であるので、本実施形態では、１つの埋め込み情報は６ビットのビット列となる。

文書生成部１０４は、各文字について、その発話された絶対時刻を示す時刻情報を管理しているので、透かし情報埋め込み部１０５は先ず、着目行の先頭文字の発話時刻（発話絶対時刻）を特定する。そして、特定した発話絶対時刻を、着目行の先頭から１３文字を用いて、方式１に基づいて埋め込む。次に透かし情報埋め込み部１０５は、着目行の先頭文字から１４文字目の文字の発話時刻（発話絶対時刻）を特定する。そして、特定した発話絶対時刻と、先頭文字の発話絶対時刻との差分情報（発話相対時刻）を求め、求めた発話相対時刻を、この１４番目の文字から１３文字を用いて、方式１に基づいて埋め込む。以降、着目行において埋め込み情報を埋め込んでいない残りの文字数が１３文字未満となるまで、発話相対時刻を方式１に基づいて埋め込む処理を行う。

このように、６ビットで表現される時刻情報を１行分の文字列に対して方式１に基づいて埋め込む場合には、係る文字列を１３文字毎のグループ単位で分割し、それぞれのグループについて、先頭文字の時刻情報をそのグループ内の１３文字に対して埋め込む。また、先頭グループ中には発話絶対時刻を埋め込み、後続グループ中には発話相対時刻を埋め込む。

そして、この処理を、各行について行う。これにより、方式１に基づいて埋め込み情報が埋め込まれた文書情報を取得することができる。

なお、この埋め込み方法を使用する利点としては、６ビット等の固定長ビットを用いているため、抽出が簡易に行えること、絶対時刻をそのまま埋め込むのに比べてデータ量を削減できることがあげられる。なお、時刻情報のビット数が長すぎる場合は、発話相対時刻のビット長を短くすることもできる。

次に、方式１に基づいて埋め込み情報が埋め込まれた文書情報に対して、方式２に基づく埋め込み処理を行う。方式１，方式２の両方の方式を用いて埋め込み情報を埋め込むのは、部分動画・音声の検索を、印刷した紙文書にマークを施して行う場合を考慮しており、マークが付与されても電子透かしの抽出が確実に成功するようにするためである。

本実施形態では、方式１と同様に、１行分の文字列に対して、先頭文字の発話絶対時刻と、先頭文字に後続する文字の先頭文字の発話時刻に対する発話相対時刻と、を埋め込む。１つの埋め込み情報を６ビットのビット列とするのも同様である。ただし、方式２では、６ビットの情報を埋め込むために必要な文字は６文字であり、１３文字を必要とする方式１とは異なる。この違いも含め、方式２に従って時刻情報を埋め込む処理についてより詳細に説明する。

文書生成部１０４は、各文字について、その発話された絶対時刻を示す時刻情報を管理しているので、透かし情報埋め込み部１０５は先ず、着目行の先頭文字の発話時刻（発話絶対時刻）を特定する。そして、特定した発話絶対時刻を、着目行の先頭から６文字を用いて、方式２に基づいて埋め込む。次に透かし情報埋め込み部１０５は、着目行の先頭文字から７文字目の文字の発話時刻（発話絶対時刻）を特定する。そして、特定した発話絶対時刻と、先頭文字の発話絶対時刻との相対時刻（発話相対時刻）を求め、求めた発話相対時刻を、この７番目の文字から６文字を用いて、方式２に基づいて埋め込む。以降、着目行において埋め込み情報を埋め込んでいない残りの文字数が６文字未満となるまで、発話相対時刻を方式２に基づいて埋め込む処理を行う。

このように、６ビットで表現されるの時刻情報を１行分の文字列に対して方式２に基づいて埋め込む場合には、係る文字列を６文字毎のグループに分割し、それぞれのグループについて、先頭文字の時刻情報をそのグループ内の６文字に対して埋め込む。また、先頭のグループについては発話絶対時刻を埋め込み、後続するグループについては発話相対時刻を埋め込む。

そして、この処理を、各行について行う。これにより、方式１と方式２の２つの方法に基づいて埋め込み情報が埋め込まれた文書情報を取得することができる。

以上、方式１と方式２の２つの方法に基づいて文書情報に時刻情報を埋め込み情報として埋め込む方法について説明した。本実施形態においては、図３のステップＳ３０５及びステップＳ３０６で、透かし情報埋め込み部１０５が、方式１と方式２の二つの方法を用いて、文書情報に時刻情報を埋め込み情報として埋め込む。

まず、ステップＳ３０５における埋め込み処理を、図５から図７のフローチャートを用いて詳細に説明する。図５は、上述の方式１による埋め込み情報埋め込み処理（ステップＳ３０５）のフローチャートである。ステップＳ３０５の処理は、全て電子透かし埋め込み部１０５が行う。

ステップＳ３０５ａにおいて、電子透かし埋め込み部１０５は、文書生成部１０４が生成した文書の先頭行に着目する。

ステップＳ３０５ｂでは、着目行に対して、埋め込み情報を埋め込む。この処理については後述する。

ステップＳ３０５ｃでは、着目行が文書の最終行であるかを判断する。着目行が最終行である場合は、ステップＳ３０５を終了する。最終行ではない場合は、着目行の次の行に新たに着目し（ステップＳ３０５ｄ）、ステップＳ３０５ｂに戻って以下処理を繰り返す。

続いて、ステップＳ３０５ｂでの処理を、図６を用いて詳細に説明する。図６は、ステップＳ３０５ｂでの処理を示すフローチャートである。ステップＳ３０５ｂ−ａで、電子透かし埋め込み部１０５は、着目行の先頭１３文字を選択文字列として選択する。次に、ステップＳ３０５ｂ−ｂで、選択文字列の先頭文字の発話時刻情報を、前述の通り文書生成部１０４が管理する時刻情報（絶対時刻情報）から取得する。

ステップＳ３０５ｂ−ｃで、ステップＳ３０５ｂ−ｂで取得した時刻情報を選択文字列に埋め込む。この処理については後述する。

ステップ３０５ｂ−ｄでは、着目行に、まだ選択していない文字が１３文字以上あるかを判断する。１３文字以上ない場合は、ステップＳ３０５ｂの処理を終了する。選択していない文字が１３文字以上ある場合は、ステップＳ３０５ｂ−ｅで、選択文字列に後続する１３文字を新たな選択文字列として選択する。

ステップＳ３０５ｂ−ｆでは、新たな選択文字列の先頭文字の発話時刻情報を、前述の通り文書生成部１０４が管理する時刻情報（絶対時刻情報）から取得する。ステップＳ３０５ｂ−ｇでは、着目行の先頭文字の発話時刻と、選択文字列の先頭文字の発話時刻との差を、時刻情報（相対時刻情報）として算出する。

ここでステップＳ３０５ｂ−ｃに戻り、選択文字列に時刻情報を埋め込み、以下処理を繰り返す。

続いて、ステップＳ３０５ｂ−ｃでの処理を、図７を用いて詳細に説明する。図７は、ステップＳ３０５ｂ−ｃでの処理を示すフローチャートである。

ステップＳ３０５ｂ−ｃ−ａにおいて、電子透かし埋め込み部１０５は、選択文字列の先頭から２文字目を指定する。さらに、ステップＳ３０５ｂ−ｃ−ｂにおいて、時刻情報の先頭ビットに着目する。

ステップＳ３０５ｂ−ｃ−ｃでは、時刻情報の着目ビットが０か１かを判断する。着目ビットが０の場合は、指定文字の前の文字との間隔が、指定文字の後ろの文字との間隔よりも狭くなるよう、指定文字を前に移動する。着目ビットが１の場合には、指定文字の前の文字との間隔が、指定文字の後ろの文字との間隔よりも広くなるよう、指定文字を後ろに移動する。

ステップＳ３０５ｂ−ｃ−ｆでは、指定文字が選択文字列の１２文字目かを判断する。指定文字が１２文字目の場合は、ステップＳ３０５ｂ−ｃの処理を終了する。１２文字目ではない場合は、選択文字列中、指定文字の２文字先の文字を新たに指定し（ステップＳ３０５ｂ−ｃ−ｇ）、時刻情報の着目ビットの次ビットを新たに選択して（ステップＳ３０５ｂ−ｃ−ｈ）、ステップＳ３０５ｂ−ｃ−ｃに戻る。

以上の処理により、ステップＳ３０５の、方式１による透かし情報埋め込み処理が終了する。

続けて、ステップＳ３０６で、透かし情報埋め込み部１０５は、ステップＳ３０５において電子透かし埋め込み部１０５が生成した文書情報に対し、文字の発話時刻を特定するための時刻情報を埋め込み情報として、方式２に従って埋め込む。この埋め込み情報埋め込み処理を、図８から図１０のフローチャートを用いて詳細に説明する。図８は、方式２による埋め込み情報埋め込み処理（ステップＳ３０６）のフローチャートである。ステップＳ３０６の処理は、全て電子透かし埋め込み部１０５が行う。

ステップＳ３０６ａにおいて、電子透かし埋め込み部１０５は、文書生成部１０４が生成した文書の先頭行に着目する。

ステップＳ３０６ｂでは、着目行に対して、埋め込み情報を埋め込む。この処理については後述する。

ステップＳ３０６ｃでは、着目行が文書の最終行であるかを判断する。着目行が最終行である場合は、ステップＳ３０６を終了する。最終行ではない場合は、着目行の次の行に新たに着目し（ステップＳ３０６ｄ）、ステップＳ３０６ｂに戻って以下処理を繰り返す。

続いて、ステップＳ３０６ｂでの処理を、図９を用いて詳細に説明する。図９は、ステップＳ３０６ｂでの処理を示すフローチャートである。

ステップＳ３０６ｂ−ａで、電子透かし埋め込み部１０５は、着目行の先頭６文字を選択文字列として選択する。次に、ステップＳ３０６ｂ−ｂで、選択した文字列の先頭文字の発話時刻情報を、前述の通り文書生成部１０４が管理する時刻情報（絶対時刻情報）から取得する。

ステップＳ３０６−ｃで、時刻情報を選択した文字列に埋め込む。この処理については後述する。

ステップ３０６ｂ−ｄでは、着目行に、まだ選択していない文字が６文字以上あるかを判断する。６文字以上ない場合は、ステップＳ３０６ｂの処理を終了する。選択していない文字が６文字以上ある場合は、ステップＳ３０６ｂ−ｅで、選択文字列に後続する６文字を文字列として新たに選択する。

ステップＳ３０６ｂ−ｆでは、新たに選択した文字列の先頭文字の発話時刻を、文書生成部１０４が管理する時刻情報を用いて特定する。ステップＳ３０６ｂ−ｇでは、着目行の先頭文字の発話時刻と、選択文字列の先頭文字の発話時刻との差を、時刻情報（相対時刻情報）として算出する。

ここでステップＳ３０６ｂ−ｃに戻り、選択文字列に時刻情報を埋め込み、以下処理を繰り返す。

続いて、ステップＳ３０６ｂ−ｃでの処理を、図１０を用いて詳細に説明する。図１０は、このステップでの処理を示すフローチャートである。

ステップＳ３０６ｂ−ｃ−ａにおいて、電子透かし埋め込み部１０５は、選択文字列の先頭文字を指定する。さらに、ステップＳ３０６ｂ−ｃ−ｂにおいて、時刻情報の先頭ビットに着目する。

ステップＳ３０６ｂ−ｃ−ｃでは、時刻情報の着目ビットが０か１かを判断する。着目ビットが０の場合は、前述の通り、指定文字に図１３に示すパターン２を重畳する（ステップＳ３０６ｂ−ｃ−ｄ）。着目ビットが１の場合には、指定文字に図１３に示すパターン１を重畳する（ステップＳ３０６ｂ−ｃ−ｅ）。

ステップＳ３０５ｂ−ｃ−ｆでは、指定文字が選択文字列の６文字目かを判断する。指定文字が６文字目の場合は、ステップＳ３０５ｂ−ｃの処理を終了する。６文字目ではない場合は、選択文字列中、指定文字の次の文字を新たに指定し（ステップＳ３０６ｂ−ｃ−ｇ）、時刻情報の着目ビットの次ビットに新たに着目して（ステップＳ３０６ｂ−ｃ−ｈ）、ステップＳ３０５ｂ−ｃ−ｃに戻る。

以上の処理により、ステップＳ３０６の、方式２による時刻情報埋め込み処理が終了する。

時刻情報を埋め込んだ文書情報は、時刻情報含有文書として文書出力部１０６が出力する（ステップＳ３０７）。出力形態は特に限定されるものではなく、印刷出力しても良いし、記憶装置やネットワーク上にデータとして出力しても良い。以上、本実施形態における電子透かし埋め込みについて述べた。

次に、上述の文書作成装置がデータ１０１に含まれる音声データに対応する文字列で構成された文書情報に、時刻情報を埋め込んだ文書情報中、ユーザが指定する文字列に対応するデータ部分を、データ１０１から抽出する検索装置について説明する。図２は本実施形態における検索装置（情報処理装置）の主要な機能構成を示すブロック図である。

本実施形態では、時刻情報を埋め込んだ文書情報は、文書の印刷物として出力されているものとする。ユーザは、前述の文書作成装置が出力した、時刻情報を埋め込み情報として持つ文書に含まれる文字列のうち、所望の文字列にマークをつけて指定を行う。本実施形態における検索装置は、ユーザがマークをつけた文書を取得し、マークをつけた文字列、すなわち指定文字列に対応する部分のデータ（部分データ）を、データ１０１から抽出し、出力する。

この目的を達成するために、この検索装置は次のような構成を備える。即ち、本実施形態に係る検索装置は、文書入力部２０１、マーク位置・種別検出部２０２、電子透かし抽出方法決定部２０３、電子透かし抽出部２０４、検索部２０５を備える。

文書入力部２０１は、マーク済文書２００を取得し、マーク済文書２００の画像（文書画像）を生成して、文書画像に含まれる文字の位置とその文字コードを取得する機能を有する。マーク済文書２００とは、前述の文書作成装置が出力した時刻情報を埋め込み情報として持つ、時刻情報含有文書１０７に対して、マークを付加した文書を指す。このマークにより、ユーザは、文書に含まれる文字列のうち、所望の文字列を指定する。

マーク位置・種別検出部２０２は、文書入力部２０１が取得したマーク済文書２００から、マークの位置と種別を取得する。

電子透かし抽出方法決定部２０３は、マーク位置・種別検出部２０２が取得したマークの種別を判断し、判断結果に従って、埋め込み情報の抽出方法を決定する機能を有する。

電子透かし抽出部２０４は、電子透かし抽出方法決定部２０３が決定した方法に従って、マーク済文書２００から、指定文字列の先頭と末端に埋め込まれている埋め込み情報を抽出する機能を有する。

検索部２０５は、電子透かし抽出部２０４が抽出した埋め込み情報を用い、ユーザが指定した文字列に対応する発話内容を、データ１０１から抽出する。データ１０１は、前述の文書生成装置が、マーク済文書２００を生成する際にデータであり、データ１０１は、発話内容を示す音声データと、発話中の各タイミングにおける時刻を示す情報とを含む。検索部２０５は、このデータ１０１を取得し、データ１０１中、指定文字列の先頭の埋め込み情報が示す時刻に最も近い時刻を持つデータから、指定文字列の末端の埋め込み情報が示す時刻に最も近い時刻を持つデータまでを特定する。続いて特定したデータを抽出し、部分データ２０６として出力する（音声出力手段）。

次に、図２に示した各部の動作について、図４のフローチャートを用いて説明する。図４は、上述の文書作成装置が出力した文書においてユーザが指定した文字列に対応する音声データを検索する処理を示すフローチャートである。

まず、ステップＳ４０１において、文書入力部２０１がマーク済文書２００の文書画像を取得する。また、文書入力部２０１は取得した文書画像に対してＯＣＲを行い、文書画像に含まれる文字の、外接矩形の位置及び文字コードを取得する。

本実施形態においては、ユーザは、文書上にマークを行うことで、文書中の連続する１つの文字列を指定するものとする。マーク方法は特に限定されず、ユーザは、例えばラインマーク、アンダーライン、丸、四角などの囲み、チェック印等によりマークを行うことが可能である。所望する文字列を囲みにより指定しても良いし、所望する文字列の前後にチェック印を付けても良い。また、文書は複数ページで構成されるものでもよいし、マークも複数ページにまたがっていてよい。

次に、マーク位置・種別検出部２０２が文書画像に行われたマークの種別を取得する。また、マークにより示される文字列を、ユーザの指定する文字列として取得する（ステップＳ４０２）。この取得方法は限定されるものではなく、複数の方法によって行われる。本実施形態では、次の方法により、ラインマーク、アンダーライン、四角形の囲み、文字の上部に対するチェック印のうち、どれか１つの手段で行われたマークにより示される文字列を取得するものとする。次の説明では、文書画像は横書きであるとする。

１．ラインマークの検出
文書画像に含まれる画素の画素値（ＲＧＢ値）を参照し、文字色、背景色以外を示す画素値を有する画素群を取得する。文書画像中の文字の外接矩形内の画素数について、文書画像中に含まれる１つの文字あたりの平均を算出し、算出した平均と比較して画素群に含まれる画素数の方が多い場合は、マーク種別はラインマークであると判断する。少ない場合は、取得した画素群が示す文書画像中の領域は、ノイズ、あるいはアンダーライン等の広い範囲を塗りつぶさないマークであると判断し、ラインマーク検出処理を終了する。

マーク種別はラインマークであると判断した場合の、ユーザの指定する文字列の取得処理は以下の通りである。すなわち、文字色、背景色以外を示す画素値を有する画素群に含まれる画素と、文書入力部２０１がＯＣＲにより得た１つの文字の外接矩形内の画素との間に、共通の画素を１つ以上持つ外接矩形を文書画像全体から抽出する。そして、抽出した外接矩形に含まれる文字列を、ユーザの指定する文字列として取得する。

２．チェック印、アンダーライン及び囲みの検出
まず、二値化した文書画像の画素値を行方向に射影してヒストグラムを得る。文字の外接矩形の存在しない部分、すなわち行間部分（文書画像の上端及び下端を含む）であって、ピークが存在する行間を検出し、その行間領域を抽出する。これは、行方向の線が書き込まれている行間を取得する処理に相当する。次に、抽出した行間領域の各々を列方向に射影してヒストグラムを得る。行間領域のうち、ヒストグラム値が閾値以上である部分を検出し、行間においてマークが書き込まれている部分としてその部分を抽出する。

次に、抽出した部分に書き込まれているマークが、チェック印であるかどうかを判断する。文書画像中の文字の外接矩形の行方向の画素数について、文書画像中に含まれる１つの文字あたりの平均画素数を算出する。算出した平均画素数と比較して、抽出した部分の行方向の画素数が少なく、かつ抽出した部分が２カ所の場合は、書き込まれたマークはチェック印であると判断する。この場合、チェック印と判断された２つのマーク各々について、その直下の文字の外接矩形を取得する。これは、チェック印は指定文字の上に付することを前提としているからであり、チェック印を指定文字の下に付するのであれば、チェック印と判断された２つのマーク各々について、その直上の文字の外接矩形を取得することになる。この２つの外接矩形のうち、先頭行との距離が短い方、距離が同一の場合は文書の左端に近い方に含まれる文字をユーザが指定する文字列の始点とする。同様に、先頭行との距離が長い方、距離が同一の場合は文書の右端に近い方の外接矩形に含まれる文字をユーザが指定する文字列の終点とする。始点から終点までの文字列を、ユーザが指定する文字列として取得し、取得処理を終了する。

一方、算出した平均画素数と比較して、抽出した部分の行方向の画素数が多い場合には、マークがアンダーラインであるか囲みであるかを判断する。そのために、文書画像全体を列方向に射影し、ピークが存在する文字間、すなわち列方向の線が書き込まれているであろう文字間（文書画像の右端及び左端を含む）を検出し、その文字間領域を抽出する。続いて、抽出した文字間領域に、連続する線分が存在するかどうかを調べる。抽出した文字間領域の各々を行方向に射影して得たヒストグラムの値が、閾値以上である部分が一定以上存在するかどうかを調べればよい。文書画像中の文字の外接矩形の列方向の画素数について平均を求め、この列方向の平均画素数よりもヒストグラム値が連続して閾値以上である部分の画素数が多い場合には、抽出した文字間領域に、連続する線分があると判断される。

文字間に連続する線分がない場合には、行間領域内にアンダーラインが存在すると判断されることになり、結果として、マークの種別はアンダーラインであると判定する。この場合は、行間においてマークが書き込まれている部分を示す範囲の上方、直近の位置に存在する外接矩形に含まれる文字からなる文字列を、ユーザが指定する文字列として取得し、取得処理を終了する。

文字間に連続する線分がある場合には、行間領域内にアンダーラインが存在し、且つ文字間領域内にも連続する線分が存在することになり、結果として、これら４本の線分による囲みが存在すると判断されることになる。従って、結果として、マークの種別は囲みであると判定する。

この場合、行間においてマークが書き込まれている部分を示す範囲に含まれる画素であって、先頭行との距離が最も短い画素のうち、先頭行との距離が同一の場合は文書の左端に最も近い画素を選択する。選択した画素の右下、直近の位置に存在する外接矩形に含まれる文字を、ユーザが指定する文字列の最初の文字として取得する。同様に、行間においてマークが書き込まれている部分を示す範囲に含まれる画素であって、先頭行との距離が最も長い画素のうち、文書の右端に最も近い画素を選択する。選択した画素の左上、直近の位置に存在する外接矩形に含まれる文字を、ユーザが指定する文字列の最後の文字として取得する。この取得処理は、ユーザが囲みにより指定する範囲に含まれる、左上端の文字と右下端の文字を取得することに相当する。以上で取得した、ユーザが指定する文字列の最初の文字及び最後の文字から、ユーザが指定する文字列を確定し、確定した文字列をユーザが指定する文字列として取得する。

以上で、ステップＳ４０２における、マーク種別及びユーザ指定文字列取得処理が終了する。

電子透かし抽出方法決定部２０３は、ステップＳ４０２でマーク位置・種別検出部２０２が得たマーク種別に従い、埋め込み情報の抽出方法を決定する（ステップＳ４０３）。本実施形態では、次の方法で抽出方法を決定するが、この方法に限定されない。

１．もしマークがラインマークであれば、文字の背景色がラインマークにより変更されるため、文字に重畳されたパターン等の文字の属性を判別することが難しくなる。よって、ステップＳ４０４へ進み、文字の間隔等、複数の文字間の関係を利用して埋め込まれた電子透かしを抽出する方式により埋め込み情報を取得する。

２．囲み、チェック印、アンダーライン等、文字の間隙にマークが付されている場合は、複数の文字間の関係の測定が難しい。この場合はステップＳ４０５へ進み、文字へのパターン重畳、文字の傾き、大きさ変更等、１文字単位の属性を利用して埋め込まれた電子透かしを抽出する方式により埋め込み情報を取得する。

ステップＳ４０４では、電子透かし抽出部２０４は、マーク済文書２００に埋め込まれている埋め込み情報のうち、文字の間隔を操作して埋め込まれた埋め込み情報を抽出する。すなわち、上述の文書作成装置が、方式１に従って埋め込んだ埋め込み情報を抽出する。

抽出方法は以下の通りである。すなわち、まず電子透かし抽出部２０４は、ユーザがマークした文字列の先頭文字（マーク開始文字）を着目文字とし、着目文字の属する行の画像を取得する。

着目文字の属する行の先頭文字から１３文字の文字列を選択文字列として選択し、選択した１３文字それぞれの文字間隔に埋め込まれている埋め込み情報を絶対時刻情報として抽出する。文書入力部２０１がＯＣＲを行うことで文字の位置情報は分かっており、マーク位置・種別検出部２０２は着目文字の位置情報を取得しているので、両者を比較し、選択文字列中に着目文字が含まれているかどうかを調べる。選択文字列中に着目文字が含まれているのなら抽出した絶対時刻を着目文字の発話時刻とする。

選択文字列中に着目文字が含まれていないのなら、着目文字の属する行の１４番目の文字から１３文字の文字列を後続文字列として選択し、後続文字列中に着目文字が含まれているかどうかを調べる。以降、後続文字列に続く１３文字の文字列を新たな後続文字列として選択し、後続文字列中に着目文字が含まれているかどうかを調べる操作を１３文字毎に行い、着目文字が含まれる文字列を探す。着目文字が含まれる文字列の、それぞれの文字間隔に埋め込まれている透かし情報を、相対時刻情報として抽出し、絶対時刻情報に相対時刻情報を加え、着目文字の発話時刻とする。

着目文字の属する行に含まれる文字列を先頭から１３文字毎に区切った場合に、行の末端に生じる１３文字未満の文字列に着目文字が属し、着目文字の属する文字列から時刻情報を抽出することができないことがある。この場合は、着目文字の属する行の末端の１３文字未満の文字列の、直前の１３文字からなる文字列から、時刻情報を抽出すればよい。

続いて、電子透かし抽出部２０４は、ユーザがマークした文字列の末端文字（マーク終了文字）に着目し、先頭文字に着目した場合と同様の処理で、末端文字の発話時刻を取得する。

以上、方式１に従って埋め込んだ埋め込み情報の取得方法について述べた。

続いて、ステップＳ４０５では、電子透かし抽出部２０４は、マーク済文書２００に埋め込まれている埋め込み情報のうち、文字にパターンを重畳することで埋め込まれた埋め込み情報を抽出する。すなわち、上述の文書作成装置が、方式２に従って埋め込んだ埋め込み情報を抽出する。

方法は以下の通りである。すなわち、まず電子透かし抽出部２０４は、マーク開始文字を着目文字とし、着目文字が属する行の画像を取得する。

着目文字が属する行の先頭文字から、６文字からなる文字列を、選択文字列として選択し、文字に重畳されているパターンから埋め込み情報を抽出し、絶対時刻情報とする。文書入力部２０１がＯＣＲを行うことで文字の位置情報は分かっており、マーク位置・種別検出部２０２は着目文字の位置情報を取得しているので、両者を比較し、選択文字列中に着目文字が含まれているかどうかを調べる。選択文字列中に着目文字が含まれているのなら、その絶対時刻を着目文字の発話時刻とする。

選択文字列中に着目文字が含まれていないのなら、取得行の７番目の文字から６文字の文字列を後続文字列として選択し、後続文字列中に着目文字が含まれているかどうかを調べる。この操作を６文字毎に行い、着目文字が含まれる文字列を探す。着目文字が含まれる文字列に重畳されているパターンから抽出した透かし情報を、相対時刻情報とする。絶対時刻情報に相対時刻情報を加え、着目文字の発話時刻とする。

着目文字の属する行に含まれる文字列を先頭から６文字毎に区切った場合に、行の末端に生じる６文字未満の文字列に着目文字が属し、着目文字の属する文字列から時刻情報を抽出することができないことがある。この場合は、着目文字の属する行の末端の６文字未満の文字列の、直前の６字からなる文字列から、時刻情報を抽出すればよい。

続いて、電子透かし抽出部２０４は、マーク終了文字に着目し、先頭文字に着目した場合と同様の処理で、末端文字の発話時刻を取得する。

以上、方式２に従って埋め込んだ埋め込み情報の取得方法について述べた。

ここまで、文書情報に埋め込まれた時刻情報を取得する方法について説明した。本実施形態においては、電子透かし抽出部２０４が、電子透かし抽出方法決定部２０３が決定した方法に従い、方式１または方式２のどちらかの方法で埋め込まれた埋め込み情報を取得する。方式１で埋め込まれた埋め込み情報を取得する処理（ステップＳ４０４）、および方式２で埋め込まれた埋め込み情報を取得する処理（ステップＳ４０５）を、これより詳述する。この処理は、電子透かし抽出部２０４が行う。

図１１は、ステップＳ４０４での処理を示すフローチャートである。ステップＳ４０４においてまず、電子透かし抽出部２０４は、マーク位置・種別検出部２０２が取得したマーク位置に従い、マーク開始文字を含む行の画像を取得する（ステップＳ４０４ａ）。

ステップＳ４０４ｂでは、ステップＳ４０４ａで取得した画像から、マーク開始文字の発話時刻を取得する。この処理については後述する。

ステップＳ４０４ｃでは、ステップＳ４０４ａと同様に、マーク終了文字を含む行の画像を取得する。ステップＳ４０４ｄでは、ステップＳ４０４ｂと同様の処理で、マーク終了文字の発話時刻を取得する。

図１２は、ステップＳ４０４ｂの処理を詳細に示すフローチャートであり、以下この図に従ってステップＳ４０４ｂの処理を詳述する。

ステップＳ４０４ｂ−ａでは、文書入力部２０１が得た文字の位置情報を参照し、マーク開始文字を含む行に含まれる文字のうち、先頭の１３文字を選択文字列として選択する。

ステップＳ４０４ｂ−ｂで、選択した文字列に埋め込まれている時刻情報を絶対時刻情報として抽出する。時刻情報の抽出方法は後述する。

ステップＳ４０４ｂ−ｃでは、選択文字列にマーク開始文字が含まれないこと、及び、マーク開始文字を含む行において、選択文字列の後ろに文字が１３文字以上存在すること、が満たされるかを判断する。この処理では、文書入力部２０１が得た文字の位置情報と、マーク位置・種別検出部２０２が得たマーク開始文字の位置情報とを参照する。双方が満たされる場合は、ステップＳ４０４ｂ−ｅに進む。どちらか一方でも満たされない場合は、ステップＳ４０４ｂ−ｄに進む。

ステップＳ４０４ｂ−ｄでは、ステップＳ４０４ｂ−ｂで抽出した絶対時刻情報を、マーク開始文字の時刻情報として、ステップＳ４０４ｂの処理を終了する。

ステップＳ４０４ｂ−ｅでは、選択文字列に後続する１３文字を新たに選択文字列として選択する。ステップＳ４０４ｂ−ｆでは、新たな選択文字列にマーク開始文字が含まれないこと、及び、マーク開始文字を含む行において、新たな選択文字列の後ろに文字が１３文字以上存在すること、の双方が満たされるかどうかを判断する。双方が満たされる場合は、ステップＳ４０４ｂ−ｅに戻る。どちらか一方でも満たされない場合は、ステップＳ４０４ｂ−ｇに進む。

ステップＳ４０４ｂ−ｇでは、ステップＳ４０４ｂ−ｅにおいて選択されている選択文字列の時刻情報を、相対時刻情報として抽出する。時刻情報の抽出処理は、ステップＳ４０４ｂ−ｂと同様である。

ステップＳ４０４ｂ−ｈで、ステップＳ４０４ｂ−ｂで抽出した絶対時刻情報と、ステップＳ４０４ｂ−ｇで抽出した相対時刻情報の和を、マーク開始文字の時刻情報とし、ステップＳ４０４ｂの処理を終了する。

以上が、ステップＳ４０４ｂにおける、マーク開始文字の発話時刻を取得する処理である。ステップＳ４０４ｄの処理も、マーク開始文字の代わりにマーク終了文字を用いる以外はステップＳ４０４ｂの処理と同様である。

次に、図１３を用いて、ステップＳ４０４ｂ−ｂの、時刻情報抽出処理について詳述する。図１３は、ステップＳ４０４ｂ−ｂの、時刻情報抽出処理を示すフローチャートである。

ステップＳ４０４ｂ−ｂ−ａではまず、６ビットからなる、全て０のビット列を保存領域に用意する。次に、ステップＳ４０４ｂ−ｂ−ｂで、選択文字列の２文字目に着目する。

ステップＳ４０４ｂ−ｂ−ｃでは、着目文字と、着目文字の前の文字との間隔を、間隔Ｐとして取得する。また、着目文字と、着目文字の次の文字との間隔を、間隔Ｓとして取得する。文字間隔情報は、文書入力部２０１が取得した位置情報から得ることができる。

ＰとＳの長さを比較し、Ｐ＞ＳであればステップＳ４０４ｂ−ｂ−ｄに、Ｐ＜ＳであればステップＳ４０４ｂ−ｂ−ｅへと進む。

ステップＳ４０４ｂ−ｂ−ｄでは、保存領域にあるビット列の末尾に「１」を追加し、ステップＳ４０４ｂ−ｂ−ｆへ進む。ステップＳ４０４ｂ−ｂ−ｅでは、保存領域にあるビット列の末尾に「０」を追加し、ステップＳ４０４ｂ−ｂ−ｆへ進む。

ステップＳ４０４ｂ−ｂ−ｆでは、着目文字が、選択文字列の１２文字目であるかを調べる。１２文字目ではない場合は、選択文字列中、着目文字の２文字後ろの文字を新たに選択し（ステップＳ４０４ｂ−ｂ−ｇ）、ステップＳ４０４ｂ−ｂ−ｃに戻る。着目文字が１２文字目の場合は、保存領域中のビット列を時刻情報として（ステップＳ４０４ｂ−ｂ−ｈ）、ステップＳ４０４ｂ−ｂの処理を終了する。

以上が、ステップＳ４０４ｂ−ｂにおける、時刻情報抽出処理である。なお、ステップＳ４０４ｂ−ｇにおける時刻情報抽出処理も、同様に行われる。

以上、ステップＳ４０４における、方式１に従って埋め込んだ埋め込み情報の抽出処理について述べた。

次に、ステップＳ４０５での処理について、図１４に示すフローチャートを参照して説明する。ステップＳ４０５においてまず、電子透かし抽出部２０４は、マーク位置・種別検出部が取得したマーク位置に従い、マーク開始文字を含む行の画像を取得する（ステップＳ４０５ａ）。

ステップＳ４０５ｂでは、ステップＳ４０５ａで取得した画像から、マーク開始文字の発話時刻を取得する。この処理については後述する。

ステップＳ４０５ｃでは、ステップＳ４０５ａと同様に、マーク終了文字を含む行の画像を取得する。ステップＳ４０５ｄでは、ステップＳ４０５ｂと同様の処理で、マーク終了文字の発話時刻を取得する。

図１５は、ステップＳ４０５ｂの処理を詳細に示すフローチャートであり、以下この図に従ってステップＳ４０５ｂの処理を詳述する。

ステップＳ４０５ｂ−ａでは、文書入力部２０１が得た文字の位置情報を参照し、マーク開始文字を含む行に含まれる文字のうち、先頭の６文字を文字列として選択する。

ステップＳ４０５ｂ−ｂで、選択した文字列に埋め込まれている時刻情報を絶対時刻情報として抽出する。時刻情報の抽出方法は後述する。

ステップＳ４０５ｂ−ｃでは、選択文字列にマーク開始文字が含まれないこと、及び、マーク開始文字を含む行において、選択文字列の後ろに文字が６文字以上存在すること、が満たされるかを判断する。この処理では、文書入力部２０１が得た文字の位置情報と、マーク位置・種別検出部２０２が得たマーク開始文字の位置情報とを参照する。双方が満たされる場合は、ステップＳ４０５ｂ−ｅに進む。どちらか一方でも満たされない場合は、ステップＳ４０５ｂ−ｄに進む。

ステップＳ４０５ｂ−ｄでは、ステップＳ４０５ｂ−ｂで抽出した絶対時刻情報を、マーク開始文字の時刻情報として、ステップＳ４０５ｂの処理を終了する。

ステップＳ４０５ｂ−ｅでは、選択文字列に後続する６文字を新たに選択文字列として選択する。ステップＳ４０５ｂ−ｆでは、新たな選択文字列にマーク開始文字が含まれないこと、及び、マーク開始文字を含む行において、新たな選択文字列の後ろに文字が６文字以上存在すること、の双方が満たされるかどうかを判断する。双方が満たされる場合は、ステップＳ４０５ｂ−ｅに戻る。どちらか一方でも満たされない場合は、ステップＳ４０５ｂ−ｇに進む。

ステップＳ４０５ｂ−ｇでは、ステップＳ４０５ｂ−ｅにおいて選択されている選択文字列の時刻情報を、相対時刻情報として抽出する。時刻情報の抽出処理は、ステップＳ４０５ｂ−ｂと同様である。

ステップＳ４０５ｂ−ｈで、ステップＳ４０５ｂ−ｂで抽出した絶対時刻情報と、ステップＳ４０５ｂ−ｇで抽出した相対時刻情報の和を、マーク開始位置の時刻情報とし、ステップＳ４０５ｂの処理を終了する。

以上が、ステップＳ４０５ｂにおける、マーク開始位置の発話時刻を取得する処理である。ステップＳ４０５ｄの処理も、マーク開始文字の代わりにマーク終了文字を用いる以外はステップＳ４０５ｂの処理と同様である。

次に、図１６を用いて、ステップＳ４０５ｂ−ｂの、時刻情報抽出処理について詳述する。図１６は、ステップＳ４０５ｂ−ｂの、時刻情報抽出処理を示すフローチャートである。

ステップＳ４０５ｂ−ｂ−ａではまず、６ビットからなる、全て０のビット列を保存領域に用意する。次に、ステップＳ４０５ｂ−ｂ−ｂで、選択文字列の先頭文字に着目する。

ステップＳ４０５ｂ−ｂ−ｃでは、注目文字に重畳されているパターンが、パターン１であるか、パターン２であるかを調べる。パターン１の場合は、ステップＳ４０５ｂ−ｂ−ｄに進む。パターン２の場合は、ステップＳ４０５ｂ−ｂ−ｅへと進む。

ステップＳ４５４ｂ−ｂ−ｄでは、保存領域にあるビット列の末尾に「１」を追加し、ステップＳ４０５ｂ−ｂ−ｆへ進む。ステップＳ４０５ｂ−ｂ−ｅでは、保存領域にあるビット列の末尾に「０」を追加し、ステップＳ４０５ｂ−ｂ−ｆへ進む。

ステップＳ４０５ｂ−ｂ−ｆでは、着目文字が、選択文字列の６文字目であるかを調べる。６文字目ではない場合は、選択文字列中、着目文字の次の文字に新たに着目し（ステップＳ４０５ｂ−ｂ−ｇ）、ステップＳ４０５ｂ−ｂ−ｃに戻る。着目文字が６文字目の場合は、保存領域中のビット列を時刻情報として（ステップＳ４０５ｂ−ｂ−ｈ）、ステップＳ４０５ｂ−ｂの処理を終了する。

以上が、ステップＳ４０４ｂ−ｂにおける、時刻情報抽出処理である。なお、ステップＳ４０４ｂ−ｇにおける時刻情報抽出処理も、同様に行われる。

以上、ステップＳ４０４における、方式１に従って埋め込んだ埋め込み情報の抽出処理について述べた。

以上の、ステップＳ４０４及びステップＳ４０５の埋め込み情報抽出処理において、マーク開始文字またはマーク終了文字が、文字が少なく、時刻情報が埋め込まれていない行に属することが考えられる。係る場合には、マーク開始文字またはマーク終了文字の近傍の行から時刻情報を抽出すればよい。

続くステップＳ４０６において、検索部２０５は、電子透かし抽出部２０４が取得したマーク開始文字の発話時刻とマーク終了文字の発話時刻に従って、データ１０１内を検索する。本実施形態では、検索部２０５は、データ１０１を取得し、データ１０１内の、マーク開始文字の発話時刻から、マーク終了文字の発話時刻までの時間に係るデータ部分を選択する。選択されたデータ部分は、部分データ２０６として出力される。部分データ２０６は、動画データ又は音声データといった、少なくとも音声情報を含むデータとなる。出力の方法は限定されるものではなく、部分データを再生しても良いし、記憶装置やネットワーク上に保存しても良い。

以上、本実施形態に係る、埋め込み情報の抽出処理について述べた。本実施形態に係る情報処理装置は、文書全体の透かし情報ではなく、マーク位置付近の透かし情報だけを抽出すればよいことに特徴がある。文書全体の透かし情報を読み取る場合と比べ、処理速度の向上が見込まれる。

＜変形例＞
第１の実施形態では、時刻情報の埋め込み方法として、文字間隔を変化させる方法（方式１）について述べたが、２つ以上の文字間の関係を利用する方法なら方法は限定されない。また、時刻情報の埋め込み方法として、文字へのパターン重畳による方法（方式２）についても述べたが、１文字の属性を利用する方法であれば方法は限定されない。例えば、文字の大きさの変更、文字の傾きの変更、文字の特徴量等の変更によって埋め込み情報を埋め込んでも良い。また、必要に応じて別の埋め込み方式を利用することも、同時に使用する埋め込み方式の種類を減らすことも増やすことも可能である。

また、第１の実施形態では、文書を１行毎に分割し、絶対時刻情報と０個以上の相対時刻情報を組とした時刻情報を埋め込む方法を説明したが、句読点で分割して時刻情報を埋め込むことも可能である。具体的には、句読点で区切られる文字列の先頭に絶対時刻情報を埋め込み、絶対時刻情報に続けて相対時刻を埋め込めばよい。

第１の実施形態では絶対時刻情報として、文字が発話された時刻までの、データ１０１の先頭からの経過時間を利用しているが、データ１０１に含まれる音声を録音した際、文字が現実に発話された時刻を絶対時刻情報として利用しても良い。

また、動画・音声入力部１０２が、データ１０１に含まれるヘッダ情報、あるいはユーザが入力する情報を取得し、時刻情報含有文書１０７に音声、動画、文書の作成者情報、作成時情報等の属性情報を埋め込むことも可能である。

マーク開始文字またはマーク終了文字を含む文字列からの時刻情報抽出に失敗した場合、抽出できない情報は無視して、マーク開始文字またはマーク終了文字の近傍の文字列から抽出した時刻情報を利用することも可能である。また、情報抽出に成功した場合でも、マーク開始文字またはマーク終了文字の近傍の文字列から抽出した時刻情報を抽出結果の確認に使うこが可能である。

第１の実施形態では、絶対時刻情報と相対時刻情報をそれぞれ６ビットの情報として文書に埋め込む構成としたが、情報量はこれに限られない。例えば、絶対時刻情報を１２ビット、相対時刻情報を４ビットというように、異なる情報量の時刻情報を埋め込むことも可能である。

＜第２の実施形態＞
第１の実施形態では、文書の１行を構成する文字列を、規定の数の文字からなる文字列として分割し、それぞれの規定の数の文字からなる文字列に対し、文字列の先頭文字の発話時刻を埋め込んだが、埋め込み方法はこれに限られるものではない。

例えば、文書の１行を構成する文字列に係る文字を発話するのに要した時間を、埋め込み可能な時刻情報の数で割ることにより求められる時刻間隔をもって、時刻情報を埋め込む方法が考えられる。この方法について、第１の実施形態における方式２で時刻情報を埋め込む場合を例にとって説明する。

ある行を選択行として選択し、その選択行に含まれる文字の数をＮ個とすると、６ビットの時刻情報を埋め込むためには６文字が必要なため、選択行に埋め込むことのできる時刻情報の数は、Ｎ／６個となる。

選択行の先頭文字の発話時刻Ｔ、及び選択行の次行の先頭文字の発話時刻Ｔ’より、選択行の発話に要した時間Ｔ’−Ｔを求めることができる。

ここで、選択行の発話に要した時間Ｔ’−Ｔを、埋め込むことのできる時刻情報の数Ｎ／６で割ることによって、時刻間隔Ｃを求める。すなわち、
Ｃ＝６×（Ｔ’−Ｔ）／Ｎ
となる。

選択行には、選択行に含まれる最初の６文字に絶対時刻としてＴを、続く６文字に相対時刻としてＣを、さらに続く６文字に相対時刻として２×Ｃを、続けて埋め込んでいく。

係る方法によれば、簡便な方法で時刻情報埋め込み処理を実現することができる。この方法では、文字列と、その文字列に埋め込んだ時刻情報とは、厳密な意味で一致しないが、音声データを容易に検索するという目的に照らせば、精度として十分である。この方法は、特に１行中に含まれる文字が一定の速度で発話される場合に好適である。

本実施形態では時刻間隔を１行の文字数に基づいて決定したが、複数行の１行あたりの平均文字数に基づいて、あるいは文書全体の１行あたりの平均文字数に基づいて、時刻間隔を決定することも可能である。

＜第３の実施形態＞
第１の実施形態に係る検索装置は、透かし情報を持つ文書をスキャンすることで、ユーザがマーキングした部分を検索していた。本実施形態では、マーキングを施していない、時刻情報を埋め込み情報として持つ文書を読み込み、画像表示装置上に出力する。検索部分の指定は、画像表示装置上の出力を参照してユーザがこれを行い、検索装置は指定をユーザから対話的に取得する。本実施形態の検索装置を示すブロック図を図２３に示す。

図２３に示すように、本実施形態における検索装置は、時刻情報を埋め込み情報として持つ文書を取得し、ユーザの指定に従ってデータを検索することが可能な装置である。係る検索装置は、文書入力部２３０１、電子透かし抽出部２３０２、検索部２３０３を構成要素として保持する。

文書入力部２３０１は、時刻情報含有文書１０７を取得する機能を有する。

電子透かし抽出部２３０２は、時刻情報含有文書１０７から埋め込み情報を取得する機能を有する。

検索部２３０３は、時刻情報含有文書１０７、及び電子透かし抽出部２３０２が抽出した時刻情報を表示する機能と、ユーザの指定を取得する機能とを有する。また、時刻情報含有文書１０７の基となったデータ１０１を取得し、ユーザの指定に従って検索する機能も有する。

本実施形態における検索装置の動作を簡単に説明する。まず、文書入力部２３０１が、時刻情報含有文書１０７を取得する。文書入力部２３０１は、印刷済みの文書１０７をスキャンして取得しても、ＰＤＦなどとして電子化された文書１０７を取得しても良い。次に、電子透かし抽出部２３０２が、取得した文書全体の時刻情報の抽出を行う。抽出する時刻情報は、第１の実施形態で述べた方式１、方式２のどちらを用いて埋め込んだものでも良い。

次に、検索部２３０３が時刻情報含有文書１０７をモニタ等の出力装置に表示する。表示例を図２４に示す。図２４に示すように、検索部２３０３は、文書中の、ユーザが指定する文字の発話時刻情報を表示してもよい。ユーザは、マウス等のポインティングデバイスを用いて、係る指定を行うことが考えられる。また、ユーザが指定する文字の発話時刻に対応する動画シーンをデータ１０１から検索し、そのシーンに係るサムネイル画像を表示しても良い。

ユーザは、以上の表示を参考に、希望部分を選択し、「選択部を検索」という命令を送る。選択方法は特に限定されず、カーソル位置で開始位置を指定してもよいし、マウスのドラッグ操作によって、開始位置と終了位置を指定してもよい。検索命令は、ユーザがマウスを右クリックして表示させたプルダウンメニューから選択することで送ってもよいし、画面上に表示された、検索命令を送信するボタンをポインティングデバイスで押すことで送ってもよい。検索部２３０３は、ユーザの選択と命令を取得し、選択部分に係る時刻情報に基づいて、選択部分に係る動画・音声を抽出、出力する。その他は第１の実施形態と同じである。

本実施形態では、取得した文書全体の時刻情報を最初に抽出したが、検索部２３０３が取得したユーザの指定に従って、随時必要部分の時刻情報を抽出することも可能である。

＜第４の実施形態＞
第１の実施形態では、連続する１つの文字列をマークにより選択したが、複数の文字列部分を選択し、選択に基づいて抽出したデータを並べ替えた上で出力することも可能である。

図２１は１ページの文書に含まれる複数の文字列を囲みにより選択した例である。このように同一ページに複数の選択文字列がある場合は、あらかじめ定めた順番で、抽出したデータを並べ替えるようにしてもよい。例えば文書が横書きであれば、文書の先頭行に近い選択文字列が先になるように、同一行に選択文字列が複数ある場合は文書の先頭列に近い選択文字列が先になるように、並べ替えることが考えられる。

また、抽出した部分データを並べ替える順番をユーザが指定してもよい。図２２は、複数の選択位置に係る抽出データを並べ替える順番を、番号により指定した例である。他にも、マークの色や、マークの線種、あるいはマークに隣接させた番号などで順番を指定することが可能である。

本実施形態によれば、音声データを文書化することなく編集するのに比べ、効率的な編集が可能になる。

＜第５の実施形態＞
本実施形態では、上記各実施形態に係る夫々の処理をコンピュータにより行わせる。このコンピュータにおいて、全ての機能を実行する場合、各機能構成をコンピュータプログラムにより表現し、このコンピュータに読み込ませることで、第１の実施形態の全ての機能を実現することが出来る。この場合、係るプログラムは、コンピュータが有する各種記憶装置内に保持されており、ＣＰＵやＭＰＵ等の制御部がこのソフトウェアを実行することで、コンピュータは、上記実施形態を実現することになる。

図２０は、上記各実施形態を実現するコンピュータのハードウェアの構成例を示す図である。尚、電子透かし埋め込み装置又は電子透かし抽出装置の実現に当たっては、図２０に示される全ての構成要素を使用することは必須ではない。また、一部の構成要素を同種の要素で置換することもできるし、他の構成要素を追加することもできる。

図２０において、コンピュータ１２０１は、一般に普及しているパーソナルコンピュータであり、スキャナ１２１７から読み取られた画像を入力し、編集や保管を行うことが可能である。また、スキャナ１２１７で得られた画像をプリンタ１２１６から印刷させることができる。尚、ユーザからの各種指示等は、マウス１２１３、キーボード１２１４からの入力操作により行われる。

本コンピュータ１２０１の内部では、バス１２０７に後述する各ブロックが接続され、種々のデータの受け渡しが可能である。図２０において、ＭＰＵ１２０２は、主記憶装置１２０３にロードされているプログラムやデータを用いて本コンピュータ１２０１内部の各ブロックの動作を制御する。これにより、ＭＰＵ１２０２は、本コンピュータ１２０１を適用した電子透かし埋め込み装置及び電子透かし抽出装置が行う上述の各処理を実行する。

主記憶装置１２０３は、ＭＰＵ１２０２において行われる処理のために、ＨＤＤ（ハードディスクドライブ）１２０４、ＤＶＤドライブ１２１０等を含む各種記憶装置からロードされたプログラムやデータを一時的に格納しておく装置である。

ＨＤＤ１２０４には、ＯＳ（オペレーティングシステム）や、各種の音声・動画・画像（文書画像を含む）等のデータが保存されている。更にＨＤＤ１２０４には、図１、図２及び図２３に示された各部の機能をＭＰＵ１２０２に制御させるためのプログラムやデータも保存されている。加えて、本コンピュータ１２０１を適用した電子透かし埋め込み装置又は電子透かし抽出装置が行う上述の各処理をＭＰＵ１２０２に実行させるためのプログラムやデータも保存されている。ＨＤＤ１２０４に保存されているプログラムやデータは、ＭＰＵ１２０２による制御に従って適宜主記憶装置１２０３にロードされ、ＭＰＵ１２０２による処理対象となる。なお、主記憶装置１２０３に記憶するものとして説明した情報の幾つかについてはＨＤＤ１２０４に保存するようにしても良い。

Ｉ／Ｆ（スキャナインタフェース）１２１５は、原稿やフィルム等を読み取って、画像データを生成するスキャナ１２１７と接続され、スキャナ１２１７で得られた画像データを入力することのできるＩ／Ｆである。Ｉ／Ｆ（プリンタインタフェース）１２０８は、画像データを印刷するプリンタ１２１６と接続され、印刷する画像データをプリンタ１２１６に送信することのできるＩ／Ｆである。

ＣＤドライブ１２０９は、外部記憶媒体の一つであるＣＤ（ＣＤ−Ｒ／ＣＤ−ＲＷ）に記憶されたデータを読み込み、あるいは書き出すことができる装置である。ＦＤＤ１２１１は、ＣＤドライブ１２０９と同様にＦＤからの読み込みや、ＦＤへの書き出しをすることができる装置である。ＤＶＤドライブ１２１０は、ＦＤＤ１２１１と同様に、ＤＶＤからの読み込みや、ＤＶＤへの書き出しをすることができる装置である。尚、ＣＤ、ＦＤＤ、ＤＶＤ等から読み出したプログラムやデータは、必要に応じてＨＤＤ１２０４あるいは主記憶装置１２０３に転送するようになっている。

Ｉ／Ｆ（インタフェース）１２１２は、マウス１２１３やキーボード１２１４からの入力指示を受け付けるために、これらと接続されるＩ／Ｆである。また、モニタ１２０６は、情報の抽出処理結果や処理過程を表示することのできる表示装置である。ビデオコントローラ１２０５は、表示データをモニタ１２０６に送信するための装置である。

本実施形態では、図２０に示す情報処理装置、特にマウス１２１３やキーボード１２１４からの入力指示により１２０３の主記憶装置にロードしたプログラムを１２０２のＭＰＵなどを用いて実行することによって機能を実現できる。このとき、モニタ１２０６により実行状況や、その結果をモニタすることも可能である。

本実施形態では、スキャンやプリンタを除く処理をコンピュータにより行っているが、スキャナやプリンタ内部の専用のハードウェア回路を用いて、コンピュータで行う処理を代行しても良い。

また、本実施形態に係るコンピュータは、他のコンピュータ等の電子機器と、ネットワークを通して情報をやりとりしてもよい。

＜その他の実施形態＞
尚、本実施形態は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、複合機、ファクシミリ装置等）に適用してもよい。

また、本発明の目的は、以下のようにすることによっても達成されることは言うまでもない。前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（又は記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。即ち、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現される。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本実施形態を構成することになる。

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部又は全部を行うこともある。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれることがある。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートや機能構成に対応するプログラムコードが格納されることになる。

なお、上記各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明に係る第１の実施形態の文書作成装置に必要な構成要素を示したブロック図である。 本発明に係る第１の実施形態の検索装置に必要な構成要素を示したブロック図である。 本発明に係る第１の実施形態の文書生成手順を示すフローチャートである。 本発明に係る第１の実施形態の検索手順を示すフローチャートである。 図３におけるステップＳ３０５の処理を詳細に示すフローチャートである。 図５におけるステップＳ３０５ｂの処理を詳細に示すフローチャートである。 図６におけるステップＳ３０５ｂ−ｃの処理を詳細に示すフローチャートである。 図３におけるステップＳ３０６の処理を詳細に示すフローチャートである。 図８におけるステップＳ３０６ｂの処理を詳細に示すフローチャートである。 図９におけるステップＳ３０６ｂ−ｃの処理を詳細に示すフローチャートである。 図４におけるステップＳ４０４の処理を詳細に示すフローチャートである。 図１１におけるステップＳ４０４ｂの処理を詳細に示すフローチャートである。 図１２におけるステップＳ４０４ｂ−ｂの処理を詳細に示すフローチャートである。 図４におけるステップＳ４０５の処理を詳細に示すフローチャートである。 図１４におけるステップＳ４０５ｂの処理を詳細に示すフローチャートである。 図１５におけるステップＳ４０５ｂ−ｂの処理を詳細に示すフローチャートである。 文字の間隔を利用した電子透かし埋め込み方法を説明するための概要図である。電子透かし埋め込み前の状態を表す。 文字の間隔を利用した電子透かし埋め込み方法を説明するための概要図である。電子透かし埋め込み後の状態を表す。 文字に重畳したパターンを利用した電子透かし埋め込み方法を説明するための概要図である。 各実施形態を実現するコンピュータの構成例を示す図である。 第４の実施形態における複数範囲のマーキング方法の一例である。 第４の実施形態における複数ページへのマーキング方法の一例である。 第３の実施形態の検索装置に必要な構成要素を示したブロック図である。 第３の実施形態の検索部２０３の表示例を示した図である。

Claims (10)

1. 発話内容を示す音声情報と、当該発話中の各タイミングにおける時刻を示す時刻情報とを取得する手段と、
   前記音声情報に対応する前記発話内容を文字列として記した文書情報を取得する手段と、
   前記文字列における文字に対して、当該文字の発話時刻を特定するための情報を埋め込み情報として埋め込む埋め込み手段と、
   前記埋め込み手段により前記埋め込み情報が埋め込まれた文書情報を出力する文書出力手段とを備え、
   前記埋め込み手段は、
   前記文字列を複数の分割文字列に分割した場合に、それぞれの分割文字列について、
   １つの分割文字列を、１つの埋め込み情報を埋め込む為に用いる文字のグループ単位で分割した場合の先頭グループ中の先頭文字の発話時刻を前記時刻情報に基づいて求め、求めた発話時刻を示す情報を前記埋め込み情報として前記先頭グループ中の文字に埋め込む第１の手段と、
   前記先頭グループに後続するグループである後続グループ中の先頭文字の発話時刻を前記時刻情報に基づいて求め、求めた発話時刻と前記第１の手段が求めた発話時刻との差分情報を前記埋め込み情報として前記後続グループ中の文字に埋め込む第２の手段と
   を備えることを特徴とする情報処理装置。
2. 前記分割文字列は、行毎の文字列、句読点で区切られる文字列、の何れかであることを特徴とする請求項１に記載の情報処理装置。
3. 前記音声情報と前記時刻情報は、動画像情報に含められていることを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記埋め込み手段は、文字間の距離を制御することで埋め込み情報を埋め込む第１の埋め込み方法に基づいて埋め込み処理を行うと共に、各文字に対してパターンを重畳させることで埋め込み情報を埋め込む第２の埋め込み方法に基づいて埋め込み処理を行うことを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記文書出力手段が出力した文書情報を取得する取得手段と、
   前記取得手段が取得した文書情報中の文字列を指定文字列として指定するために当該文書情報に付加されたマークの種別を判断する判断手段と、
   前記判断手段による判断結果に応じて、前記指定文字列に埋め込まれている埋め込み情報の抽出方法を選択する選択手段と、
   前記選択手段が選択した抽出方法に従って、前記指定文字列に埋め込まれている埋め込み情報を抽出する抽出手段と、
   前記音声情報において、前記抽出手段が抽出した埋め込み情報が示す時刻における発話内容を音声にて出力する音声出力手段と
   を備えることを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記選択手段は、文字に対してマークが重畳されていると前記判断手段が判断した場合には、前記第１の埋め込み方法に対応する抽出方法を選択し、文字間にマークが位置していると前記判断手段が判断した場合には、前記第２の埋め込み方法に対応する抽出方法を選択することを特徴とする請求項５に記載の情報処理装置。
7. 前記抽出手段は、指定文字列が複数の場合、指定文字列の各々に埋め込まれている埋め込み情報を抽出し、
   前記音声出力手段は、
   前記抽出した各々の埋め込み情報が示す時刻における各々の発話内容を検索し、当該検索した各々の発話内容をユーザの指定に従って並び替えた上で出力することを特徴とする、
   請求項５又は６に記載の情報処理装置。
8. 発話内容を示す音声情報と、当該発話中の各タイミングにおける時刻を示す時刻情報とを取得する工程と、
   前記音声情報に対応する前記発話内容を文字列として記した文書情報を取得する工程と、
   前記文字列における文字に対して、当該文字の発話時刻を特定するための情報を埋め込み情報として埋め込む埋め込み工程と、
   前記埋め込み工程で前記埋め込み情報が埋め込まれた文書情報を出力する文書出力工程と
   を備え、
   前記埋め込み工程は、
   前記文字列を複数の分割文字列に分割した場合に、それぞれの分割文字列について、
   １つの分割文字列を、１つの埋め込み情報を埋め込む為に用いる文字のグループ単位で分割した場合の先頭グループ中の先頭文字の発話時刻を前記時刻情報に基づいて求め、求めた発話時刻を示す情報を前記埋め込み情報として前記先頭グループ中の文字に埋め込む第１の工程と、
   前記先頭グループに後続するグループである後続グループ中の先頭文字の発話時刻を前記時刻情報に基づいて求め、求めた発話時刻と前記第１の工程で求めた発話時刻との差分情報を前記埋め込み情報として前記後続グループ中の文字に埋め込む第２の工程と
   を備えることを特徴とする情報処理方法。
9. コンピュータを、請求項１乃至７の何れか１項に記載の情報処理装置が有する各手段として機能させるためのコンピュータプログラム。
10. 請求項９に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記憶媒体。

Images