JP2018142059A - 情報処理装置及び情報処理プログラム - Google Patents

Abstract

【課題】文書内の添付位置を利用者が明示的に指示することなしに注釈を生成することができる情報処理装置を提供する。
【解決手段】情報処理装置の対応付け手段は、文書を閲覧している利用者の該文書内の視線の位置と該視線の位置での音声を対応付け、生成手段は、前記音声を内容とし、該音声に対応する前記視線の位置に添付する注釈を生成する。
【選択図】図１

Description

本発明は、情報処理装置及び情報処理プログラムに関する。

特許文献１には、電子マニュアル等の電子ページの原型をそのまま残しつつ、各利用者に対応した個別の付箋情報、及び、利用者に全員に示すための共有の付箋情報を電子ページ上に表示することが可能な電子付箋装置、電子付箋貼付方法及び電子付箋プログラムが記録された記録媒体を提供することを課題とし、サーバー側に設けられた利用者登録情報記憶手段と、オリジナル電子ページ記憶手段と、サーバーやクライアント側から入力された利用者情報に基づいて利用者を確認する確認手段と、利用者別の付箋情報を記憶する個別付箋情報記憶手段と、利用者全員が共有すべき付箋情報を記憶する共有付箋情報記憶手段とをサーバー側に設け前記利用者に対応し、前記電子ページに対応する共有付箋情報と前記個別付箋情報を示す電子付箋ウインドウを前記電子ページの表示画面上の所定の位置に重ねて表示することが開示されている。

特許文献２には、本人あるいは第３者が作成した文章に対し、特定の文章の位置に対応したコメントを音声で記録し、さらに再生することを課題とし、文章を表す文字のコード列を記憶した文章記憶手段と、前記文章記憶手段に記憶された特定の文章を指定する指定手段と、マイクから入力される音声を符号化して指定された文章と対応付けて記憶するコメント記憶手段と、前記文章記憶手段に記憶された文章と対応付けて、前記コメント記憶手段から読み出した音声符号化データを再生するコメント再生手段とを備えたことが開示されている。

特許文献３には、発光素子と複数の受光素子とを有し眼球の水平位置を検出する水平位置検出手段と、発光素子と複数の受光素子とを有し前記眼球の垂直位置を検出する垂直位置検出手段と、前記水平位置検出手段の発光素子と前記垂直位置検出手段の発光素子を交互に駆動する駆動手段とを備えたことが開示されている。

特許文献４には、操作対象となる情報群であって情報操作者の発話により特定される表示情報を含む前記情報群を視覚的に表示するための映像表示手段と、前記映像表示手段における情報操作者の発話時の注視位置を推定する視点解析手段と、前記映像表示手段の表示位置を特定する前記情報操作者の発話及び前記映像表示手段の表示情報を特定する発話を認識する音声認識手段と、前記視点解析手段の解析により推定した情報操作者の発話時の注視位置と、前記音声認識手段により認識した発話内容とに基づいて、情報操作者の指示内容を判断するとともに、前記音声認識手段の認識した発話内容に対応する表示情報の候補が複数抽出された場合には、現在表示されている情報を含む表示情報を記憶する表示情報データベースに記憶され且つ現在表示されている表示情報であって注視位置に近い表示情報を情報操作者の指示内容であると判断し、前記視点解析手段の推定した注視位置に対応する発話内容の候補が複数抽出された場合には注視位置の表示情報に整合する発話内容を情報操作者の発話内容であると判断し、前記指示内容と前記発話内容との整合の検証をして実行する操作を判断する指示内容推論手段と、前記指示内容推論手段により判断された情報操作者の指示内容の操作を実行する指示操作実行手段と、を備えたことが開示されている。

特開２００２−１０８８９７号公報 特開２０１０−１４０５０６号公報 特開平０１−１６０５２７号公報 特許第３６８９２８５号公報

文書に注釈を付加することが行われている。この注釈の作成方法として、利用者がキーボードを用いて生成することが行われている。また、キーボード利用の煩雑さを解消するために、特許文献に記載の技術では、音声の注釈を生成することも行われている。しかし、文書内のどこの位置に注釈を添付するかについては、利用者が指示する必要がある。
本発明は、文書内の添付位置を利用者が明示的に指示することなしに注釈を生成することができる情報処理装置及び情報処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、文書を閲覧している利用者の該文書内の視線の位置と該視線の位置での音声を対応付ける対応付け手段と、前記音声を内容とし、該音声に対応する前記視線の位置に添付する注釈を生成する生成手段を有する情報処理装置である。

請求項２の発明は、前記生成手段は、前記視線の位置にあるオブジェクトに対して、前記音声を内容とする注釈を添付する、請求項１に記載の情報処理装置である。

請求項３の発明は、前記生成手段は、前記音声の認識結果を内容として含む注釈を生成する、請求項２に記載の情報処理装置である。

請求項４の発明は、前記生成手段は、前記認識結果内に予め定められた単語が含まれる場合は、該単語を変更する、請求項３に記載の情報処理装置である。

請求項５の発明は、前記生成手段は、前記視線の位置の時系列的変化が判別できる注釈を生成する、請求項１から４のいずれか１項に記載の情報処理装置である。

請求項６の発明は、前記生成手段は、前記視線の位置以外の箇所に、非注目箇所であることを意味する注釈を生成する、請求項１に記載の情報処理装置である。

請求項７の発明は、前記生成手段は、前記視線の位置以外の箇所にあるオブジェクトに対して、前記注釈を添付する、請求項６に記載の情報処理装置である。

請求項８の発明は、コンピュータを、文書を閲覧している利用者の該文書内の視線の位置と該視線の位置での音声を対応付ける対応付け手段と、前記音声を内容とし、該音声に対応する前記視線の位置に添付する注釈を生成する生成手段として機能させるための情報処理プログラムである。

請求項１の情報処理装置によれば、文書内の添付位置を利用者が明示的に指示することなしに注釈を生成することができる。

請求項２の情報処理装置によれば、単に視線の位置に注釈を添付する場合は空白領域に対して注釈を添付してしまうことがある場合に比べて、注釈対象を明確にすることができる。

請求項３の情報処理装置によれば、音声の認識結果を含む注釈を生成することができる。

請求項４の情報処理装置によれば、認識結果内の予め定められた単語を変更することができる。

請求項５の情報処理装置によれば、視線の位置の時系列的変化が判別できる注釈を生成することができる。

請求項６の情報処理装置によれば、視線の位置以外の箇所に、非注目箇所であることを意味する注釈を生成することができる。

請求項７の情報処理装置によれば、単に視線の位置以外の箇所に注釈を添付する技術では空白領域に対して注釈を添付することがある場合に比べて、注釈対象を明確にすることができる。

請求項８の情報処理プログラムによれば、文書内の添付位置を利用者が明示的に指示することなしに注釈を生成することができる。

本実施の形態（アノテーション生成処理装置）の構成例についての概念的なモジュール構成図である。 本実施の形態（文書出力装置）の構成例についての概念的なモジュール構成図である。 本実施の形態を利用したシステム構成例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 視線情報テーブルのデータ構造例を示す説明図である。 つぶやき情報テーブルのデータ構造例を示す説明図である。 アノテーション情報テーブルのデータ構造例を示す説明図である。 文書内オブジェクト表示位置情報テーブルのデータ構造例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示す説明図である。 アノテーション情報テーブルのデータ構造例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態（アノテーション生成処理装置１００）の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。また、「Ａ、Ｂ、Ｃ」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その１つのみを選んでいる場合（例えば、Ａのみ）を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。

本実施の形態であるアノテーション生成処理装置１００は、文書に注釈を添付するものであって、図１の例に示すように、マイク１０５、音声録音モジュール１１０、視線検知モジュール１１５、注目箇所捕捉モジュール１２０、文書内注目位置・音声対応付モジュール１３０、非注目箇所捕捉モジュール１４０、アノテーション生成モジュール１５０、アノテーション記憶モジュール１６０、文書記憶モジュール１７０、文書表示モジュール１８０、表示装置１８５を有している。なお、「注釈」とは、アノテーションとも言われており、文書に付加される情報であり、付箋、アンダーライン、注等の形式によって文書上に注釈が付加されていることが表示される。特に、文書に対して、視点と音声によるアノテーション付けに関する技術である。また、文書（電子文書、ファイル等とも言われる）とは、テキストデータ、数値データ、図形データ、画像データ、動画データ、音声データ等、又はこれらの組み合わせであり、記憶、編集及び検索等の対象となり、システム又は利用者間で個別の単位として交換できるものをいい、これらに類似するものを含む。具体的には、文書作成プログラムによって作成された文書、画像読取装置（スキャナ等）で読み込まれた画像、Ｗｅｂページ等を含む。
一般的に、文書にアノテーションを添付する際、「そのアノテーションを付与する箇所の指定」と「そのアノテーション内のコメントのテキスト入力」が必要となるが、ユーザーに労力を課することになる。
アノテーション生成処理装置１００は、例えば、文書を閲覧している利用者（以下、ユーザーともいう）の視線（視点を含む）を、ヘッドマウントディスプレイ等のデバイスで捕捉し、ユーザーが文書に対して喋った指摘内容を、そのときの文書の注目箇所と紐付けて、アノテーションとして保存する。

マイク１０５は、音声録音モジュール１１０と接続されている。マイク１０５は、文書を閲覧しているユーザーの音声を受け付け、デジタルである音声情報に変換し、その音声情報を音声録音モジュール１１０に渡す。例えば、ＰＣマイク（ＰＣに内蔵されているマイク）等であってもよい。
音声録音モジュール１１０は、マイク１０５、文書内注目位置・音声対応付モジュール１３０と接続されている。音声録音モジュール１１０は、音声情報をハードディスク等の記憶手段に記憶させる。その際に、音声が発生した日時（年、月、日、時、分、秒、秒以下、又はこれらの組み合わせであってもよい）とともに記憶させるようにしてもよい。音声を注釈として記録することによって、文書に対する直感的な感想をありのままに記録できるようになる。

視線検知モジュール１１５は、注目箇所捕捉モジュール１２０と接続されている。視線検知モジュール１１５は、カメラ、ヘッドマウントディスプレイ等によって、文書を閲覧しているユーザーの視線を検知する。既に知られている視線検知技術を用いればよい。例えば、基準点を目頭、動点を虹彩にして位置関係を使って視線の位置を検出してもよい。ここでの位置とは、表示装置１８５によって表示されている文書上での位置である。例えば、文書上でのＸＹ座標等によって表される。
注目箇所捕捉モジュール１２０は、視線検知モジュール１１５、文書内注目位置・音声対応付モジュール１３０、非注目箇所捕捉モジュール１４０と接続されている。注目箇所捕捉モジュール１２０は、表示装置１８５に表示されている文書上での視線位置をハードディスク等の記憶手段に記憶させる。その際に、視線位置を日時とともに記憶させるようにしてもよい。ユーザーが注目している箇所を特定する方法については、前述の特許文献３、特許文献４等に記載された技術を利用してもよい。

文書内注目位置・音声対応付モジュール１３０は、音声録音モジュール１１０、注目箇所捕捉モジュール１２０、アノテーション生成モジュール１５０と接続されている。文書内注目位置・音声対応付モジュール１３０は、文書を閲覧しているユーザーのその文書内の視線の位置とその視線の位置での音声を対応付ける。具体的には、日時が同じである視線の位置と音声を対応付ければよい。ただし、ここでの「日時が同じ」には、完全一致の場合の他に、予め定められた差異以内である場合も含む。原則として、文書上の対応箇所を見ながら音声を発しているが、その対応箇所とは違う箇所を見ながら音声を発する場合もあるからである。例えば、音声発声の最初においては、その日時における視線の位置を対応付けるが、その後の予め定められた期間は、視線の位置が動いたとしても、音声発声の最初において対応付けられた日時における視線の位置を、対応付けるようにしてもよい。例えば、文書のタイトルを見ながら音声発声が開始され、その後に著作者名等の位置に視線が移ったとしても、予め定められた期間分の、続いている音声をタイトルの位置に対応付けるようにしてもよい。また、視線の位置が、文書内のオブジェクト上にない場合（例えば、空白の領域内に視線の位置がある場合）は、その予め定められた期間を延長するようにしてもよい。例えば、文書のタイトルを見ながら音声発声が開始され、その後に空白領域の位置に視線が移ったとしても、予め定められた期間を越えていたとしても、次のオブジェクトに視線が移っていない場合は、続いている音声をタイトルの位置に対応付けるようにしてもよい。この場合、次のオブジェクトに視線が移ったことが検知された時点で、最初の音声の対応付けは終了し、次のオブジェクトと次の音声との対応付けが開始されることになる。

非注目箇所捕捉モジュール１４０は、注目箇所捕捉モジュール１２０、アノテーション生成モジュール１５０と接続されている。非注目箇所捕捉モジュール１４０は、文書の閲覧が終了した時点で、非注目箇所を抽出する。ここで「文書の閲覧が終了した時点」とは、例えば、ユーザーによって閲覧が終了したことを明示的に示す操作が行われたことを検知したとき、文書を閉じる等の操作を検知したとき等が該当する。また「非注目箇所」とは、文書上で、視線の位置がない領域の他、視線の位置の滞在期間が予め定められた期間よりも短い領域を含めてもよい。

アノテーション生成モジュール１５０は、文書内注目位置・音声対応付モジュール１３０、非注目箇所捕捉モジュール１４０、アノテーション記憶モジュール１６０と接続されている。アノテーション生成モジュール１５０は、文書内注目位置・音声対応付モジュール１３０によって対応付けされた音声を内容とし、その音声に対応する視線の位置に添付する注釈を生成する。文書に音声を注釈として付与することによって、文書の原本を残しつつ、メモ、コメント等を記録できるようになる。そして、注釈付きの文書を閲覧した場合、ユーザーが発した音声と、ユーザーの注目箇所（文書内の位置）を紐付けているので、文書内におけるユーザーの注目箇所と、そこに対するユーザーの指摘や感想がわかるようになる。
また、アノテーション生成モジュール１５０は、視線の位置にあるオブジェクトに対して、音声を内容とする注釈を添付するようにしてもよい。ここで「オブジェクト」とは、文書の構成物であって、例えば、文字列（１字以上の文字列）、表、図形、写真等が該当する。文字列として、タイトル、章、節等を含めてもよい。また、オブジェクトは、タブ等によって構成物を区別する構造化文書を用いて抽出してもよいし、表示装置１８５に表示されている文書（特に、スキャナ等によって読み込まれた文書画像）の構造を認識して抽出してもよい。

また、アノテーション生成モジュール１５０は、音声の認識結果を内容として含む注釈を生成するようにしてもよい。その場合、アノテーション生成モジュール１５０内に音声認識モジュールを設置している。音声認識モジュールは、既に知られている音声認識技術を用いればよい。音声の認識結果を内容とすることによって、音が出せない環境でも内容を確認できるようになる。そして、複数の注釈に対してテキストで検索可能となる。
そして、アノテーション生成モジュール１５０は、音声認識による認識結果内に予め定められた単語が含まれる場合は、その単語を変更するようにしてもよい。ここで「変更」には、削除を含む。例えば、ユーザーが発した音声から、予め定められたキーワードが含まれる部分を除外して注釈にするようにしてもよい。キーワードによって、機密度の高い情報や、不適切な内容を制限できるようになる。また、ユーザーが発した音声を、別の表現や言い回しに変換して注釈にするようにしてもよい。キーワードによって、機密度の高い情報や、不適切な内容を制限でき、注釈を用いたコミュニケーションを円滑にすることができる。

また、アノテーション生成モジュール１５０は、視線の位置の時系列的変化が判別できる注釈を生成するようにしてもよい。つまり、ユーザーが注目している箇所の時系列的な変化を、ユーザーが発した音声と同期して記録する。これによって、文書の特定箇所に対して、「ここが〜」「この部分が〜」といった、対面に近い自然な説明が可能となる。特に図やグラフに対して注釈を添付する効率が上がり、コミュニケーションも円滑化される。この注釈の表示例については、図１２を用いて後述する。

また、アノテーション生成モジュール１５０は、視線の位置以外の箇所に、非注目箇所であることを意味する注釈を生成するようにしてもよい。つまり、ユーザーがあまり注目していなかった箇所を、文書に注釈として記録している。これによって、ユーザーが確認していない箇所、すなわち、校閲が不十分な箇所がわかるようになる。非注目箇所として、具体的には、視線の位置が全くない領域の他に、予め定められた期間以内で視線があった領域は、非注目箇所として抽出してもよい。
そして、アノテーション生成モジュール１５０は、視線の位置以外の箇所にあるオブジェクトに対して、注釈を添付するようにしてもよい。

アノテーション記憶モジュール１６０は、アノテーション生成モジュール１５０と接続されている。アノテーション記憶モジュール１６０は、アノテーション生成モジュール１５０によって生成された注釈を、表示装置１８５に表示されている文書に対応付けて記憶する。
文書記憶モジュール１７０は、文書表示モジュール１８０と接続されている。文書記憶モジュール１７０は、表示装置１８５に表示される可能性がある文書を記憶している。
文書表示モジュール１８０は、文書記憶モジュール１７０、表示装置１８５と接続されている。文書表示モジュール１８０は、文書記憶モジュール１７０に記憶された文書を、表示装置１８５に表示させるように制御する。
表示装置１８５は、文書表示モジュール１８０と接続されている。表示装置１８５は、文書表示モジュール１８０の制御にしたがって、液晶ディスプレイ等に文書を表示する。ユーザーは、液晶ディスプレイ等に表示された文書を見る。

図２は、本実施の形態（文書出力装置２００）の構成例についての概念的なモジュール構成図である。文書出力装置２００は、アノテーション生成処理装置１００によって生成された注釈が添付された文書を表示するものである。いわゆるビューワーとしての機能を有している。
文書出力装置２００は、アノテーション記憶モジュール１６０、文書記憶モジュール１７０、文書出力モジュール２１０、音声出力モジュール２３０、スピーカー２３５、文書表示モジュール１８０、表示装置１８５を有している。
アノテーション記憶モジュール１６０は、文書出力モジュール２１０と接続されている。アノテーション記憶モジュール１６０は、アノテーション生成処理装置１００のアノテーション記憶モジュール１６０と同等のものであり、注釈を文書に対応付けて記憶している。
文書記憶モジュール１７０は、文書出力モジュール２１０と接続されている。文書記憶モジュール１７０は、アノテーション生成処理装置１００の文書記憶モジュール１７０と同等のものであり、表示装置１８５に表示される可能性がある文書を記憶している。

文書出力モジュール２１０は、アノテーション出力モジュール２２０を有しており、アノテーション記憶モジュール１６０、文書記憶モジュール１７０、音声出力モジュール２３０、文書表示モジュール１８０と接続されている。文書出力モジュール２１０は、注釈が添付された文書を表示する。
アノテーション出力モジュール２２０は、例えば、ユーザーの操作（例えば、文書内の注釈を選択する操作等）にしたがって、注釈の内容を出力する。
音声出力モジュール２３０は、文書出力モジュール２１０、スピーカー２３５と接続されている。音声出力モジュール２３０は、注釈内の音声を、スピーカー２３５に出力させるように制御する。
スピーカー２３５は、音声出力モジュール２３０と接続されている。スピーカー２３５は、音声出力モジュール２３０の制御によって音声を出力する。

文書表示モジュール１８０は、文書出力モジュール２１０、表示装置１８５と接続されている。文書表示モジュール１８０は、アノテーション生成処理装置１００の文書表示モジュール１８０と同等のものであり、文書記憶モジュール１７０に記憶された文書を、表示装置１８５に表示させるように制御する。
表示装置１８５は、文書表示モジュール１８０と接続されている。表示装置１８５は、アノテーション生成処理装置１００の文書表示モジュール１８０と同等のものであり、文書表示モジュール１８０の制御にしたがって、液晶ディスプレイ等に文書を表示する。ユーザーは、液晶ディスプレイ等に表示された注釈が添付された文書を見る。

図３は、本実施の形態を利用したシステム構成例を示す説明図である。
アノテーション生成処理装置１００Ａ、文書出力装置２００Ａ、ユーザー端末３００、文書管理装置３５０、文書管理装置３６０、ユーザー端末３８０は、通信回線３９０を介してそれぞれ接続されている。通信回線３９０は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。また、アノテーション生成処理装置１００Ａ、文書出力装置２００Ａ、文書管理装置３５０、文書管理装置３６０による機能は、クラウドサービスとして実現してもよい。
例えば、部下が作成した文書を、上司が添削するという状況で用いられる。上司の操作に応じて、アノテーション生成処理装置１００Ａでは、部下が作成した文書にアノテーションが添付される。部下の操作に応じて、アノテーション生成処理装置１００Ｂでは、その文書（アノテーションが添付された文書）が表示され、上司によって添付されたアノテーションが確認される。

もちろんのことながら、１つのユーザー端末３００内に、アノテーション生成処理装置１００Ｂ、文書出力装置２００Ｂがあってもよい。１人のユーザーが、アノテーションを生成することと、アノテーションを確認することがあるからである。
文書管理装置３６０は、アノテーション記憶モジュール１６０、文書記憶モジュール１７０を有しており、複数人のユーザーの文書、アノテーションを管理している。アノテーション生成処理装置１００Ａ、文書出力装置２００Ａ、ユーザー端末３００は、文書管理装置３６０を利用するようにしてもよい。その場合、アノテーション生成処理装置１００Ａ、文書出力装置２００Ａ、ユーザー端末３００は、アノテーション記憶モジュール１６０、文書記憶モジュール１７０を有していなくてもよい。アノテーション生成処理装置１００Ａ、文書出力装置２００Ａ、ユーザー端末３００は、文書管理装置３６０内のアノテーション記憶モジュール１６０、文書記憶モジュール１７０を用いて、アノテーションの生成、アノテーションが添付されている文書の表示を行う。

文書管理装置３５０は、非注目箇所捕捉モジュール１４０、アノテーション生成モジュール１５０、アノテーション記憶モジュール１６０、文書記憶モジュール１７０、文書出力モジュール２１０を有している。
ユーザー端末３８０は、マイク１０５、音声録音モジュール１１０、視線検知モジュール１１５、注目箇所捕捉モジュール１２０、文書内注目位置・音声対応付モジュール１３０、文書表示モジュール１８０、表示装置１８５、音声出力モジュール２３０、スピーカー２３５を有している。ユーザー端末３８０は、ユーザーインターフェースの機能だけを有しており、アノテーションの生成等は文書管理装置３５０に処理させるようにしてもよい。

図４は、本実施の形態による処理例を示すフローチャートである。
ステップＳ４０２では、文書表示モジュール１８０は、ユーザーの操作にしたがって、文書の閲覧処理を開始する。
ステップＳ４０４では、音声録音モジュール１１０は、ユーザーが行った、文書のある箇所に対しての指摘や感想等のつぶやきを検知する。もちろんのことながら、ここでの「つぶやき」とは、文書を閲覧しているユーザーの音声である。例えば、ユーザーが、文書のある箇所に対して、「ここは間違っている」、「わかりづらい」等の指摘や感想をつぶやく。この音声はマイク１０５により入力される。

ステップＳ４０６では、注目箇所捕捉モジュール１２０は、そのつぶやきが発生した時の視線位置を検知する。例えば、視線情報テーブル５００を生成する。図５は、視線情報テーブル５００のデータ構造例を示す説明図である。視線情報テーブル５００は、日時欄５０５、視線位置欄５１０を有している。日時欄５０５は、視線を検知した日時を記憶している。視線位置欄５１０は、その日時における視線位置を記憶している。音声の発声を検知したことを契機として、視線の検知を行っている。また、文書の閲覧が開始された後は、常に視線の位置を検知するようにしてもよい。そして、音声発声の日時と視線検知の日時とのマッチングをとるようにしてもよい。

ステップＳ４０８では、アノテーション生成モジュール１５０は、文書内のユーザーが注目している箇所に、ユーザーがつぶやいた音声情報を、アノテーションとして付与する。つまり、ユーザーのつぶやきが発生した時点で、文書内におけるそのときのユーザーの注目箇所に、ユーザーがつぶやいた音声情報を、アノテーションとしてその文書に付与する。ユーザーの注目箇所はヘッドマウントディスプレイのようなデバイスでユーザーの目の動きなどから捕捉し、マイク１０５で録音した音声情報をそのときの注目箇所（又は、文書内のオブジェクト）と紐付ければよい。

より具体的には、例えば、文書内注目位置・音声対応付モジュール１３０は、音声と視線の位置とを対応付け、つぶやき情報テーブル６００を生成する。図６は、つぶやき情報テーブル６００のデータ構造例を示す説明図である。つぶやき情報テーブル６００は、つぶやきＩＤ欄６０５、開始日時欄６１０、開始日時視線位置欄６１５、終了日時欄６２０、終了日時視線位置欄６２５、音声情報欄６３０を有している。つぶやきＩＤ欄６０５は、本実施の形態において、つぶやき（音声）を一意に識別するための情報（つぶやきＩＤ：ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）を記憶している。開始日時欄６１０は、そのつぶやきが開始された日時を記憶している。開始日時視線位置欄６１５は、その開始日時における視線の位置を記憶している。終了日時欄６２０は、そのつぶやきが終了した日時を記憶している。終了日時視線位置欄６２５は、その終了日時における視線の位置を記憶している。音声情報欄６３０は、そのつぶやきの音声情報（つぶやきの内容）を記憶している。また、その音声情報の音声認識結果（テキスト）を記憶していてもよい。

そして、アノテーション生成モジュール１５０は、例えば、アノテーション情報テーブル７００を生成する。アノテーション情報テーブル７００は、アノテーション記憶モジュール１６０に記憶される。図７は、アノテーション情報テーブル７００のデータ構造例を示す説明図である。アノテーション情報テーブル７００は、アノテーションＩＤ欄７０５、アノテーション種類欄７１０、文書内貼付位置欄７１５、対象オブジェクト位置欄７２０、内容欄７２５を有している。アノテーションＩＤ欄７０５は、本実施の形態において、アノテーションを一意に識別するための情報（アノテーションＩＤ）を記憶している。アノテーション種類欄７１０は、そのアノテーションの種類を記憶している。アノテーション種類欄７１０内には、「注目箇所アノテーション」を示す情報、又は「非注目箇所アノテーション」のいずれかが記憶される。また、アノテーション種類欄７１０は、音声情報そのもの、音声認識結果であることを区別するためのラベル（識別符号）を記憶してもよいし、そのアノテーションは、添削の指摘事項であること、感想であること等を区別するためのラベルを記憶してもよい。指摘事項、感想等の区別は、ユーザーの操作によって行われてもよいし、音声認識結果を用いて指摘事項、感想等の種類を区別するようにしてもよい。例えば、指摘事項、感想等で用いられる予め定められた単語を検知した場合は、その種類であるとしてもよい。文書内貼付位置欄７１５は、文書内における、そのアノテーションの貼付位置を記憶している。対象オブジェクト位置欄７２０は、そのアノテーションが添付されている対象オブジェクトの位置を記憶している。対象オブジェクトは、つぶやきが発声されたときの視線の位置に最も近いオブジェクトである。なお、オブジェクトの位置については、文書内オブジェクト表示位置情報テーブル８００のオブジェクト表示位置欄８１５を用いればよい。内容欄７２５は、アノテーションの内容を記憶している。つまり、音声情報欄６３０と同等の情報を記憶している。

なお、文書記憶モジュール１７０には、文書そのものの他に、文書内オブジェクト表示位置情報テーブル８００を記憶していてもよい。図８は、文書内オブジェクト表示位置情報テーブル８００のデータ構造例を示す説明図である。文書内オブジェクト表示位置情報テーブル８００は、文書ＩＤ欄８０５、オブジェクト欄８１０、オブジェクト表示位置欄８１５を有している。文書ＩＤ欄８０５は、本実施の形態において、文書を一意に識別するための情報（文書ＩＤ）を記憶している。オブジェクト欄８１０は、その文書内にあるオブジェクトを記憶している。オブジェクト表示位置欄８１５は、その文書内におけるオブジェクトの表示位置を記憶している。このオブジェクト表示位置欄８１５内の値を用いて、視線の位置とオブジェクト間の距離を算出すればよい。

図９は、本実施の形態による処理例を示すフローチャートである。非注目箇所を示すアノテーションの生成処理例を示すものである。
ステップＳ９０２では、ユーザーの操作にしたがって、文書の閲覧処理を開始する。
ステップＳ９０４では、ユーザーが注目した箇所を足し合わせていく。
ステップＳ９０６では、ユーザーの操作にしたがって、文書の閲覧処理を終了する。例えば、「文書を閉じる」等の操作が該当する。
なお、ステップＳ９０６までの処理において、図４の例に示したフローチャートによる処理が行われていてもよい。

ステップＳ９０８では、文書の全体の領域から、ユーザーがこれまで注目した箇所を差し引き、非注目箇所のアノテーションとして付与する。前述したように、視線の位置が全くない領域の他に、予め定められた期間以内で視線があった領域を含めてもよい。さらに、非注目箇所として、オブジェクトがある領域だけを対象としてもよい。つまり、空白領域は非注目箇所とはしない処理を行う。

図１０は、本実施の形態（文書出力装置２００）による処理例を示す説明図である。音声認識結果と音声情報そのものをアノテーションの内容とした例である。そして、オブジェクトに対して非注目箇所のアノテーションが添付されている例である。
画面１０００には、文書表示領域１０１０、サムネイル文書表示領域１０９０を表示する。サムネイル文書表示領域１０９０には、サムネイル文書１０９２、サムネイル文書１０９４、サムネイル文書１０９６、サムネイル文書１０９８等を表示する。これらのサムネイル文書が選択されて、左側の文書表示領域１０１０に文書１０２０を表示する。

文書表示領域１０１０には、文書１０２０を表示する。
文書１０２０では、対象領域１０３６に対してアノテーション１０３０が添付されており、対象領域１０４６に対してアノテーション１０４０が添付されており、対象領域１０５４に対してアノテーション１０５０が添付されていることを示している。
アノテーション１０３０は、メッセージ領域１０３２、音声出力ボタン１０３４を有している。アノテーション１０４０は、メッセージ領域１０４２、音声出力ボタン１０４４を有している。アノテーション１０５０は、メッセージ領域１０５２を有している。
アノテーション１０３０、アノテーション１０４０は、図４の例に示すフローチャートによって生成されたアノテーションである。
アノテーション１０５０は、図９の例に示すフローチャートによって生成されたアノテーションである。
つまり、対象領域１０３６を見ているときの音声がアノテーション１０３０内の音声出力ボタン１０３４の選択によって再生され、その音声認識結果（「日付が間違っているよ」）がアノテーション１０３０内のメッセージ領域１０３２に表示されている。対象領域１０４６を見ているときの音声がアノテーション１０４０内の音声出力ボタン１０４４の選択によって再生され、その音声認識結果（「○○がわかりにくい。△△がいいんじゃない？」）がアノテーション１０４０内のメッセージ領域１０４２に表示されている。
そして、対象領域１０５４は、非注目箇所であり、それを示すアノテーション１０５０が添付されている。アノテーション１０５０内には、非注目箇所であることを示すメッセージ領域１０５２（「この部分は未確認です」）がある。

図７の例に示したアノテーション情報テーブル７００は、時系列情報を含めるために、例えば、アノテーション情報テーブル１１００のようにしてもよい。図１１は、アノテーション情報テーブル１１００のデータ構造例を示す説明図である。アノテーション情報テーブル１１００は、アノテーションＩＤ欄１１０５、アノテーション種類欄１１１０、時系列情報数欄１１１５、対象オブジェクト位置欄１１２０、内容欄１１２５を有している。アノテーションＩＤ欄１１０５は、アノテーションＩＤを記憶している。アノテーション情報テーブル７００のアノテーションＩＤ欄７０５と同等である。アノテーション種類欄１１１０は、アノテーションの種類を記憶している。アノテーション情報テーブル７００のアノテーション種類欄７１０と同等である。時系列情報数欄１１１５は、時系列情報数を記憶している。時系列情報数欄１１１５内の数だけ、対象オブジェクト位置欄１１２０と内容欄１１２５の組が対象オブジェクト位置欄１１２０以降に続くことになる。なお、時系列順（古いものから順）に並んでいる。対象オブジェクト位置欄１１２０は、対象オブジェクトの位置を記憶している。アノテーション情報テーブル７００の対象オブジェクト位置欄７２０と同等である。内容欄１１２５は、内容を記憶している。アノテーション情報テーブル７００の内容欄７２５と同等である。
これによって、１つのオブジェクト（例えば、図、表、グラフ等）に対して、視線を移しながら複数のつぶやきがある場合、１つのアノテーションで時系列のつぶやきを表示することができるようになる。具体的には、図１２の例を用いて説明する。

図１２は、本実施の形態（文書出力装置２００）による処理例を示す説明図である。１つのアノテーションで時系列の複数のつぶやきを表示している例である。
画面１２００には、文書表示領域１２１０、サムネイル文書表示領域１２９０を表示する。サムネイル文書表示領域１２９０には、サムネイル文書１２９２、サムネイル文書１２９４、サムネイル文書１２９６、サムネイル文書１２９８を表示する。これらのサムネイル文書が選択されて、左側の文書表示領域１２１０に文書１２２０を表示する。

文書表示領域１２１０には、文書１２２０を表示する。
文書１２２０では、右上のグラフ（オブジェクトの一例）に対して、アノテーション１２３０を表示している。アノテーション１２３０は、メッセージ領域１２３２、音声出力ボタン１２３４を有している。
閲覧している文書１２２０に対してユーザーが発した音声情報と、そのとき注目していた箇所の時系列的な変化とを同期して表示している。音声出力ボタン１２３４がクリックされたことを検知すると、実際のつぶやきの音声を出力し、そのときに注目していた箇所（例えば、点線の楕円で囲った赤い部分である対象領域１２４２、対象領域１２４４、対象領域１２４６）を動的に表示する。ここで「動的に表示」とは、具体的には、音声の発声に合わせて、時系列順に表示することである。したがって、「ここがもっと○○で、」と音声出力している間は、対象領域１２４２と、その対象領域１２４２とアノテーション１２３０を結ぶ図形（吹き出し図形）を表示し、「ここは△△で」と音声出力している間は、対象領域１２４４と、その対象領域１２４４とアノテーション１２３０を結ぶ吹き出し図形を表示し、「ここは□□」と音声出力している間は、対象領域１２４６と、その対象領域１２４６とアノテーション１２３０を結ぶ吹き出し図形を表示する。
また、音声出力が終了した後は、対象領域１２４２、対象領域１２４４、対象領域１２４６を表示したままにし、それぞれの吹き出し図形内に順番を示す符号（例えば、「Ａ」、「Ｂ」、「Ｃ」等）を表示するようにしてもよい。そして、音声認識結果内に、その順番を示す符号を含ませるようにしてもよい。例えば、かっこ内に順番を示す符号を入れて、「ここ（Ａ）がもっと○○で、ここ（Ｂ）は△△で、ここ（Ｃ）は□□」のように表示する。音声発声の日時と視線の位置の日時を用いて、順番を示す符号、対象領域１２４２等の対象領域の表示順序を決定すればよい。

なお、本実施の形態（アノテーション生成処理装置１００、文書出力装置２００、ユーザー端末３００、文書管理装置３５０、文書管理装置３６０、ユーザー端末３８０）としてのプログラムが実行されるコンピュータのハードウェア構成は、図１３に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバーとなり得るコンピュータ等である。つまり、具体例として、処理部（演算部）としてＣＰＵ１３０１を用い、記憶装置としてＲＡＭ１３０２、ＲＯＭ１３０３、ＨＤ１３０４を用いている。ＨＤ１３０４として、例えばハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）を用いてもよい。音声録音モジュール１１０、注目箇所捕捉モジュール１２０、文書内注目位置・音声対応付モジュール１３０、非注目箇所捕捉モジュール１４０、アノテーション生成モジュール１５０、文書表示モジュール１８０、文書出力モジュール２１０、アノテーション出力モジュール２２０、音声出力モジュール２３０等のプログラムを実行するＣＰＵ１３０１と、そのプログラムやデータを記憶するＲＡＭ１３０２と、本コンピュータを起動するためのプログラム等が格納されているＲＯＭ１３０３と、アノテーション記憶モジュール１６０、文書記憶モジュール１７０としての機能を有する補助記憶装置（フラッシュ・メモリ等であってもよい）であるＨＤ１３０４と、キーボード、マウス、タッチスクリーン、マイク１０５、視線検知モジュール１１５等に対するユーザーの操作（動作、音声、視線等を含む）に基づいてデータを受け付ける受付装置１３０６と、ＣＲＴ、液晶ディスプレイ等の表示装置１８５、スピーカー２３５等の出力装置１３０５と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インタフェース１３０７、そして、それらをつないでデータのやりとりをするためのバス１３０８により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。

前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図１３に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１３に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図１３に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器（携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む）、情報家電、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。

１００…アノテーション生成処理装置
１０５…マイク
１１０…音声録音モジュール
１１５…視線検知モジュール
１２０…注目箇所捕捉モジュール
１３０…文書内注目位置・音声対応付モジュール
１４０…非注目箇所捕捉モジュール
１５０…アノテーション生成モジュール
１６０…アノテーション記憶モジュール
１７０…文書記憶モジュール
１８０…文書表示モジュール
１８５…表示装置
２００…文書出力装置
２１０…文書出力モジュール
２２０…アノテーション出力モジュール
２３０…音声出力モジュール
２３５…スピーカー
３００…ユーザー端末
３５０…文書管理装置
３６０…文書管理装置
３８０…ユーザー端末
３９０…通信回線

Claims (8)

1. 文書を閲覧している利用者の該文書内の視線の位置と該視線の位置での音声を対応付ける対応付け手段と、
   前記音声を内容とし、該音声に対応する前記視線の位置に添付する注釈を生成する生成手段
   を有する情報処理装置。
2. 前記生成手段は、前記視線の位置にあるオブジェクトに対して、前記音声を内容とする注釈を添付する、
   請求項１に記載の情報処理装置。
3. 前記生成手段は、前記音声の認識結果を内容として含む注釈を生成する、
   請求項２に記載の情報処理装置。
4. 前記生成手段は、前記認識結果内に予め定められた単語が含まれる場合は、該単語を変更する、
   請求項３に記載の情報処理装置。
5. 前記生成手段は、前記視線の位置の時系列的変化が判別できる注釈を生成する、
   請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記生成手段は、前記視線の位置以外の箇所に、非注目箇所であることを意味する注釈を生成する、
   請求項１に記載の情報処理装置。
7. 前記生成手段は、前記視線の位置以外の箇所にあるオブジェクトに対して、前記注釈を添付する、
   請求項６に記載の情報処理装置。
8. コンピュータを、
   文書を閲覧している利用者の該文書内の視線の位置と該視線の位置での音声を対応付ける対応付け手段と、
   前記音声を内容とし、該音声に対応する前記視線の位置に添付する注釈を生成する生成手段
   として機能させるための情報処理プログラム。

Images