JP2019204503A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】音声データのどの期間が重要であるか否かを把握することができる情報処理装置、情報処理方法およびプログラムを提供する。【解決手段】情報処理装置１０は、外部から入力される利用者の視線を検出した視線データに基づいて、利用者の視線の注視度を解析する解析部１１と、外部から入力される利用者の音声データであって、視線データと同じ時間軸が対応付けられた音声データに対して、解析部１１が解析した注視度に応じた重要度を所定の時間間隔で割り当てて記録部１４へ記録する設定部１２と、を備える。【選択図】図１

Description

本発明は、音声データと視線データとを処理する情報処理装置、情報処理方法およびプログラムに関する。

近年、画像データ等の情報を処理する情報処理装置において、利用者の音声を検出したときから、所定の時間遡った期間において、表示部が表示する画像上における複数の表示領域に対して、利用者の視線が最も長く停留した画像の表示領域を注目情報として検出するとともに、この注目情報と音声とを対応付けて記録する技術が知られている（特許文献１参照）。

また、注視注釈システムにおいて、コンピューティングデバイスの表示デバイスが表示する画像に対して、注視追跡デバイスによって検出された利用者が注視する注視点の近くに注釈アンカーを表示するとともに、この注釈アンカーに音声によって情報を入力する技術が知られている（特許文献２参照）。

特許第４２８２３４３号公報 特開２０１６−１８１２４５号公報

しかしながら、上述した特許文献１,２では、利用者の視線を音声入力によって行うためのキューとして利用しているにすぎないため、音声データの重要度について何ら考慮されておらず、音声データのどの期間が重要であるか否かを把握することができないという問題点があった。

本開示は、上記に鑑みてなされたものであって、音声データの重要な期間を把握することができる情報処理装置、情報処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本開示に係る情報処理装置は、外部から入力される利用者の視線を検出した視線データに基づいて、前記利用者の視線の注視度を解析する解析部と、外部から入力される前記利用者の音声データであって、前記視線データと同じ時間軸が対応付けられた音声データに対して、前記解析部が解析した前記注視度に応じた重要度を割り当てて記録部へ記録する設定部と、を備える。

また、本開示に係る情報処理装置は、上記開示において、前記設定部は、前記解析部によって前記注視度が高いと解析された期間の時刻において前記利用者が発話した前記音声データの期間を重要期間と割り当てて前記記録部に記録する。

また、本開示に係る情報処理装置は、上記開示において、前記設定部は、前記注視度が高いほど前記音声データに対して前記重要度を高く割り当てて前記記録部へ記録する。

また、本開示に係る情報処理装置は、上記開示において、前記設定部は、前記解析部によって前記注視度が高いと解析された期間の時刻において前記利用者が発話した場合、該期間の時刻において前記利用者が発話した前記音声データに前記重要度を割り当てて前記記録部へ記録する。

また、本開示に係る情報処理装置は、上記開示において、前記解析部は、前記視線の移動速度、一定の時間内における前記視線の移動距離、一定領域内における前記視線の滞留時間のいずれか１つを検出することによって、前記注視度を解析する。

また、本開示に係る情報処理装置は、上記開示において、外部から入力される画像データに対応する画像上に前記解析部が解析した前記注視度および該注視度の座標情報を関連付けた視線マッピングデータを生成する生成部をさらに備える。

また、本開示に係る情報処理装置は、上記開示において、前記解析部は、前記視線データに基づいて、前記利用者の視線の軌跡をさらに解析し、前記生成部は、前記解析部が解析した前記軌跡を前記画像上にさらに関連付けて前記視線マッピングデータを生成する。

また、本開示に係る情報処理装置は、上記開示において、前記音声データを文字情報に変換する変換部をさらに備え、前記生成部は、前記座標情報に前記文字情報をさらに関連付けて前記視線マッピングデータを生成する。

また、本開示に係る情報処理装置は、上記開示において、外部から入力された操作信号に応じて指定されたキーワードを前記変換部によって変換された前記文字情報から抽出する抽出部と、前記視線マッピングデータに対応する視線マッピング画像を表示部に表示させる表示制御部と、をさらに備え、前記表示制御部は、前記抽出部によって抽出された前記文字情報に関連付けられた前記注視度を前記表示部に強調表示させ、かつ、前記文字情報を前記表示部に表示させる。

また、本開示に係る情報処理装置は、上記開示において、前記利用者の視線を連続的に検出することによって前記視線データを生成する視線検出部と、前記利用者の音声の入力を受け付けて前記音声データを生成する音声入力部と、をさらに備える。

また、本開示に係る情報処理装置は、上記開示において、複数の利用者の各々を識別する識別情報を検出する検出部をさらに備え、前記解析部は、前記複数の利用者の各々の視線を検出した複数の前記視線データに基づいて、前記複数の利用者の各々の前記注視度を解析し、前記設定部は、前記検出部が検出した前記識別情報に基づいて、前記複数の利用者の各々の前記音声データに所定の時間間隔で割り当てる前記重要度を変更する。

また、本開示に係る情報処理装置は、上記開示において、標本を観察する観察倍率を変更可能であり、前記利用者が前記標本の観察像を観察可能な接眼部を有する顕微鏡と、前記顕微鏡に接続され、前記顕微鏡が結像した前記標本の観察像を撮像することによって画像データを生成する撮像部とをさらに備え、前記視線検出部は、前記顕微鏡の接眼部に設けられ、前記設定部は、前記観察倍率に応じて前記重要度の重み付けを行う。

また、本開示に係る情報処理装置は、上記開示において、被検体に挿入可能な挿入部の先端部に設けられ、被検体内の体内を撮像することによって画像データを生成する撮像部と、視野を変更するための各種の操作の入力を受け付ける操作部と、を有する内視鏡と、をさらに備える。

また、本開示に係る情報処理装置は、上記開示において、前記設定部は、前記操作部が受け付けた操作履歴に関する操作履歴に基づいて前記重要度の重み付けを行う。

また、本開示に係る情報処理装置は、上記開示において、前記設定部は、前記解析部が解析した前記注視度が高いと判別した期間を基準にして算出した期間の前記音声データに対して、重要度を割り当てる。

また、本開示に係る情報処理装置は、上記開示において、前記情報処理装置は、さらに、前記音声データに対して発話された発話期間を特定する発話検出部を有し、前記設定部は、前記解析部が解析した前記注視度が高いと判別した期間を基準にして、最も時間相関が高い発話期間に対して、重要度を割り当てる期間を設定することを特徴とする。

また、本開示に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、外部から入力される利用者の視線を検出した視線データに基づいて、前記利用者の視線の注視度を解析する解析ステップと、外部から入力される前記利用者の音声データであって、前記視線データと同じ時間軸が対応付けられた音声データに対して、前記解析ステップで解析した前記注視度に応じた重要度を割り当てて記録部へ記録する設定ステップと、を含む。

また、本開示に係るプログラムは、情報処理装置に、情報処理装置に、外部から入力される利用者の視線を検出した視線データに基づいて、前記利用者の視線の注視度を解析する解析ステップと、外部から入力される前記利用者の音声データであって、前記視線データと同じ時間軸が対応付けられた音声データに対して、前記解析ステップで解析した前記注視度に応じた重要度を割り当てて記録部へ記録する設定ステップと、を実行させる。

本開示によれば、視線の動態に基づき、同時的に記録した音声データの重要な期間を把握することができるという効果を奏する。

図１は、実施の形態１に係る情報処理システムの機能構成を示すブロック図である。 図２は、実施の形態１に係る情報処理装置が実行する処理について説明するフローチャートである。 図３は、実施の形態１に係る解析部による視線の注視度の解析方法を模式的に説明する図である。 図４Ａは、実施の形態１に係る設定部による音声データへの重要度の割り当ての設定方法を模式的に説明する図である。 図４Ｂは、実施の形態１に係る設定部による音声データへの重要度の割り当ての別の設定方法を模式的に説明する図である。 図５は、実施の形態１に係る表示部が表示する画像の一例を模式的に示す図である。 図６は、実施の形態１に係る表示部が表示する画像の別の一例を模式的に示す図である。 図７は、実施の形態１の変形例に係る情報処理システムの機能構成を示すブロック図である。 図８は、実施の形態１の変形例に係る情報処理装置が実行する処理の概要を示すフローチャートである。 図９は、実施の形態２に係る情報処理装置の構成を示す概略図である。 図１０は、実施の形態２に係る情報処理装置の構成を示す概略図である。 図１１は、実施の形態２に係る情報処理装置の機能構成を示すブロック図である。 図１２は、情報処理装置が実行する処理の概要を示すフローチャートである。 図１３は、実施の形態２に係る表示部が表示する視線マッピング画像の一例を示す図である。 図１４は、実施の形態２に係る表示部が表示する視線マッピング画像の別の一例を示す図である。 図１５は、実施の形態３に係る顕微鏡システムの構成を示す概略図である。 図１６は、実施の形態３に係る顕微鏡システムの機能構成を示すブロック図である。 図１７は、実施の形態３に係る顕微鏡システムが実行する処理の概要を示すフローチャートである。 図１８は、実施の形態４に係る内視鏡システムの構成を示す概略図である。 図１９は、実施の形態４に係る内視鏡システムの機能構成を示すブロック図である。 図２０は、実施の形態４に係る内視鏡システムが実行する処理の概要を示すフローチャートである。 図２１は、実施の形態４に係る画像データ記録部が記録する複数の画像データに対応する複数の画像の一例を模式的に示す図である。 図２２は、実施の形態４に係る画像処理部が生成する統合画像データに対応する統合画像の一例を示す図である。 図２３は、実施の形態５に係る情報処理システムの機能構成を示すブロック図である。 図２４は、実施の形態５に係る情報処理システムが実行する処理の概要を示すフローチャートである。

以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものではない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさおよび位置関係のみに限定されるものでない。

（実施の形態１）
〔情報処理システムの構成〕
図１は、実施の形態１に係る情報処理システムの機能構成を示すブロック図である。図１に示す情報処理システム１は、外部から入力される視線データ、音声データおよび画像データに対して各種の処理を行う情報処理装置１０と、情報処理装置１０から出力された各種データを表示する表示部２０と、を備える。なお、情報処理装置１０と表示部２０は、無線または有線によって双方向に接続されている。

〔情報処理装置の構成〕
まず、情報処理装置１０の構成について説明する。
図１に示す情報処理装置１０は、例えばサーバやパーソナルコンピュータ等にインストールされたプログラムを用いて実現され、ネットワークを経由して各種データが入力される、または外部の装置で取得された各種データが入力される。図１に示すように、情報処理装置１０は、解析部１１と、設定部１２と、生成部１３と、記録部１４と、表示制御部１５と、を備える。

解析部１１は、外部から入力される利用者の視線を検出した所定時間の視線データに基づいて、利用者の視線の注視度を解析する。ここで、視線データとは、角膜反射法に基づくものである。具体的には、視線データは、図示しない視線検出部（アイトラッキング）に設けられたＬＥＤ光源等から近赤外線が利用者の角膜赤に照射された際に、視線検出部である光学センサが角膜上の瞳孔点と反射点を撮像することによって生成されたデータである。そして、視線データは、光学センサが角膜上の瞳孔点と反射点を撮像することによって生成されたデータに対して画像処理等を行うことによって解析した解析結果に基づく利用者の瞳孔点と反射点のパターンから利用者の視線を算出したものである。

また、図示していないが、視線検出部を備える装置が視線データを計測する際には、対応する画像データを使用者（利用者）に提示したうえで、視線データを計測している。この場合、図示しない視線検出部を備える装置は、使用者に表示している画像が固定している場合、すなわち表示領域の時間とともに絶対座標が変化しないとき、視線に計測領域と画像の絶対座標の相対的に位置関係を固定値として与えていれば良い。ここで、絶対座標とは、画像の所定の１点を基準に表記している座標を指している。

利用形態が内視鏡システムや光学顕微鏡を用いる場合には、解析部１１は、視線を検出するために提示している視野が画像データの視野となるため、画像の絶対座標に対する観察視野の相対的な位置関係が変わらない。また、利用形態が内視鏡システムや光学顕微鏡を用いる場合において、動画として記録しているとき、解析部１１は、視野のマッピングデータを生成するために、視線検出データと、視線の検出と同時に記録された画像または提示された画像を用いる。

一方で、利用形態がＷＳＩ（Whole Slide Imaging）では、顕微鏡のスライドサンプルの一部を視野として使用者が観察しており、時刻とともに観察視野が変化する。この場合、解析部１１は、全体の画像データのどの部分が視野として提示されているか、すなわち全体の画像データに対する表示領域の絶対座標の切り替えの時間情報も、視線・音声の情報と同じく同期化して記録していること等が考えられる。

解析部１１は、外部から入力される利用者の視線を検出した所定時間の視線データに基づいて、視線の移動速度、一定の時間内における視線の移動距離、一定領域内における視線の滞留時間のいずれか１つを検出することによって、視線（注視点）の注視度を解析する。なお、図示しない視線検出部は、所定の場所に載置されることによって利用者を撮像することによって視線を検出するものであってもよいし、利用者が装着することによって利用者を撮像することによって視線を検出するものであってもよい。また、視線データは、これ以外にも、周知のパターンマッチングによって生成されたものであってもよい。解析部１１は、例えばＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）およびＧＰＵ（Graphics Processing Unit）等を用いて構成される。

設定部１２は、外部から入力される利用者の音声データであって、視線データと同じ時間軸が対応付けられた音声データに対して、所定の時間間隔毎に解析部１１が解析した注視度に応じた重要度を音声データに割り当てて記録部１４へ記録する。具体的には、設定部１２は、音声データのフレーム毎に、このフレームの同じタイミングで解析部１１が解析した注視度に応じた重要度（例えば数値）を割り当てて記録部１４へ記録する。また、外部から入力される利用者の音声データは、視線データと同じタイミングで図示しないマイク等の音声入力部によって生成されたものである。設定部１２は、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成される。

生成部１３は、外部から入力される画像データに対応する画像上に解析部１１が解析した注視度を関連付けた視線マッピングデータを生成し、この生成した視線マッピングデータを記録部１４および表示制御部１５へ出力する。具体的には、生成部１３は、外部から入力される画像データに対応する画像上の所定領域毎に、解析部１１が解析した注視度を画像上の座標情報に関連付けた視線マッピングデータを生成する。さらに、生成部１３は、注視度に加えて、外部から入力される画像データに対応する画像上に解析部１１が解析した利用者の視線の軌跡を関連付けて視線マッピングデータを生成する。生成部１３は、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成される。そして、生成部１３は、上述のＷＳＩで使用する場合、上述の様に視線マッピングデータを画像の絶対座標として得るとき、視線を計測した際の表示と画像の絶対座標の相対的位置関係を使用することによって視線マッピングデータを生成する。また、上述の様に、生成部１３は、観察視野が時々刻々と変化する場合には、表示領域＝視野の絶対座標（例えば表示画像の左上が元の画像データに絶対座標でどこに位置するか）の経時変化を入力することによって視線マッピングデータを生成する。

記録部１４は、設定部１２から入力された音声データと、所定の時間間隔毎に割り当たれた重要度と、解析部１１が解析した注視度と、を対応付けて記録する。また、記録部１４は、生成部１３から入力された視線マッピングデータを記録する。また、記録部１４は、情報処理装置１０が実行する各種プログラムおよび処理中のデータを記録する。記録部１４は、揮発性メモリ、不揮発性メモリおよび記録媒体等を用いて構成される。

表示制御部１５は、外部から入力される画像データに対応する画像上に、生成部１３が生成した視線マッピングデータを重畳して外部の表示部２０に出力することによって表示させる。表示制御部１５は、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成される。なお、上述した解析部１１、設定部１２、視線マッピングおよび表示制御部１５をＣＰＵ、ＦＰＧＡおよびＧＰＵのいずれか１つを用いて各機能が発揮できるように構成してもよいし、もちろん、ＣＰＵ、ＦＰＧＡおよびＧＰＵを組み合わせて各機能が発揮できるように構成してもよい。

〔表示部の構成〕
次に、表示部２０の構成について説明する。
表示部２０は、表示制御部１５から入力された画像データに対応する画像や視線マッピングデータに対応する視線マッピング情報を表示する。表示部２０は、例えば有機ＥＬ（Electro Luminescence）や液晶等の表示モニタを用いて構成される。

〔情報処理装置の処理〕
次に、情報処理装置１０の処理について説明する。図２は、情報処理装置１０が実行する処理について説明するフローチャートである。

図２に示すように、まず、情報処理装置１０は、外部から入力される視線データ、音声データおよび画像データを取得する（ステップＳ１０１）。

続いて、解析部１１は、視線データに基づいて、利用者の視線の注視度を解析する（ステップＳ１０２）。ステップＳ１０２の後、情報処理装置１０は、後述するステップＳ１０３へ移行する。

図３は、解析部１１による視線の注視度の解析方法を模式的に説明する図である。図３の（ａ）および図３の（ｂ）において、横軸が時間を示し、図３の（ａ）の縦軸が移動速度を示し、図３の（ｂ）の縦軸が注視度を示す。また、図３の（ａ）の曲線Ｌ１が視線の移動速度の時間変化を示し、図３の（ｂ）の曲線Ｌ２が注視度の時間変化を示す。

一般には、視線の移動速度が大きいほど、利用者の注視度が低く、視線の移動速度が小さいほど、利用者の視線の注視度が高いと解析することができる。即ち、図３の曲線Ｌ１および曲線Ｌ２に示すように、解析部１１は、利用者の視線の移動速度が大きいほど、利用者の視線の注視度が低いと解析し、視線の移動速度が小さいほど（視線の移動速度が小さい区間Ｄ１を参照）、利用者の視線の注視度が高いと解析する。このように、解析部１１は、所定時間毎（利用者が画像の観察や読影を行っている時間）の視線データに対して、利用者の視線の注視度を解析する。なお、図３では、解析部１１は、利用者の視線の移動速度を解析することによって、利用者の視線の注視度を解析していたが、これに限定されることなく、一定の時間内における利用者の視線の移動距離および一定領域内における利用者の視線の滞留時間のいずれか１つを検出することによって、視線の注視度を解析してもよい。

図２に戻り、ステップＳ１０３以降の説明を続ける。
ステップＳ１０３において、設定部１２は、視線データと同期化された音声データに対して、所定の時間間隔毎に解析部１１が解析した注視度に応じた重要度を音声データに割り当てる設定を行って記録部１４に記録する。ステップＳ１０３の後、情報処理装置１０は、後述するステップＳ１０４へ移行する。

図４Ａは、設定部１２による音声データへの重要度の割り当ての設定方法を模式的に説明する図である。図４Ａにおいて、横軸が時間を示し、図４Ａの（ａ）の縦軸が注視度を示し、図４Ａの（ｂ）の縦軸が音声データ（発音）を示し、図４Ａの（ｂ）の縦軸が重要度を示す。また、図４Ａの（ａ）の曲線Ｌ２が注視度の時間変化を示し、図４の（ｂ）の曲線Ｌ３が音声データの時間変化を示し、図４Ａの（ｃ）の曲線Ｌ４が重要度の時間変化を示す。

図４Ａに示すように、曲線Ｌ２,曲線Ｌ３,曲線Ｌ４では、音声データに変化があった場合において、利用者が注視していないとき（利用者の視線が移動（変化）しているため）、利用者が重要なことを発音している可能性が低いので、重要度が低いと推定することができる。これに対して、図４Ａに示すように、曲線Ｌ２,曲線Ｌ３,曲線Ｌ４では、音声データに変化があった場合において、利用者視線の注視度が高いとき（区間Ｄ１）、利用者が重要なことを発音している可能性が高いため、重要度が高いと推定することができる。

即ち、設定部１２は、音声データに対して、所定の時間間隔毎に解析部１１が解析した注視度に応じた重要度を音声データに割り当てる設定を行って記録部１４に記録する。具体的には、図４に示す場合、設定部１２は、解析部１１が注視度を高いと解析した区間Ｄ１の音声データに対して重要度（例えば数字、視線が滞在していた時間および大中小を示す記号等）を高いと割り当てる設定を行って記録部１４に記録する。このとき、設定部１２は、解析部１１が注視度を高いと解析した区間Ｄ１と、音声データの発音区間Ｄ２にずれのディレイ期間ｄ１が生じている場合、解析部１１が注視度を高いと解析した区間Ｄ１に対応する音声データの前後の近傍である発音区間Ｄ２（例えば１秒前後の区間）を含む発音区間に重要度が高い割り当てを設定して記録部１４に記録する。

なお、実施の形態１では、予め利用者の注視度と発音（発声）との時間差を算出し（キャリブレーションデータ）、この算出結果に基づいて利用者の注視度と発音（発声）とのずれを補正するキャリブレーション処理を行ってもよい。

また、図４Ａにおいては、視線データの注視度と発話データとの時間的なずれに着目して、区間Ｄ１と発音区間Ｄ２に遅延時間を設けるようにしているが、図４Ａの変形例として、設定部１２は、視線データの注視度が高い区間の前後にマージンを設けることによって、音声データの重要度が高い期間としても良い。すなわち、設定部１２は、発音区間Ｄ２の開始時間が区間Ｄ１の開始時間よりも先になっており、発音区間Ｄ２の終了時間が区間Ｄ１の終了時間よりも遅くするという様態としてもよい。

また、図４Ａでは、設定部１２は、注視度に応じた時間的な区間Ｄ１を設定し、この設定した時間的な区間Ｄ１とディレイ期間ｄ１とを考慮して音声データの重要度の設定を行っている。なお、設定部１２は、注視度のデータと、発話を検出する機能と、を組み合わせてもよい。具体的には、設定部１２は、音声データに対して発話された発話期間を特定してもよい（発話検出部（図示せず）の機能を有してもよい）。この場合、図４Ｂに示すように、設定部１２は、注視度が高い区間Ｄ１に基づいて、ウインドウ区間Ｄｘを設定する。そして、設定部１２は、入力された音声データに対して、利用者が発話した発話区間（発話期間）、具体的には発話区間Ｐ１，Ｐ２を検出（特定）する。ここで、設定部１２は、発話区間Ｐ１，Ｐ２のうち、解析部１１によって解析された注視度に基づくウインドウ区間Ｄｘと重なりが大きい区間（例えば最も時間相関が高い発話期間）、具体的には重なりが大きい区間が発話区間Ｐ２なので、発話区間Ｐ２の区間内の音声データに高い重要度を設定する。すなわち、設定部１２は、重要度を、注視度が高い期間と発話区間Ｐ２の開始終了区間の両方を考慮して設定する。より具体的には、設定部１２は、解析部１１によって注視度が高いと解析された区間Ｄ１（期間）内の時刻において利用者が発話した音声データの発話区間Ｐ２（期間）を重要期間と割り当てて記録部１４に記録する。この場合、設定部１２は、注視度が高いほど音声データに対して重要度を高く割り当てて記録部１４へ記録する。さらに、設定部１２は、解析部１１によって注視度が高いと解析された期間の時刻において利用者が発話した場合、この期間の時刻において利用者が発話した音声データに重要度を割り当てて記録部１４へ記録してもよい。

図２に戻り、ステップＳ１０４以降の説明を続ける。
ステップＳ１０４において、生成部１３は、画像データに対応する画像上に解析部１１が解析した注視度を関連付けた視線マッピングデータを生成する。

続いて、表示制御部１５は、画像データに対応する画像上に、生成部１３が生成した視線マッピングデータを重畳して外部の表示部２０に出力する（ステップＳ１０５）。ステップＳ１０５の後、情報処理装置１０は、本処理を終了する。

図５は、表示部２０が表示する画像の一例を模式的に示す図である。図５に示すように、表示制御部１５は、画像データに対応する画像上に、生成部１３が生成した視線マッピングデータに重畳した視線マッピング画像Ｐ１を表示部２０に表示させる。図５においては、視線の注視度が高いほど、等高線の本数が多いヒートマップＭ１〜Ｍ５の視線マッピング画像Ｐ１を表示部２０に表示させる。

図６は、表示部２０が表示する画像の別の一例を模式的に示す図である。図６に示すように、表示制御部１５は、画像データに対応する画像上に、生成部１３が生成した視線マッピングデータに重畳した視線マッピング画像Ｐ２を表示部２０に表示させる。図６においては、視線の注視度が高いほど、円の領域が大きい注視度のマークＭ１１〜Ｍ１５が重畳された視線マッピング画像Ｐ２を表示部２０に表示させる。さらに、表示制御部１５は、利用者の視線の軌跡Ｋ１および注視度の順番を数字で表示部２０に表示させる。なお、図６においては、表示制御部１５は、各注視度の期間（時間）で利用者が発した音声データを、周知の文字変換技術を用いて変換した文字情報を、マークＭ１１〜Ｍ１５の近傍または重畳して表示部２０に表示させてもよい。

以上説明した実施の形態１によれば、設定部１２が外部から入力された音声データに対して、所定の時間間隔毎に解析部１１が解析した注視度に応じた重要度を音声データに割り当てる設定を行って記録部１４に記録するので、音声データのどの期間が重要であるか否かを把握することができる。

さらにまた、実施の形態１によれば、生成部１３が外部から入力される画像データに対応する画像上に解析部１１が解析した注視度、およびこの注視度の座標情報を関連付けた視線マッピングデータを生成するので、利用者が直感的に画像上における重要な位置を把握することができる。

また、実施の形態１によれば、記録部１４が設定部１２によって重要度を割り当てた音声データを記録するので、ディープラーニング等の機械学習で用いる視線のマッピングに基づく画像データと音声との対応関係を学習する際の学習データを容易に取得することができる。

また、実施の形態１によれば、設定部１２が解析部１１によって注視度が高いと解析された区間（期間）内の時刻において利用者が発話した音声データの期間を重要期間と割り当てて記録部１４に記録するので、他の音声データの区間と区別できるように記録部１４に記録することができる。

また、実施の形態１によれば、設定部１２が解析部１１によって解析された注視度が高いほど音声データに対して重要度を高く割り当てて記録部１４へ記録するので、音声データの区間毎の重要度を相対的に把握することができる。

また、実施の形態１によれば、設定部１２が解析部１１によって注視度が高いと解析された期間の時刻において利用者が発話した場合、この期間の時刻において利用者が発話した音声データに重要度を割り当てて記録部１４へ記録するので、単に注視度が高い場合であっても、音声データがない期間に対して重要度を低く割り当てるので、ディープラーニング等の機械学習で用いる視線のマッピングに基づく画像データと音声との対応関係を学習する際に重要度に応じた適応的な学習ができる。

（実施の形態１の変形例）
次に、本開示の実施の形態１の変形例について説明する。上述した実施の形態１では、設定部１２が解析部１１によって解析された注視度に応じた重要度を音声データに割り当てて記録部１４へ記録していたが、実施の形態１の変形例では、設定部１２が生成部１３によって生成された視線マッピングデータに基づいて、所定の時間間隔毎に重要度を音声データに割り当てて記録部１４へ記録する。以下においては、実施の形態１の変形例に係る情報処理システムの構成を説明後、実施の形態１の変形例に係る情報処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る情報処理システム１と同一の構成には同一の符号を付して詳細な説明は省略する。

〔情報処理システムの構成〕
図７は、実施の形態１の変形例に係る情報処理システムの機能構成を示すブロック図である。図７に示す情報処理システム１ａは、上述した実施の形態１に係る情報処理装置１０に代えて、情報処理装置１０ａを備える。情報処理装置１０ａは、上述した実施の形態１に係る設定部１２に代えて、設定部１２ａを備える。

設定部１２ａは、生成部１３によって生成された視線マッピングデータに基づいて、所定の時間間隔毎に重要度を音声データに割り当てて記録部１４へ記録する。

〔情報処理装置の処理〕
次に、情報処理装置１０ａが実行する処理について説明する。図８は、情報処理装置１０ａが実行する処理の概要を示すフローチャートである。図８において、ステップＳ２０１およびステップＳ２０２は、上述した図２のステップＳ１０１およびステップＳ１０２それぞれに対応する。また、図８において、ステップＳ２０３は、上述した図２のステップＳ１０４に対応する。

ステップＳ２０４において、設定部１２は、生成部１３によって生成された利用者の注視度を画像上に関連付けた視線マッピングデータに基づいて、所定の時間間隔毎に注視度に応じた重要度を音声データに割り当てる設定を行って記録部１４に記録する。ステップＳ２０４の後、情報処理装置１０ａは、ステップＳ２０５へ以降する。ステップＳ２０５は、上述した図２のステップＳ１０５に対応する。

以上説明した実施の形態１の変形例によれば、設定部１２が生成部１３によって生成された利用者の注視度を画像上に関連付けた視線マッピングデータに基づいて、所定の時間間隔毎に注視度に応じた重要度を音声データに割り当てる設定を行って記録部１４に記録するので、音声データのどの期間が重要であるか否かを把握することができる。

（実施の形態２）
次に、本開示の実施の形態２について説明する。実施の形態１では、外部から視線データおよび音声データの各々が入力されていたが、実施の形態２では、視線データおよび音声データを生成する。以下においては、実施の形態２に係る情報処理装置の構成を説明後、実施の形態２に係る情報処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る情報処理システム１と同一の構成には同一の符号を付して詳細な説明は適宜省略する。

〔情報処理装置の構成〕
図９は、実施の形態２に係る情報処理装置の構成を示す概略図である。図１０は、実施の形態２に係る情報処理装置の構成を示す概略図である。図１１は、実施の形態２に係る情報処理装置の機能構成を示すブロック図である。

図９〜図１１に示す情報処理装置１ｂは、解析部１１と、表示部２０と、視線検出部３０と、音声入力部３１と、制御部３２と、時間計測部３３と、記録部３４と、変換部３５と、抽出部３６と、操作部３７と、設定部３８と、生成部３９と、を備える。

視線検出部３０は、近赤外線を照射するＬＥＤ光源と、角膜上の瞳孔点と反射点を撮像する光学センサ（例えばＣＭＯＳ、ＣＣＤ等）と、を用いて構成される。視線検出部３０は、利用者Ｕ１が表示部２０を視認可能な情報処理装置１ｂの筐体の側面に設けられる（図９および図１０を参照）。視線検出部３０は、制御部３２の制御のもと、表示部２０が表示する画像に対する利用者Ｕ１の視線を検出した視線データを生成し、この視線データを制御部３２へ出力する。具体的には、視線検出部３０は、制御部３２の制御のもと、ＬＥＤ光源等から近赤外線を利用者Ｕ１の角膜に照射し、光学センサが利用者Ｕ１の角膜上の瞳孔点と反射点を撮像することによって視線データを生成する。そして、視線検出部３０は、制御部３２の制御のもと、光学センサによって生成されたデータに対して画像処理等によって解析した解析結果に基づいて、利用者Ｕ１の瞳孔点と反射点のパターンから利用者の視線や視線を連続的に算出することによって所定時間の視線データを生成し、この視線データを後述する視線検出制御部３２１へ出力する。なお、視線検出部３０は、単に光学センサのみで利用者Ｕ１の瞳を周知のパターンマッチングを用いることによって瞳を検出することによって、利用者Ｕ１の視線を検出した視線データを生成してもよいし、他のセンサや他の周知技術を用いて利用者Ｕ１の視線を検出することによって視線データを生成してもよい。

音声入力部３１は、音声が入力されるマイクと、マイクが入力を受け付けた音声をデジタルの音声データに変換するとともに、この音声データを増幅することによって制御部３２へ出力する音声コーデックと、を用いて構成される。音声入力部３１は、制御部３２の制御のもと、利用者Ｕ１の音声の入力を受け付けることによって音声データを生成し、この音声データを制御部３２へ出力する。なお、音声入力部３１は、音声の入力以外にも、音声を出力することができるスピーカ等を設け、音声出力機能を設けてもよい。

制御部３２は、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成され、視線検出部３０、音声入力部３１および表示部２０を制御する。制御部３２は、視線検出制御部３２１と、音声入力制御部３２２と、表示制御部３２３と、を有する。

視線検出制御部３２１は、視線検出部３０を制御する。具体的には、視線検出制御部３２１は、視線検出部３０を所定のタイミング毎に近赤外線を利用者Ｕ１へ照射させるとともに、利用者Ｕ１の瞳を視線検出部３０に撮像させることによって視線データを生成させる。また、視線検出制御部３２１は、視線検出部３０から入力された視線データに対して、各種の画像処理を行って記録部３４へ出力する。

音声入力制御部３２２は、音声入力部３１を制御し、音声入力部３１から入力された音声データに対して各種の処理、例えばゲインアップやノイズ低減処理等を行って記録部３４へ出力する。

表示制御部３２３は、表示部２０の表示態様を制御する。表示制御部３２３は、記録部３４に記録された画像データに対応する画像または生成部１３によって生成された視線マッピングデータに対応する視線マッピング画像を表示部２０に表示させる。

時間計測部３３は、タイマーやクロックジェネレータ等を用いて構成され、視線検出部３０によって生成された視線データおよび音声入力部３１によって生成された音声データ等に対して時刻情報を付与する。

記録部３４は、揮発性メモリ、不揮発性メモリおよび記録媒体等を用いて構成され、情報処理装置１ｂに関する各種の情報を記録する。記録部３４は、視線データ記録部３４１と、音声データ記録部３４２と、画像データ記録部３４３と、プログラム記録部３４４と、を有する。

視線データ記録部３４１は、視線検出制御部３２１から入力された視線データを記録するとともに、視線データを解析部１１へ出力する。

音声データ記録部３４２は、音声入力制御部３２２から入力された音声データを記録するとともに、音声データを変換部３５へ出力する。

画像データ記録部３４３は、複数の画像データを記録する。この複数の画像データは、情報処理装置１ｂの外部から入力されたデータ、または記録媒体によって外部の撮像装置によって撮像されたデータである。

プログラム記録部３４４は、情報処理装置１ｂが実行する各種プログラム、各種プログラムの実行中に使用するデータ（例えば辞書情報やテキスト変換辞書情報）および各種プログラムの実行中の処理データを記録する。

変換部３５は、音声データに対して周知のテキスト変換処理を行うことによって、音声データを文字情報（テキストデータ）に変換し、この文字情報を抽出部３６へ出力する。
なお、音声の文字変換はこの時点で行わない構成も可能であり、その際には、音声情報のまま重要度を設定し、その後文字情報に変換するようにしても良い。

抽出部３６は、後述する操作部３７から入力された指示信号に対応する文字や単語（キーワード）を、変換部３５によって変換された文字情報から抽出し、この抽出結果を設定部３８へ出力する。なお、抽出部３６は、後述する操作部３７から指示信号が入力されていない場合、変換部３５から入力されたままの文字情報を設定部３８へ出力する。

操作部３７は、マウス、キーボード、タッチパネルおよび各種スイッチ等を用いて構成され、利用者Ｕ１の操作の入力を受け付け、入力を受け付けた操作内容を制御部３２へ出力する。

設定部３８は、所定の時間間隔毎に解析部１１が解析した注視度と抽出部３６によって抽出された文字情報とに基づいて、視線データと同じ時間軸が対応付けられた音声データに重要度および変換部３５によって変換された文字情報を割り当てて記録部３４へ記録する。

生成部３９は、表示部２０が表示する画像データに対応する画像上に解析部１１が解析した注視度および変換部３５が変換した文字情報を関連付けた視線マッピングデータを生成し、この視線マッピングデータを画像データ記録部３４３または表示制御部３２３へ出力する。

〔情報処理装置の処理〕
次に、情報処理装置１ｂが実行する処理について説明する。図１２は、情報処理装置１ｂが実行する処理の概要を示すフローチャートである。

図１２に示すように、まず、表示制御部３２３は、画像データ記録部３４３が記録する画像データに対応する画像を表示部２０に表示させる（ステップＳ３０１）。この場合、表示制御部３２３は、操作部３７の操作に応じて選択された画像データに対応する画像を表示部２０に表示させる。

続いて、制御部３２は、視線検出部３０が生成した視線データおよび音声入力部３１が生成した音声データの各々と時間計測部３３によって計測された時間とを対応付けて視線データ記録部３４１および音声データ記録部３４２に記録する（ステップＳ３０２）。

その後、変換部３５は、音声データ記録部３４２が記録する音声データを文字情報に変換する（ステップＳ３０３）。なお、このステップは後述のＳ３０６の後に行っても良い。

続いて、操作部３７から表示部２０が表示する画像の観察を終了する指示信号が入力された場合（ステップＳ３０４：Ｙｅｓ）、情報処理装置１ｂは、後述するステップＳ３０５へ移行する。これに対して、操作部３７から表示部２０が表示する画像の観察を終了する指示信号が入力されていない場合（ステップＳ３０４：Ｎｏ）、情報処理装置１ｂは、ステップＳ３０２へ戻る。

ステップＳ３０５は、上述した図２のステップＳ１０２に対応する。ステップＳ３０５の後、情報処理装置１ｂは、後述するステップＳ３０６へ移行する。

ステップＳ３０６において、設定部３８は、所定の時間間隔毎に解析部１１が解析した注視度と抽出部３６によって抽出された文字情報とに基づいて、視線データと同じ時間軸が対応付けられた音声データに重要度および変換部３５によって変換された文字情報を割り当てて記録部３４へ記録する。この場合、設定部３８は、抽出部３６によって抽出された文字情報に対応する音声データの重要度の重み付けを行って記録部３４へ記録する。例えば、設定部３８は、重要度に、抽出部３６によって抽出された文字情報に基づく係数を注視度に乗じた値を重要度として音声データに割り当てを行って記録部３４へ記録する。

続いて、生成部３９は、表示部２０が表示する画像データに対応する画像上に解析部１１が解析した注視度および変換部３５が変換した文字情報を関連付けた視線マッピングデータを生成する（ステップＳ３０７）。

続いて、表示制御部３２３は、生成部３９が生成した視線マッピングデータに対応する視線マッピング画像を表示部２０に表示させる（ステップＳ３０８）。

図１３は、表示部２０が表示する視線マッピング画像の一例を示す図である。図１３に示すように、表示制御部３２３は、生成部１３が生成した視線マッピングデータに対応する視線マッピング画像Ｐ３を表示部２０に表示させる。視線マッピング画像Ｐ３には、視線の注視領域に対応するマークＭ１１〜Ｍ１５および視線の軌跡Ｋ１が重畳されるとともに、この注視度のタイミングで発せされた音声データの文字情報が関連付けられている。また、マークＭ１１〜Ｍ１５は、番号が利用者Ｕ１の視線の順番を示し、大きさ（領域）が注視度の大きさを示す。さらに、利用者Ｕ１が操作部３７を操作してカーソルＡ１を所望の位置、例えばマークＭ１４に移動させた場合、マークＭ１４に関連付けられた文字情報Ｑ１、例えば「ここで癌があります。」が表示される。なお、図１３では、表示制御部３２３が文字情報を表示部２０に表示させているが、例えば文字情報を音声に変換することによって音声データを出力してもよい。これにより、利用者Ｕ１は、重要な音声内容と注視していた領域とを直感的に把握することができる。さらに、利用者Ｕ１の観察時における視線の軌跡を直感的に把握することができる。

図１４は、表示部２０が表示する視線マッピング画像の別の一例を示す図である。図１３に示すように、表示制御部３２３は、生成部１３が生成した視線マッピングデータに対応する視線マッピング画像Ｐ４を表示部２０に表示させる。さらに、表示制御部３２３は、文字情報と、この文字情報が発声された時間とを対応付けたアイコンＢ１〜Ｂ５を表示部２０に表示させる。さらに、表示制御部３２３は、利用者Ｕ１が操作部３７を操作してマークＭ１１〜Ｍ１５のいずれかを選択した場合、例えばマークＭ１４を選択した場合、マークＭ１４を表示部２０に強調表示するとともに、マークＭ１４の時間に対応する文字情報、例えばアイコンＢ４を表示部２０に強調表示させる（例えば枠をハイライト表示または太線で表示）。これにより、利用者Ｕ１は、重要な音声内容と注視していた領域とを直感的に把握することができるうえ、発声した際の内容を直感的に把握することができる。

図１２に戻り、ステップＳ３０９以降の説明を続ける。
ステップＳ３０９において、操作部３７によって複数の注視領域に対応するマークのいずれか一つが操作された場合（ステップＳ３０９：Ｙｅｓ）、制御部３２は、操作に応じた動作処理を実行する（ステップＳ３１０）。具体的には、表示制御部３２３は、操作部３７によって選択された注視領域に対応するマークを表示部２０に強調表示させる（例えば図１３を参照）。また、音声入力制御部３２２は、注視度の高い領域に関連付けられた音声データを音声入力部３１に再生させる。ステップＳ３１０の後、情報処理装置１ｂは、後述するステップＳ３１１へ移行する。

ステップＳ３０９において、操作部３７によって複数の注視度領域に対応するマークのいずれか一つが操作されていない場合（ステップＳ３０９：Ｎｏ）、情報処理装置１ｂは、後述するステップＳ３１１へ移行する。

ステップＳ３１１において、操作部３７から観察の終了を指示する指示信号が入力された場合（ステップＳ３１１：Ｙｅｓ）、情報処理装置１ｂは、本処理を終了する。これに対して、操作部３７から観察の終了を指示する指示信号が入力されていない場合（ステップＳ３１１：Ｎｏ）、情報処理装置１ｂは、上述したステップＳ３０８へ戻る。

以上説明した実施の形態２によれば、生成部１３が表示部２０によって表示される画像データに対応する画像上に解析部１１が解析した注視度および変換部３５が変換した文字情報を関連付けた視線マッピングデータを生成するので、利用者Ｕ１は、重要な音声内容と注視していた領域とを直感的に把握することができるうえ、発声した際の内容を直感的に把握することができる。

また、実施の形態２によれば、表示制御部３２３は、生成部１３が生成した視線マッピングデータに対応する視線マッピング画像を表示部２０に表示させるので、画像に対する利用者の観察の見逃し防止の確認、利用者の読影等の技術スキルの確認、他の利用者に対する読影や観察等の教育およびカンファレンス等に用いることができる。

（実施の形態３）
次に、本開示の実施の形態３について説明する。上述した実施の形態２では、情報処理装置１ｂのみで構成されていたが、実施の形態３では、顕微鏡システムの一部に情報処理装置を組み込むことによって構成する。以下においては、実施の形態３に係る顕微鏡システムの構成を説明後、実施の形態３に係る顕微鏡システムが実行する処理について説明する。なお、上述した実施の形態２に係る情報処理装置１ｂと同一の構成には同一の符号を付して詳細な説明は適宜省略する。

〔顕微鏡システムの構成〕
図１５は、実施の形態３に係る顕微鏡システムの構成を示す概略図である。図１６は、実施の形態３に係る顕微鏡システムの機能構成を示すブロック図である。

図１５および図１６に示すように、顕微鏡システム１００は、情報処理装置１ｃと、表示部２０と、音声入力部３１と、操作部３７と、顕微鏡２００と、撮像部２１０と、視線検出部２２０と、を備える。

〔顕微鏡の構成〕
まず、顕微鏡２００の構成について説明する。
顕微鏡２００は、本体部２０１と、回転部２０２と、昇降部２０３と、レボルバ２０４と、対物レンズ２０５と、倍率検出部２０６と、鏡筒部２０７と、接続部２０８と、接眼部２０９と、を備える。

本体部２０１は、標本ＳＰが載置される。本体部２０１は、略Ｕ字状をなし、回転部２０２を用いて昇降部２０３が接続される。

回転部２０２は、利用者Ｕ２の操作に応じて回転することによって、昇降部２０３を垂直方向へ移動させる。

昇降部２０３は、本体部２０１に対して垂直方向へ移動可能に設けられている。昇降部２０３は、一端側の面にレボルバが接続され、他端側の面に鏡筒部２０７が接続される。

レボルバ２０４は、互いに倍率が異なる複数の対物レンズ２０５が接続され、光軸Ｌ１に対して回転可能に昇降部２０３に接続される。レボルバ２０４は、利用者Ｕ２の操作に応じて、所望の対物レンズ２０５を光軸Ｌ１上に配置する。なお、複数の対物レンズ２０５には、倍率を示す情報、例えばＩＣチップやラベルが添付されている。なお、ＩＣチップやラベル以外にも、倍率を示す形状を対物レンズ２０５に設けてもよい。

倍率検出部２０６は、光軸Ｌ１上に配置された対物レンズ２０５の倍率を検出し、この検出した検出結果を情報処理装置１ｃへ出力する。倍率検出部２０６は、例えば対物切り替えのレボルバ２０４の位置を検出する手段を用いて構成される。

鏡筒部２０７は、対物レンズ２０５によって結像された標本ＳＰの被写体像の一部を接続部２０８に透過するとともに、接眼部２０９へ反射する。鏡筒部２０７は、内部にプリズム、ハーフミラーおよびコリメートレンズ等を有する。

接続部２０８は、一端が鏡筒部２０７と接続され、他端が撮像部２１０と接続される。接続部２０８は、鏡筒部２０７を透過した標本ＳＰの被写体像を撮像部２１０へ導光する。接続部２０８は、複数のコリメートレンズおよび結像レンズ等を用いて構成される。

接眼部２０９は、鏡筒部２０７によって反射された被写体像を導光して結像する。接眼部２０９は、複数のコリメートレンズおよび結像レンズ等を用いて構成される。

〔撮像部の構成〕
次に、撮像部２１０の構成について説明する。
撮像部２１０は、接続部２０８が結像した標本ＳＰの被写体像を受光することによって画像データを生成し、この画像データを情報処理装置１ｃへ出力する。撮像部２１０は、ＣＭＯＳまたはＣＣＤ等のイメージセンサおよび画像データに対して各種の画像処理を施す画像処理エンジン等を用いて構成される。

〔視線検出部の構成〕
次に、視線検出部２２０の構成について説明する。
視線検出部２２０は、接眼部２０９の内部または外部に設けられ、利用者Ｕ２の視線を検出することによって視線データを生成し、この視線データを情報処理装置１ｃへ出力する。視線検出部２２０は、接眼部２０９の内部に設けられ、近赤外線を照射するＬＥＤ光源と、接眼部２０９の内部に設けられ、角膜上の瞳孔点と反射点を撮像する光学センサ（例えばＣＭＯＳ、ＣＣＤ）と、を用いて構成される。視線検出部２２０は、情報処理装置１ｃの制御のもと、ＬＥＤ光源等から近赤外線を利用者Ｕ２の角膜に照射し、光学センサが利用者Ｕ２の角膜上の瞳孔点と反射点を撮像することによって生成する。そして、視線検出部２２２は、情報処理装置１ｃの制御のもと、光学センサによって生成されたデータに対して画像処理等によって解析した解析結果に基づいて、利用者Ｕ２の瞳孔点と反射点のパターンから利用者の視線を検出することによって視線データを生成し、この視線データを情報処理装置１ｃへ出力する。

〔情報処理装置の構成〕
次に、情報処理装置１ｃの構成について説明する。
情報処理装置１ｃは、上述した実施の形態２に係る情報処理装置１ｂの制御部３２、記録部３４および設定部３８に換えて、制御部３２ｃ、記録部３４ｃ、設定部３８ｃと、を備える。

制御部３２ｃは、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成され、表示部２０、音声入力部３１、撮像部２１０および視線検出部２２０を制御する。制御部３２ｃは、上述した実施の形態２の制御部３２の視線検出制御部３２１、音声入力制御部３２２、表示制御部３２３に加えて、撮影制御部３２４および倍率算出部３２５をさらに備える。

撮影制御部３２４は、撮像部２１０の動作を制御する。撮影制御部３２４は、撮像部２１０を所定のフレームレートに従って順次撮像させることによって画像データを生成させる。撮影制御部３２４は、撮像部２１０から入力された画像データに対して処理の画像処理（例えば現像処理等）を施して記録部３４ｃへ出力する。

倍率算出部３２５は、倍率検出部２０６から入力された検出結果に基づいて、現在の顕微鏡２００の観察倍率を算出し、この算出結果を設定部３８ｃへ出力する。例えば、倍率算出部３２５は、倍率検出部２０６から入力された対物レンズ２０５の倍率と接眼部２０９の倍率とに基づいて、現在の顕微鏡２００の観察倍率を算出する。

記録部３４ｃは、揮発性メモリ、不揮発性メモリおよび記録媒体等を用いて構成される。記録部３４ｃは、上述した実施の形態２に係る画像データ記録部３４３に換えて、画像データ記録部３４５を備える。画像データ記録部３４５は、撮影制御部３２４から入力された画像データを記録し、この画像データを生成部１３へ出力する。

設定部３８ｃは、所定の時間間隔毎に解析部１１が解析した注視度と倍率算出部３２５が算出した算出結果とに基づいて、視線データと同じ時間軸が対応付けられた音声データに重要度および変換部３５によって変換された文字情報を割り当てて記録部３４ｃへ記録する。具体的には、設定部３８ｃは、解析部１１が解析した注視度に、倍率算出部３２５が算出した算出結果に基づく係数を乗じた値を、音声データのフレーム毎の重要度（例えば数値）として割り当てて記録部３４ｃへ記録する。すなわち、設定部３８ｃは、表示倍率が大きいほど重要度が高くなるような処理を行う。設定部３８ｃは、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成される。

〔顕微鏡システムの処理〕
次に、顕微鏡システム１００が実行する処理について説明する。図１７は、顕微鏡システム１００が実行する処理の概要を示すフローチャートである。

図１７に示すように、まず、制御部３２ｃは、視線検出部３０が生成した視線データ、音声入力部３１が生成した音声データ、および倍率算出部３２５が算出した観察倍率の各々を時間計測部３３によって計測された時間を対応付けて視線データ記録部３４１および音声データ記録部３４２に記録する（ステップＳ４０１）。ステップＳ４０１の後、顕微鏡システム１００は、後述するステップＳ４０２へ移行する。

ステップＳ４０２〜ステップＳ４０４は、上述した図１２のステップＳ３０３〜ステップＳ３０５それぞれに対応する。ステップＳ４０４の後、顕微鏡システム１００は、ステップＳ４０５へ移行する。

ステップＳ４０５において、設定部３８ｃは、所定の時間間隔毎に解析部１１が解析した注視度と倍率算出部３２５が算出した算出結果とに基づいて、視線データと同じ時間軸が対応付けられた音声データに重要度および変換部３５によって変換された文字情報を割り当てて記録部３４ｃへ記録する。ステップＳ４０５の後、顕微鏡システム１００は、ステップＳ４０６へ移行する。

ステップＳ４０６〜ステップＳ４１０は、上述した図１２のステップＳ３０７〜ステップＳ３１１それぞれに対応する。

以上説明した実施の形態３によれば、設定部３８ｃが解析部１１によって解析された注視度と倍率算出部３２５が算出した算出結果とに基づいて、視線データと同じ時間軸が対応付けられた音声データに重要度および変換部３５によって変換された文字情報を割り当てて記録部３４ｃすることによって、観察倍率および注視度に基づいた重要度が音声データに割り当てられるので、観察内容および注視度を加味した音声データの重要な期間を把握することができる。

なお、実施の形態３では、倍率算出部３２５が算出した観察倍率を記録部１４に記録していたが、利用者Ｕ２の操作履歴を記録し、この操作履歴をさらに加味して音声データの重要度を割り当ててもよい。

（実施の形態４）
次に、本開示の実施の形態４について説明する。実施の形態４では、内視鏡システムの一部に情報処理装置を組み込むことによって構成する。以下においては、実施の形態４に係る内視鏡システムの構成を説明後、実施の形態４に係る内視鏡システムが実行する処理について説明する。なお、上述した実施の形態２に係る情報処理装置１ｂと同一の構成には同一の符号を付して詳細な説明は適宜省略する。

〔内視鏡システムの構成〕
図１８は、実施の形態４に係る内視鏡システムの構成を示す概略図である。図１９は、実施の形態４に係る内視鏡システムの機能構成を示すブロック図である。

図１８および図１９に示す内視鏡システム３００は、表示部２０と、内視鏡４００と、ウェアラブルデバイス５００と、入力部６００と、情報処理装置１ｄと、を備える。

〔内視鏡の構成〕
まず、内視鏡４００の構成について説明する。
内視鏡４００は、医者や術者等の利用者Ｕ３が被検体Ｕ４に挿入することによって、被検体Ｕ４の内部を撮像することによって画像データを生成し、この画像データを情報処理装置１ｄへ出力する。内視鏡４００は、撮像部４０１と、操作部４０２と、を備える。

撮像部４０１は、内視鏡４００の挿入部の先端部に設けられる。撮像部４０１は、情報処理装置１ｄの制御のもと、被検体Ｕ４の内部を撮像することによって画像データを生成し、この画像データを情報処理装置１ｄへ出力する。撮像部４０１は、観察倍率を変更することができる光学系と、光学系が結像した被写体像を受光することによって画像データを生成するＣＭＯＳやＣＣＤ等のイメージセンサ等を用いて構成される。

操作部４０２は、利用者Ｕ３の各種の操作の入力を受け付け、受け付けた各種操作に応じた操作信号を情報処理装置１ｄへ出力する。

〔ウェアラブルデバイスの構成〕
次に、ウェアラブルデバイス５００の構成について説明する。
ウェアラブルデバイス５００は、利用者Ｕ３に装着され、利用者Ｕ３の視線を検出するとともに、利用者Ｕ３の音声の入力を受け付ける。ウェアラブルデバイス５００は、視線検出部５１０と、音声入力部５２０と、を有する。

視線検出部５１０は、ウェアラブルデバイス５００に設けられ、利用者Ｕ３の視線の注視度を検出することによって視線データを生成し、この視線データを情報処理装置１ｄへ出力する。視線検出部５１０は、上述した実施の形態３に係る視線検出部２２０と同様の構成を有するため、詳細な構成は省略する。

音声入力部５２０は、ウェアラブルデバイス５００に設けられ、利用者Ｕ３の音声の入力を受け付けることによって音声データを生成し、この音声データを情報処理装置１ｄへ出力する。音声入力部５２０は、マイク等を用いて構成される。

〔入力部の構成〕
入力部６００の構成について説明する。
入力部６００は、マウス、キーボード、タッチパネルおよび各種のスイッチを用いて構成される。入力部６００は、利用者Ｕ３の各種の操作の入力を受け付け、受け付けた各種操作に応じた操作信号を情報処理装置１ｄへ出力する。

〔情報処理装置の構成〕
次に、情報処理装置１ｄの構成について説明する。
情報処理装置１ｄは、上述した実施の形態３に係る情報処理装置１ｃの制御部３２ｃ、記録部３４ｃ、設定部３８ｃ、生成部３９に換えて、制御部３２ｄ、記録部３４ｄ、設定部３８ｄおよび生成部３９ｄを備える。さらに、情報処理装置１ｄは、画像処理部４０をさらに備える。

制御部３２ｄは、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成され、内視鏡４００、ウェアラブルデバイス５００および表示部２０を制御する。制御部３２ｄは、視線検出制御部３２１、音声入力制御部３２２、表示制御部３２３、撮影制御部３２４に加えて、操作履歴検出部３２６を備える。

操作履歴検出部３２６は、内視鏡４００の操作部４０２が入力を受け付けた操作の内容を検出し、この検出結果を記録部３４ｄに出力する。具体的には、操作履歴検出部３２６は、内視鏡４００の操作部４０２から拡大スイッチが操作された場合、この操作内容を検出し、この検出結果を記録部３４ｄに出力する。なお、操作履歴検出部３２６は、内視鏡４００を経由して被検体Ｕ４の内部に挿入される処置具の操作内容を検出し、この検出結果を記録部３４ｄに出力してもよい。

記録部３４ｄは、揮発性メモリ、不揮発性メモリおよび記録媒体等を用いて構成される。記録部３４ｄは、上述した実施の形態３に係る記録部３４ｃの構成に加えて、操作履歴記録部３４６をさらに備える。

操作履歴記録部３４６は、操作履歴検出部３２６から入力された内視鏡４００の操作部４０２に対する操作の履歴を記録する。

設定部３８ｄは、所定の時間間隔毎に解析部１１が解析した注視度と操作履歴記録部３４６が記録する操作履歴とに基づいて、視線データと同じ時間軸が対応付けられた音声データに重要度および変換部３５によって変換された文字情報を割り当てて記録部３４ｄへ記録する。具体的には、設定部３８ｄは、解析部１１が解析した注視度と操作履歴記録部３４６が記録する操作履歴とに基づいて、音声データのフレーム毎に重要度（例えば数値）を割り当てて記録部３４ｄへ記録する。すなわち、設定部３８ｄは、操作履歴の内容に応じて設定された係数が大きいほど重要度が高くなるような処理を行う。設定部３８ｄは、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成される。

生成部３９ｄは、画像処理部４０が生成した統合画像データに対応する統合画像上に、解析部１１が解析した注視度および文字情報を関連付けた視線マッピングデータを生成し、この生成した視線マッピングデータを記録部３４ｄおよび表示制御部３２３へ出力する。

画像処理部４０は、画像データ記録部３４５が記録する複数の画像データを合成することによって３次元画像の統合画像データを生成し、この統合画像データを生成部３９ｄへ出力する。

〔内視鏡システムの処理〕
次に、内視鏡システム３００が実行する処理について説明する。図２０は、内視鏡システム３００が実行する処理の概要を示すフローチャートである。

図２０に示すように、まず、制御部３２ｄは、視線検出部３０が生成した視線データ、音声入力部３１が生成した音声データ、および操作履歴検出部３２６が検出した操作履歴の各々を時間計測部３３によって計測された時間と対応付けて視線データ記録部３４１、音声データ記録部３４２および操作履歴記録部３４６に記録する（ステップＳ５０１）。ステップＳ５０１の後、内視鏡システム３００は、後述するステップＳ５０２へ移行する。

ステップＳ５０２〜ステップＳ５０４は、上述した図１２のステップＳ３０３〜ステップＳ３０５それぞれに対応する。ステップＳ５０４の後、内視鏡システム３００は、ステップＳ５０５へ移行する。

ステップＳ５０５において、設定部３８ｄは、所定の時間間隔毎に解析部１１が解析した注視度と操作履歴記録部３４６が記録する操作履歴とに基づいて、視線データと同じ時間軸が対応付けられた音声データに重要度および変換部３５によって変換された文字情報を割り当てて記録部３４ｄへ記録する。

続いて、画像処理部４０は、画像データ記録部３４５が記録する複数の画像データを合成することによって３次元画像の統合画像データを生成し、この統合画像データを生成部３９ｄへ出力する（ステップＳ５０６）。図２１は、画像データ記録部３４５が記録する複数の画像データに対応する複数の画像の一例を模式的に示す図である。図２２は、画像処理部４０が生成する統合画像データに対応する統合画像の一例を示す図である。図２１および図２２に示すように、画像処理部４０は、時間的に連続する複数の画像データＰ１１〜Ｐ_Ｎ（Ｎ＝整数）を合成することによって統合画像データに対応する統合画像Ｐ１００を生成する。

その後、生成部３９ｄは、画像処理部４０が生成した統合画像データに対応する統合画像Ｐ１００上に、解析部１１が解析した注視度、視線および文字情報を関連付けた視線マッピングデータを生成し、この生成した視線マッピングデータを記録部３４ｄおよび表示制御部３２３へ出力する（ステップＳ５０７）。この場合、生成部３９ｄは、画像処理部４０が生成した統合画像データに対応する統合画像Ｐ１００上に、解析部１１が解析した注視度、視線Ｋ２および文字情報に加えて、操作履歴を関連付けてもよい。ステップＳ５０７の後、内視鏡システム３００は、後述するステップＳ５０８へ移行する。

ステップＳ５０８〜ステップＳ５１１は、上述した図１２のステップＳ３０８〜ステップＳ３１１それぞれに対応する。

以上説明した実施の形態４によれば、設定部３８ｄが解析部１１によって解析された注視度と操作履歴記録部３４６が記録する操作履歴とに基づいて、視線データと同じ時間軸が対応付けられた音声データに重要度および変換部３５によって変換された文字情報を割り当てて記録部３４ｄへ記録することによって、操作履歴および注視度に基づいた重要度が音声データに割り当てられるので、操作内容および注視度を加味した音声データの重要な期間を把握することができる。

また、実施の形態４では、内視鏡システムであったが、例えばカプセル型の内視鏡、被検体を撮像するビデオマイクロスコープ、撮像機能を有する携帯電話および撮像機能を有するタブレット型端末であっても適用することができる。

また、実施の形態４では、軟性の内視鏡を備えた内視鏡システムであったが、硬性の内視鏡を備えた内視鏡システム、工業用の内視鏡を備えた内視鏡システムであっても適用することができる。

また、実施の形態４では、被検体に挿入される内視鏡を備えた内視鏡システムであったが、副鼻腔内視鏡および電気メスや検査プローブ等の内視鏡システムであっても適用することができる。

（実施の形態５）
次に、本開示の実施の形態５について説明する。上述した実施の形態１〜４は、利用者が一人の場合を想定していたが、実施の形態５では、２人以上の利用者を想定する。さらに、実施の形態５では、複数の利用者で画像を閲覧する情報処理システムに情報処理装置を組み込むことによって構成する。以下においては、実施の形態５に係る閲覧システムの構成を説明後、実施の形態５に係る情報処理システムが実行する処理について説明する。なお、上述した実施の形態２に係る情報処理装置１ｂと同一の構成には同一の符号を付して詳細な説明は適宜省略する。

〔情報処理システムの構成〕
図２３は、実施の形態５に係る情報処理システムの機能構成を示すブロック図である。図２３に示す情報処理システム７００は、表示部２０と、第１ウェアラブルデバイス７１０と、第２ウェアラブルデバイス７２０と、検出部７３０と、情報処理装置１ｅと、を備える。

〔第１ウェアラブルデバイスの構成〕
まず、第１ウェアラブルデバイス７１０の構成について説明する。
第１ウェアラブルデバイス７１０は、利用者に装着され、利用者の視線を検出するとともに、利用者の音声の入力を受け付ける。第１ウェアラブルデバイス７１０は、第１視線検出部７１１と、第１音声入力部７１２と、を有する。第１視線検出部７１１および第１音声入力部７１２は、上述した実施の形態４に係る視線検出部５１０および音声入力部５２０と同様の構成を有するため、詳細な構成は省略する。

〔第２ウェアラブルデバイスの構成〕
次に、第２ウェアラブルデバイス７２０の構成について説明する。
第２ウェアラブルデバイス７２０は、上述した第１ウェアラブルデバイス７１０と同様の構成を有し、利用者に装着され、利用者の視線を検出するとともに、利用者の音声の入力を受け付ける。第２ウェアラブルデバイス７２０は、第２視線検出部７２１と、第２音声入力部７２２と、を有する。第２視線検出部７２１および第２音声入力部７２２は、上述した実施の形態４に係る視線検出部５１０および音声入力部５２０と同様の構成を有するため、詳細な構成は省略する。

〔検出部の構成〕
次に、検出部７３０の構成について説明する。
検出部７３０は、複数の利用者の各々を識別する識別情報を検出し、この検出結果を情報処理装置１ｅへ出力する。検出部７３０は、複数の利用者の各々を識別する識別情報（例えばＩＤや名前等）を記録するＩＣカードから利用者の識別情報を検出し、この検出結果を情報処理装置１ｅへ出力する。検出部７３０は、例えば、ＩＣカードを読み取るカードリーダ等を用いて構成される。なお、検出部７３０は、複数の利用者の顔を撮像することによって生成した画像データに対応する画像に対して、予め設定された利用者の顔の特徴点および周知のパターンマッチングを用いて利用者を識別し、この識別結果を情報処理装置１ｅへ出力するようにしてもよい。もちろん、検出部７３０は、操作部３７からの操作に応じて入力された信号に基づいて、利用者を識別し、この識別結果を情報処理装置１ｅへ出力するようにしてもよい。

〔情報処理装置の構成〕
次に、情報処理装置１ｅの構成について説明する。
情報処理装置１ｅは、上述した実施の形態４に係る情報処理装置１ｄの制御部３２ｄ、記録部３４ｄおよび設定部３８ｄに換えて、制御部３２ｅ、記録部３４ｅおよび設定部３８ｅを備える。

制御部３２ｅは、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成され、第１ウェアラブルデバイス７１０、第２ウェアラブルデバイス７２０、検出部７３０および表示部２０を制御する。制御部３２ｅは、視線検出制御部３２１、音声入力制御部３２２、表示制御部３２３に加えて、識別検出制御部３２７を備える。

識別検出制御部３２７は、検出部７３０を制御し、検出部７３０が取得した取得結果に基づいて、複数の利用者の各々を識別し、この識別結果を記録部３４ｅへ出力する。

記録部３４ｅは、揮発性メモリ、不揮発性メモリおよび記録媒体等を用いて構成される。記録部３４ｅは、上述した実施の形態３に係る記録部３４ｃの構成に加えて、識別情報記録部３４７をさらに備える。

識別情報記録部３４７は、識別検出制御部３２７から入力された複数の利用者の各々の識別情報を記録する。

設定部３８ｅは、解析部１１が解析した解析結果と、抽出部３６が抽出した文字情報と、識別情報記録部３４７が記録する識別情報と、に基づいて、所定の時間間隔毎に視線データと同じ時間軸が対応付けられた音声データに重要度および変換部３５によって変換された文字情報を割り当てて記録部３４ｅに記録する。さらに、設定部３８ｅは、識別情報記録部３４７が記録する各利用者の識別情報に応じて重要度の重み付けを行う。すなわち、設定部３８ｅは、重要な利用者（例えば役職に応じて設定されたランク）ほど重要度が高くなる処理を行う。

〔情報処理システムの処理〕
次に、情報処理システム７００が実行する処理について説明する。図２４は、情報処理システム７００が実行する処理の概要を示すフローチャートである。

図２４に示すように、表示制御部３２３は、画像データ記録部３４３が記録する画像データに対応する画像を表示部２０に表示させる（ステップＳ６０１）。

続いて、制御部３２ｅは、第１ウェアラブルデバイス７１０および第２ウェアラブルデバイス７２０の各々が生成した視線データ、音声データ、および検出部７３０が取得した識別情報の各々を時間計測部３３によって計測された時間と対応付けて視線データ記録部３４１、音声データ記録部３４２および識別情報記録部３４７に記録する（ステップＳ６０２）。ステップＳ６０２の後、情報処理システム７００は、ステップＳ６０３へ移行する。

ステップＳ６０３およびステップＳ６０４は、上述した図１２のステップＳ３０３およびステップＳ３０４それぞれに対応する。ステップＳ６０４の後、情報処理システム７００は、後述するステップＳ６０５へ移行する。

ステップＳ６０５において、解析部１１は、第１ウェアラブルデバイス７１０が生成した第１視線データおよび第２ウェアラブルデバイス７２０が生成した第２視線データに基づいて、各利用者の視線の注視度を解析する。

続いて、設定部３８ｅは、所定の時間間隔毎に解析部１１が解析した各注視度と、識別情報記録部３４７が記録する識別情報とに基づいて、視線データと同じ時間軸が対応付けられた第１音声データおよび第２音声データの各々に重要度および変換部３５によって変換された文字情報を割り当てて記録部３４ｅへ記録する（ステップＳ６０６）。

ステップＳ６０７〜ステップＳ６１１は、上述した図１２のステップＳ３０７〜ステップＳ３１１それぞれに対応する。

以上説明した実施の形態５によれば、設定部３８ｅが解析部１１によって解析された各利用者の注視度と、識別情報記録部３４７が記録する識別情報とに基づいて、視線データと同じ時間軸が対応付けられた第１音声データおよび第２音声データの各々に重要度および変換部３５によって変換された文字情報を割り当てて記録部３４ｅへ記録することによって、識別情報よび注視度に基づいた重要度が第１音声データまたは第２音声データに割り当てられるので、利用者に応じた注視度を加味した音声データの重要な期間を把握することができる。

なお、実施の形態５では、設定部３８ｅが解析部１１によって解析された各利用者の注視度と、識別情報記録部３４７が記録する各利用者の識別情報とに基づいて、視線データと同じ時間軸が対応付けられた第１音声データおよび第２音声データの各々に重要度および変換部３５によって変換された文字情報を割り当てて記録部３４ｅへ記録していたが、これに限定されることなく、例えば複数の利用者の各々の位置を検出し、この検出結果と各利用者の注視度とに基づいて、第１音声データおよび第２音声データの各々に重要度および変換部３５によって変換された文字情報を割り当てて記録部３４ｅへ記録してもよい。

（その他の実施の形態）
上述した実施の形態１〜５に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態１〜５に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した実施の形態１〜５で説明した構成要素を適宜組み合わせてもよい。

また、実施の形態１〜５において、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

また、実施の形態１〜５に係る情報処理装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、実施の形態１〜５に係る情報処理装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、実施の形態１〜５に係る情報処理装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するようにしてもよい。

また、実施の形態１〜５では、伝送ケーブルを経由して各種機器から信号を送信していたが、例えば有線である必要はなく、無線であってもよい。この場合、所定の無線通信規格（例えばＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標））に従って、各機器から信号を送信するようにすればよい。もちろん、他の無線通信規格に従って無線通信を行ってもよい。

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

１ａ，７００ 情報処理システム
１０,１０ａ,１ｂ,１ｂ,１ｃ,１ｄ,１ｅ 情報処理装置
１１ 解析部
１２，１２ａ，３８，３８ｃ，３８ｄ，３８ｅ 設定部
１３，３９，３９ｄ 生成部
１４，３４，３４ｃ，３４ｄ，３４ｅ 記録部
１５，３２３ 表示制御部
２０ 表示部
３０，２２２，５１０ 視線検出部
３１，５２０ 音声入力部
３２，３２ｃ，３２ｄ，３２ｅ 制御部
３３ 時間計測部
３５ 変換部
３６ 抽出部
３７ 操作部
４０ 画像処理部
１００ 顕微鏡システム
２００ 顕微鏡
２０１ 本体部
２０２ 回転部
２０３ 昇降部
２０４ レボルバ
２０５ 対物レンズ
２０６ 倍率検出部
２０７ 鏡筒部
２０８ 接続部
２０９ 接眼部
２１０，４０１ 撮像部
３００ 内視鏡システム
３２１ 視線検出制御部
３２２ 音声入力制御部
３２４ 撮影制御部
３２５ 倍率算出部
３２６ 操作履歴検出部
３２７ 識別検出制御部
３４１ 視線データ記録部
３４２ 音声データ記録部
３４３，３４５ 画像データ記録部
３４４ プログラム記録部
３４５ 画像データ記録部
３４６ 操作履歴記録部
３４７ 識別情報記録部
４００ 内視鏡
４０２ 操作部
５００ ウェアラブルデバイス
６００ 入力部
７１０ 第１ウェアラブルデバイス
７１１ 第１視線検出部
７１２ 第１音声入力部
７２０ 第２ウェアラブルデバイス
７２１ 第２視線検出部
７２２ 第２音声入力部
７３０ 検出部

Claims (18)

1. 外部から入力される利用者の視線を検出した視線データに基づいて、前記利用者の視線の注視度を解析する解析部と、
   外部から入力される前記利用者の音声データであって、前記視線データと同じ時間軸が対応付けられた音声データに対して、前記解析部が解析した前記注視度に応じた重要度を割り当てて記録部へ記録する設定部と、
   を備える情報処理装置。
2. 前記設定部は、
   前記解析部によって前記注視度が高いと解析された期間の時刻において前記利用者が発話した前記音声データの期間を重要期間と割り当てて前記記録部に記録する
   請求項１に記載の情報処理装置。
3. 前記設定部は、
   前記注視度が高いほど前記音声データに対して前記重要度を高く割り当てて前記記録部へ記録する
   請求項１または２に記載の情報処理装置。
4. 前記設定部は、
   前記解析部によって前記注視度が高いと解析された期間の時刻において前記利用者が発話した場合、該期間の時刻において前記利用者が発話した前記音声データに前記重要度を割り当てて前記記録部へ記録する
   請求項１に記載の情報処理装置。
5. 前記解析部は、
   前記視線の移動速度、一定の時間内における前記視線の移動距離、一定領域内における前記視線の滞留時間のいずれか１つを検出することによって、前記注視度を解析する
   請求項１〜４のいずれか一つに記載の情報処理装置。
6. 外部から入力される画像データに対応する画像上に前記解析部が解析した前記注視度および該注視度の座標情報を関連付けた視線マッピングデータを生成する生成部をさらに備える
   請求項１〜５のいずれか一つに記載の情報処理装置。
7. 前記解析部は、前記視線データに基づいて、前記利用者の視線の軌跡をさらに解析し、
   前記生成部は、前記解析部が解析した前記軌跡を前記画像上にさらに関連付けて前記視線マッピングデータを生成する
   請求項６に記載の情報処理装置。
8. 前記音声データを文字情報に変換する変換部をさらに備え、
   前記生成部は、前記座標情報に前記文字情報をさらに関連付けて前記視線マッピングデータを生成する
   請求項６または７に記載の情報処理装置。
9. 外部から入力された操作信号に応じて指定されたキーワードを前記変換部によって変換された前記文字情報から抽出する抽出部と、
   前記視線マッピングデータに対応する視線マッピング画像を表示部に表示させる表示制御部と、
   をさらに備え、
   前記表示制御部は、前記抽出部によって抽出された前記文字情報に関連付けられた前記注視度を前記表示部に強調表示させ、かつ、前記文字情報を前記表示部に表示させる
   請求項８に記載の情報処理装置。
10. 前記利用者の視線を連続的に検出することによって前記視線データを生成する視線検出部と、
    前記利用者の音声の入力を受け付けて前記音声データを生成する音声入力部と、
    をさらに備える
    請求項１〜９のいずれか一つに記載の情報処理装置。
11. 複数の利用者の各々を識別する識別情報を検出する検出部をさらに備え、
    前記解析部は、前記複数の利用者の各々の視線を検出した複数の前記視線データに基づいて、前記複数の利用者の各々の前記注視度を解析し、
    前記設定部は、前記検出部が検出した前記識別情報に基づいて、前記複数の利用者の各々の前記音声データに所定の時間間隔で割り当てる前記重要度を変更する
    請求項１〜１０のいずれか一つに記載の情報処理装置。
12. 標本を観察する観察倍率を変更可能であり、前記利用者が前記標本の観察像を観察可能な接眼部を有する顕微鏡と、
    前記顕微鏡に接続され、前記顕微鏡が結像した前記標本の観察像を撮像することによって画像データを生成する撮像部をさらに備え、
    前記視線検出部は、前記顕微鏡の接眼部に設けられ、
    前記設定部は、前記観察倍率に応じて前記重要度の重み付けを行う
    請求項１０に記載の情報処理装置。
13. 被検体に挿入可能な挿入部の先端部に設けられ、被検体内の体内を撮像することによって画像データを生成する撮像部と、視野を変更するための各種の操作の入力を受け付ける操作部と、を有する内視鏡と、
    をさらに備える
    請求項１〜１１のいずれか一つに記載の情報処理装置。
14. 前記設定部は、前記操作部が受け付けた操作履歴に関する操作履歴に基づいて前記重要度の重み付けを行う
    請求項１３に記載の情報処理装置。
15. 前記設定部は、前記解析部が解析した前記注視度が高いと判別した期間を基準にして算出した期間の前記音声データに対して、前記重要度を割り当てる
    請求項１に記載の情報処理装置。
16. 前記情報処理装置は、前記音声データに対して発話された発話期間を特定する発話検出部をさらに備え、
    前記設定部は、前記解析部が解析した前記注視度が高いと判別した期間を基準にして、最も時間相関が高い発話期間に対して、重要度を割り当てる期間を設定することを特徴とする
    請求項１に記載の情報処理装置。
17. 情報処理装置が実行する情報処理方法であって、
    外部から入力される利用者の視線を検出した視線データに基づいて、前記利用者の視線の注視度を解析する解析ステップと、
    外部から入力される前記利用者の音声データであって、前記視線データと同じ時間軸が対応付けられた音声データに対して、前記解析ステップで解析した前記注視度に応じた重要度を割り当てて記録部へ記録する設定ステップと、
    を含むことを特徴とする情報処理方法。
18. 情報処理装置に、
    外部から入力される利用者の視線を検出した視線データに基づいて、前記利用者の視線の注視度を解析する解析ステップと、
    外部から入力される前記利用者の音声データであって、前記視線データと同じ時間軸が対応付けられた音声データに対して、前記解析ステップで解析した前記注視度に応じた重要度を割り当てて記録部へ記録する設定ステップと、
    を実行させることを特徴とするプログラム。