JP2004259198A

JP2004259198A - Information management apparatus, information management system and program

Info

Publication number: JP2004259198A
Application number: JP2003051820A
Authority: JP
Inventors: Akira Wada; 明和田
Original assignee: Japan Research Institute Ltd
Current assignee: Japan Research Institute Ltd
Priority date: 2003-02-27
Filing date: 2003-02-27
Publication date: 2004-09-16
Anticipated expiration: 2023-02-27
Also published as: JP4282343B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an apparatus which can easily homologize user focused information from display information with the voice of a user and store them. <P>SOLUTION: This information management device includes: a storing part storing display information containing at least one of document data and image data; a display part displaying the display information stored by the storing part; a visual line detecting part detecting user's visual line; a focused information detecting part detecting the focused information which the users are focusing from the display information displayed by the display part on the basis of the user's visual line; and a voice detecting part detecting the voice of the user and storing the voice in association with the focused information in a storing part. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、利用者の音声情報を管理する情報管理装置、情報管理システム、及びプログラムに関する。
【０００２】
【従来の技術】
従来、例えばモニタに文書を表示することにより、利用者に文書情報を提供する装置がある。このような装置において、利用者は提供された文書を編集することができる。例えば、利用者は、キーボード等の入力手段によって、表示された文書の所望の箇所にメモを追加することができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、キーボート等の入力手段によって文書の所望の位置にメモ等を追加する場合、キーボード等を操作する必要があるため、時間や手間がかかってしまう場合がある。また、利用者がキーボード等の入力手段に熟練していない場合、所望のメモを効率よく作成することが更に困難である。
【０００４】
【課題を解決するための手段】
上記課題を解決するために、本発明の第１の形態においては、音声を管理する情報管理装置であって、文書データ又は画像データの少なくとも一方を含む表示情報を格納する格納部と、格納部が格納した表示情報を表示する表示部と、利用者の視線を検出する視線検出部と、利用者の視線に基づいて、表示部に表示された表示情報のうち、利用者が注目している注目情報を検出する注目情報検出部と、利用者の音声を検出し、音声を注目情報に対応付けて格納部に格納する音声検出部とを備えることを特徴とする情報管理装置を提供する。
【０００５】
注目情報検出部は、利用者の視線が所定の時間以上停留している情報を注目情報として検出してよい。また、情報管理装置は、視線検出部が検出した利用者の視線の位置を、表示情報と合わせて表示部に表示させる表示制御部を更に備えてよい。また、表示情報を複数の表示領域に分割する領域分割部を更に備え、音声検出部は、音声を、注目情報が含まれる表示領域に対応付けて格納部に格納してよい。
【０００６】
また、視線検出部が検出した、利用者の視線の位置に対応する表示領域の表示属性を変化させて表示部に表示させる表示制御部を更に備えてよい。また、格納部に対応する音声が既に格納されている表示領域の表示属性を変化させて表示部に表示させる表示制御部を更に備えてよい。
【０００７】
格納部は、文書データを含む表示情報を格納し、領域分割部は、表示情報を、文書データの単語毎に表示領域に分割してよい。また、音声検出部は、音声を検出したときに利用者が注目している注目情報を含む表示領域に、当該音声を対応付けて格納部に格納してよい。
【０００８】
音声検出部は、音声を検出したときから、所定の時間遡った期間において、利用者の視線が最も長く停留した表示領域に、当該音声を対応付けて格納部に格納してよい。利用者から音声の格納を指示する指示情報を受け取る入力部を更に備え、音声検出部は、指示情報を受け取った場合に音声の検出を開始してよい。
【０００９】
情報管理装置は、利用者から、再生するべき音声に対応する注目情報を指示する指示情報を受け取る入力部と、入力部が指示情報を受け取った場合に、当該注目情報に対応する音声を再生する音声出力部とを更に備えてよい。
【００１０】
利用者から、音声の再生を指示する指示情報を受け取る入力部と、入力部が指示情報を受け取った場合に、注目情報検出部が検出した注目情報に対応する音声を再生する音声出力部とを更に備えてよい。
【００１１】
注目情報検出部は、利用者の視線が所定の時間以上停留している情報を注目情報として検出し、格納部が注目情報に対応付けられた音声を格納している場合に、当該音声を再生する音声出力部を更に備えてよい。
【００１２】
注目情報検出部は、過去の所定の期間内において利用者の視線が最も長く停留し、且つ所定の時間以上停留した情報を注目情報として検出し、格納部が注目情報に対応付けられた音声を格納している場合に、当該音声を再生する音声出力部を更に備えてよい。
【００１３】
情報管理装置は、利用者に関する利用者情報を受け取る入力部を更に備え、音声検出部は、音声、及び利用者情報を、注目情報に対応付けて格納部に格納してよい。また、情報管理装置は、注目情報検出部が検出した注目情報に対応して音声が既に格納されている場合に、当該音声に対応する利用者情報を表示部に表示させる表示制御部を更に備えてよい。
【００１４】
情報管理装置は、音声出力部が再生する音声に対応する利用者情報を、音声の再生と同期して表示部に表示させる表示制御部を更に備えてよい。音声検出部は、音声出力部が音声を再生中又は再生後に、更に音声を検出した場合、検出した音声を、再生した音声に対応付けて格納部に格納してよい。
【００１５】
情報管理装置は、格納部が音声を対応付けて格納している注目情報及び利用者情報のリストを表示部に表示させる表示制御部を更に備えてよい。表示制御部は、利用者情報に基づいて分類したリストを表示させてよい。
【００１６】
情報管理装置は、それぞれの利用者の声紋を予め格納する声紋格納部と、音声検出部が検出した音声と、声紋格納部が格納した声紋とを比較し、比較結果に応じた利用者情報を音声に対応付けて、格納部に格納する利用者情報生成部とを更に備えてよい。
【００１７】
情報管理装置は、それぞれの利用者の顔を含む画像を予め格納する画像格納部と、利用者の顔を含む画像を撮像する画像撮像部と、画像撮像部が撮像した画像と、画像格納部が格納した画像とを比較し、比較結果に応じた利用者情報を音声に対応付けて、格納部に格納する画像比較部とを更に備えてよい。
【００１８】
本発明の第２の形態においては、音声を管理する情報管理装置を機能させるプログラムであって、情報管理装置を、文書データ又は画像データの少なくとも一方を含む表示情報を格納する格納部と、格納部が格納した表示情報を表示する表示部と、利用者の視線を検出する視線検出部と、利用者の視線に基づいて、表示部に表示された表示情報のうち、利用者が注目している注目情報を検出する注目情報検出部と、利用者の音声を検出し、音声を注目情報に対応付けて格納部に格納する音声検出部として機能させることを特徴とするプログラムを提供する。
【００１９】
本発明の第３の形態においては、音声を管理する情報管理システムであって、文書データ又は画像データの少なくとも一方を含む表示情報を管理する主管理装置と、それぞれの利用者に割り当てられた複数の端末装置とを備え、それぞれの端末装置は、主管理装置から受信した表示情報を表示する表示部と、対応する利用者の視線を検出する視線検出部と、当該利用者の視線に基づいて、表示部に表示された表示情報のうち、当該利用者が注目している注目情報を検出する注目情報検出部と、利用者の音声を検出し、音声を注目情報に対応付けて格納部に格納する音声検出部と、注目情報及び対応付けられた音声を、主管理装置に送信する送受信部とを有し、主管理装置は、端末装置から受信した音声と注目情報とを対応付けて格納する格納部を有することを特徴とする情報管理システムを提供する。
【００２０】
本発明の第４の形態においては、複数の利用者により同時に利用され、それぞれの利用者の音声を管理する情報管理装置であって、文書データ又は画像データの少なくとも一方を含む表示情報を格納する格納部と、格納部が格納した表示情報を表示する表示部と、それぞれの利用者の視線を検出する視線検出部と、それぞれの利用者の視線に基づいて、表示部に表示された表示情報のうち、それぞれの利用者が注目している注目情報を検出する注目情報検出部と、それぞれの利用者の音声を検出し、検出した音声を当該音声に対応する利用者が注目している注目情報に対応付けて格納部に格納する音声検出部とを備えることを特徴とする情報管理装置を提供する。
【００２１】
音声検出部は、二以上の利用者の音声を同時に検出した場合に、それぞれの音声を分離する手段と、音声検出部が分離した音声の方向を検出する手段とを有し、情報管理装置は、それぞれの利用者の画像を予め格納する画像格納部と、分離されたそれぞれの音声の方向の利用者の画像を撮像する画像撮像部と、画像撮像部が撮像した画像と、画像格納部が格納した画像とを比較し、比較結果に応じた利用者情報を音声に対応付けて、格納部に格納する画像比較部とを更に備えてよい。
【００２２】
本発明の第５の形態においては、音声を管理する情報管理装置であって、文書データ又は画像データの少なくとも一方を含む表示情報を、複数の情報に分割して格納し、音声を表示情報の複数の領域のいずれかに対応付けて格納する格納部と、格納部が格納した表示情報を表示する表示部と、利用者の視線を検出する視線検出部と、利用者の視線に基づいて、表示部に表示された表示情報のうち、利用者が注目している注目情報を検出する注目情報検出部と、格納部が音声を注目情報に対応付けて格納している場合に、当該音声を再生する音声出力部とを備えることを特徴とする情報管理装置を提供する。
【００２３】
尚、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又、発明となりうる。
【００２４】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２５】
図１は、本発明の実施形態に係る情報管理装置１００の構成の一例を示す。情報管理装置１００は、文書、画像等の情報に、利用者の音声の情報を付して管理する。情報管理装置１００は、例えばキーボード等の入力手段、モニタ等の表示手段、演算手段、及び制御手段等を備えたコンピュータである。
【００２６】
情報管理装置１００は、表示部１０、視線検出部２０、音声情報検出部３０、音声出力部５０、入力部６０、表示制御部７０、領域分割部７２、注目情報検出部７４、及び格納部７６を備える。
【００２７】
格納部７６は、文書データ又は画像データの少なくとも一方を含む表示情報を格納する。格納部７６は、例えば磁気的な手段で表示情報をディジタルデータとして記憶する記憶装置である。
【００２８】
表示部１０は、格納部７６が格納した表示情報を表示する。本例においては、格納部７６が格納した表示情報は、表示制御部７０に送信され、表示部１０に表示される。表示部１０は、例えばＣＲＴ、液晶ディスプレイ等のモニタである。
【００２９】
視線検出部２０は、利用者の視線を検出する。つまり、視線検出部２０は、利用者の視線が、表示部１０に表示した表示情報のいずれの領域に停留しているかを検出する。視線検出部２０は、例えば、利用者の目を撮像して画像解析することにより利用者の視線を検出するものであってよい。この場合、視線検出部２０は、表示部１０の近傍に配置されることが好ましい。また、視線検出部２０は、利用者が装着するものであってもよい。
【００３０】
注目情報検出部７４は、視線検出部２０が検出した利用者の視線に基づいて、表示部１０に表示された表示情報のうち、利用者が注目している注目情報を検出する。例えば、注目情報検出部７４は、表示制御部７０から表示情報を受け取り、視線検出部２０が検出した利用者の視線の表示部１０における座標に基づいて注目情報を検出する。視線検出部２０、及び注目情報検出部７４は、例えばコンピュータの演算装置である。
【００３１】
音声検出部３０は、利用者の音声を検出し、当該音声を注目情報に対応付けて格納部７６に格納する。音声検出部３０は、例えば集音マイクを有する。
【００３２】
また、注目情報検出部７４は、利用者の視線が停留している座標を中心とした所定の大きさの領域を注目情報として検出してよい。また他の例においては、格納部７６が格納した表示情報は、領域分割部７２において複数の表示領域に分割され、注目情報検出部７４は、利用者の視線が停留している表示領域を注目情報として検出してもよい。
【００３３】
これらの場合、注目情報検出部７４は、利用者の視線が所定の時間以上停留している情報を注目情報として検出してよい。また、視線検出部２０は、利用者の瞬きの回数を検出し、注目情報検出部７４は、利用者の瞬きの回数に更に基づいて注目情報を検出してもよい。例えば、利用者の視線が所定の時間以上停留し、且つ当該所定の時間内における利用者の瞬きの回数が所定の回数以下である領域を注目情報として検出してよい。また、注目情報検出部７４は、利用者の視線の移動速度に基づいて注目情報を検出してよい。例えば、利用者の視線の移動速度が所定の期間、所定の速度以下であったときに、利用者の視線が在する領域を注目情報として検出してもよい。このような条件を用いて注目情報を検出することにより、利用者が注目している注目情報を精度よく検出することができる。
【００３４】
また、注目情報検出部７４は、音声検出部３０が当該音声を検出したときに利用者が注目している注目情報を含む表示領域を検出し、音声検出部３０は、当該表示領域に対応付けて、当該音声を格納部７６に格納してよい。この場合、注目情報検出部７４は、音声検出部３０が当該音声を検出したときから、所定の時間遡った期間において、利用者の視線が最も長く停留した表示領域を検出し、音声検出部３０は、当該音声を対応付けて格納部７６に格納することが好ましい。
【００３５】
また、他の例においては、注目情報検出部７４は、入力部６０が利用者から音声の格納を指示する指示情報を受け取った場合に、利用者の視線が在する領域を注目情報として検出し、音声検出部３０は、利用者の音声の検出を開始してよい。
【００３６】
次に、情報管理装置１００が格納した音声を再生する場合の動作を説明する。一例として、音声出力部５０は、入力部６０が音声を再生するべき旨の指示情報を利用者から受け取った場合に、格納部７６が格納した音声を出力する。例えば、入力部６０が当該指示情報において、再生するべき音声に対応する注目情報を指示された場合、音声出力部５０は、当該注目情報に対応する音声を格納部７６から取り出して再生する。また、入力部６０が音声の再生を指示する指示情報を利用者から受け取った場合、音声出力部５０は、注目情報検出部７４から利用者が注目している注目情報に関する情報を受け取り、当該注目情報に対応する音声を格納部７６から取り出して再生する。この場合、利用者は簡易な操作により注目情報に対応する音声を再生することができる。
【００３７】
また、音声出力部５０は、所定の条件で注目情報検出部７４が注目情報を検出した場合に、当該注目情報に対応する音声を格納部７６から取り出して自動的に再生してもよい。この場合、利用者は再生の指示をする必要がなく、簡便に音声の再生をすることができる。
【００３８】
例えば、注目情報検出部７４は、利用者の視線が所定の時間以上継続して停留している情報を注目情報として検出し、音声出力部５０は、格納部７６が当該注目情報に対応付けられた音声を格納している場合に、当該音声を再生する。これにより、利用者の意図に応じた音声を再生することができる。
【００３９】
また、他の例としては、注目情報検出部７４は、過去の所定の期間内において、利用者の視線が停留した総時間が最も長く、且つ所定の時間以上継続して停留した情報を注目情報として検出し、音声出力部５０は、格納部７６が当該注目情報に対応付けられた音声を格納している場合に、当該音声を再生してもよい。これにより、利用者の注視点が移動している場合であっても、利用者の意図を反映した音声を再生することができる。
【００４０】
また、更に他の例としては、注目情報検出部７４は、過去の所定の期間内において、利用者の視線が停留した総時間が所定の総時間より長く、且つ所定の継続時間以上継続して停留した情報を注目情報として検出し、音声出力部５０は、格納部７６が当該注目情報に対応付けられた音声を格納している場合に、当該音声を再生してもよい。
【００４１】
また、これらの音声の再生中に利用者の視線が移動した場合、注目情報検出部７４は、当該音声の再生が終了してから次の注目情報を検出してよく、また利用者の視線が移動した直後から次の注目情報を検出してもよい。また、再生中の音声に対して、格納部７６が他の音声を対応付けて格納している場合、音声出力部５０は、再生中の音声に続き、当該対応付けられた音声を更に再生してもよい。
【００４２】
以上のような動作により、利用者の操作の手間を低減し、且つ利用者の意図を反映した音声を容易に再生することができる。
【００４３】
図２は、情報管理装置１００の動作の一例を説明する図である。本例において、表示装置１０の上部には視線検出部２０が設けられ、表示装置１０の側部には音声検出部３０が設けられる。また、音声検出部３０は、音声出力部３０としても機能する。
【００４４】
まず、音声の情報を注目情報に対応付けて格納する動作について説明する。表示装置１０は、図２に示すように表示情報１０２を表示する。視線検出部２０は前述したように、利用者の視線を検出し、注目情報検出部７４（図１参照）は、利用者が注目している表示情報１０２の領域を注目情報として検出する。本例において、表示情報１０２は文書の行毎の表示領域に分割されており、表示制御部７０（図１参照）は、視線検出部２０が検出した、利用者の視線の位置に対応する表示領域（行）の表示属性を変化させて表示部１０に表示させる。ここで、表示属性の変化とは、例えば文字の太さ、大きさ、色を変更すること、下線を付すこと、網掛け表示をすること等を指す。本例においては、表示制御部７０は、利用者が注目している表示領域の文字を太字にして表示している。
【００４５】
また、表示制御部７０は、表示部１０に音声入力ボタン１０４を表示させてもよい。利用者がマウス等の入力手段により、音声入力ボタン１０４を選択した場合、音声検出部３０は、利用者の音声検出を開始する。このとき、音声検出部３０は、所定の期間音声の検出を行ってよく、また所定の時間利用者の音声が途切れるまで、音声の検出を行ってもよい。音声検出部３０が検出した音声は、図１に関連して説明したように、注目情報に対応付けて格納される。
【００４６】
このような動作により、利用者は所望の注目情報に対応付けて音声の情報を容易に付加することができる。また、本例において領域分割部７２は、文書の行毎に領域分割しているが、他の例においては、領域分割部７２は、表示情報１０２を文書データの単語毎に表示領域に分割してもよく、また所望の範囲毎に分割してもよい。また、表示制御部７０は、注目情報を含む表示領域の表示属性を変更させることにより、利用者に注目情報を識別させているが、他の例においては、視線検出部２０が検出した利用者の視線の位置を、表示情報１０２と合わせて表示部１０に表示させてもよい。例えば、表示情報１０２上に、利用者の視線の位置を示すカーソルを表示させてもよい。
【００４７】
次に、格納した音声を再生する動作について説明する。表示制御部７０は、格納部７６に対応する音声が既に格納されている表示領域の表示属性を変化させて表示部１０に表示させる。これにより、利用者に音声の情報の有無を認識させることができる。また、表示制御部７０は、表示部１０に、音声出力ボタン１１０を表示させる。
【００４８】
次に、利用者が音声出力ボタン１１０を選択すると、注目情報検出部７４は、このときに利用者が注目している注目情報を検出する。この場合も、音声出力ボタン１１０の選択を検出したときから、所定の時間遡った期間において、利用者の視線が最も長く停留した表示領域を注目情報として検出してよい。そして、音声出力部５０は、当該注目情報に対応する音声を格納部７６から取り出して再生する。また、表示制御部７０は、前述したように対応する音声が格納されている表示領域の表示属性を変化させて表示させることが好ましい。
【００４９】
このような動作により、情報管理装置１００は、利用者の音声の情報を容易に録音、及び再生することができる。特に、利用者がキーボード等の操作に不慣れな場合であっても、容易に音声情報を録音、再生することができる。また、音声が付加されている文書を容易に判別することができる。
【００５０】
図３は、情報管理装置１００の動作の他の例を説明する図である。本例において、情報管理装置１００は、格納部７６に格納された音声に対応する利用者の情報を表示部１０に表示する。
【００５１】
本例においては、入力部６０は、利用者に関する利用者情報を受け取る。ここで、利用者情報とは、利用者の氏名、役職、年齢、性別等である。また、利用者情報は、利用者が情報管理装置１００の使用を開始する場合に入力する、利用者の識別情報に基づいて生成されてよく、また当該識別情報を利用者情報としてもよい。例えば、情報管理装置１００は、利用者の識別情報と利用者情報とを対応付けて格納する手段を更に備えてもよい。当該利用者の音声を録音する場合、音声検出部３０は、当該音声、及び当該利用者の利用者情報を、注目情報に対応付けて格納部７６に格納する。
【００５２】
また、表示制御部７０は、注目情報検出部７４が検出した注目情報に対応して音声が既に格納されている場合に、当該音声に対応する利用者情報を表示部１０に表示させる。また、表示制御部７０は、前述したように対応する音声が格納されている表示領域の表示属性を変化させて表示させることが好ましい。この場合、当該音声に対応する利用者情報に応じて、表示属性を変化させてもよい。例えば、利用者の役職に応じて表示の色を変化させてもよい。また、自己の音声が対応付けて格納された表示領域であるか、又は他の利用者の音声が対応付けて格納された表示領域であるかによって表示属性を変化させてもよい。このような動作により、他の利用者が表示情報を利用した場合に、どの利用者によって音声が付加されているかを容易に認識することができる。また、表示制御部７０は、音声出力部５０が音声を再生する場合、当該音声に対応する利用者情報を、音声の再生と同期して表示部１０に表示させることが好ましい。
【００５３】
図４は、情報管理装置１００の構成の他の例を示す。本例において、情報管理装置１００は、いずれの利用者によって使用されているかを識別し、当該利用者の利用者情報を音声情報と共に格納する。本例における情報管理装置１００は、図１において説明した情報管理装置１００の構成に加え、画像撮像部４０、画像格納部４２、及び画像比較部４４を更に備える。図４において図１と同一の符号を付した構成要素は、図１〜図３において説明した構成要素と同一又は同様の機能及び構成を有する。
【００５４】
画像撮像部４０は、利用者の顔を含む画像を撮像する。また、視線検出部２０が画像撮像部４０として機能してもよい。
【００５５】
画像格納部４２は、それぞれの利用者の顔を含む画像を、それぞれの利用者情報と対応付けて予め格納する。また、画像格納部４２は、それぞれの利用者の画像の特徴点のみを抽出した画像を格納していてもよく、またそれぞれの利用者について、異なる角度から撮像した複数の画像を格納していてもよい。
【００５６】
画像比較部４４は、画像撮像部４０が撮像した画像と、画像格納部４２が格納した画像とを比較し、比較結果に応じた利用者情報を画像格納部４２から読み出す。そして、音声情報検出部３０が検出した音声を格納部７６に格納する場合に、当該利用者情報を当該音声に対応付けて格納部７６に格納する。
【００５７】
格納部７６に格納された利用者情報は、図３において説明したように用いられる。本例における情報管理装置１００によれば、音声を録音した利用者に関する利用者情報を容易に記録することができる。
【００５８】
図５は、情報管理装置１００の構成の更なる他の例を示す。本例において、情報管理装置１００は、いずれの利用者によって使用されているかを識別し、当該利用者の利用者情報を音声情報と共に格納する。本例における情報管理装置１００は、図１において説明した情報管理装置１００の構成に加え、声紋比較部４６、及び声紋格納部４８を更に備える。図５において図１と同一の符号を付した構成要素は、図１〜図３において説明した構成要素と同一又は同様の機能及び構成を有する。
【００５９】
声紋格納部４８は、それぞれの利用者の音声の声紋を、それぞれの利用者情報と対応付けて予め格納する。声紋比較部４６は、音声情報検出部３０が検出した音声の声紋と、声紋格納部４８が格納した声紋とを比較し、比較結果に応じた利用者情報を声紋格納部４８から読み出す。そして、音声情報検出部３０が検出した音声を格納部７６に格納する場合に、当該利用者情報を当該音声に対応付けて格納部７６に格納する。
【００６０】
本例における情報管理装置１００によれば、音声を録音した利用者に関する利用者情報を容易に記録することができる。また、情報管理装置１００は、図４において説明した画像比較による利用者の判別と、図５において説明した声紋比較による利用者の判別とを組み合わせて、利用者を判別してもよい。
【００６１】
また、表示制御部７０は、格納部７６が音声を対応付けて格納している注目情報及び利用者情報のリストを表示部１０に表示させてよい。例えば、表示制御部７０は、利用者からの指示に応じて当該リストを表示させる。
【００６２】
また、情報管理装置１００が複数の利用者によって同時に利用されている場合も、情報管理装置１００は、それぞれの利用者の音声を利用者情報と合わせて容易に記録することができる。この場合、視線検出部２０は、それぞれの利用者の視線を検出する。また、注目情報検出部７４は、それぞれの利用者の視線に基づいて、表示部１０に表示された表示情報のうち、それぞれの利用者が注目している注目情報を検出する。
【００６３】
音声検出部３０は、それぞれの利用者の音声を検出し、声紋比較部４６は、検出された音声に対応する利用者を判別する。そして、声紋比較部４６は、検出された音声を当該音声に対応する利用者が注目している注目情報に対応付けて格納部７６に格納する。
【００６４】
また、複数の利用者が同時に音声を発声した場合には、音声検出部３０は、それぞれの音声を分離して検出することが好ましい。混合音声についての分離については、例えば、”マイクロホン対を用いた帯域分割型固有分解による混合音声の分離”２０００年電子情報通信学会総合大会講演論文集，ｐｐ．１２９，（２０００年３月）に記載されている。この場合、音声検出部３０は、異なる位置に設けられた２以上の集音マイクを有することが好ましい。そして、声紋比較部４６は、分離した音声のそれぞれについて、利用者を判別する。
【００６５】
また、混合音声を分離した場合、それぞれの声紋を精度よく判別することが困難な場合がある。このため、音声検出部３０は、分離したそれぞれの音声の方向を更に検出することが好ましい。例えば、前述したように異なる位置に設けられた２以上の集音マイクを有することにより、音声の方向を検出することができる。
【００６６】
そして、図４に関連して説明した画像撮像部４０が撮像した画像において、音声検出部３０が検出した方向に対応する画像領域に撮像された利用者の画像と、画像格納部４２が予め格納した画像とを画像比較部４４が比較することにより、利用者を判別する。画像格納部４２は、図４において説明したように、それぞれの利用者の顔を含む画像を格納してよく、利用者の目の虹彩を含む画像を格納してもよく、またこれらの両方を格納してもよい。この場合において、声紋比較によって判別した利用者と、画像比較によって判別した利用者とが異なる場合には、上述した利用者の判別を再び行うことが好ましい。
【００６７】
このように、声紋比較及び画像比較を組み合わせることによって、複数の利用者が同時に発声した場合であっても、それぞれの音声とそれぞれの注目情報とを精度よく検出し、記録することができる。
【００６８】
図６は、表示部１０が表示する、注目情報及び利用者情報のリスト１０８の一例を示す。本例において、表示制御部７０は、音声が対応付けられて格納部７６に格納されている利用者情報のリスト１０８を、注目情報又は表示領域毎に表示部１０に表示させる。
【００６９】
また、表示制御部７０は、図６に示すように、注目情報又は表示領域に対応付けられた音声を、対応する利用者情報及びその録音日時によって示すリスト１０８として表示させてもよい。本例において、音声出力部５０は、利用者がリスト１０８から選択した音声を再生する。
【００７０】
以上説明したように、図６に示すように情報管理装置１００は、一の注目情報又は表示領域に対して、複数の音声及び利用者情報を格納してよい。例えば、一の音声に対して返信の音声が録音された場合、格納部７６は、当該一の音声に対応付けて当該他の音声を格納する。
【００７１】
例えば、音声検出部３０は、音声出力部５０が一の音声を再生後に、更に他の音声を検出した場合、検出した他の音声を、再生した一の音声に対応付けて格納部７６に格納してよい。この場合、音声検出部３０は、一の音声が再生されてから所定の時間以内に検出した音声を、当該他の音声として検出することが好ましい。また、音声検出部３０は、音声出力部５０が一の音声を再生中に検出した音声を、当該他の音声として検出してもよい。また、音声検出部３０は、利用者がリスト１０８から選択した一の音声に、検出した他の音声を対応付けて格納してもよい。
【００７２】
本例における情報管理装置１００によれば、利用者は他の利用者が録音した音声に対して、自己の音声を対応付けて容易に格納することができる。例えば、表示情報が複数の利用者によって閲覧される場合に、それぞれの利用者は、他の利用者の意見を参照し、自己の意見を付加することができる。
【００７３】
また、情報管理装置１００は、情報管理装置１００を現に利用している利用者の利用者情報に応じて、格納された他の利用者の音声のうちいずれの音声を表示又は再生するかを選択する手段を更に備えていてもよい。例えば、利用者情報が利用者の所属部署を示す場合、当該部署に属する他の利用者の音声のみ参照できるように制御してもよい。
【００７４】
また、音声を録音した利用者が、当該音声を参照できる利用者を制限する情報を入力してもよい。例えば、音声を録音した利用者は、当該音声を参照できる利用者の利用者情報を入力してよい。この場合、情報管理装置１００は、起動する際に利用者の識別情報を利用者情報として取得し、表示制御部７０は、当該識別情報に応じて、リスト１０８に表示する音声、利用者情報を選択する。
【００７５】
また、図１〜図６において説明した情報管理装置１００は、プログラムによって動作する。当該プログラムは、情報管理装置１００を図１〜図６において説明したように動作させる。一例として、プログラムは情報管理装置１００を、文書データ又は画像データの少なくとも一方を含む表示情報を格納する格納部７６と、格納部７６が格納した表示情報を表示する表示部１０と、利用者の視線を検出する視線検出部２０と、利用者の視線に基づいて、表示部１０に表示された表示情報のうち、利用者が注目している注目情報を検出する注目情報検出部７４と、利用者の音声を検出し、音声を注目情報に対応付けて格納部７６に格納する音声検出部３０として機能させる。
【００７６】
図７は、本発明の他の実施形態に係る情報管理システム２００の構成の一例を示す。情報管理システム２００は、文書、画像等の情報に、利用者の音声の情報を付して管理する。情報管理システム２００は、主管理装置２０２と、複数の端末装置（２０８ａ〜２０８ｃ、以下２０８と総称する）とを備える。主管理装置２０２と複数の端末装置２０８とは、有線通信により情報の授受を行ってよく、また無線通信により情報の授受を行ってもよい。また、主管理装置２０２と複数の端末装置２０８とは、インターネット、イントラネット、エキストラネット等を介して接続されていてよい。
【００７７】
主管理装置２０２は、文書データ又は画像データの少なくとも一方を含む表示情報を管理する。主管理装置２０２は、当該表示情報を格納する格納部２０４とい、格納部２０４が格納した表示情報をそれぞれの端末装置２０８に送信する送受信部２０６とを有する。
【００７８】
それぞれの端末装置２０８は、図１〜図６において説明した情報管理装置１００の構成に対し、格納部７６に代えて送受信部（図示せず）を備える。当該送受信部は、主管理装置２０２の送受信部２０６から表示情報を受信し、表示制御部７０に送信する。それぞれの端末装置２０８において、送受信部以外の構成要素は、図１から図６において説明した機能を有する。
【００７９】
また、それぞれの端末装置２０８の送受信部は、それぞれの利用者の注目情報又は表示領域と、対応付けられた当該利用者の音声とを主管理装置２０２に送信する。格納部２０４は、それぞれの端末装置２０８から受信した音声と注目情報とを対応付けて格納する。
【００８０】
また、主管理装置２０２の送受信部２０６は、格納部２０４が格納した音声及び注目情報とをそれぞれの端末装置２０８に送信し、それぞれの利用者に自己及び他の利用者の音声を参照させる。
【００８１】
つまり、本例における格納部２０４は、図１〜図６において説明した格納部７６と同一の機能を有し、それぞれの端末装置２０８は、図１〜図６において説明したそれぞれの格納部７６に代えて、主管理装置２０２の格納部２０４にアクセスすることにより音声の格納、表示、及び再生を行う。これにより、複数の利用者が同時に同一の文書に対して音声を録音することができる。また、それぞれの録音結果は、主管理装置２０２が管理してそれぞれの端末装置２０８が表示する表示情報に反映される。例えば、会議等において一の表示情報について議論する場合、それぞれの利用者の音声を随時録音し、それぞれの利用者に対して提供することができる。
【００８２】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００８３】
【発明の効果】
表示情報に対して、利用者が注目している情報と利用者の音声とを容易に対応付けて格納することができる。このため、メモ等を注目情報に付加したいような場合に、容易な操作で所望のメモを録音することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る情報管理装置１００の構成の一例を示す図である。
【図２】情報管理装置１００の動作の一例を説明する図である。
【図３】情報管理装置１００の動作の他の例を説明する図である。
【図４】情報管理装置１００の構成の他の例を示す図である。
【図５】情報管理装置１００の構成の更なる他の例を示す図である。
【図６】表示部１０が表示する、注目情報及び利用者情報のリスト１０８の一例を示す図である。
【図７】本発明の他の実施形態に係る情報管理システム２００の構成の一例を示す図である。
【符号の説明】
１０・・・表示部、２０・・・視線検出部、３０・・・音声検出部、４０・・・画像撮像部、４２・・・画像格納部、４４・・・画像比較部、４６・・・声紋比較部、４８・・・声紋格納部、５０・・・音声出力部、６０・・・入力部、７０・・・表示制御部、７２・・・領域分割部、７４・・・注目情報検出部、７６・・・格納部、１００・・・情報管理装置、１０２・・・表示情報、１０４・・・音声入力ボタン、１０６・・・リスト表示ボタン、１０８・・・リスト、１１０・・・音声出力ボタン、２００・・・情報管理システム、２０２・・・主管理装置、２０４・・・格納部、２０６・・・送受信部、２０８・・・端末装置[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an information management device, an information management system, and a program for managing voice information of a user.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there is an apparatus that provides a user with document information by displaying the document on a monitor, for example. In such an apparatus, a user can edit a provided document. For example, the user can add a memo to a desired portion of the displayed document by using input means such as a keyboard.
[0003]
[Problems to be solved by the invention]
However, when a memo or the like is added to a desired position of a document using an input means such as a keyboard, it is necessary to operate a keyboard or the like, which may take time and effort. Further, if the user is not skilled in input means such as a keyboard, it is more difficult to efficiently create a desired memo.
[0004]
[Means for Solving the Problems]
In order to solve the above-mentioned problems, according to a first aspect of the present invention, there is provided an information management device for managing audio, wherein a storage unit for storing display information including at least one of document data and image data; A display unit that displays the display information stored by the user, a gaze detection unit that detects the gaze of the user, and, based on the gaze of the user, among the display information displayed on the display unit, the user is paying attention There is provided an information management apparatus, comprising: an attention information detection unit that detects attention information; and a voice detection unit that detects a user's voice and stores the voice in a storage unit in association with the attention information.
[0005]
The attention information detection unit may detect, as attention information, information in which the user's line of sight remains for a predetermined time or longer. The information management device may further include a display control unit that causes the display unit to display the position of the user's line of sight detected by the line of sight detection unit together with the display information. In addition, the information processing apparatus may further include an area dividing unit that divides the display information into a plurality of display areas, and the sound detection unit may store the sound in the storage unit in association with the display area including the attention information.
[0006]
The display control unit may further include a display control unit that changes the display attribute of the display area corresponding to the position of the user's line of sight detected by the line of sight detection and causes the display unit to display the attribute. Further, the image processing apparatus may further include a display control unit that changes a display attribute of a display area in which sound corresponding to the storage unit is already stored and displays the change on the display unit.
[0007]
The storage unit may store display information including the document data, and the area dividing unit may divide the display information into display areas for each word of the document data. Further, the sound detection unit may store the sound in the storage unit in association with the display area including the attention information that the user is paying attention to when the sound is detected.
[0008]
The voice detection unit may store the voice in the storage unit in association with the display area in which the user's line of sight stays for the longest period of time before the voice is detected. The apparatus may further include an input unit that receives instruction information for instructing storage of a voice from the user, and the voice detection unit may start detecting the voice when the instruction information is received.
[0009]
The information management device receives, from a user, an input unit that receives instruction information for instructing attention information corresponding to a sound to be reproduced, and reproduces a sound corresponding to the attention information when the input unit receives the instruction information. An audio output unit may be further provided.
[0010]
An input unit that receives instruction information for instructing sound reproduction from a user, and an audio output unit that reproduces a sound corresponding to the attention information detected by the attention information detection unit when the input unit receives the instruction information. Further provision may be made.
[0011]
The attention information detection unit detects information in which the user's line of sight stays for a predetermined time or more as attention information, and reproduces the sound when the storage unit stores a sound associated with the attention information. The audio output unit may be further provided.
[0012]
The attention information detection unit detects, as attention information, information in which the user's line of sight has stopped for the longest time within a predetermined period in the past, and has stopped for a predetermined time or more, and the storage unit detects a sound associated with the attention information. In the case where the sound is stored, the sound output unit for reproducing the sound may be further provided.
[0013]
The information management device may further include an input unit that receives user information about the user, and the voice detection unit may store the voice and the user information in the storage unit in association with the attention information. In addition, the information management device further includes a display control unit configured to display, on the display unit, user information corresponding to the voice when the voice is already stored in correspondence with the attention information detected by the attention information detection unit. May be.
[0014]
The information management device may further include a display control unit that causes the display unit to display user information corresponding to the sound reproduced by the sound output unit in synchronization with the reproduction of the sound. When the audio output unit detects the audio during or after the audio output unit reproduces the audio, the audio detection unit may store the detected audio in the storage unit in association with the reproduced audio.
[0015]
The information management device may further include a display control unit that causes the display unit to display a list of attention information and user information stored in the storage unit in association with audio. The display control unit may display a list classified based on the user information.
[0016]
The information management device compares the voiceprint storage unit that stores the voiceprint of each user in advance, the voice detected by the voice detection unit, and the voiceprint stored by the voiceprint storage unit, and stores the user information according to the comparison result. The information processing apparatus may further include a user information generation unit that stores the user information in the storage unit in association with the voice.
[0017]
The information management device includes: an image storage unit that stores an image including a face of each user in advance; an image capturing unit that captures an image including a face of the user; an image captured by the image capturing unit; May be further provided with an image comparison unit that compares the image with the image stored in the storage unit, associates the user information according to the comparison result with the sound, and stores the information in the storage unit.
[0018]
According to a second aspect of the present invention, there is provided a program for causing an information management device that manages audio to function, the information management device comprising: a storage unit that stores display information including at least one of document data and image data; A display unit that displays the display information stored by the unit, a gaze detection unit that detects the gaze of the user, and, based on the gaze of the user, among the display information displayed on the display unit, the user pays attention. The present invention provides a program for causing an attention information detection unit that detects attention information that is present, and a function of detecting a user's voice and functioning as a speech detection unit that stores the voice in the storage unit in association with the attention information.
[0019]
According to a third aspect of the present invention, there is provided an information management system for managing audio, comprising: a main management device for managing display information including at least one of document data and image data; Terminal device, each terminal device is a display unit that displays the display information received from the main management device, a gaze detection unit that detects the gaze of the corresponding user, based on the gaze of the user A notice information detecting unit that detects notice information that the user is paying attention to among the display information displayed on the display unit, and a sound of the user, and associates the sound with the notice information in the storage unit. A voice detecting unit that stores the voice information and the transmitting and receiving unit that transmits the attention information and the associated voice to the main management device. The main management device stores the voice received from the terminal device and the attention information in association with each other. Store Providing information management system characterized by having a.
[0020]
According to a fourth aspect of the present invention, there is provided an information management apparatus which is used simultaneously by a plurality of users and manages the voice of each user, and stores display information including at least one of document data and image data. A storage unit, a display unit that displays the display information stored by the storage unit, a gaze detection unit that detects the gaze of each user, and display information displayed on the display unit based on the gaze of each user. An attention information detection unit that detects attention information that each user is paying attention to, and an attention information that detects a voice of each user and detects the detected voice by a user corresponding to the voice. An information management device comprising: a voice detection unit that stores information in a storage unit in association with information.
[0021]
The voice detection unit has a unit that separates each voice when two or more users' voices are detected simultaneously, and a unit that detects the direction of the voice separated by the voice detection unit. An image storage unit that stores the image of each user in advance, an image imaging unit that captures an image of the user in each of the separated voice directions, an image captured by the image imaging unit, and an image storage unit. The image processing device may further include an image comparing unit that compares the stored image with the stored image, associates the user information corresponding to the comparison result with the sound, and stores the user information in the storage unit.
[0022]
According to a fifth aspect of the present invention, there is provided an information management apparatus for managing audio, wherein display information including at least one of document data and image data is divided into a plurality of pieces of information and stored, and the audio is stored in the display information. A storage unit that stores the information in association with any of the plurality of regions, a display unit that displays the display information stored by the storage unit, a gaze detection unit that detects the gaze of the user, and based on the gaze of the user. Of the display information displayed on the display unit, an attention information detection unit that detects attention information that the user is paying attention to, and when the storage unit stores the sound in association with the attention information, the sound is output. An information management device comprising: an audio output unit for reproducing.
[0023]
Note that the above summary of the present invention does not list all of the necessary features of the present invention, and a sub-combination of these features may also be an invention.
[0024]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, the present invention will be described through embodiments of the present invention. However, the following embodiments do not limit the invention according to the claims, and all of the combinations of the features described in the embodiments are not limited thereto. It is not always essential to the solution of the invention.
[0025]
FIG. 1 shows an example of a configuration of an information management device 100 according to an embodiment of the present invention. The information management apparatus 100 manages information such as a document and an image by attaching information of a user's voice. The information management apparatus 100 is, for example, a computer including input means such as a keyboard, display means such as a monitor, calculation means, and control means.
[0026]
The information management device 100 includes a display unit 10, a line-of-sight detection unit 20, an audio information detection unit 30, an audio output unit 50, an input unit 60, a display control unit 70, an area division unit 72, an attention information detection unit 74, and a storage unit 76. Is provided.
[0027]
The storage unit 76 stores display information including at least one of document data and image data. The storage unit 76 is a storage device that stores display information as digital data by magnetic means, for example.
[0028]
The display unit 10 displays the display information stored in the storage unit 76. In this example, the display information stored in the storage unit 76 is transmitted to the display control unit 70 and displayed on the display unit 10. The display unit 10 is a monitor such as a CRT and a liquid crystal display.
[0029]
The gaze detection unit 20 detects the gaze of the user. In other words, the line-of-sight detection unit 20 detects in which region of the display information displayed on the display unit 10 the user's line of sight remains. The line-of-sight detection unit 20 may detect the line of sight of the user by, for example, capturing the eyes of the user and analyzing the image. In this case, it is preferable that the line-of-sight detection unit 20 is arranged near the display unit 10. In addition, the gaze detection unit 20 may be worn by a user.
[0030]
The attention information detection unit 74 detects attention information that the user is paying attention among the display information displayed on the display unit 10 based on the user's line of sight detected by the line of sight detection unit 20. For example, the attention information detection unit 74 receives the display information from the display control unit 70, and detects the attention information based on the coordinates of the user's line of sight detected by the line of sight detection unit 20 on the display unit 10. The line-of-sight detection unit 20 and the attention information detection unit 74 are, for example, computing devices of a computer.
[0031]
The voice detection unit 30 detects the voice of the user, and stores the voice in the storage unit 76 in association with the attention information. The sound detection unit 30 includes, for example, a sound collecting microphone.
[0032]
In addition, the attention information detection unit 74 may detect, as attention information, an area of a predetermined size around the coordinates where the user's line of sight is stopped. In another example, the display information stored in the storage unit 76 is divided into a plurality of display regions by the region dividing unit 72, and the attention information detection unit 74 focuses on the display region where the user's line of sight is stopped. It may be detected as information.
[0033]
In these cases, the attention information detection unit 74 may detect, as attention information, information in which the user's line of sight remains for a predetermined time or longer. The gaze detection unit 20 may detect the number of blinks of the user, and the attention information detection unit 74 may detect the attention information based on the number of blinks of the user. For example, an area where the user's line of sight stays for a predetermined time or more and the number of blinks of the user within the predetermined time is equal to or less than a predetermined number of times may be detected as attention information. The attention information detection unit 74 may detect the attention information based on the moving speed of the user's line of sight. For example, when the moving speed of the user's line of sight is equal to or lower than a predetermined speed for a predetermined period, an area where the user's line of sight exists may be detected as attention information. By detecting the attention information using such a condition, the attention information that the user is paying attention to can be accurately detected.
[0034]
The attention information detection unit 74 detects a display area including attention information that the user is paying attention to when the voice detection unit 30 detects the voice, and associates the voice detection unit 30 with the display area. Then, the sound may be stored in the storage unit 76. In this case, the attention information detecting unit 74 detects the display area in which the user's line of sight stays for the longest time in a period that has been retroactive for a predetermined time from when the voice detecting unit 30 detects the voice. Is preferably stored in the storage unit 76 in association with the voice.
[0035]
In another example, when the input unit 60 receives instruction information for instructing storage of a voice from the user, the attention information detection unit 74 detects an area where the user's line of sight exists as attention information. The voice detection unit 30 may start detecting the voice of the user.
[0036]
Next, an operation in the case of reproducing the sound stored by the information management device 100 will be described. As an example, the audio output unit 50 outputs the audio stored in the storage unit 76 when the input unit 60 receives instruction information indicating that the audio should be reproduced from the user. For example, when the input unit 60 is instructed in the instruction information by attention information corresponding to the audio to be reproduced, the audio output unit 50 retrieves the audio corresponding to the attention information from the storage unit 76 and reproduces the audio. When the input unit 60 receives, from the user, instruction information for instructing sound reproduction, the audio output unit 50 receives from the attention information detection unit 74 information regarding attention information that the user is paying attention to, and The sound corresponding to the information is retrieved from the storage unit 76 and reproduced. In this case, the user can reproduce the sound corresponding to the attention information by a simple operation.
[0037]
In addition, when the attention information detection unit 74 detects the attention information under a predetermined condition, the audio output unit 50 may retrieve the speech corresponding to the attention information from the storage unit 76 and automatically reproduce the speech. In this case, the user does not need to give a reproduction instruction, and can easily reproduce the sound.
[0038]
For example, the attention information detection unit 74 detects, as attention information, information in which the user's line of sight has been continuously stopped for a predetermined time or more, and the voice output unit 50 stores the storage unit 76 in association with the attention information. If the stored sound is stored, the sound is reproduced. As a result, it is possible to reproduce sound according to the user's intention.
[0039]
Further, as another example, the attention information detection unit 74 determines that the total time during which the user's line of sight has stopped is the longest, and that the information has been stopped continuously for a predetermined time or more in the past predetermined period. The sound output unit 50 may reproduce the sound when the storage unit 76 stores the sound associated with the attention information. Thus, even when the user's point of gaze is moving, it is possible to reproduce a sound reflecting the user's intention.
[0040]
Further, as still another example, the attention information detecting unit 74 determines that the total time during which the user's line of sight has stopped is longer than the predetermined total time and continues for a predetermined duration or more within a predetermined period in the past. The stopped information may be detected as the attention information, and the audio output unit 50 may reproduce the audio when the storage unit 76 stores the audio associated with the attention information.
[0041]
Also, if the user's line of sight moves during the reproduction of these sounds, the attention information detection unit 74 may detect the next attention information after the reproduction of the sound ends, and the user's line of sight may be changed. Immediately after moving, the next attention information may be detected. When the storage unit 76 stores another audio in association with the audio being reproduced, the audio output unit 50 further reproduces the associated audio following the audio being reproduced. You may.
[0042]
With the above operation, it is possible to reduce the trouble of the operation of the user and easily reproduce the voice reflecting the intention of the user.
[0043]
FIG. 2 is a diagram illustrating an example of the operation of the information management device 100. In this example, a line-of-sight detection unit 20 is provided above the display device 10, and a voice detection unit 30 is provided on the side of the display device 10. Further, the sound detection unit 30 also functions as the sound output unit 30.
[0044]
First, an operation of storing audio information in association with attention information will be described. The display device 10 displays the display information 102 as shown in FIG. As described above, the line-of-sight detection unit 20 detects the line of sight of the user, and the attention information detection unit 74 (see FIG. 1) detects an area of the display information 102 to which the user is paying attention as attention information. In this example, the display information 102 is divided into a display area for each line of the document, and the display control unit 70 (see FIG. 1) displays the display corresponding to the position of the user's line of sight detected by the line of sight detection unit 20. The display attributes of the area (row) are changed and displayed on the display unit 10. Here, the change of the display attribute refers to, for example, changing the thickness, size, and color of the character, underlining, shading, and the like. In this example, the display control unit 70 displays the characters in the display area of interest by the user in bold.
[0045]
In addition, the display control unit 70 may cause the display unit 10 to display the voice input button 104. When the user selects the voice input button 104 with an input unit such as a mouse, the voice detection unit 30 starts detecting the voice of the user. At this time, the sound detection unit 30 may detect the sound for a predetermined period, or may detect the sound until the user's sound is interrupted for a predetermined time. The sound detected by the sound detection unit 30 is stored in association with the attention information, as described with reference to FIG.
[0046]
By such an operation, the user can easily add audio information in association with desired attention information. In the present example, the area dividing unit 72 divides the area for each line of the document, but in another example, the area dividing unit 72 divides the display information 102 into display areas for each word of the document data. And may be divided for each desired range. In addition, the display control unit 70 changes the display attribute of the display area including the attention information to identify the attention information to the user. In other examples, the display control unit 70 detects the user detected by the gaze detection unit 20. May be displayed on the display unit 10 together with the display information 102. For example, a cursor indicating the position of the user's line of sight may be displayed on the display information 102.
[0047]
Next, an operation of reproducing the stored sound will be described. The display control unit 70 changes the display attribute of the display area in which the sound corresponding to the storage unit 76 is already stored and causes the display unit 10 to display it. This allows the user to recognize the presence or absence of voice information. Further, the display control unit 70 causes the display unit 10 to display the audio output button 110.
[0048]
Next, when the user selects the audio output button 110, the attention information detection unit 74 detects attention information that the user is paying attention to at this time. Also in this case, a display area where the user's line of sight stays for the longest time may be detected as attention information in a period that is set back by a predetermined time from when the selection of the audio output button 110 is detected. Then, the audio output unit 50 retrieves the audio corresponding to the attention information from the storage unit 76 and reproduces the audio. Further, as described above, it is preferable that the display control unit 70 changes the display attribute of the display area in which the corresponding sound is stored and displays the sound.
[0049]
With such an operation, the information management apparatus 100 can easily record and reproduce the information of the user's voice. In particular, even when the user is unfamiliar with the operation of the keyboard or the like, the voice information can be easily recorded and reproduced. Further, a document to which sound is added can be easily determined.
[0050]
FIG. 3 is a diagram illustrating another example of the operation of the information management device 100. In this example, the information management device 100 displays on the display unit 10 information of the user corresponding to the voice stored in the storage unit 76.
[0051]
In this example, the input unit 60 receives user information on the user. Here, the user information is the name, title, age, sex, etc. of the user. Further, the user information may be generated based on the identification information of the user, which is input when the user starts using the information management apparatus 100, and the identification information may be used as the user information. For example, the information management apparatus 100 may further include a unit that stores user identification information and user information in association with each other. When recording the voice of the user, the voice detection unit 30 stores the voice and the user information of the user in the storage unit 76 in association with the attention information.
[0052]
When a voice is already stored in correspondence with the attention information detected by the attention information detection unit 74, the display control unit 70 causes the display unit 10 to display user information corresponding to the voice. Further, as described above, it is preferable that the display control unit 70 changes the display attribute of the display area in which the corresponding sound is stored and displays the sound. In this case, the display attribute may be changed according to the user information corresponding to the voice. For example, the display color may be changed according to the position of the user. Further, the display attribute may be changed depending on whether the display area is the display area in which the user's own voice is stored in association with the display area or the display area in which the voice of another user is stored in association with the user's voice. With such an operation, when another user uses the display information, it is possible to easily recognize which user has added the voice. When the audio output unit 50 reproduces a sound, the display control unit 70 preferably displays the user information corresponding to the sound on the display unit 10 in synchronization with the reproduction of the sound.
[0053]
FIG. 4 shows another example of the configuration of the information management device 100. In the present example, the information management device 100 identifies which user is using the device, and stores the user information of the user together with the voice information. The information management device 100 in this example further includes an image capturing unit 40, an image storage unit 42, and an image comparison unit 44 in addition to the configuration of the information management device 100 described in FIG. 4 have the same or similar functions and configurations as those described with reference to FIGS. 1 to 3.
[0054]
The image capturing unit 40 captures an image including the user's face. Further, the line-of-sight detecting unit 20 may function as the image capturing unit 40.
[0055]
The image storage unit 42 stores an image including a face of each user in advance in association with each user information. Further, the image storage unit 42 may store an image obtained by extracting only the feature points of the image of each user, and store a plurality of images captured from different angles for each user. Is also good.
[0056]
The image comparing unit 44 compares the image captured by the image capturing unit 40 with the image stored in the image storage unit 42, and reads out user information corresponding to the comparison result from the image storage unit 42. Then, when the voice detected by the voice information detecting unit 30 is stored in the storage unit 76, the user information is stored in the storage unit 76 in association with the voice.
[0057]
The user information stored in the storage unit 76 is used as described in FIG. According to the information management device 100 in the present example, user information regarding the user who has recorded the voice can be easily recorded.
[0058]
FIG. 5 shows still another example of the configuration of the information management apparatus 100. In the present example, the information management device 100 identifies which user is using the device, and stores the user information of the user together with the voice information. The information management device 100 in this example further includes a voiceprint comparison unit 46 and a voiceprint storage unit 48 in addition to the configuration of the information management device 100 described in FIG. In FIG. 5, components denoted by the same reference numerals as those in FIG. 1 have the same or similar functions and configurations as the components described in FIGS.
[0059]
The voiceprint storage unit 48 stores the voiceprint of each user's voice in advance in association with each user information. The voiceprint comparison unit 46 compares the voiceprint of the voice detected by the voice information detection unit 30 with the voiceprint stored in the voiceprint storage unit 48, and reads out user information corresponding to the comparison result from the voiceprint storage unit 48. Then, when the voice detected by the voice information detecting unit 30 is stored in the storage unit 76, the user information is stored in the storage unit 76 in association with the voice.
[0060]
According to the information management device 100 in the present example, user information regarding the user who has recorded the voice can be easily recorded. Further, the information management apparatus 100 may determine the user by combining the determination of the user by the image comparison described in FIG. 4 and the determination of the user by the voiceprint comparison described in FIG.
[0061]
The display control unit 70 may cause the display unit 10 to display a list of attention information and user information stored in the storage unit 76 in association with the sound. For example, the display control unit 70 displays the list according to an instruction from a user.
[0062]
Further, even when the information management apparatus 100 is used by a plurality of users at the same time, the information management apparatus 100 can easily record the voice of each user together with the user information. In this case, the gaze detecting unit 20 detects the gaze of each user. In addition, the attention information detection unit 74 detects attention information that each user is paying attention among display information displayed on the display unit 10 based on each user's line of sight.
[0063]
The voice detection unit 30 detects the voice of each user, and the voice print comparison unit 46 determines the user corresponding to the detected voice. Then, the voice print comparing unit 46 stores the detected voice in the storage unit 76 in association with the attention information that the user corresponding to the voice is paying attention to.
[0064]
When a plurality of users utter voices at the same time, the voice detection unit 30 preferably separates and detects each voice. Separation of mixed speech is described in, for example, "Separation of mixed speech by band-division eigen decomposition using microphone pairs" Proceedings of the 2000 IEICE General Conference, pp. 223-143. 129, (March 2000). In this case, it is preferable that the sound detecting unit 30 include two or more sound collecting microphones provided at different positions. Then, the voice print comparing unit 46 determines a user for each of the separated voices.
[0065]
Further, when the mixed voice is separated, it may be difficult to accurately distinguish each voiceprint. For this reason, it is preferable that the sound detection unit 30 further detect the direction of each separated sound. For example, by having two or more sound collecting microphones provided at different positions as described above, the direction of the sound can be detected.
[0066]
Then, in the image captured by the image capturing unit 40 described with reference to FIG. 4, the user image captured in the image area corresponding to the direction detected by the sound detection unit 30 and the image storage unit 42 are stored in advance. The image comparison unit 44 compares the obtained image with the image to determine the user. As described with reference to FIG. 4, the image storage unit 42 may store an image including the face of each user, may store an image including the iris of the user's eyes, or may store both of them. It may be stored. In this case, if the user determined by the voiceprint comparison is different from the user determined by the image comparison, it is preferable to perform the above-described user determination again.
[0067]
As described above, by combining the voice print comparison and the image comparison, even when a plurality of users utter simultaneously, it is possible to accurately detect and record each voice and each piece of attention information.
[0068]
FIG. 6 shows an example of the attention information and user information list 108 displayed by the display unit 10. In this example, the display control unit 70 causes the display unit 10 to display the user information list 108 stored in the storage unit 76 in association with the sound for each piece of attention information or display area.
[0069]
In addition, as shown in FIG. 6, the display control unit 70 may display the voice associated with the attention information or the display area as a list 108 indicating the corresponding user information and the recording date and time. In this example, the audio output unit 50 reproduces the audio selected by the user from the list 108.
[0070]
As described above, as shown in FIG. 6, the information management apparatus 100 may store a plurality of voices and user information for one piece of attention information or a display area. For example, when a reply voice is recorded for one voice, the storage unit 76 stores the other voice in association with the one voice.
[0071]
For example, if the audio output unit 50 detects another sound after the audio output unit 50 reproduces one audio, the audio detection unit 30 stores the detected other audio in the storage unit 76 in association with the reproduced one audio. You may. In this case, it is preferable that the sound detection unit 30 detect a sound detected within a predetermined time after one sound is reproduced as the other sound. Further, the sound detection unit 30 may detect the sound detected by the sound output unit 50 during reproduction of one sound as the other sound. Further, the voice detection unit 30 may store one voice selected by the user from the list 108 in association with another detected voice.
[0072]
According to the information management apparatus 100 in this example, a user can easily store his / her own voice in association with a voice recorded by another user. For example, when the display information is viewed by a plurality of users, each user can refer to the opinions of other users and add their own opinions.
[0073]
Further, the information management apparatus 100 selects which of the stored voices of other users to display or reproduce according to the user information of the user who is currently using the information management apparatus 100. Means may be further provided. For example, when the user information indicates the department to which the user belongs, control may be performed so that only the voice of another user belonging to the department can be referred to.
[0074]
Further, the user who has recorded the voice may input information for limiting the users who can refer to the voice. For example, a user who has recorded a voice may input user information of a user who can refer to the voice. In this case, the information management apparatus 100 acquires the identification information of the user as the user information at the time of activation, and the display control unit 70 outputs the voice and the user information to be displayed on the list 108 according to the identification information. select.
[0075]
The information management device 100 described with reference to FIGS. 1 to 6 is operated by a program. The program causes the information management device 100 to operate as described with reference to FIGS. As an example, the program causes the information management apparatus 100 to include a storage unit 76 that stores display information including at least one of document data and image data, a display unit 10 that displays the display information stored in the storage unit 76, A line-of-sight detection unit 20 that detects a line of sight, an attention information detection unit 74 that detects, among the display information displayed on the display unit 10, attention information that the user is paying attention to based on the line of sight of the user, The sound of the person is detected, and the function is made to function as the sound detection unit 30 that stores the sound in the storage unit 76 in association with the attention information.
[0076]
FIG. 7 shows an example of a configuration of an information management system 200 according to another embodiment of the present invention. The information management system 200 manages information such as a document and an image by adding information of a user's voice. The information management system 200 includes a main management device 202 and a plurality of terminal devices (208a to 208c, hereinafter collectively referred to as 208). The main management device 202 and the plurality of terminal devices 208 may transmit and receive information by wire communication, or may transmit and receive information by wireless communication. Further, the main management device 202 and the plurality of terminal devices 208 may be connected via the Internet, an intranet, an extranet, or the like.
[0077]
The main management device 202 manages display information including at least one of document data and image data. The main management device 202 includes a storage unit 204 that stores the display information, and a transmission / reception unit 206 that transmits the display information stored in the storage unit 204 to each terminal device 208.
[0078]
Each terminal device 208 includes a transmission / reception unit (not shown) instead of the storage unit 76 in the configuration of the information management device 100 described in FIGS. The transmission / reception unit receives display information from the transmission / reception unit 206 of the main management device 202 and transmits the display information to the display control unit 70. In each terminal device 208, components other than the transmission / reception unit have the functions described in FIGS.
[0079]
In addition, the transmission / reception unit of each terminal device 208 transmits, to the main management device 202, the attention information or display area of each user and the voice of the corresponding user. The storage unit 204 stores the voice received from each terminal device 208 and the attention information in association with each other.
[0080]
In addition, the transmission / reception unit 206 of the main management device 202 transmits the voice and attention information stored in the storage unit 204 to each terminal device 208, and makes each user refer to the voices of the user and other users.
[0081]
That is, the storage unit 204 in this example has the same function as the storage unit 76 described in FIGS. 1 to 6, and the respective terminal devices 208 store the respective storage units 76 described in FIGS. 1 to 6. Instead, the storage, display, and reproduction of the sound are performed by accessing the storage unit 204 of the main management device 202. As a result, a plurality of users can simultaneously record sound for the same document. Each recording result is reflected on display information managed by the main management device 202 and displayed by each terminal device 208. For example, when discussing one piece of display information in a meeting or the like, the voice of each user can be recorded as needed and provided to each user.
[0082]
As described above, the present invention has been described using the embodiments, but the technical scope of the present invention is not limited to the scope described in the above embodiments. It is apparent to those skilled in the art that various changes or improvements can be made to the above embodiment. It is apparent from the description of the appended claims that embodiments with such changes or improvements can be included in the technical scope of the present invention.
[0083]
【The invention's effect】
Information displayed by the user and the user's voice can be easily associated with the display information and stored. Therefore, when it is desired to add a memo or the like to the attention information, a desired memo can be recorded by an easy operation.
[Brief description of the drawings]
FIG. 1 is a diagram showing an example of a configuration of an information management device 100 according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of an operation of the information management device 100.
FIG. 3 is a diagram illustrating another example of the operation of the information management apparatus 100.
FIG. 4 is a diagram showing another example of the configuration of the information management device 100.
FIG. 5 is a diagram showing still another example of the configuration of the information management apparatus 100.
FIG. 6 is a diagram illustrating an example of a list of attention information and user information displayed by the display unit;
FIG. 7 is a diagram illustrating an example of a configuration of an information management system 200 according to another embodiment of the present invention.
[Explanation of symbols]
10 display unit, 20 gaze detection unit, 30 voice detection unit, 40 image pickup unit, 42 image storage unit, 44 image comparison unit, 46. Voiceprint comparison unit, 48 Voiceprint storage unit, 50 Audio output unit, 60 Input unit, 70 Display control unit, 72 Area division unit, 74 Information of interest Detecting unit, 76: storage unit, 100: information management device, 102: display information, 104: voice input button, 106: list display button, 108: list, 110 ... Voice output button, 200: information management system, 202: main management device, 204: storage unit, 206: transmission / reception unit, 208: terminal device

Claims

An information management device for managing voice,
A storage unit for storing display information including at least one of document data and image data,
A display unit that displays the display information stored by the storage unit;
A line-of-sight detection unit that detects the line of sight of the user,
An attention information detection unit configured to detect, from the display information displayed on the display unit, attention information that the user is paying attention to, based on a line of sight of the user;
An information management device, comprising: a voice detection unit that detects a voice of the user and stores the voice in the storage unit in association with the attention information.

The information management device according to claim 1, wherein the attention information detection unit detects information in which the user's line of sight remains for a predetermined time or longer as the attention information.

The information management device according to claim 1, further comprising a display control unit configured to display a position of the user's line of sight detected by the line of sight detection unit on the display unit together with the display information. .

An area dividing unit that divides the display information into a plurality of display areas,
The information management device according to claim 1, wherein the voice detection unit stores the voice in the storage unit in association with the display area including the attention information.

5. The display control unit according to claim 4, further comprising a display control unit that changes a display attribute of the display area corresponding to a position of the user's line of sight detected by the line of sight and displays the change on the display unit. Information management device.

The information management apparatus according to claim 4, further comprising a display control unit that changes a display attribute of the display area in which the sound corresponding to the storage unit is already stored and displays the change on the display unit. .

The storage unit stores the display information including document data,
The information management apparatus according to claim 4, wherein the area dividing unit divides the display information into the display areas for each word of the document data.

5. The voice detection unit according to claim 4, wherein the voice is stored in the storage unit in association with a display area including the attention information which is being watched by the user when the voice is detected. An information management device according to item 1.

The voice detection unit may store the voice in the storage unit in association with a display area in which the user's line of sight stays for the longest time in a period retroactive to a predetermined time from when the voice is detected. The information management device according to claim 4, wherein

An input unit that receives instruction information for instructing storage of a voice from the user is further provided,
The information management device according to claim 8, wherein the voice detection unit starts detecting the voice when receiving the instruction information.

An input unit that receives, from the user, instruction information that indicates the attention information corresponding to the voice to be reproduced,
The information management device according to claim 1, further comprising: a sound output unit that reproduces the sound corresponding to the attention information when the input unit receives the instruction information.

An input unit that receives instruction information for instructing sound reproduction from the user,
The audio output unit according to claim 1, further comprising: an audio output unit that reproduces the audio corresponding to the attention information detected by the attention information detection unit when the input unit receives the instruction information. Information management device.

The attention information detection unit detects, as the attention information, information in which the user's line of sight remains for a predetermined time or more.
The information management device according to claim 1, further comprising an audio output unit that reproduces the audio when the storage unit stores audio associated with the attention information.

The attention information detection unit detects, as the attention information, information in which the user's line of sight stops for the longest time within a predetermined period in the past, and stops for a predetermined time or more.
The information management device according to claim 1, further comprising an audio output unit that reproduces the audio when the storage unit stores audio associated with the attention information.

An input unit that receives user information about the user,
15. The information management device according to claim 11, wherein the voice detection unit stores the voice and the user information in the storage unit in association with the attention information.

When the voice is already stored in correspondence with the attention information detected by the attention information detection unit, a display control unit that displays the user information corresponding to the voice on the display unit is further provided. The information management device according to claim 15, wherein

The information according to claim 15, further comprising: a display control unit configured to display the user information corresponding to the sound reproduced by the sound output unit on the display unit in synchronization with the reproduction of the sound. Management device.

The sound detection unit stores the detected sound in the storage unit in association with the reproduced sound when the sound output unit detects the sound during or after the reproduction of the sound. The information management device according to any one of claims 11 to 14, wherein

The information management according to claim 15, further comprising a display control unit configured to cause the display unit to display a list of the attention information and the user information in which the storage unit stores the voice in association with the voice. apparatus.

20. The information management device according to claim 19, wherein the display control unit displays the list classified based on the user information.

A voiceprint storage unit storing voiceprints of respective users in advance; comparing the voice detected by the voice detection unit with the voiceprint stored by the voiceprint storage unit; The information management device according to claim 1, further comprising a user information generation unit that stores the user information in the storage unit in association with a voice.

An image storage unit for storing images including faces of the respective users in advance,
An image capturing unit that captures an image including the user's face,
An image comparison unit that compares the image captured by the image capturing unit with the image stored by the image storage unit, associates user information corresponding to the comparison result with the sound, and stores the user information in the storage unit. The information management device according to claim 1, further comprising:

A program that causes an information management device that manages audio to function,
The information management device,
A storage unit for storing display information including at least one of document data and image data,
A display unit that displays the display information stored by the storage unit;
A line-of-sight detection unit that detects the line of sight of the user,
An attention information detection unit configured to detect, from the display information displayed on the display unit, attention information that the user is paying attention to, based on a line of sight of the user;
A program for detecting a voice of the user and functioning as a voice detection unit that stores the voice in the storage unit in association with the attention information.

An information management system for managing audio,
A main management device that manages display information including at least one of document data and image data,
A plurality of terminal devices assigned to each user,
Each said terminal device,
A display unit that displays the display information received from the main management device;
A line-of-sight detector that detects the line of sight of the corresponding user;
An attention information detection unit that detects, based on a line of sight of the user, information of interest that the user is paying attention to among the display information displayed on the display unit;
A voice detection unit that detects the voice of the user and stores the voice in the storage unit in association with the attention information;
A transmitting and receiving unit that transmits the attention information and the associated voice to the main management device,
The main management device,
An information management system comprising: a storage unit that stores the voice received from the terminal device and the attention information in association with each other.

An information management device that is simultaneously used by a plurality of users and manages the voice of each of the users,
A storage unit for storing display information including at least one of document data and image data,
A display unit that displays the display information stored by the storage unit;
A line-of-sight detection unit that detects the line of sight of each of the users,
An attention information detection unit that detects attention information of each of the users, among the display information displayed on the display unit, based on a line of sight of each of the users;
A voice detection unit that detects a voice of each of the users and stores the detected voice in the storage unit in association with the attention information that is being watched by the user corresponding to the voice. Characteristic information management device.

The voice detector,
Means for separating each of the voices when two or more voices of the user are simultaneously detected,
Means for detecting the direction of the voice separated by the voice detection unit,
The information management device,
An image storage unit for storing images of respective users in advance,
An image capturing unit that captures an image of a user in the direction of each of the separated voices;
An image comparison unit that compares the image captured by the image imaging unit with the image stored by the image storage unit, associates user information corresponding to the comparison result with the sound, and stores the user information in the storage unit. The information management apparatus according to claim 25, further comprising:

An information management device for managing voice,
A storage unit that stores display information including at least one of document data and image data, divided into a plurality of pieces of information, and stores the sound in association with any of a plurality of regions of the display information.
A display unit that displays the display information stored by the storage unit;
A line-of-sight detection unit that detects the line of sight of the user,
An attention information detection unit configured to detect, from the display information displayed on the display unit, attention information that the user is paying attention to, based on a line of sight of the user;
An information management device, comprising: an audio output unit that reproduces the sound when the storage unit stores the sound in association with the attention information.