JP2009282937A - 情報自動編成提示装置および情報自動編成提示処理プログラム - Google Patents
情報自動編成提示装置および情報自動編成提示処理プログラム Download PDFInfo
- Publication number
- JP2009282937A JP2009282937A JP2008137286A JP2008137286A JP2009282937A JP 2009282937 A JP2009282937 A JP 2009282937A JP 2008137286 A JP2008137286 A JP 2008137286A JP 2008137286 A JP2008137286 A JP 2008137286A JP 2009282937 A JP2009282937 A JP 2009282937A
- Authority
- JP
- Japan
- Prior art keywords
- information
- presentation
- ranking
- presentation device
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】ユーザが新たな情報を作成した場合、メタデータ生成部6は生成済みの情報の特徴を示す検出データを生成する。提示装置ランキング管理部8は、顔方向ベクトルおよび注視点重心をもとに各種の提示装置3の提示の優先度の順位を示す提示装置ランキングを生成する。データランキング処理部7は、新たな情報の作成前に作成済みである提示候補のファイルのそれぞれについて、当該ファイルのメタデータと検出データ中の各種情報との一致率の高いファイルに情報提示の高い優先度を付与したデータランキングを生成した上で、優先度の順位が高いメタデータの生成元のファイルが優先度の順位の高い提示装置3により提示されるように、提示候補のファイルのそれぞれについて、当該情報の提示先とする提示装置3の種別を決定する。
【選択図】 図1
Description
図1は、本発明の実施形態における情報自動編成提示装置の構成例を示すブロック図である。
図1に示すように、本発明の実施形態における情報自動編成提示装置は、装置全体の処理動作を司る制御部1、キーボードやマウスなどの入力装置2、複数種類の提示装置3、記憶装置4、検出部5、メタデータ生成部6、データランキング処理部7、提示装置ランキング管理部8、提示処理部9および演算処理部10を備え、それぞれがバス11を介して相互に接続される。
メタデータ生成部6は、検出部5により検出した情報の特徴を表す情報であるメタデータを生成する。
記憶装置4のメタデータ記憶部41は、メタデータ生成部6により生成したメタデータを生成元である情報ごとに記憶する。また、記憶装置4の検出データ記憶部42は、検出部5により新たに検出した情報および当該情報の特徴情報を記憶する。
また、データランキング処理部7は、上位5位以内のランキングを変更せずに、下位6位以下の情報ランキングを動的に変更することで、各提示装置3について提示対象の情報を動的にさせるなど、ランキングの高低に応じて別のアルゴリズムを適応する方法を用いてもよい。
図2は、本発明の実施形態における情報自動編成提示装置による情報入力からメタデータ生成までの処理過程の一例を示す図である。
図2に示すように、ユーザがキーボードを操作して電子メール用アプリケーションを用いて電子メールのファイルを作成した場合、検出部5は電子メール用アプリケーションを介して電子メールのファイル中の文章を取得し、宛先、タイムスタンプ、タイトルおよび本文などを抽出する。
また、図2に示すように、ユーザが手書き操作によりタッチパネル操作を行った場合、検出部5は、作成者、ファイル作成日時であるタイムスタンプ、タイトルなどを抽出する。
この場合、メタデータ生成部6は、抽出済みの発話内容の文章の形態素解析処理を行ない、発話内容に含まれる単語の種類と出現頻度のデータを生成して、これらのデータおよび前述した発話者、対話者、タイムスタンプ、会議室の名称および作成した音声ファイルのファイル名を発話情報の音声ファイルのメタデータとし、当該メタデータを作成済みのファイルと関連付けてメタデータ記憶部41に記憶する。
図3に示した構造のメタデータは電子メールの作成済みファイルのメタデータであり、種別、「アプリケーション名_日付_データ番号」、宛先の「To:」、「Cc:」、「Bcc:」、タイムスタンプ、タイトル、本文テキストファイル名およびテキストの形態素解析結果でなる。
図5に示した構造のメタデータはカメラ撮影画像のファイルのメタデータであり、種別、「アプリケーション名_日付_データ番号」、入力者、タイムスタンプおよびデータファイル名でなる。
図7に示した構造のメタデータは発話情報のファイルのメタデータであり、種別、「アプリケーション名_日付_データ番号」、発話者、対話者、タイムスタンプ、会議室、データファイル名および発話内容の形態素解析結果でなる。
図8は、本発明の実施形態における情報自動編成提示装置による処理動作の一例を示すフローチャートである。ここでは、図3から図7に示したような構造のメタデータがメタデータ記憶部41に記憶されるとする。
まず、会議を行なっている複数のユーザのうち一人が新たな発話を行なった場合、検出部5はマイクロフォンを介して発話情報を入力して(ステップS1)、当該発話情報の音声ファイルの作成を開始するとともに、発話情報の音声認識を行なうことで、発話者、対話者、発話箇所である会議室の名称および発話内容の文章を抽出する(ステップS2)。
また、検出部5は、前述したように、一つの会話や会議の区切りがなされたことが認められる場合には、音声ファイルの作成を終了する。
ステップS1からS4の処理では、新たな発話がなされた場合に、発話内容の文章の形態素解析を経て、当該発話内容のメタデータ群である検出データを生成すると説明したが、これに限らず、図2に示すようにキーボード操作により新たな文書情報が生成されたり、カメラ撮影により画像情報が生成されたり、タッチパネルへの操作により新規の情報が生成されたりした場合に、当該生成された情報の検出データを生成するようにしてもよい。
図9は、本発明の実施形態における情報自動編成提示装置の演算処理部による注視点重心及び顔方向ベクトルの演算処理の流れを示す図である。
次に、演算処理部10は、図示しないカメラにより撮影した映像情報を取得することで、周辺にいるユーザの肌色領域を検出する(ステップS11)。そして、演算処理部10は、記憶装置4に予め記憶される一般的な人物の様々な角度からの顔の写真が管理される顔データベースを読み出し(ステップS12)、検出済みのユーザの肌色領域の情報と顔データベースとの特徴量のパターンマッチングを行ない(ステップS13)、現在のユーザの顔の顔方向ベクトルを検出する。
また、演算処理部10は、各種の提示装置3に関する情報を読み出し(ステップS15)、当該読み出した情報および前述したように求められた顔方向ベクトルの情報をもとに、各種の提示装置3の提示面のどの部分に注視点が存在するかを計算する(ステップS16)。
また、演算処理部10は、周辺にいるユーザが複数である場合は、各ユーザの顔方向ベクトルより平均ベクトルを算出することで、ユーザ群の顔方向ベクトル平均を得る(ステップS18)。以後、ユーザは周辺に複数いるものとして説明を行なう。以上でステップS5の処理の詳細の説明を終了する。
図10は、本発明の実施形態における情報自動編成提示装置の提示装置ランキング管理部による処理動作の流れを示す図である。
提示装置ランキング管理部8は、複数種類の提示装置3の設置形態において、提示装置3の大きさ、位置情報、設置時の提示面の姿勢情報などの情報をあらかじめ取得する。
具体的には、提示装置ランキング管理部8は、前述した位置情報をもとに、該当ユーザの位置より隠蔽関係にある提示装置3を対象から除外する。また、提示装置ランキング管理部8は、対象から除外されなかった提示装置3のそれぞれについて、前述した提示面の大きさ、位置情報、姿勢情報より提示面に提示された情報が視認可能な状態で否かを識別する。視認可能な状態であるか否かは、提示装置3の解像度に比例してユーザと提示装置の距離に反比例する式より算出可能である。
図11は、本発明の実施形態における情報自動編成提示装置の提示装置ランキング管理部による提示装置ランキング生成方法の一例を示す図である。
ステップS22の処理の具体例を説明する。提示装置ランキング管理部8は、提示装置ランキングを、ユーザ群の注視点重心と顔方向ベクトル平均によって決定する。
次に、データランキング処理部7は、作成済みデータについてのデータランキングの生成を経て、記憶装置4に記憶される作成済みファイルの提示先の提示装置を決定する(ステップS7)。以下、ステップS7の処理の詳細を説明する。
図12は、本発明の実施形態における情報自動編成提示装置のデータランキング処理部による処理動作の流れを示す図である。
データランキング処理部7は、まず、ステップS4の処理により生成された検出データを検出データ記憶部42から取得し(ステップS31)、当該検出データを検索キーとして、作成済みファイルのメタデータをメタデータ記憶部41より検索する(ステップS32)。
以上のように、本発明の実施形態における情報自動編成提示装置では、ユーザにより作成されたファイル、つまり後の提示候補となるファイルの特徴情報を記憶しておき、新たな情報が作成された場合に、当該生成され特徴情報を生成した上で、提示候補ファイルを閲覧するユーザの顔の顔方向ベクトルや注視点重心をもとに各提示装置3について提示先としての優先度の順位を付与し、各種の提示候補ファイルのそれぞれについて提示の優先度の順位を付与し、これらの情報をもとに提示候補のファイルのそれぞれについて提示対象の提示装置3の種別を決定するので、ユーザの状態をもとに動的な情報提示を行なうことができ、多量の情報を直感的に閲覧することができ、スムーズな共同作業や会話を行なうことができる。よって、効果多量の情報を、複数のユーザで直感的に閲覧することができる。これにより、コンピュータが得意とする多量の情報を自動的に処理する能力を生かして人間の創造活動を支援することができる。
なお、この発明は前記実施形態そのままに限定されるものではなく実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を省略してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
Claims (8)
- 提示候補となる提示候補情報を取得する取得手段と、
前記取得手段により取得した提示候補情報の特徴情報を生成する生成手段と、
前記生成手段により生成した特徴情報を前記取得した提示候補情報ごとに記憶する記憶手段と、
新たな生成情報の特徴情報を認識する認識手段と、
前記認識手段による認識結果および前記記憶手段に記憶される特徴情報をもとに、前記記憶手段に記憶される特徴情報に対応する提示候補情報のそれぞれに提示の優先度を示す順位情報を付与する情報順位付与手段と、
前記提示候補情報を提示するための複数種類の提示装置と、
前記提示装置のそれぞれに当該提示装置による前記提示候補情報の提示の優先度を示す順位情報を付与する装置順位付与手段と、
前記付与された順位が高い提示候補情報が前記付与された順位の高い提示装置により提示されるように、前記提示候補情報のそれぞれについて当該情報を提示する提示装置を割り当てる割り当て手段と
を備えたことを特徴とする情報自動編成提示装置。 - 前記装置順位付与手段は、
前記それぞれの提示装置における提示部分の位置情報や大きさをもとに前記提示装置のそれぞれについて順位を付与する
ことを特徴とする請求項1に記載の情報自動編成提示装置。 - 前記装置順位付与手段は、
前記提示装置のそれぞれを利用するユーザの注視点重心および顔方向ベクトルをもとに前記提示装置のそれぞれについて順位を付与する
ことを特徴とする請求項1に記載の情報自動編成提示装置。 - 前記情報順位付与手段および前記装置順位付与手段は、
手動入力された情報にしたがって前記順位を付与する
ことを特徴とする請求項1に記載の情報自動編成提示装置。 - 前記認識手段により認識する新たな生成情報は新たに生成された文書情報である
ことを特徴とする請求項1に記載の情報自動編成提示装置。 - 前記認識手段により認識する新たな生成情報は新たな発話情報である
ことを特徴とする請求項1に記載の情報自動編成提示装置。 - 前記生成手段により生成する前記提示候補情報の特徴情報には当該提示候補情報の生成に関わる人物の情報が含まれ、
前記認識手段により認識する新たな生成情報の特徴情報には当該生成情報の生成に関わる人物の情報が含まれる
ことを特徴とする請求項1に記載の情報自動編成提示装置。 - 記憶装置および提示候補となる提示候補情報を提示するための複数種類の提示装置を備えたコンピュータを、
前記提示候補情報を取得する取得手段、
前記取得手段により取得した提示候補情報の特徴情報を生成する生成手段、
前記生成手段により生成した特徴情報を前記取得した提示候補情報ごとに前記記憶装置に記憶する記憶制御手段、
新たな生成情報の特徴情報を認識する認識手段、
前記認識手段による認識結果および前記記憶手段に記憶される特徴情報をもとに、前記記憶手段に記憶される特徴情報に対応する提示候補情報のそれぞれに提示の優先度を示す順位情報を付与する情報順位付与手段、
前記提示装置のそれぞれに当該提示装置による前記提示候補情報の提示の優先度を示す順位情報を付与する装置順位付与手段、および
前記付与された順位が高い提示候補情報が前記付与された順位の高い提示装置により提示されるように、前記提示候補情報のそれぞれについて当該情報を提示する提示装置を割り当てる割り当て手段
として機能させるようにした情報自動編成提示処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008137286A JP5244460B2 (ja) | 2008-05-26 | 2008-05-26 | 情報自動編成提示装置および情報自動編成提示処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008137286A JP5244460B2 (ja) | 2008-05-26 | 2008-05-26 | 情報自動編成提示装置および情報自動編成提示処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009282937A true JP2009282937A (ja) | 2009-12-03 |
JP5244460B2 JP5244460B2 (ja) | 2013-07-24 |
Family
ID=41453288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008137286A Expired - Fee Related JP5244460B2 (ja) | 2008-05-26 | 2008-05-26 | 情報自動編成提示装置および情報自動編成提示処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5244460B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017183129A1 (ja) * | 2016-04-20 | 2017-10-26 | 日産自動車株式会社 | 情報表示方法及び表示制御装置 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001148758A (ja) * | 1999-11-19 | 2001-05-29 | Canon Inc | 画像制御装置および画像制御装置の出力制御方法および記憶媒体 |
JP2001202503A (ja) * | 2000-01-24 | 2001-07-27 | Shimadzu Corp | 画像表示装置 |
JP2002082859A (ja) * | 2000-06-30 | 2002-03-22 | Seiko Epson Corp | 情報配信システム、情報配信方法、およびこの方法をコンピュータに実行させるためのプログラム、およびこのプログラムを記録した記録媒体 |
JP2002225592A (ja) * | 2001-02-01 | 2002-08-14 | Nissan Motor Co Ltd | 車両の情報表示装置 |
JP2003280783A (ja) * | 2002-03-20 | 2003-10-02 | Fuji Xerox Co Ltd | 表示システム及び表示方法 |
JP2004077862A (ja) * | 2002-08-20 | 2004-03-11 | Sony Corp | 表示装置および方法、携帯型情報処理端末および方法、記録媒体、並びにプログラム |
JP2004171535A (ja) * | 2002-10-28 | 2004-06-17 | Fuji Xerox Co Ltd | 文書検索方法および装置並びにプログラム |
JP2004265097A (ja) * | 2003-02-28 | 2004-09-24 | Tokyo Inst Of Technol | プレゼンテーション資料検索システムおよびその方法並びにプログラム |
JP2005182603A (ja) * | 2003-12-22 | 2005-07-07 | Fuji Xerox Co Ltd | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
JP2006085440A (ja) * | 2004-09-16 | 2006-03-30 | Fuji Xerox Co Ltd | 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム |
JP2007279978A (ja) * | 2006-04-05 | 2007-10-25 | Hitachi Ltd | 文書検索装置及び文書検索方法 |
-
2008
- 2008-05-26 JP JP2008137286A patent/JP5244460B2/ja not_active Expired - Fee Related
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001148758A (ja) * | 1999-11-19 | 2001-05-29 | Canon Inc | 画像制御装置および画像制御装置の出力制御方法および記憶媒体 |
JP2001202503A (ja) * | 2000-01-24 | 2001-07-27 | Shimadzu Corp | 画像表示装置 |
JP2002082859A (ja) * | 2000-06-30 | 2002-03-22 | Seiko Epson Corp | 情報配信システム、情報配信方法、およびこの方法をコンピュータに実行させるためのプログラム、およびこのプログラムを記録した記録媒体 |
JP2002225592A (ja) * | 2001-02-01 | 2002-08-14 | Nissan Motor Co Ltd | 車両の情報表示装置 |
JP2003280783A (ja) * | 2002-03-20 | 2003-10-02 | Fuji Xerox Co Ltd | 表示システム及び表示方法 |
JP2004077862A (ja) * | 2002-08-20 | 2004-03-11 | Sony Corp | 表示装置および方法、携帯型情報処理端末および方法、記録媒体、並びにプログラム |
JP2004171535A (ja) * | 2002-10-28 | 2004-06-17 | Fuji Xerox Co Ltd | 文書検索方法および装置並びにプログラム |
JP2004265097A (ja) * | 2003-02-28 | 2004-09-24 | Tokyo Inst Of Technol | プレゼンテーション資料検索システムおよびその方法並びにプログラム |
JP2005182603A (ja) * | 2003-12-22 | 2005-07-07 | Fuji Xerox Co Ltd | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
JP2006085440A (ja) * | 2004-09-16 | 2006-03-30 | Fuji Xerox Co Ltd | 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム |
JP2007279978A (ja) * | 2006-04-05 | 2007-10-25 | Hitachi Ltd | 文書検索装置及び文書検索方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017183129A1 (ja) * | 2016-04-20 | 2017-10-26 | 日産自動車株式会社 | 情報表示方法及び表示制御装置 |
CN109074151A (zh) * | 2016-04-20 | 2018-12-21 | 日产自动车株式会社 | 信息显示方法和显示控制装置 |
JPWO2017183129A1 (ja) * | 2016-04-20 | 2019-03-07 | 日産自動車株式会社 | 情報表示方法及び表示制御装置 |
US10652387B2 (en) | 2016-04-20 | 2020-05-12 | Nissan Motor Co., Ltd. | Information display method and display control device |
Also Published As
Publication number | Publication date |
---|---|
JP5244460B2 (ja) | 2013-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10586541B2 (en) | Communicating metadata that identifies a current speaker | |
US9298287B2 (en) | Combined activation for natural user interface systems | |
US9749582B2 (en) | Display apparatus and method for performing videotelephony using the same | |
US11281707B2 (en) | System, summarization apparatus, summarization system, and method of controlling summarization apparatus, for acquiring summary information | |
WO2012135218A2 (en) | Combined activation for natural user interface systems | |
JP6432405B2 (ja) | プレゼンテーション支援装置、プレゼンテーション支援方法及びプレゼンテーション支援プログラム | |
JP2017016296A (ja) | 画像表示装置 | |
WO2018105373A1 (ja) | 情報処理装置、情報処理方法、および情報処理システム | |
JP5244460B2 (ja) | 情報自動編成提示装置および情報自動編成提示処理プログラム | |
JPWO2018105373A1 (ja) | 情報処理装置、情報処理方法、および情報処理システム | |
JP6304396B2 (ja) | プレゼンテーション支援方法、プレゼンテーション支援プログラム及びプレゼンテーション支援装置 | |
US20190035420A1 (en) | Information processing device, information processing method, and program | |
CN109977390A (zh) | 一种生成文本的方法及装置 | |
JP2009282936A (ja) | 選択式情報提示装置および選択式情報提示処理プログラム | |
Le et al. | Multimodal smart interactive presentation system | |
JP6638281B2 (ja) | 情報処理装置及びプログラム | |
JP6372577B2 (ja) | プレゼンテーション支援方法、プレゼンテーション支援プログラム及びプレゼンテーション支援装置 | |
JP2020037155A (ja) | 仕草制御装置及び仕草制御プログラム | |
JP7288491B2 (ja) | 情報処理装置、及び制御方法 | |
JP2008243079A (ja) | 情報管理装置、情報管理方法及び情報管理プログラム | |
JP6399221B2 (ja) | プレゼンテーション支援装置、プレゼンテーション支援方法及びプレゼンテーション支援プログラム | |
JP2016009262A (ja) | 動画処理装置、動画処理プログラム及び動画処理方法 | |
JP6471589B2 (ja) | 説明支援装置、説明支援方法及び説明支援プログラム | |
JP2022179178A (ja) | 集中度判定プログラム、集中度判定方法、および集中度判定装置 | |
JP6350682B2 (ja) | プレゼンテーション支援装置、プレゼンテーション支援方法及びプレゼンテーション支援プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100805 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120627 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120706 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120717 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130408 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |