JP2009282937A - 情報自動編成提示装置および情報自動編成提示処理プログラム - Google Patents

情報自動編成提示装置および情報自動編成提示処理プログラム Download PDF

Info

Publication number
JP2009282937A
JP2009282937A JP2008137286A JP2008137286A JP2009282937A JP 2009282937 A JP2009282937 A JP 2009282937A JP 2008137286 A JP2008137286 A JP 2008137286A JP 2008137286 A JP2008137286 A JP 2008137286A JP 2009282937 A JP2009282937 A JP 2009282937A
Authority
JP
Japan
Prior art keywords
information
presentation
ranking
presentation device
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008137286A
Other languages
English (en)
Other versions
JP5244460B2 (ja
Inventor
Atsunobu Kimura
篤信 木村
Minoru Kobayashi
稔 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2008137286A priority Critical patent/JP5244460B2/ja
Publication of JP2009282937A publication Critical patent/JP2009282937A/ja
Application granted granted Critical
Publication of JP5244460B2 publication Critical patent/JP5244460B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】ユーザの状況に応じて当該の作業や会話の支援に適した情報を適宜提示する。
【解決手段】ユーザが新たな情報を作成した場合、メタデータ生成部6は生成済みの情報の特徴を示す検出データを生成する。提示装置ランキング管理部8は、顔方向ベクトルおよび注視点重心をもとに各種の提示装置3の提示の優先度の順位を示す提示装置ランキングを生成する。データランキング処理部7は、新たな情報の作成前に作成済みである提示候補のファイルのそれぞれについて、当該ファイルのメタデータと検出データ中の各種情報との一致率の高いファイルに情報提示の高い優先度を付与したデータランキングを生成した上で、優先度の順位が高いメタデータの生成元のファイルが優先度の順位の高い提示装置3により提示されるように、提示候補のファイルのそれぞれについて、当該情報の提示先とする提示装置3の種別を決定する。
【選択図】 図1

Description

本発明は、ユーザの状態に応じて作業や会話で利用される情報を推測する機能を有する情報自動編成提示装置および情報自動編成提示処理プログラムに関する。
従来、例えば、特許文献1に開示されるように、ユーザの動作や発話などの状態変化に応じて、その行動に関連する画像や情報を動的に検索して順次提示していくシステムや会話に沿ったWebページを提示するシステムがある。これらのシステムは、ユーザが情報を求める情報を最適なタイミングで提示するシステムである。
特開2004−341672号公報
前述した従来技術では、発話などのトリガーを利用して適切な情報を提示することを目指していた。しかし、情報が提示されるタイミングに関して人間の主観的な感覚を推測することは難しい。また、少しのずれによってユーザは違和感を持つため、人間が主観的に満足する提示を行なうことは難しかった。
その対処方法として、複数の情報を同時に並べて提示するシステムが考えられるが、同時に提示する情報の数を増やすと、ユーザの主観的な感覚の求める情報が出る確率を高くすることができる一方で、情報が多すぎてユーザはどの情報が主観的な感覚にあう情報であるのかを探す行為にストレスを感じてしまう問題が生ずる。
そこで、本発明の目的は、ユーザの状況に応じて当該の作業や会話の支援に適した情報を適宜提示することが可能になる情報自動編成提示装置および情報自動編成提示処理プログラムを提供することにある。
すなわち、本発明に係わる情報自動編成提示装置は、提示候補となる提示候補情報を取得する取得手段と、取得手段により取得した提示候補情報の特徴情報を生成する生成手段と、生成手段により生成した特徴情報を取得した提示候補情報ごとに記憶する記憶手段と、新たな生成情報の特徴情報を認識する認識手段と、認識手段による認識結果および記憶手段に記憶される特徴情報をもとに、記憶手段に記憶される特徴情報に対応する提示候補情報のそれぞれに提示の優先度を示す順位情報を付与する情報順位付与手段と、提示候補情報を提示するための複数種類の提示装置と、提示装置のそれぞれに当該提示装置による提示候補情報の提示の優先度を示す順位情報を付与する装置順位付与手段と、付与された順位が高い提示候補情報が付与された順位の高い提示装置により提示されるように、提示候補情報のそれぞれについて当該情報を提示する提示装置を割り当てる割り当て手段とを備えたことを特徴とする。
本発明によれば、ユーザの状況に応じて当該の作業や会話の支援に適した情報を適宜提示することができる。
以下図面により本発明の実施形態について説明する。
図1は、本発明の実施形態における情報自動編成提示装置の構成例を示すブロック図である。
図1に示すように、本発明の実施形態における情報自動編成提示装置は、装置全体の処理動作を司る制御部1、キーボードやマウスなどの入力装置2、複数種類の提示装置3、記憶装置4、検出部5、メタデータ生成部6、データランキング処理部7、提示装置ランキング管理部8、提示処理部9および演算処理部10を備え、それぞれがバス11を介して相互に接続される。
提示装置3とは情報を提示可能なあらゆる装置が該当し、例えば一般的なディスプレイ、街頭に設置される大画面ディスプレイ、手元に持つ携帯デバイスのディスプレイ、プロジェクタによって壁面や床面、身体に投影されるときの投影面など、動的に情報を提示可能な面などが挙げられる。
記憶装置4は、例えばハードディスクドライブや不揮発性メモリなどの記憶媒体であり、検出部5、メタデータ生成部6、データランキング処理部7、提示装置ランキング管理部8、提示処理部9および演算処理部10による処理動作のためのプログラムを記憶する他、メタデータ記憶部41、検出データ記憶部42、データランキング記憶部43および提示装置ランキング記憶部44を有する。
検出部5は、ユーザが作成した文書情報や当該ユーザが発した発話情報などを検出する。
メタデータ生成部6は、検出部5により検出した情報の特徴を表す情報であるメタデータを生成する。
記憶装置4のメタデータ記憶部41は、メタデータ生成部6により生成したメタデータを生成元である情報ごとに記憶する。また、記憶装置4の検出データ記憶部42は、検出部5により新たに検出した情報および当該情報の特徴情報を記憶する。
提示装置ランキング管理部8は、複数種類の提示装置3のそれぞれについて、当該提示装置3による情報提示の優先度の順位を付与することで提示装置ランキングを生成し、当該順位に関する情報を提示装置ランキング記憶部44に記憶する。提示装置3による情報提示の優先度の順位とは、現状のユーザに対する、各提示装置3についての閲覧しやすい度合いに相当する。
データランキング処理部7は、検出部5により新たに検出した情報についてメタデータ生成部6により生成した特徴情報、およびメタデータ記憶部41に記憶される情報をもとに、メタデータ記憶部41に記憶されるメタデータ生成元のファイルのそれぞれについて、新たな生成情報に関連するデータとしてのユーザへの提示の優先度の順位を付与し、当該順位に関する情報をデータランキング記憶部43に記憶する。
また、データランキング処理部7は、メタデータ記憶部41、検出データ記憶部42、データランキング記憶部43および提示装置ランキング記憶部44に記憶される情報をもとに、優先度の順位が高いメタデータの生成元のファイルが優先度の順位の高い提示装置3により提示されるように、メタデータの生成元のファイルのそれぞれについて、当該情報の提示先とする提示装置3の種別を決定する割り当て処理を行なう。
また、提示装置ランキング管理部8やデータランキング処理部7による順位の付与処理のタイミングは、新しいユーザが会話の場に参加したタイミング、ユーザが会話の場から退出したタイミング、顔方向ベクトル平均がランキング決定時の顔方向ベクトル平均に対して135度以上離れている状態が30秒継続したタイミングなどが挙げられる。
また、データランキング処理部7は、上位5位以内のランキングを変更せずに、下位6位以下の情報ランキングを動的に変更することで、各提示装置3について提示対象の情報を動的にさせるなど、ランキングの高低に応じて別のアルゴリズムを適応する方法を用いてもよい。
提示処理部9は、メタデータの生成元のファイルのそれぞれを、当該情報についてデータランキング処理部7により提示先として決定した提示装置3に出力して提示させる。
図2は、本発明の実施形態における情報自動編成提示装置による情報入力からメタデータ生成までの処理過程の一例を示す図である。
図2に示すように、ユーザがキーボードを操作して電子メール用アプリケーションを用いて電子メールのファイルを作成した場合、検出部5は電子メール用アプリケーションを介して電子メールのファイル中の文章を取得し、宛先、タイムスタンプ、タイトルおよび本文などを抽出する。
さらに、メタデータ生成部6は、抽出済みのタイトルや本文の形態素解析を行ない、当該タイトルや本文に含まれる単語群の種類、出現頻度などを生成して、当該情報、宛先、タイムスタンプ、タイトルなどを作成済みの電子メールのファイルのメタデータとする。メタデータ生成部6は、生成したメタデータを作成済みのファイルと関連付けてメタデータ記憶部41に記憶する。当該メタデータの生成元のファイル自体は記憶装置4に記憶される。また、メタデータ生成部6による形態素解析モジュールとしては例えばJTAG2004が挙げられる。
また、図2に示すように、ユーザがキーボードを操作して資料作成アプリケーションを用いて発表用の資料のファイルを作成した場合、検出部5は、資料作成アプリケーションを介して作成資料のファイル中の文章を取得し、作成者、編集者、ファイル作成日時であるタイムスタンプ、タイトルなどを抽出する。
この場合、メタデータ生成部6は、抽出済みのタイトルや本文の形態素解析処理を行ない、当該ファイル名や本文に含まれる単語の種類と出現頻度のデータを生成して、当該データおよび前述した作成者、編集者、タイムスタンプ、更新日時、更新回数、ファイル形式、タイトルなどを作成資料のファイルのメタデータとし、当該メタデータを作成済みのファイルと関連付けてメタデータ記憶部41に記憶する。
また、図2に示すように、ユーザがカメラを操作して撮影を行った場合、検出部5は、撮影により生成された画像ファイルを解析して、作成者、ファイル作成日時であるタイムスタンプ、タイトルなどを抽出する。
また、図2に示すように、ユーザが手書き操作によりタッチパネル操作を行った場合、検出部5は、作成者、ファイル作成日時であるタイムスタンプ、タイトルなどを抽出する。
また、図2に示すように、ユーザが発話した場合、検出部5は、図示しないマイクロフォンを介してユーザの発話情報を取得して当該発話情報の音声ファイルの作成を開始するとともに、当該発話情報の音声認識処理を行なうことで、発話者、対話者、録音日時であるタイムスタンプ、発話箇所である会議室の名称、発話内容の文章を抽出する。
また、検出部5は、図示しない撮影装置により撮影された映像を認識して所定半径以内に複数のユーザがいるか否かを判別することで、一つの会話や会議の区切りがなされたことが認められる場合には、音声ファイルの作成を終了する。
この場合、メタデータ生成部6は、抽出済みの発話内容の文章の形態素解析処理を行ない、発話内容に含まれる単語の種類と出現頻度のデータを生成して、これらのデータおよび前述した発話者、対話者、タイムスタンプ、会議室の名称および作成した音声ファイルのファイル名を発話情報の音声ファイルのメタデータとし、当該メタデータを作成済みのファイルと関連付けてメタデータ記憶部41に記憶する。
また、前述したように、文章を含むファイルが作成された場合、検出部5は、ファイル中で利用されている単語のうち、ニュース報道などで時世を反映して利用されている単語と一致する単語や、丁寧語かそうでないか、などの助詞の利用方法の違いを示す情報を当該ファイルのメタデータとしてもよい。
図3は、本発明の実施形態における情報自動編成提示装置の記憶装置に記憶されるメタデータの第1の構成例を表形式で示す図である。図4は、本発明の実施形態における情報自動編成提示装置の記憶装置に記憶されるメタデータの第2の構成例を表形式で示す図である。図5は、本発明の実施形態における情報自動編成提示装置の記憶装置に記憶されるメタデータの第3の構成例を表形式で示す図である。図6は、本発明の実施形態における情報自動編成提示装置の記憶装置に記憶されるメタデータの第4の構成例を表形式で示す図である。図7は、本発明の実施形態における情報自動編成提示装置の記憶装置に記憶されるメタデータの第5の構成例を表形式で示す図である。
図3に示した構造のメタデータは電子メールの作成済みファイルのメタデータであり、種別、「アプリケーション名_日付_データ番号」、宛先の「To:」、「Cc:」、「Bcc:」、タイムスタンプ、タイトル、本文テキストファイル名およびテキストの形態素解析結果でなる。
図4に示した構造のメタデータは作成資料のファイルのメタデータであり、種別、「アプリケーション名_日付_データ番号」、作成者、編集者、タイムスタンプ、タイトル、データファイル名およびテキストの形態素解析結果でなる。
図5に示した構造のメタデータはカメラ撮影画像のファイルのメタデータであり、種別、「アプリケーション名_日付_データ番号」、入力者、タイムスタンプおよびデータファイル名でなる。
図6に示した構造のメタデータはタッチパネル入力データのファイルのメタデータであり、種別、「アプリケーション名_日付_データ番号」、入力者、編集者、タイムスタンプ、会議室、データファイル名およびテキストの形態素解析結果でなる。
図7に示した構造のメタデータは発話情報のファイルのメタデータであり、種別、「アプリケーション名_日付_データ番号」、発話者、対話者、タイムスタンプ、会議室、データファイル名および発話内容の形態素解析結果でなる。
次に、図1に示した構成の選択式情報提示装置の動作について説明する。
図8は、本発明の実施形態における情報自動編成提示装置による処理動作の一例を示すフローチャートである。ここでは、図3から図7に示したような構造のメタデータがメタデータ記憶部41に記憶されるとする。
まず、会議を行なっている複数のユーザのうち一人が新たな発話を行なった場合、検出部5はマイクロフォンを介して発話情報を入力して(ステップS1)、当該発話情報の音声ファイルの作成を開始するとともに、発話情報の音声認識を行なうことで、発話者、対話者、発話箇所である会議室の名称および発話内容の文章を抽出する(ステップS2)。
また、検出部5は、前述したように、一つの会話や会議の区切りがなされたことが認められる場合には、音声ファイルの作成を終了する。
そして、メタデータ生成部6は、抽出済みの発話内容の文章を形態素解析し(ステップS3)、発話内容に含まれる単語の種類を示すキーワードを出現頻度に応じて並べたデータを生成して、当該データと前述したように抽出済みの発話者、対話者、発話箇所である会議室の名称とでなる、新たな発話情報のメタデータ群である検出データを作成済みの音声ファイルと関連付けて記憶装置4の検出データ記憶部42に記憶する(ステップS4)。
ステップS1からS4の処理では、新たな発話がなされた場合に、発話内容の文章の形態素解析を経て、当該発話内容のメタデータ群である検出データを生成すると説明したが、これに限らず、図2に示すようにキーボード操作により新たな文書情報が生成されたり、カメラ撮影により画像情報が生成されたり、タッチパネルへの操作により新規の情報が生成されたりした場合に、当該生成された情報の検出データを生成するようにしてもよい。
次に、演算処理部10は、ユーザの顔方向ベクトルおよび注視点重心を算出する(ステップS5)。以下、ステップS5の処理の詳細を説明する。
図9は、本発明の実施形態における情報自動編成提示装置の演算処理部による注視点重心及び顔方向ベクトルの演算処理の流れを示す図である。
次に、演算処理部10は、図示しないカメラにより撮影した映像情報を取得することで、周辺にいるユーザの肌色領域を検出する(ステップS11)。そして、演算処理部10は、記憶装置4に予め記憶される一般的な人物の様々な角度からの顔の写真が管理される顔データベースを読み出し(ステップS12)、検出済みのユーザの肌色領域の情報と顔データベースとの特徴量のパターンマッチングを行ない(ステップS13)、現在のユーザの顔の顔方向ベクトルを検出する。
演算処理部10は、顔方向ベクトルの時系列データに対して、一定間隔ごとに過去1分間の平均値を求め、当該平均値を当該ユーザの現時点での顔方向ベクトルとする(ステップS14)。
また、演算処理部10は、各種の提示装置3に関する情報を読み出し(ステップS15)、当該読み出した情報および前述したように求められた顔方向ベクトルの情報をもとに、各種の提示装置3の提示面のどの部分に注視点が存在するかを計算する(ステップS16)。
演算処理部10は、周辺にいるユーザが複数である場合は、注視点の情報より重心を算出して、ユーザ群の注視点重心を得る(ステップS17)。
また、演算処理部10は、周辺にいるユーザが複数である場合は、各ユーザの顔方向ベクトルより平均ベクトルを算出することで、ユーザ群の顔方向ベクトル平均を得る(ステップS18)。以後、ユーザは周辺に複数いるものとして説明を行なう。以上でステップS5の処理の詳細の説明を終了する。
次に、提示装置ランキング管理部8は、各種の提示装置3のそれぞれに対してファイルの提示の優先度の順位を付与することで提示装置ランキングを生成する(ステップS6)。以下、ステップS6の処理の詳細を説明する。
図10は、本発明の実施形態における情報自動編成提示装置の提示装置ランキング管理部による処理動作の流れを示す図である。
提示装置ランキング管理部8は、複数種類の提示装置3の設置形態において、提示装置3の大きさ、位置情報、設置時の提示面の姿勢情報などの情報をあらかじめ取得する。
提示装置3の設置形態としては、空間のほぼ全面が情報投影空間である、全方位プロジェクタや全面ディスプレイが部屋導入されている形態、空間の任意の面に情報を投影可能な首振り型プロジェクタが設置されている形態、もしくは一般的な固定型プロジェクタや据え置き型ディスプレイが設置される形態などが挙げられる。また、提示装置ランキング管理部8は、別途、提示装置3に位置センサを取り付けることにより、動的に設置時の提示面の姿勢情報を取得することも可能である。
そして、提示装置ランキング管理部8は、前述した提示装置3の大きさ、位置情報設置時の提示面の姿勢情報をもとに、記憶装置4に記憶される作成済みファイルの提示の対象となる提示装置3を識別する(ステップS21)。
具体的には、提示装置ランキング管理部8は、前述した位置情報をもとに、該当ユーザの位置より隠蔽関係にある提示装置3を対象から除外する。また、提示装置ランキング管理部8は、対象から除外されなかった提示装置3のそれぞれについて、前述した提示面の大きさ、位置情報、姿勢情報より提示面に提示された情報が視認可能な状態で否かを識別する。視認可能な状態であるか否かは、提示装置3の解像度に比例してユーザと提示装置の距離に反比例する式より算出可能である。
そして、提示装置ランキング管理部8は、前述したように演算処理部10により算出されたユーザ群の注視点重心と顔方向ベクトルとをもとに提示装置ランキングを生成する(ステップS22)。
図11は、本発明の実施形態における情報自動編成提示装置の提示装置ランキング管理部による提示装置ランキング生成方法の一例を示す図である。
ステップS22の処理の具体例を説明する。提示装置ランキング管理部8は、提示装置ランキングを、ユーザ群の注視点重心と顔方向ベクトル平均によって決定する。
同心球に収まる提示装置3のうち、最も注視点重心に近い装置に対して掲示装置ランキングの最も高い順序が付与される。例を挙げると、注視点重心と提示面の重心との距離が30センチメートルである提示装置3より、距離が10センチメートルである提示装置3の方が優先度の順位は高い。
また、提示装置3の提示面の法線ベクトルがユーザ群の顔方向ベクトル平均に最も近い面の方が優先度の順位は高い。例を挙げると、法線ベクトルと顔方向ベクトル平均の差が10度である提示装置3より、差が5度である提示装置3の方が付与される優先度の順位は高い。
提示装置ランキング管理部8は、当該提示装置ランキングの順位が付された各提示装置3の識別情報を提示装置ランキング記憶部44に記憶する。以上でステップS6の処理の詳細の説明を終了する。
次に、データランキング処理部7は、作成済みデータについてのデータランキングの生成を経て、記憶装置4に記憶される作成済みファイルの提示先の提示装置を決定する(ステップS7)。以下、ステップS7の処理の詳細を説明する。
図12は、本発明の実施形態における情報自動編成提示装置のデータランキング処理部による処理動作の流れを示す図である。
データランキング処理部7は、まず、ステップS4の処理により生成された検出データを検出データ記憶部42から取得し(ステップS31)、当該検出データを検索キーとして、作成済みファイルのメタデータをメタデータ記憶部41より検索する(ステップS32)。
データランキング処理部7は、メタデータ記憶部41に記憶されるメタデータに関わる作成済みファイルのそれぞれについて、当該ファイルのメタデータと検出データ中のキーワードを含む各種情報との一致率を計算し、当該一致率の高いファイルに情報提示の優先度の順位を付与することで、作成済みファイルを優先度の高低にしたがって序列化したデータランキングを生成し、当該データランキングの情報をデータランキング記憶部43に記憶する(ステップS33)。
そして、データランキング処理部7は、提示装置ランキング管理部8により生成済みの提示装置ランキングを提示装置ランキング記憶部44から取得し(ステップS34)、作成済みのファイルのそれぞれについて、提示対象の提示装置3の種別を決定する(ステップS35)。具体的には、データランキング処理部7により一番高い順位が付与された作成済みファイルの提示先は提示装置ランキング管理部8により一番高い順位が付与された提示装置3となり、データランキング処理部7により2番目に高い順位が付与された作成済みファイルの提示先は提示装置ランキング管理部8により2番目に高い順位が付与された提示装置3となる。以下、データランキング処理部7により順位が付与された作成済みファイルは、提示装置ランキング管理部8により同じ順位が付与された提示装置3となる。以上でステップS7の処理の詳細の説明を終了する。
そして、提示処理部9は、ステップS35による処理結果をもとに、作成済みのファイルのそれぞれを記憶装置4から読み出して、提示対象とされた提示装置3へ提示させる(ステップS8)。そして、提示処理部9は、ステップS4の処理で記憶装置4の検出データ記憶部42に記憶された検出データであるメタデータ群をメタデータ記憶部41にも記憶する。これにより、新たな情報生成がさらになされた場合の提示処理部9による処理の精度が向上する。
以上のように、本発明の実施形態における情報自動編成提示装置では、ユーザにより作成されたファイル、つまり後の提示候補となるファイルの特徴情報を記憶しておき、新たな情報が作成された場合に、当該生成され特徴情報を生成した上で、提示候補ファイルを閲覧するユーザの顔の顔方向ベクトルや注視点重心をもとに各提示装置3について提示先としての優先度の順位を付与し、各種の提示候補ファイルのそれぞれについて提示の優先度の順位を付与し、これらの情報をもとに提示候補のファイルのそれぞれについて提示対象の提示装置3の種別を決定するので、ユーザの状態をもとに動的な情報提示を行なうことができ、多量の情報を直感的に閲覧することができ、スムーズな共同作業や会話を行なうことができる。よって、効果多量の情報を、複数のユーザで直感的に閲覧することができる。これにより、コンピュータが得意とする多量の情報を自動的に処理する能力を生かして人間の創造活動を支援することができる。
以上説明した実施形態では、提示装置ランキング管理部8により動的に優先度の順位を各提示装置3に付与すると説明したが、これに限らず、入力装置2への操作により、予め当該提示装置3の設置場所の特性に適合した固有のランキングを付与したり、利用するユーザグループの種別に応じて固定のランキングを付与したりするようにしてもよい。
また、入力装置2への操作により、提示装置3に提示される情報を加工したり、提示装置3間で提示対象の情報を移動させたりすることが可能である。これにより、ユーザの意向をふまえた情報提示を行なうことができる。
なお、この発明は前記実施形態そのままに限定されるものではなく実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を省略してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
本発明の実施形態における情報自動編成提示装置の構成例を示すブロック図。 本発明の実施形態における情報自動編成提示装置による情報入力からメタデータ生成までの処理過程の一例を示す図。 本発明の実施形態における情報自動編成提示装置の記憶装置に記憶されるメタデータの第1の構成例を表形式で示す図。 本発明の実施形態における情報自動編成提示装置の記憶装置に記憶されるメタデータの第2の構成例を表形式で示す図。 本発明の実施形態における情報自動編成提示装置の記憶装置に記憶されるメタデータの第3の構成例を表形式で示す図。 本発明の実施形態における情報自動編成提示装置の記憶装置に記憶されるメタデータの第4の構成例を表形式で示す図。 本発明の実施形態における情報自動編成提示装置の記憶装置に記憶されるメタデータの第5の構成例を表形式で示す図。 本発明の実施形態における情報自動編成提示装置による処理動作の一例を示すフローチャート。 本発明の実施形態における情報自動編成提示装置の演算処理部による注視点重心及び顔方向ベクトルの演算処理の流れを示す図。 本発明の実施形態における情報自動編成提示装置の提示装置ランキング管理部による処理動作の流れを示す図。 本発明の実施形態における情報自動編成提示装置の提示装置ランキング管理部による提示装置ランキング生成方法の一例を示す図。 本発明の実施形態における情報自動編成提示装置のデータランキング処理部による処理動作の流れを示す図。
符号の説明
1…制御部、2…入力装置、3…表示装置、4…記憶装置、5…検出部、6…メタデータ生成部、7…データランキング処理部、8…提示装置ランキング管理部、9…提示処理部、10…演算処理部、11…バス、41…メタデータ記憶部、42…検出データ記憶部、43…データランキング記憶部、44…提示装置ランキング記憶部。

Claims (8)

  1. 提示候補となる提示候補情報を取得する取得手段と、
    前記取得手段により取得した提示候補情報の特徴情報を生成する生成手段と、
    前記生成手段により生成した特徴情報を前記取得した提示候補情報ごとに記憶する記憶手段と、
    新たな生成情報の特徴情報を認識する認識手段と、
    前記認識手段による認識結果および前記記憶手段に記憶される特徴情報をもとに、前記記憶手段に記憶される特徴情報に対応する提示候補情報のそれぞれに提示の優先度を示す順位情報を付与する情報順位付与手段と、
    前記提示候補情報を提示するための複数種類の提示装置と、
    前記提示装置のそれぞれに当該提示装置による前記提示候補情報の提示の優先度を示す順位情報を付与する装置順位付与手段と、
    前記付与された順位が高い提示候補情報が前記付与された順位の高い提示装置により提示されるように、前記提示候補情報のそれぞれについて当該情報を提示する提示装置を割り当てる割り当て手段と
    を備えたことを特徴とする情報自動編成提示装置。
  2. 前記装置順位付与手段は、
    前記それぞれの提示装置における提示部分の位置情報や大きさをもとに前記提示装置のそれぞれについて順位を付与する
    ことを特徴とする請求項1に記載の情報自動編成提示装置。
  3. 前記装置順位付与手段は、
    前記提示装置のそれぞれを利用するユーザの注視点重心および顔方向ベクトルをもとに前記提示装置のそれぞれについて順位を付与する
    ことを特徴とする請求項1に記載の情報自動編成提示装置。
  4. 前記情報順位付与手段および前記装置順位付与手段は、
    手動入力された情報にしたがって前記順位を付与する
    ことを特徴とする請求項1に記載の情報自動編成提示装置。
  5. 前記認識手段により認識する新たな生成情報は新たに生成された文書情報である
    ことを特徴とする請求項1に記載の情報自動編成提示装置。
  6. 前記認識手段により認識する新たな生成情報は新たな発話情報である
    ことを特徴とする請求項1に記載の情報自動編成提示装置。
  7. 前記生成手段により生成する前記提示候補情報の特徴情報には当該提示候補情報の生成に関わる人物の情報が含まれ、
    前記認識手段により認識する新たな生成情報の特徴情報には当該生成情報の生成に関わる人物の情報が含まれる
    ことを特徴とする請求項1に記載の情報自動編成提示装置。
  8. 記憶装置および提示候補となる提示候補情報を提示するための複数種類の提示装置を備えたコンピュータを、
    前記提示候補情報を取得する取得手段、
    前記取得手段により取得した提示候補情報の特徴情報を生成する生成手段、
    前記生成手段により生成した特徴情報を前記取得した提示候補情報ごとに前記記憶装置に記憶する記憶制御手段、
    新たな生成情報の特徴情報を認識する認識手段、
    前記認識手段による認識結果および前記記憶手段に記憶される特徴情報をもとに、前記記憶手段に記憶される特徴情報に対応する提示候補情報のそれぞれに提示の優先度を示す順位情報を付与する情報順位付与手段、
    前記提示装置のそれぞれに当該提示装置による前記提示候補情報の提示の優先度を示す順位情報を付与する装置順位付与手段、および
    前記付与された順位が高い提示候補情報が前記付与された順位の高い提示装置により提示されるように、前記提示候補情報のそれぞれについて当該情報を提示する提示装置を割り当てる割り当て手段
    として機能させるようにした情報自動編成提示処理プログラム。
JP2008137286A 2008-05-26 2008-05-26 情報自動編成提示装置および情報自動編成提示処理プログラム Expired - Fee Related JP5244460B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008137286A JP5244460B2 (ja) 2008-05-26 2008-05-26 情報自動編成提示装置および情報自動編成提示処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008137286A JP5244460B2 (ja) 2008-05-26 2008-05-26 情報自動編成提示装置および情報自動編成提示処理プログラム

Publications (2)

Publication Number Publication Date
JP2009282937A true JP2009282937A (ja) 2009-12-03
JP5244460B2 JP5244460B2 (ja) 2013-07-24

Family

ID=41453288

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008137286A Expired - Fee Related JP5244460B2 (ja) 2008-05-26 2008-05-26 情報自動編成提示装置および情報自動編成提示処理プログラム

Country Status (1)

Country Link
JP (1) JP5244460B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017183129A1 (ja) * 2016-04-20 2017-10-26 日産自動車株式会社 情報表示方法及び表示制御装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148758A (ja) * 1999-11-19 2001-05-29 Canon Inc 画像制御装置および画像制御装置の出力制御方法および記憶媒体
JP2001202503A (ja) * 2000-01-24 2001-07-27 Shimadzu Corp 画像表示装置
JP2002082859A (ja) * 2000-06-30 2002-03-22 Seiko Epson Corp 情報配信システム、情報配信方法、およびこの方法をコンピュータに実行させるためのプログラム、およびこのプログラムを記録した記録媒体
JP2002225592A (ja) * 2001-02-01 2002-08-14 Nissan Motor Co Ltd 車両の情報表示装置
JP2003280783A (ja) * 2002-03-20 2003-10-02 Fuji Xerox Co Ltd 表示システム及び表示方法
JP2004077862A (ja) * 2002-08-20 2004-03-11 Sony Corp 表示装置および方法、携帯型情報処理端末および方法、記録媒体、並びにプログラム
JP2004171535A (ja) * 2002-10-28 2004-06-17 Fuji Xerox Co Ltd 文書検索方法および装置並びにプログラム
JP2004265097A (ja) * 2003-02-28 2004-09-24 Tokyo Inst Of Technol プレゼンテーション資料検索システムおよびその方法並びにプログラム
JP2005182603A (ja) * 2003-12-22 2005-07-07 Fuji Xerox Co Ltd 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2006085440A (ja) * 2004-09-16 2006-03-30 Fuji Xerox Co Ltd 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム
JP2007279978A (ja) * 2006-04-05 2007-10-25 Hitachi Ltd 文書検索装置及び文書検索方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148758A (ja) * 1999-11-19 2001-05-29 Canon Inc 画像制御装置および画像制御装置の出力制御方法および記憶媒体
JP2001202503A (ja) * 2000-01-24 2001-07-27 Shimadzu Corp 画像表示装置
JP2002082859A (ja) * 2000-06-30 2002-03-22 Seiko Epson Corp 情報配信システム、情報配信方法、およびこの方法をコンピュータに実行させるためのプログラム、およびこのプログラムを記録した記録媒体
JP2002225592A (ja) * 2001-02-01 2002-08-14 Nissan Motor Co Ltd 車両の情報表示装置
JP2003280783A (ja) * 2002-03-20 2003-10-02 Fuji Xerox Co Ltd 表示システム及び表示方法
JP2004077862A (ja) * 2002-08-20 2004-03-11 Sony Corp 表示装置および方法、携帯型情報処理端末および方法、記録媒体、並びにプログラム
JP2004171535A (ja) * 2002-10-28 2004-06-17 Fuji Xerox Co Ltd 文書検索方法および装置並びにプログラム
JP2004265097A (ja) * 2003-02-28 2004-09-24 Tokyo Inst Of Technol プレゼンテーション資料検索システムおよびその方法並びにプログラム
JP2005182603A (ja) * 2003-12-22 2005-07-07 Fuji Xerox Co Ltd 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2006085440A (ja) * 2004-09-16 2006-03-30 Fuji Xerox Co Ltd 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム
JP2007279978A (ja) * 2006-04-05 2007-10-25 Hitachi Ltd 文書検索装置及び文書検索方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017183129A1 (ja) * 2016-04-20 2017-10-26 日産自動車株式会社 情報表示方法及び表示制御装置
CN109074151A (zh) * 2016-04-20 2018-12-21 日产自动车株式会社 信息显示方法和显示控制装置
JPWO2017183129A1 (ja) * 2016-04-20 2019-03-07 日産自動車株式会社 情報表示方法及び表示制御装置
US10652387B2 (en) 2016-04-20 2020-05-12 Nissan Motor Co., Ltd. Information display method and display control device

Also Published As

Publication number Publication date
JP5244460B2 (ja) 2013-07-24

Similar Documents

Publication Publication Date Title
US10586541B2 (en) Communicating metadata that identifies a current speaker
US9298287B2 (en) Combined activation for natural user interface systems
US9749582B2 (en) Display apparatus and method for performing videotelephony using the same
US11281707B2 (en) System, summarization apparatus, summarization system, and method of controlling summarization apparatus, for acquiring summary information
WO2012135218A2 (en) Combined activation for natural user interface systems
JP6432405B2 (ja) プレゼンテーション支援装置、プレゼンテーション支援方法及びプレゼンテーション支援プログラム
JP2017016296A (ja) 画像表示装置
WO2018105373A1 (ja) 情報処理装置、情報処理方法、および情報処理システム
JP5244460B2 (ja) 情報自動編成提示装置および情報自動編成提示処理プログラム
JPWO2018105373A1 (ja) 情報処理装置、情報処理方法、および情報処理システム
JP6304396B2 (ja) プレゼンテーション支援方法、プレゼンテーション支援プログラム及びプレゼンテーション支援装置
US20190035420A1 (en) Information processing device, information processing method, and program
CN109977390A (zh) 一种生成文本的方法及装置
JP2009282936A (ja) 選択式情報提示装置および選択式情報提示処理プログラム
Le et al. Multimodal smart interactive presentation system
JP6638281B2 (ja) 情報処理装置及びプログラム
JP6372577B2 (ja) プレゼンテーション支援方法、プレゼンテーション支援プログラム及びプレゼンテーション支援装置
JP2020037155A (ja) 仕草制御装置及び仕草制御プログラム
JP7288491B2 (ja) 情報処理装置、及び制御方法
JP2008243079A (ja) 情報管理装置、情報管理方法及び情報管理プログラム
JP6399221B2 (ja) プレゼンテーション支援装置、プレゼンテーション支援方法及びプレゼンテーション支援プログラム
JP2016009262A (ja) 動画処理装置、動画処理プログラム及び動画処理方法
JP6471589B2 (ja) 説明支援装置、説明支援方法及び説明支援プログラム
JP2022179178A (ja) 集中度判定プログラム、集中度判定方法、および集中度判定装置
JP6350682B2 (ja) プレゼンテーション支援装置、プレゼンテーション支援方法及びプレゼンテーション支援プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100805

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120717

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130408

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees