JP2001092838A - マルチメディア情報収集管理装置およびプログラムを格納した記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】収集した各種マルチメディア情報の整理や情報
の編集、抽出、関連付けなどを自動的に行って、データ
ベース化することができるようすること。 【解決手段】各種メディアの情報を収集するマルチメデ
ィア情報収集手段１と、このマルチメディア情報収集手
段により収集された各種メディアの情報を所要の関連の
あるものについては対応付けて前記マルチメディア対応
記憶手段に記憶させるマルチメディア対応記憶手段２
と、このマルチメディア対応記憶手段に対応づけられて
記憶されている情報を抽出して認識し、解析してその抽
出した情報に関係する個人を特定する情報認識／解析手
段３と、この情報認識／解析手段が解析した情報を前記
マルチメディア対応記憶手段に記憶された情報と対応さ
せて蓄積するマルチメディアデータベース１１とを具備
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、収集した各種の情
報を整理、抽出して関連のあるものについては関連付け
を行い、利用し易い構造のデータベースにデータベース
化するようにしたマルチメディア情報収集管理装置に関
するものである。

【０００２】

【従来の技術】静止画を記録する機器としては、例え
ば、デジタルスチルカメラがある。そして、デジタルス
チルカメラの中には静止画に対して記録日時やサウンド
などの注釈を付けられるものがある。また、動画を記録
する機器としては、デジタルムービなどがあり、動画と
サウンドを記録できるだけでなく、記録日時やタイトル
などの注釈を付けられるものがある。

【０００３】しかしながら、上記のような従来のマルチ
メディア情報収集機器では、各種マルチメディア情報を
収集することはしても、その整理と情報の編集、抽出、
関連付けなどデータベース化するための作業は人手に頼
らねばならない。従って、データベース化に当たっては
大きな労力を裂かねばならない。

【０００４】

【発明が解決しようとする課題】上記のように、従来の
マルチメディア情報収集機器では、各種マルチメディア
情報を収集することはしても、それをデータベース化す
るためにはその収集情報の整理や情報の編集、抽出、関
連付けなど、人手に多くを頼らねばならないなど作業の
負担が多く、データベース化に当たって費やさねばなら
ない労力は大変なものがある。

【０００５】従って、収集したマルチメディア情報をユ
ーザに負担をかけることなく収集、整理および関連付け
を行って、多様な検索を可能にするようなデータベース
の構築が行えるようにする技術の開発が嘱望されてい
る。

【０００６】そこで、この発明の目的とするところは、
収集した各種マルチメディア情報について、その情報の
整理や情報の編集、抽出、関連付けなどを自動的に行っ
て、データベース化することができるようにしたマルチ
メディア情報収集装置を提供することにある。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、本発明は次のように構成する。すなわち、各種メデ
ィアの情報を収集するマルチメディア情報収集手段と、
このマルチメディア情報収集手段により収集された各種
メディアの情報を所要の関連のあるものについては対応
付けて前記マルチメディア対応記憶手段に記憶させるマ
ルチメディア対応記憶手段と、このマルチメディア対応
記憶手段に対応づけられて記憶されている情報を抽出し
て認識し、解析してその抽出した情報に関係する個人を
特定する情報認識／解析手段と、前記情報認識／解析手
段が解析した情報を前記マルチメディア対応記憶手段に
記憶された情報と対応させて蓄積するマルチメディアデ
ータベースとを具備することを特徴とする。

【０００８】更には、前記マルチメディア情報収集手段
には、撮像手段を設けると共に、この撮像手段にて撮像
した被写体の画像をマルチメディア情報として収集し、
この収集した画像のマルチメディア情報を表示手段に画
像表示させる機能手段と、この表示させた画像の所望領
域に人為的指示に基づいて認識領域を示すマークを付与
する機能手段と、この付与したマークを当該マルチメデ
ィア情報中に記録させるべく制御する機能手段とを設
け、また、前記情報認識／解析手段には、前記マルチメ
ディア情報収集手段が情報収集時にマルチメディア情報
中に記録したマークをもとに、認識／解析対象を抽出す
る対象抽出手段を具備する。

【０００９】このような本発明においては、各種メディ
アの情報を記憶するマルチメディア対応記憶手段があ
り、各種メディアの情報を収集するマルチメディア情報
収集手段は各種メディアの情報を収集すると共に、所要
の関連のあるものについては対応付けて前記マルチメデ
ィア対応記憶手段に記憶させる。

【００１０】情報認識／解析手段は、前記マルチメディ
ア対応記憶手段に対応づけられて記憶されている情報を
抽出して認識し、解析してその抽出した情報に関係する
個人を特定する。そして、この情報認識／解析手段にて
解析した情報を前記マルチメディア対応記憶手段に記憶
された情報および対応付け情報と共にマルチメディアデ
ータベースに蓄積する。

【００１１】このように、個人を特定できる基礎的なデ
ータを集め、集めたこれらの情報について、個人別、そ
して、イベント別に情報を検索可能なように各情報につ
いて関係のあるもの同士のリンクを張った構造のデータ
ベースを自動作成することができるようになるものであ
る。

【００１２】更には、前記マルチメディア情報収集手段
には、撮像手段を設けてあり、この撮像手段にて撮像し
た被写体の画像をマルチメディア情報として収集し、こ
の収集した画像のマルチメディア情報を表示手段に画像
表示させることができる。そして、この表示させた画像
の所望領域に人為的指示に基づいて認識領域を示すマー
クを付与することにより、これを当該マルチメディア情
報中に記録させることができる。そして、情報認識／解
析手段は、マルチメディア情報中に記録したマークをも
とに、認識／解析対象を抽出する。

【００１３】よって、本発明のマルチメディア情報収集
管理装置では、画像の認識対象の領域を特定形状のマー
クで囲むことにより、認識領域と認識処理内容を特定す
るようにすると共に、マルチメディア情報収集の際に画
像については認識対象の領域に、所望とする認識処理内
容対応の形状でマークを付けることにより、認識領域を
特定でき、そのマークの属性に応じた認識を行う他のメ
ディアと対応付けて記録して、その認識結果を手掛かり
に検索を行うことができるなど、ユーザに負担をかける
ことなく、マルチメディア情報の収集および検索を行う
ことができるようにしたマルチメディア情報収集管理装
置を提供できる。

【００１４】具体的には、あるイベントを開催した場
合、例えば、会議を開催した場合に、会議名や議題、開
催場所、開催日時、出席者名、資料などが記載された会
議資料があればそれを撮像手段で撮像して、関係資料と
してデータ化して取得し、また、会議出席者の画像を一
人一人撮像手段で撮像して、その出席者各人の顔画像を
収集し、その顔画像中の認識領域を設定すべく、画像上
にマークすることで顔画像の特徴を抽出し、また、その
際に、例えば、その人個人の名刺の提供を受けて当該名
刺の画像を撮像して文字認識によりその人の名前や所属
など個人情報をテキストデータ化して収集し、また、自
己紹介などで音声情報を取得して音声認識するなどし
て、個人を特定できる基礎的なデータを集めると、集め
たこれらの情報について、個人別、会議別に情報を検索
可能なように各情報について関係のあるもの同士のリン
クを張った構造のデータベースを自動作成することがで
きるものである。

【００１５】従って、ユーザに負担をかけることなく、
マルチメディア情報の収集とその収集データのデータベ
ース化ができ、しかも、データベースは関連情報はイベ
ント単位、個人単位でリンクが張られるので検索も容易
に行うことができるようになるマルチメディア情報収集
管理装置を提供できる。

【００１６】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照して説明する。

【００１７】（第１の実施形態）第１の実施形態では、
音声情報、文字情報、画像情報などのマルチメディア情
報を収集してその情報を関連のあるもの同士を関連付け
て整理し、データベース化する技術について説明する。

【００１８】図１は、本発明に係るマルチメディア情報
収集方式を採用して構成したマルチメディア情報収集装
置の実施形態をブロック図で示したものである。

【００１９】図１に示すように、本発明のマルチメディ
ア情報収集装置は、マルチメディア情報収集部１、マル
チメディア対応記憶部２、情報認識／解析部３、対象抽
出部４、解析制御部５、文字認識部６、音声認識部７、
顔認識部８、話者認識部９、人名抽出部１０、マルチメ
ディアデータベース部１１から構成されている。

【００２０】これらのうち、マルチメディア情報収集部
１は画像、音声、文字、図形などのマルチメディア情報
を収集するためのものであり、画像取得用としてデジタ
ルカメラやデジタルムービ、音声情報取得用としてマイ
クロフォン、図形／文字取得用として例えば、ペン入力
装置の操作による図形情報やパターン認識技術による文
字認識機能など備えている。そして、マルチメディア情
報収集部１には更に、収集した各種メディアの情報を、
所要の関連のあるものについては情報同士、対応付けて
マルチメディア対応記憶部２に記憶させるべく制御する
機能を有している。

【００２１】マルチメディア対応記憶部２は、マルチメ
ディア情報収集部１の収集した画像、音声、図形、文字
（テキスト）などの各メディアの情報を、関連のあるも
の同士についてはそれぞれ対応させて記憶するためのも
のである。

【００２２】また、情報認識／解析部３はマルチメディ
ア対応記憶部２に対応づけられて記憶されている情報部
分を抽出し、認識／解析するものであって、マルチメデ
ィア対応記憶手段に対応づけられて記憶されている情報
を抽出して認識処理し、解析してその抽出した情報に関
係する個人を特定する機能を有する。また、解析された
情報をマルチメディア対応記憶部２に記憶された情報お
よび対応情報と対応させてマルチメディアデータベース
部１１へ蓄積させる制御を司る。

【００２３】前記対象抽出部４は前記マルチメディア情
報収集部１が情報を収集した際に、ユーザの操作によっ
てマルチメディア情報中に記録された認識領域枠のマー
クをもとに、その認識領域枠内の画像情報をマーク属性
に従って認識し、解析対象を抽出するものである。

【００２４】また、前記解析制御部５は、対象抽出部４
が抽出した認識／解析対象のマークの属性に対応して、
使用する認識／解析に用いる知識辞書や認識／解析方法
を制御するものであり、文字認識部６は、画像中の文字
を認識するためのものであり、音声認識部７は、画像や
他のメディアに対応して収集された音声を認識するもの
であり、音声情報を音声認識処理することで、文字情報
に変換すると云った機能を有する。

【００２５】顔認識部８は、画像中の顔部分を認識する
ためのものであり、画像中の顔部分の特徴点を認識する
ことで、個人個人の顔の特徴から個人を識別することが
できるものである。また、話者認識部９は、画像や他の
メディアに対応して収集された音声より話者を認識する
ものであり、人名抽出部１０は、文字認識部６が認識し
た結果より人名情報部分を抽出するものである。

【００２６】また、マルチメディアデータベース部１１
は、解析された情報をマルチメディア対応記憶部２に記
憶された情報および対応情報と対応させて蓄積するベー
スである。このようなマルチメディアデータベース部１
１への情報蓄積の制御は、情報認識／解析部３によって
行われる。

【００２７】図２は、図１の構成のマルチメディア情報
収集装置の処理動作を説明するためのフローチャートで
ある。また、図３は、マルチメディア情報収集装置の前
面操作部の構成を示したものであり、マルチメディア情
報収集部１の構成要素の一部である。

【００２８】図３に示す如く、このマルチメディア情報
収集装置の前面操作部は、ディスプレイ部とカメラ部、
そしてスピーカとマイクロフォンおよび操作ボタンなど
がレイアウトされている。ディスプレイ部は例えば、液
晶パネルディスプレイで作られており、デジタルカメラ
が撮影している映像または既に撮影した映像を表示さ
せ、また情報収集の際の操作等を行うアプリケーション
の表示画面を表示して画面上で操作を行うための情報操
作部２１となっている。

【００２９】すなわち、アプリケーションの表示画面に
は送りボタンやポイントボタン、文字入力ボタン図形入
力ボタン、図形入力ボタン、認識領域指定ボタンなどが
画面の端部に表示され、マウスなどのポインティングデ
バイスで位置を指定してクリックすると、そのボタンが
示す処理内容の機能を画面上で実行することができる。
例えば、２７が文字入力ボタン、２８が図形入力ボタ
ン、２９が認識領域指定ボタン部（四角形領域）、３０
が認識領域指定ボタン部（円形領域）、３１が情報表示
部であり、情報表示部３１は画像や文字などの表示のた
めの領域として用いられる。

【００３０】そして、情報表示部３１に画像を表示した
状態で、ポインティングデバイスで画像上の位置を指定
し、認識領域指定ボタン部（四角形領域）２９を押し、
表れた四角形をポインティングデバイスにてドラッグし
て範囲を所望に調整し、定めるとその四角形領域を文字
認識領域としてアプリケーションに認識処理させること
ができる。

【００３１】また、情報表示部３１に画像を表示した状
態で、ポインティングデバイスで画像上の位置を指定
し、認識領域指定ボタン部（円形領域）３０を押し、表
れた円形をポインティングデバイスにてドラッグして範
囲を調整し、定めるとその円形領域内を画像の認識領域
としてアプリケーションに認識処理させることができ
る。

【００３２】また、情報操作部２１の画面端部にはファ
イル機能、編集機能、表示機能、挿入機能、ツール機能
でヘルプ機能などの各機能を指定するためのメニューボ
タンが表示されていてポインティングデバイスで必要に
応じて選択指定することでこれらの機能を利用できるよ
うになっている。

【００３３】２２は前面操作部に設けられているデジタ
ルカメラのレンズ部であり、このレンズ部２２を通し
て、得られる画像がデジタルカメラにて撮像されて画像
データになる。２３は前面操作部に設けられているデジ
タルカメラのシャッタボタン部であり、このシャッタボ
タン部２３をユーザが押すことで、デジタルカメラのシ
ャッタを切り、画像を撮像できる。

【００３４】２４は前面操作部に設けられているマイク
ロフォン部であり、また、２５はマイクロフォン部２４
を機能させて録音を行うための録音ボタン部である。２
６は前面操作部に設けられているスピーカ部であり、録
音音声をはじめ音声出力に用いられる。前記デジタルカ
メラやマイクロフォン部２４は、マルチメディア情報収
集部１のデバイスを構成している。

【００３５】本装置では、例えば、会議を開催した場
合、会議名や議題、開催場所、開催日時、出席者名、資
料などが記載された会議資料があればそれをデジタルカ
メラで撮像して、関係資料としてデータ化して取得し、
また、会議出席者の画像を一人一人デジタルカメラで撮
像して、その出席者各人の顔画像を収集し、その顔画像
中の認識領域を設定すべく、画像上にマークすることで
顔画像の特徴を抽出し、また、その際に、例えば、その
人個人の名刺の提供を受けて当該名刺の画像を撮像して
文字認識によりその人の名前や所属など個人情報をテキ
ストデータ化して収集し、また、自己紹介などで音声情
報を取得して音声認識するなどして、個人を特定できる
基礎的なデータを集め、集めたこれらの情報について、
個人別、会議別に情報を検索可能なように各情報につい
て関係のあるもの同士のリンクを張った構造のデータベ
ースを自動作成する。また、会議録や発言内容を取得し
て、収録したデータベースを自動作成する。

【００３６】顔画像の収集はその画像をディスプレイに
表示させた状態で認識対象領域について領域枠をマーク
し、文字情報の収集はその画像をディスプレイに表示さ
せた状態で認識対象領域について領域枠をマークすると
いったことで、領域指定して行うようにするが、マーク
する領域枠の形状を顔画像の認識と、文字認識とでは違
うものを使用する。例えば、領域枠形状が円形なら顔画
像の認識とし、方形ならば文字認識とすると云った具合
に領域枠の形状属性（マークの形状属性）対応に、何を
認識するかが一義的定まるようにする。

【００３７】このように、マークの形状により認識処理
の内容が定まるようにすることで、操作の手間を簡略化
する。このようにして、カメラによる対象物の画像取得
と、当該画像に対して特定形状の枠線を使用しての画像
認識対象領域の指定と云った簡単な操作で、関連情報を
取得でき、また、収集した情報は、顔特徴や音声の特徴
などを含めて個人認識に利用することで、個人認識でき
るようにし、その結果を利用して個人と関連を持つもの
同士を自動的に関連付けることができるようにしてデー
タベース化する。また、音声情報は音声認識により文字
データ化してデータベースに収録し、個人認識されれ
ば、その個人の情報としてリンクが張られるようにす
る。

【００３８】これらによって、簡単な操作と最小の手間
によりマルチメディア情報について、関連情報のデータ
ベース化を自動的に行えるようにする。

【００３９】詳細を説明する。会議を収録してデータベ
ースを作成する場合、少なくとも、図３に示したマルチ
メディア情報収集装置の前面操作部（すなわち、マルチ
メディア情報収集部１に相当）は、会議場の出席者席の
例えば、テーブル上に各人別に設置しておくと良い。勿
論、数人毎に共用として運用することも可能であるが、
処理の単純化のため、個別に設置して情報収集する構成
を採用して話を進めていくことにする。

【００４０】図２のフローチャートを参照して図１、図
３の構成のマルチメディア情報収集装置の処理動作の詳
細を説明する。

【００４１】まず、装置が起動されるとマルチメディア
情報収集部１は入力待ち状態となる（図２のステップＳ
１）。当該入力待ち状態では、前面操作部における情報
操作部２１内の情報表示部３１にはデジタルカメラが撮
影している映像が表示される。マルチメディア情報収集
部１が個人別に設置してある場合、デジタルカメラが撮
影している映像はそのマルチメディア情報収集部１が設
置してある席に着席している人個人の画像である。

【００４２】＜画像撮影＞この状態で、その人がマルチ
メディア情報収集部１における前記の前面操作部にある
シャッタボタン２３を押したとする。すると、デジタル
カメラに画像撮影の指示が送られ、その人の画像が撮影
される（図２のステップＳ２）。

【００４３】するとマルチメディア情報収集部１におけ
る前面操作部にある情報表示部３１にはこのシャッタ操
作によりデジタルカメラにて撮影された画像が表示さ
れ、また、当該撮影された画像のデータはマルチメディ
ア対応記憶部２に一時的に記憶され（図２のステップＳ
６）、再び入力待ち状態（図２のステップＳ１）とな
る。

【００４４】画像撮影後のマルチメディア情報収集部１
の入力持ち状態では、音声入力（図２のステップＳ
３）、図形／文字入力（図２のステップＳ４）、認識領
域指定（図２のステップＳ５）、および新規画像撮影
（図２のステップＳ２）が行える状態となる。

【００４５】＜音声の入力＞まず、音声入力を行う場合
について説明する。

【００４６】マルチメディア情報収集部１の入力待ち状
態からマルチメディア情報収集部１における前面操作部
にある図３の録音ボタン部２５を押すことにより、マル
チメディア情報収集部１の一構成要素である音声情報取
得用のマイクロフォン部２４に対して音声録音の指示が
送られ、これによってマルチメディア情報収集部１はユ
ーザが録音ボタン部２５を押している間だけマイクロフ
ォンから音声信号を取り込んで音声データ化し、これを
マルチメディア対応記憶部２に一時的に記憶させること
で録音する（図２のステップＳ３）。

【００４７】マルチメディア情報収集部１は音声の録音
が終了すると、この音声データをマルチメディア対応記
憶部２に既に記憶されているマルチメディア情報と対応
づけて正規に記憶させ（図２のステップＳ６）、再び入
力待ち状態（図２のステップＳ１）となる。これまでの
経緯によれば、マルチメディア対応記憶部２に既に記憶
されているマルチメディア情報はデジタルカメラで撮像
した前述の画像であるから、この画像のデータとこの音
声データとが対応付けることになる。

【００４８】＜図形／文字入力＞次に図形／文字入力を
行う場合について説明する。

【００４９】マルチメディア情報収集部１の入力待ち状
態から、マルチメディア情報収集部１における前面操作
部にある図３の情報操作部２１内の文字入力ボタン２７
または図形入力ボタン２８を選択することにより、図形
／文字入力状態となる（図２のステップＳ４）。

【００５０】図形／文字はマルチメディア情報収集部１
の一構成要素として用意された何らかの図形／文字入力
手段（例えば、ペン入力装置やマウス入力装置、タブレ
ット、トラックボールなど）を操作することにより、画
像中の任意の場所に入力するよう、マルチメディア情報
収集部１は制御する。従って、図形／文字入力手段とし
て例えば、ペン入力装置が用意されていたとして、ユー
ザ（マルチメディア情報収集部１が設置された席に着席
の個人）が画像入力ボタン２８を操作することで図形入
力モードとし、当該ユーザがこのペン入力装置を手に持
って画面上でペンを操作することにより、画面に表示さ
れている画像中の所望の場所に、所望の図形を入力する
ことができる。

【００５１】また、ユーザがペン入力装置を手に持って
画面上でペンを操作することにより、画面上の文字入力
ボタン２７を操作したとすると、文字入力モードとな
り、ユーザが画面上でペンを操作して手書き文字を入力
すると、パターン認識処理技術によりその手書き文字が
パターン認識されて該当の文字の情報を得ることができ
る。

【００５２】図形／文字の入力が終了すると、当該ペン
入力操作により入力された図形情報または文字情報は、
マルチメディア対応記憶部２に既に記憶されている当該
ユーザにかかわりのある前述のマルチメディア情報と対
応付けられて記憶され（図２のステップＳ６）、再び入
力待ち状態となる（図２のステップＳ１）。

【００５３】＜認識領域指定＞次に認識領域指定を行う
場合について説明する。

【００５４】本装置では、画像中に認識領域を設定する
とその設定した認識領域の形状に応じてその領域内の画
像について文字認識をしたり、画像認識する機能を有し
ている。

【００５５】すなわち、マルチメディア情報収集部１の
入力持ち状態から、マルチメディア情報収集部１におけ
る前面操作部にある情報操作部２１に表示されている図
３の認識領域指定ボタン（四角形領域）２９か、また
は、認識領域指定ボタン（円形領域）３０のいずれかを
選択して操作することにより、マルチメディア情報収集
部１は認識領域指定の状態となる（図２のステップＳ
５）。

【００５６】すなわち、情報表示部３１に画像が表示さ
れているので、この状態でポインティングデバイス（ペ
ン入力装置やマウス、トラックボールなど）等で認識領
域指定ボタン部（四角形領域）２９を押し、さらに画像
上の位置を指定すると、その位置に四角形の領域枠マー
クが表れる。この四角形の領域枠マークを、大きさの調
整や位置調整が必要ならば、ポインティングデバイス等
にてドラッグして位置や範囲を調整し、所望に領域を定
めるか、ペン入力装置のペンを手に持ってユーザが画像
上の所望領域の２点をペンで指定するなどしてその２点
を対角位置とする方形を表示させるなどして領域を定め
る。

【００５７】するとその四角形領域を文字認識領域とし
てアプリケーションに認識処理させることができるよう
になる。

【００５８】また、ポインティングデバイス等の操作に
より認識領域指定ボタン部（円形領域）３０を押し、さ
らに画像上の位置を指定すると、その位置に円形の領域
枠マークが表示される。

【００５９】この円形の領域枠マークの位置やサイズの
調整が必要ならば、画面上に表れた円形の領域枠マーク
をポインティングデバイスにてドラッグして範囲や位置
を調整し、領域を定める。あるいは、ポインティングデ
バイスによりユーザが画像上の所望領域の中心点と半径
位置を指定するなどして中心位置と半径を定めることで
決まる２点で規定される円形を表示させるなどして領域
を定める。

【００６０】このようにして円形の領域を定めると、そ
の円形領域（円形の領域枠マーク）内を画像の認識領域
としてアプリケーションに認識処理させることができる
ようになる。

【００６１】このようにして、画像認識用か文字認識用
かにより、所望に領域枠マークを設定すると、この領域
枠マークの情報は関連するマルチメディア情報と関連付
けられてマルチメディア対応記憶部２に記憶されること
になる。

【００６２】詳細は後述するが、入力終了の指示をする
と、認識処理用のアプリケーションはプログラムを実行
し、領域枠マークで指定された領域内画像を領域枠マー
クの枠形状に対応した所要の認識処理をして所要の情報
を抽出することになる。そして、指定領域内画像を認識
処理するアプリケーションが解析制御部５の機能であ
り、この解析制御部５は、操作された認識領域指定ボタ
ンが四角形領域用の認識領域指定ボタン２９であるか、
円形領域用の認識領域指定ボタン３０であるかにより、
指定された領域に対して行う認識／解析方法が異なる。
よって、認識の目的に応じて各ボタンを使い分ける。
尚、認識／解析方法については後で詳しく説明する。

【００６３】認識領域の指定が終了するとこの指定され
た認識領域の情報はマルチメディア対応記憶部２に既に
記憶されているマルチメディア情報と対応づけられて記
憶され（図２のステップＳ６）、再び入力待ち状態とな
る（図２のステップＳ１）。

【００６４】ここで、新規画像撮影を行った場合は、新
たに画像が撮影され、情報表示部３１には撮影された画
像が表示される。新規画像はマルチメディア対応記憶部
２によって、以前に収集したマルチメディア情報と関連
あるものは対応づけられ、記憶されてから（図２のステ
ップＳ６）、入力待ち状態となる（図２のステップＳ
１）。

【００６５】以上の操作を繰り返すことにより、各マル
チメディア情報をそれぞれ対応付けながら入力する。

【００６６】マルチメディア情報の入力が終了したなら
ば、ユーザは入力終了の指示操作を行う。そして、ユー
ザからの入力終了の指示があると（図２のステップＳ
７）、情報認識／解析部３はマルチメディア対応記憶部
２に対応づけられて記憶されている情報を抽出し、認識
／解析を行う。その際、対象抽出部４は情報収集の際に
認識領域として指定されて設定された領域枠マークをも
とに認識／解析対象の抽出を行い、また、解析制御部５
はマークの属性に対応して使用する認識／解析に用いる
知識辞書や認識／解析方法の制御を行う（図２のステッ
プＳ８）。

【００６７】図４、図５、図６は、それぞれ図３の情報
表示部３１に表示されている撮影済みの画像に認識領域
指定のための領域枠マークがつけられた例を表してい
る。図４と図５が画像中に四角形の領域枠マークを設定
した例であり、図６は画像中に円形の領域枠マークを設
定した例である。

【００６８】そして、例えば、指定認識領域が四角形の
領域枠マークである場合には領域内の文字認識を行うも
のとすると、図４のように例えば会議名の文字の周囲を
四角形枠４１で囲むことにより、文字認識部６が画像中
の文字を抽出し認識する（ステップＳ９)ことになる。

【００６９】ここで、例えば、アプリケーションのメニ
ューを開いて抽出対象属性選択の機能を指定し、図７に
示すように抽出対象属性選択のための属性選択窓５１を
情報表示部３１上に表示し、この属性選択窓５１により
属性を選択する。この属性選択窓５１には“日付”、
“会議名”、“開催場所”、“名刺”、“氏名”、“会
社名”、“電話番号”、“所属部署”、“住所”、“発
言内容”、……と云った具合に、予め各種の項目がその
項目内容対応の属性情報とともに設定されており、これ
らの設定された各種の項目を表示してその中から所望の
ものを選択すると、その項目と属性情報が選択でき、こ
れによって、認識させる文字列に適切な属性を選択付与
することができることにより、解析制御部５は認識／解
析に用いる知識辞書を制御することができる。

【００７０】解析制御部５は種々用意された知識辞書の
うち、この選択された属性対応の知識辞書を用いて認識
／解析することにより、領域枠マーク内の画像中に含ま
れる文字画像部分を文字認識する結果、正しい内容の文
字データに変換できる。そして、ここで認識／解析され
たテキスト情報は、文字認識の対象となったマルチメデ
ィア情報と対応づけられてマルチメディアデータベース
部１１に蓄積される（ステップＳ１３）。

【００７１】なお、“会議名”の属性を持つ項目の場
合、認識／解析されたテキスト情報は、見出しとして、
文字認識の対象となったマルチメディア情報と対応づけ
られてマルチメディアデータベース部１１に蓄積され
る。

【００７２】図５は、図４と同様に、四角形４２で認識
領域を指定し、文字認識を行う場合の例である。この例
は、認識させる対象が例えば名刺４３などの特定個人に
関する情報の場合である。この場合も、抽出対象属性選
択のための属性選択窓５１を情報表示部３１上に表示
し、この属性選択窓５１により項目を選択することで属
性を選択する。すなわち、この属性選択窓５１にて“名
刺”なる項目を選択する。

【００７３】知識辞書は“名刺”の属性に対応するもの
も用意してあり、従って、属性選択窓５１では“名刺”
の属性も予め設定されていて、選択可能である。そのた
め、対象が名刺の場合、属性選択窓５１により“名刺”
を選択すれば良いことになる。

【００７４】“名刺”が選択されると（なお、名刺のみ
を撮影した画像であれば、属性選択窓で“名刺”を選択
するだけで、領域は特に指定しなくても良いようにして
おくこともできる。）、文字認識部６は、知識辞書から
得られる知識に基づいて、名刺中の会社名、氏名、住
所、電話番号等をそれぞれ抽出し認識する（ステップＳ
９）。

【００７５】特に氏名部分については、人名抽出部１０
がこの部分を人名として抽出する。氏名以外にここで抽
出および認識／解析されたテキスト情報は、特定個人に
関する情報として、文字認識の対象となったマルチメデ
ィア情報と対応付けられてマルチメディアデータベース
部１１に蓄積される（ステップＳ１３）。

【００７６】また、指定認識領域が円形の領域枠マーク
で囲まれた状態の場合（つまり、属性が円形の領域枠マ
ークの場合）には領域内の画像の顔認識処理を行う構成
としてあるものとすると、図６のように、オペレータが
認識対象人物の顔の部分を円形枠４４で囲む操作をする
ことにより、顔認識部８が画像中の円形枠４４で囲まれ
た領域から顔を抽出し、顔の特徴を認識する（ステップ
Ｓ１１）。そして、この認識した顔特徴情報をマルチメ
ディアデータベース部１１に記憶する（ステップＳ１
３）。

【００７７】特に文字認識部６、人名抽出部１０により
人名が抽出された場合、あるいは、顔認識部８が顔を認
識した場合には、認識の対象となったマルチメディア情
報と対応づけられたマルチメディア情報に対し、人名抽
出部１０の抽出結果を見出しとして、顔認識部８、文字
認識部６それぞれの認識結果を対応させてマルチメディ
アデータベース部１１に記憶する（図２のステップＳ１
３）。

【００７８】一方、前述の音声入力の操作によって得て
マルチメディア対応記憶部２に記憶されている音声情報
について、音声認識部７は音声認識を行う。すなわち、
音声認識部７は、画像や他のメデイアに対応して収集さ
れた音声を認識する（図２のステップＳ１０）。そし
て、この音声認識による認識結果を見出しとして当該音
声認識の対象となったマルチメディア情報と対応づけら
れた情報をマルチメディアデータベース部１１に蓄積す
る（図２のステップＳ１３）。

【００７９】また、話者認識部９は画像や他のメディア
に対応して収集された音声より話者を認識し（図２のス
テップＳ１２）、その結果を特定個人の情報として、話
者認識の対象となったマルチメディア情報と対応付けて
マルチメディアデータベース部１１に蓄積する（図２の
ステップＳ１３）。

【００８０】このように、話者認識部９は画像や他のメ
ディアに対応して収集された音声より話者を認識し、そ
の結果を特定個人の備報として、話者認識の対象となっ
たマルチメディア情報と対応付けてマルチメディアデー
タベース部１１に蓄積することから、例えば、ある会議
が開催されたとして、その際に話者認識部９による会議
出席者の話者認識が一通り完了すると、音声認識部７に
より当該会議出席者の発言内容を認識し、各個人の発言
内容をその個人の名前に対応づけて記憶させると云った
処理が可能となる。

【００８１】各個人の発言内容をその個人の名前に対応
づけて記憶させる先はマルチメディアデータベース部１
１であるが、この処理は情報認識／解析部３が行うこと
になる。すなわち、話者認識部９による認識結果を受け
て情報認識／解析部３は各個人の発言内容をその個人の
名前に対応づけてマルチメディアデータベース部１１に
記憶させるわけである。

【００８２】従って、例えば、図９のように各個人の発
言内容７２を各個人名７１に対応づけて記憶するという
ことを自動で行って、出席者の発言内容を記録した議事
録を自動編集するといったことが可能となる。

【００８３】以上のようにして収集されたマルチメディ
ア情報は、マルチメディアデータベース部１１に例え
ば、図８の如きの形式で蓄積される。蓄積される情報
は、例えば、情報識別番号６１、属性６２、属性値６３
から構成されるデータである。

【００８４】ここで、対象が会議の場合、属性６２の情
報内容としては“氏名”、“会社名”、“住所”、“電
話”、“ＦＡＸ”などがあるが、これらの各項目は、図
５にて名刺から認識した値が属性値６３として与えら
れ、また、顔の項目には、図６にて認識／解析した顔画
像のファイル名が属性値６３として与えられ、名刺の項
目には、図５にて認識／解析した名刺画像のファイル名
が属性値６３として与えられ、会議の項目には、その人
物が過去に出席した会議名が属性値６３として与えら
れ、発言の項目には、出席した会議においてその人物が
発言した内容の音声ファイル名と、音声認識部７により
音声認識され、テキストに変換されたファイル名とが属
性値６３として与えられ、また、資料の項目には、会議
で配布された資料のファイル名が属性値６３として与え
られ、メモの項目にはユーザがその人物についてステッ
プＳ４にて画像に対応づけて記入したメモを記録したフ
ァイル名が、それぞれ属性値６３として与えられること
で得られている。

【００８５】上述したように、これらの値は、情報認識
／解析部３の制御機能により、対応づけられてマルチメ
ディアデータベース部１１に蓄積されている。

【００８６】以上、詳述したように、本実施例において
は、例えば、会議を開催した場合、会議名や議題、開催
場所、開催日時、出席者名、資料などが記載された会議
資料があればそれをデジタルカメラで撮像して、関係資
料としてデータ化して取得し、また、会議出席者の画像
を一人一人デジタルカメラで撮像して、その出席者各人
の顔画像を収集し、その顔画像中の認識領域を設定すべ
く、画像上にマークすることで顔画像の特徴を抽出し、
また、その際に、例えば、その人個人の名刺の提供を受
けて当該名刺の画像を撮像して文字認識によりその人の
名前や所属など個人情報をテキストデータ化して収集
し、また、自己紹介などで音声情報を取得して音声認識
するなどして、個人を特定できる基礎的なデータを集
め、集めたこれらの情報について、個人別、会議別に情
報を検索可能なように各情報について関係のあるもの同
士のリンクを張った構造のデータベースを自動作成する
ようにしたものである。また、会議録や発言内容を取得
して、収録したデータベースを自動作成するようにした
ものである。

【００８７】また、顔画像の収集はその画像をディスプ
レイに表示させた状態で認識対象領域について領域枠を
マークし、文字情報の収集はその画像をディスプレイに
表示させた状態で認識対象領域について領域枠をマーク
するといったことで、領域指定して行うようにするが、
マークする領域枠の形状を顔画像の認識と、文字認識と
では違うものを使用するようにした。例えば、領域枠形
状が円形なら顔画像の認識とし、方形ならば文字認識と
すると云った具合であり、領域枠の形状属性（マークの
形状属性）対応に、何を認識するかが一義的定まるよう
にした。

【００８８】そして、このように、マークの形状により
認識処理の内容が定まるようにしたことで、操作の手間
を簡略化するようにした。

【００８９】従って、カメラによる対象物の画像取得
と、当該画像に対して特定形状の枠線を使用しての画像
認識対象領域の指定と云った簡単な操作で、関連情報を
取得でき、また、収集した情報は、顔特徴や音声の特徴
などを含めて個人認識に利用することで、個人認識でき
るようにし、その結果を利用して個人と関連を持つもの
同士を自動的に関連付けることができるようにしてデー
タベース化し、また、音声情報は音声認識により文字デ
ータ化してデータベースに収録し、個人認識されれば、
その個人の情報としてリンクが張られるようにするの
で、これらによって、簡単な操作と最小の手間によりマ
ルチメディア情報について、関連情報のデータベース化
を自動的に行えるようになる。

【００９０】故に、上記実施形態によれば、撮影した画
像をもとに、関連する様々なマルチメディア情報をそれ
ぞれ対応づけてマルチメディアデータベース部１１に蓄
積することができ、これにより、マルチメディア情報を
簡単に特定の目的情報に対応させて記憶することができ
るようになる。

【００９１】特に、画像に設定した認識対象の領域を示
すマークをもとに認識／解析対象を抽出する対象抽出部
４、マークの属性に応じて、使用する認識／解析に用い
る知識辞書や認識／解析方法を制御する解析制御部５に
より、複雑な操作なしに、高度な認識／解析方法の使い
分けが可能となる。

【００９２】尚、上記実施形態では、マルチメディア情
報を関連づけする方法として、画像（静止画）を中心と
したアプローチを例にとり説明したが、この場合に限ら
ず、例えば動画像、音声、テキストデータ等でもよく、
その際の処理形態も上記実施形態と同様である。

【００９３】また、上記実施形態では、マルチメディア
情報の関連づけを行った例として、会議を中心に説明し
たが、必ずしもこれに限定されるわけではない。例え
ば、旅行、展示・博覧会、日常の家庭生活等、幅広い応
用が可能であり、その際の処理形態も上記実施形態と同
様である。

【００９４】（第２の実施形態）第１の実施形態は、マ
ルチメディア情報を収集してその情報を関連のあるもの
同士を関連付けて整理し、データベース化する技術に関
するものであった。しかしデータベースがあっても、こ
のままでは活用の途は閉ざされる。すなわち、データベ
ース化されたマルチメディア情報を後で活用できるよう
にするには、目的の情報を検索する手段が必要である。
そこで、第２の実施形態では、収集したマルチメディア
情報を検索する手法について説明する。

【００９５】図１０は、第２の実施形態に係るマルチメ
ディア情報収集装置の構成例を示したものである。基本
構成は図１と変わらないので、図１と同一部分には同一
符号を付し、ここでは異なる部分についてのみ説明す
る。

【００９６】図１０に示す第２の実施形態のマルチメデ
ィア情報収集装置は、例えば、ユーザからの検索要求を
受け取り、その意味内容の解析を行うことによって、ユ
ーザから与えられた検索文の意味合いを知る対話制御部
１３と、この対話制御部１３の解析結果から検索条件を
知り、マルチメディアデータベース部１１から目的のマ
ルチメディア情報を検索するための検索制御部１２と、
検索結果をユーザヘ提示するマルチメディア情報提示部
１４とを図１の構成に追加した構成である。

【００９７】なお、上記対話制御部１３は、検索文を自
然言語形態で受け取ることができ、自然言語形態の検索
文の意味内容を解析してどのような検索をするのかを検
索制御部１２に指示することができる。また、マルチメ
ディア情報提示部１４は、検索制御部１２から受け取っ
たデータベースの検索結果やユーザの検索要求内容につ
いて、適切な形態に変換してユーザヘ提示する機能を持
たせてある。

【００９８】図１１は、図１０のマルチメディア情報収
集装置において、第１の実施形態と同様の処理動作によ
り収集／対応付けされたマルチメディア情報を、マルチ
メディアデータベース部１１から検索する際の処理動作
を説明するためのフローチャートである。

【００９９】マルチメディアデータベース部１１には、
マルチメディア情報収集部１が収集したマルチメディア
情報が、情報認識／解析部３によりそれぞれ対応付けら
れて、例えば、上記第１の実施形態にて述べた図８のよ
うな形式で蓄積されている。

【０１００】ユーザが何らかの検索文入力手段（例え
ば、音声による自然言語入力）により検索文を入力する
と（図１１のステップＳ２１）、対話制御部１３が検索
文を解析し、解析結果を検索制御部１２へ送る（図１１
のステップＳ２２）。

【０１０１】検索制御部１２では、解析された検索文を
もとに、マルチメディアデータベース部１１を検索し、
目的のマルチメディア情報を搬出する（図１１のステッ
プＳ２３）。検索されたマルチメディア情報は、マルチ
メディア情報提示部１４により、検索文に応じて適切な
提示形態に変換されてユーザヘ提示される（図１１のス
テップＳ２４）。

【０１０２】例えば、“丸閥さんが出た企画会議の出席
者はだれ？”という検索文が対話制御部１３に入力され
たとする。すると対話制御部１３ではこの自然言語形態
の検索文の内容を解析して、当該“丸閥さんが出た企画
会議の出席者はだれ？”という内容から、“丸閥さんが
出た企画会議の出席者を検索する”と云う意味であるこ
とを検索制御部１２に知らせる。当該検索制御部１２は
対話制御部１３によるこのような解析結果を知って、そ
の条件に当てはまるデータの検索を開始する。

【０１０３】すなわち、検索制御部１２はまず、はじめ
に、マルチメディアデータベース部１１から“丸閥さん
のデータベース（図８参照）”を抽出する。図８に示す
内容を持つこの“丸閥さんのデータベース”の内容か
ら、検索制御部１２は検索文中の“企画会議”は“７月
１２日の新規事業企画会議”であると判断し、次に“７
月１２日の新規事業企画会議”というキーワードですべ
てのデータベースを検索し、出席者のデータを抽出す
る。

【０１０４】検索制御部１２は、これらの抽出データを
マルチメディア情報提示部１４に渡す。

【０１０５】マルチメディア情報提示部１４では、検索
されてきた複数のデータを、検索要求に対して適切な提
示形態に変換して表示する。図１２はその一例である。

【０１０６】すなわち、図１２において８１は検索文の
内容である。この検索文８１に対する検索結果として、
会議の情報８２、顔写真付きの各出席者の情報８３が一
覧表示される。各出席者の顔写真または氏名を選択する
と、その出席者に関する情報を参照することができる。

【０１０７】図１３はその一例で、その出席者の顔写真
９１、氏名および所属９２、過去の出席会議の一覧９
３、各会議における関連情報へのリンクボタン９４など
が表示される。

【０１０８】各リンクボタンを選択することにより、過
去に収集した情報を参照することができる。例えば、発
言内容を選択すると、会議中のその人物の発言内容がそ
のまま再生されるか、またはテキストに変換されたもの
が表示され、撮影画像を選択すると、会議中にその人物
を撮影した、文字／図形メモ付きの画像が表示される。

【０１０９】またさらに、“意見交換会でＯ×Δの発言
をしたのはだれ？”という別の検索文１０１が入力され
た場合、対話制御部１３は“意見交換会でＯ×Δの発言
をした人を検索する”と云う意味であることを知り、こ
れを検索制御部１２に知らせる。当該検索制御部１２は
対話制御部１３によるこのような解析結果を知って、そ
の条件に当てはまるデータの検索を開始する。

【０１１０】すなわち、検索制御部１２は、“意見交換
会”、“Ｏ×Δの発言をした人”と云う条件でデータベ
ース部１１のデータを検索し、これらのキーワードに関
係する項目とその内容を引き出して、マルチメディア情
報提示部１４に渡す。

【０１１１】マルチメディアデータベース部１１には
“意見交換会”で、発言内容が“Ｏ×Δ”である人の氏
名や所属情報などの個人情報がその人の顔写真と共に関
連付けられて保存されているので、検索制御部１２は、
“意見交換会”、“Ｏ×Δの発言をした人”に該当する
人の名を抽出することができ、また、その人の顔写真を
抽出することができる。

【０１１２】検索制御部１２は、検索抽出した当該情報
をマルチメディア情報提示部１４に与えるので、当該マ
ルチメディア情報提示部１４は例えば、図１４に示すよ
うに、発言者を顔写真１０２付きで表示することとな
る。また、その時の議題となっていた資料と、その発言
の前後の会話等へのリンク情報も検索制御部１２は抽出
してマルチメディア情報提示部１４に与えるので、当該
マルチメディア情報提示部１４は図１４のように、発言
者氏名（この例では発言者氏名として“鹿九五郎”なる
人名がその人の所属情報“株式会社……”と共に表示さ
れている）とその顔写真１０２の他に、その時の議題と
なっていた資料へのリンクのためのボタン１０３ａや、
その発言の前後の会話等へのリンクのための操作ボタン
１０３ｂや、議事録へのリンクのための操作ボタン１０
３ｃも画面表示することとなる。

【０１１３】従って、ユーザは画面上のこれらの操作ボ
タン１０３ａ〜１０３ｃを必要に応じて操作することに
より、当該リンクを利用することができ、この操作ボタ
ンの操作により、検索制御部１２はリンク先の情報をマ
ルチメディアデータベース部１１から読み出してマルチ
メディア情報提示部１４に画面表示するように制御する
ので、これによりユーザは必要に応じて資料を参照した
り、会議を再生することが簡単にできるようになる。

【０１１４】以上説明したように、上記第２の実施形態
によれば、マルチメディアデータベースは収集した情報
に関連性に基づくリンクが張られた構成としており、デ
ータベースの検索のための検索制御部と検索結果の表示
等を行うマルチメディア情報提示部を設けて第１の実施
形態同様の処理動作にてマルチメディア情報を収集対応
づけしたマルチメディアデータベース部は、１または複
数の条件により検索することが可能である。

【０１１５】対話制御部１３を介して入力された自然言
語形態の検索文を解析し、その解析結果を検索制御部１
２に渡して当該解析結果の内容に基づいてデータベース
の検索を行い、マルチメディア情報提示部１４が検索要
求内容や検索結果について、適切な形態に変換してユー
ザヘ提示する。

【０１１６】そのため、ごく自然な対話の形式での問い
かけで、様々なメディアの情報をデータベースから検索
することができるので、従来の情報収集・検索装置以上
の非常に有用な道具となる。

【０１１７】尚、このマルチメディアデータベースは、
任意の記憶媒体に記憶されているものをユーザが別途入
手し、本発明のマルチメディア情報収集装置に組み込
み、いは内部記憶装置に複写することにより構成されて
も良い。また、上記各実施形態に記載した手法は、コン
ピュータに実行させることのできるプログラムとして、
磁気ディスク（フロッピーディスク、ハードディスクな
ど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導
体メモリなどの記録媒体に格納して頒布することもでき
る。また、サーバなどにこのプログラムを格納してお
き、ネットワークを介して接続されたコンピュータに転
送することで、そのコンピュータにプログラムを頒布す
る頒布形態にも当然、適用することができる。

【０１１８】また、上記第２の実施形態では、検索要求
の例としてテキストによる自然言語文章を中心に説明し
たが、必ずしもこれに限定されるわけではない。例え
ば、顔画像や音声であっても良い。ただし、顔画像の場
合には、図１０の検索制御部１２に顔認識部を、音声の
場合には音声認識部を、それぞれ付け加える必要があ
る。

【０１１９】上記第１の実施形態、第２の実施形態にお
いて、認識領域指定の図形の描画を行う際には、例えば
ペン入力等の図形入力手段を用いることを例に説明して
きたが、指に何らかの動き検出手段を装着して指の動作
で描画する方法、音声により描画を制御する方法、あら
かじめ描画されている図形に認識領域をあわせて画像を
撮影する方法など、ペン入力による図形描画以外の方法
による認識領域指定方法であっても良い。

【０１２０】

【発明の効果】以上、詳述したように、本発明によれ
ば、マルチメディア情報収集の際にマークを付けること
により、認識領域を特定すると共に、そのマークの属性
に応じた認識を行う他のメディアと対応付けて記録し、
また、その認識結果を手掛かりに検索を行うことができ
るなど、ユーザに負担をかけることなく、マルチメディ
ア情報の収集および検索を行うことができるようにした
マルチメディア情報収集装置およびそのプログラムを記
録した媒体を提供できる。

【図面の簡単な説明】

【図１】本発明を説明するための図であって、本発明の
第１の実施形態に係るマルチメディア情報収集装置の構
成を示すブロック図。

【図２】本発明を説明するための図であって、図１のマ
ルチメディア情報収集装置の処理動作を説明するための
フローチャート。

【図３】本発明を説明するための図であって、図１のマ
ルチメディア情報収集装置の前面操作部の構成例を示し
た図。

【図４】本発明を説明するための図であって、本発明に
おける情報表示部に表示されている撮影済みの画像に指
定認識領域として枠形状が四角形のマークをつけた例を
示した図。

【図５】本発明を説明するための図であって、本発明に
おける情報表示部に表示されている撮影済みの画像に指
定認識領域として四角形をつけた例を示した図。

【図６】本発明を説明するための図であって、本発明に
おける情報表示部に表示されている撮影済みの画像に指
定認識領域として円をつけた例を示した図

【図７】本発明を説明するための図であって、本発明に
おける指定された認識領域の属性を選択する属性選択部
の例を示した図。

【図８】本発明を説明するための図であって、本発明に
おけるマルチメディアデータベース部に格納されている
情報の例を示した図。

【図９】本発明を説明するための図であって、本発明に
おける話者認識部、音声認識部により、会談出席者の発
言内容を自動で記憶する例を示した図。

【図１０】本発明を説明するための図であって、本発明
の第２の実施形態に係るマルチメディア情報収集管理装
置の構成を示すブロック図。

【図１１】本発明を説明するための図であって、本発明
の第２の実施形態における図１０のマルチメディア情報
収集管理装置の処理動作を説明するためのフローチャー
ト。

【図１２】本発明を説明するための図であって、本発明
の第２の実施形態においてマルチメディア情報提示部
が、検索結果を一覧表示した例を示した図。

【図１３】本発明を説明するための図であって、本発明
の第２の実施形態においてマルチメディア情報提示部
が、検索結果の詳細を表示した例を示した図。

【図１４】本発明を説明するための図であって、本発明
の第２の実施形態においてマルチメディア情報提示部
が、検索結果を表示した例を示した図。

【符号の説明】

１…マルチメディア情報収集部 ２…マルチメディア対応記憶部 ３…情報認識／解析部 ４…対象抽出部 ５…解析制御部 ６…文字認識部 ７…音声認識部 ８…顔認識部 ９…話者認識部 １０…人名抽出部 １１…マルチメディアデータベース部 １２…検索制御部 １３…対話制御部 １４…マルチメディア情報提示部 ２１…情報操作部 ２２…デジタルカメラレンズ部 ２３…デジタルカメラシャッターボタン部 ２４…マイクロフォン部 ２５…マイクロフォン録音ボタン部 ２６…スピーカ部 ２７…文字入力ボタン部 ２８…図形入力ボタン部 ２９…認識領域指定ボタン部(四角形領域) ３０…認識領域指定ボタン部(円形領域) ３１…情報表示部 ４１…認識指定領域 ４２…認識指定領域 ４３…名刺 ４４…認識指定領域３ ５１…属性選択部 ６１…認識された顔 ６２…名刺から抽出した氏名 ６３…連絡先表示ボタン ６４…会議名 ６５…発奮内容表示／再生ボタン ６６…議事録表示／再生ボタン ６７…撮影画像表示ボタン ７１…話者認識部により認識された発言者の名前 ７２…音声認識部により認識された発言の内容 ８１…入力された検索文 ８２…検索結果の会議の情報 ８３…検索結果の一覧表示 ９１…検索結果の人物の顔画像 ９２…検索結果の人物の氏名および所属 ９３…検索結果の人物が過去に出席した会議名 ９４…各関連情報へのリンクボタン １０１…入力された検索文 １０２…検案結果の人物の顔画像 １０３…検索結果の発言に関連する情報へのリンクボタ
ン

Claims (10)

【特許請求の範囲】
1. 【請求項１】各種メディアの情報を収集するマルチメデ
   ィア情報収集手段と、 このマルチメディア情報収集手段により収集された各種
   メディアの情報を所要の関連のあるものについては対応
   付けて前記マルチメディア対応記憶手段に記憶させるマ
   ルチメディア対応記憶手段と、 このマルチメディア対応記憶手段に対応づけられて記憶
   されている情報を抽出して認識し、解析してその抽出し
   た情報に関係する個人を特定する情報認識／解析手段
   と、 前記情報認識／解析手段が解析した情報を前記マルチメ
   ディア対応記憶手段に記憶された情報と対応させて蓄積
   するマルチメディアデータベースと、を具備したことを
   特徴とするマルチメディア情報収集管理装置。
2. 【請求項２】前記マルチメディア情報収集手段には、撮
   像手段を設けると共に、この撮像手段にて撮像した被写
   体の画像をマルチメディア情報として収集し、この収集
   した画像のマルチメディア情報を表示手段に画像表示さ
   せる機能手段と、この表示させた画像の所望領域に人為
   的指示に基づいて認識領域を示すマークを付与する機能
   手段と、この付与したマークを当該マルチメディア情報
   中に記録させるべく制御する機能手段とを設け、 また、前記情報認識／解析手段には、前記マルチメディ
   ア情報収集手段が情報収集時にマルチメディア情報中に
   記録したマークをもとに、認識／解析対象を抽出する対
   象抽出手段を具備したことを特徴とする請求項１に記載
   のマルチメディア情報収集管理装置。
3. 【請求項３】前記マルチメディア情報収集手段により付
   与する前記マークは形状に応じて属性を持たせると共
   に、 前記対象抽出手段は抽出したマークの属性に対応して、
   認識／解析対象の認識解析に使用する知識辞書や認識／
   解析法を変更制御する解析制御手段を具備したことを特
   徴とする請求項２に記載のマルチメディア情報収集管理
   装置。
4. 【請求項４】前記解析制御手段には画像中の文字を認識
   するための文字認識手段を具備させ、前記文字認識手段
   が抽出した結果を見出しとして、文字認識の対象となっ
   たマルチメディア情報と対応づけられた情報を前記マル
   チメディアデータベースに蓄積することを特徴とする請
   求項３に記載のマルチメディア情報収集管理装置。
5. 【請求項５】前記解析制御手段には、画像や他のメデイ
   アに対応して収集された音声を認識する音声認識手段を
   具備させ、当該音声認識手段が抽出した結果を見出しと
   して、音声認識の対象となったマルチメディア情報と対
   応づけられた情報を前記マルチメディアデータベースに
   蓄積する構成とすることを特徴とする請求項３に記載の
   マルチメディア情報収集管理装置。
6. 【請求項６】前記解析制御手段には、画像中の顔を認識
   するための顔認織手段を具備させ、当該顔認識手段が認
   識した結果に基づき、前記マルチメディアデータベース
   への蓄積を制御する構成とすることを特徴とする請求項
   ３に記載のマルチメディア情報収集管理装置。
7. 【請求項７】前記解析制御手段には、画像中の文字を認
   識するための文字認識手段と、前記文字認識手段が認識
   した結果より、人名を抽出する人名抽出手段とを具備さ
   せ、前記文字認識手段による認識の対象となったマルチ
   メディア情報と対応づけられたマルチメディア情報に対
   し、前記顔認識手段が顔を認識した時、前記人名抽出手
   段の抽出結果を見出しとして、顔認識手段、文字認識手
   段それぞれの認識結果を対応させて前記マルチメディア
   データベースに記憶する構成とすることを特徴とする請
   求項６に記載のマルチメディア情報収集管理装置。
8. 【請求項８】前記情報認識／解析手段には、画像や他の
   メディアに対応して収集された音声より話者を認識する
   話者認識手段を具備させ、当該話者認識手段が抽出した
   詰果を見出しとして、話者認識の対象となったマルチメ
   ディア情報と対応づけられた情報を前記マルチメディア
   データベースに蓄積する構成とすることを特徴とする請
   求項３に記載のマルチメディア情報収集管理装置。
9. 【請求項９】各種メディアの情報を収集するステップ
   と、 この収集した各種メディアの情報を、所要の関連のある
   ものについては対応付けてマルチメディア対応記憶手段
   に記憶させるステップと、 前記マルチメディア対応記憶手段に対応づけられて記憶
   されている情報を抽出して認識し、解析してその抽出し
   た情報に関係する個人を特定する情報認識／解析ステッ
   プと、 前記情報認識／解析ステップにて解析した情報を前記マ
   ルチメディア対応記憶手段に記憶された情報および対応
   付け情報と共にマルチメディアデータベースに蓄積する
   ステップと、を具備したことを特徴とするコンピュータ
   で読み取り及び実行可能なプログラムを格納した媒体。
10. 【請求項１０】前記各種メディアの情報を収集するステ
    ップにおいて、被写体の画像をマルチメディア情報のひ
    とつとして収集させ、この収集させた画像のマルチメデ
    ィア情報を表示手段に画像表示させると共に、この表示
    させた画像の所望領域に人為的指示に基づいて認識領域
    を示すマークを付与させることにより、得たこの付与マ
    ークを当該マルチメディア情報中に記録させ、 また、前記情報認識／解析手ステップにおいては、前記
    マルチメディア情報中に記録したマークをもとに、認識
    ／解析対象を抽出させる機能を、更に備えることを特徴
    とする請求項９に記載のコンピュータで読み取り及び実
    行可能なプログラムを格納した媒体。