JP2003242150A - 情報処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 きめ細かな検索処理を可能にすると同時に、
記憶した情報の利用価値を高めることも可能にする情報
処理装置を提供すること。 【解決手段】 外部情報を取り込む情報入力手段と、取
り込んだ外部情報をユーザに視覚的に表示する表示手段
と、表示された外部情報の任意の領域情報を指定する領
域指定手段と、指定された領域情報に関する付加情報を
入力する付加情報入力手段と、外部情報に領域情報及び
付加情報を関連づける制御手段と、関連づけられた外部
情報と領域情報及び付加情報とを記憶する記憶手段と、
付加情報をインデックスとして、記憶手段に記憶されて
いる外部情報及び領域情報を検索する検索手段と、検索
された外部情報及び領域情報に付加情報を合成して出力
する出力手段とを備える。

Description

【発明の詳細な説明】 【０００１】 【発明の属する技術分野】本発明は、例えばデジタルカ
メラ等の撮像装置により撮影された複数の画像の中から
所望のものを検索する処理に適用して好適な情報処理装
置に関する。 【０００２】 【従来の技術】近年の記憶メディアの大容量化に伴い、
デジタルカメラ等の撮像装置は多大な数の画像を撮像、
記憶することができるようになった。このような背景か
ら、最近では、撮影した複数の画像の中から所望のもの
を簡単に見つけ出すことができるように、例えば、特開
２０００−２７６４８９号公報に開示されているよう
な、各画像全体について手書のインデックスを付与し、
このインデックスを参照して画像を検索することを可能
にする情報検索技術が提案されている。 【０００３】 【発明が解決しようとする課題】しかしながら、このよ
うな従来までの情報検索技術は、例えば「皆で登山をし
た時の写真」といったように、画像全体の内容について
付与されたインデックスを参照して検索を行う構成とな
っている。そのために、例えば、撮影対象物の背後にあ
る動植物、建物、景色等、画像の中に含まれる様々な情
報を検索に利用して、精度の高い、きめ細かな検索を行
うことができない。 【０００４】本発明は、このような課題を解決するため
になされたものであり、きめ細かな検索処理を可能にす
ると同時に、記憶した情報の利用価値を高めることも可
能にする情報処理装置を提供することを目的とする。 【０００５】 【課題を解決するための手段】本発明の一実施形態に係
る情報処理装置は、外部情報を取り込む情報入力手段
（1）と、取り込んだ前記外部情報を表示する表示手段
（2）と、表示された前記外部情報の任意の領域情報を
指定する領域指定手段（3）と、指定された前記領域情
報に関する付加情報を入力する付加情報入力手段（3）
と、前記外部情報に前記領域情報及び前記付加情報を関
連づける制御手段（4）と、関連づけられた前記外部情
報と前記領域情報及び前記付加情報とを記憶する記憶手
段（5）と、前記付加情報をインデックスとして、前記
記憶手段(5)に記憶されている前記外部情報及び前記領
域情報を検索する検索手段（6）と、検索された前記外
部情報及び前記領域情報と前記付加情報とを合成して出
力する出力手段（7）とを備え、前記付加情報入力手段
（3）は、前記付加情報を手書で入力する手書入力手段
（10）と、前記付加情報を音声で入力する音声入力手段
（25）と、前記付加情報を感知して入力するセンサ入力
手段（27）とのうち、少なくとも１つを備えることを特
徴とする。 【０００６】また、好ましくは、前記領域指定手段
（3）は、前記任意の領域情報をユーザによる手書で指
定する手書入力手段（10）を備えることを特徴とする。 【０００７】なお、情報入力手段（1）は、外部情報を
静止画あるいは動画のうち少なくとも１つの形態で取り
込む。 【０００８】また、「領域情報」は、領域の基点座標、
領域形状、領域サイズ等情報のうち、少なくとも１つの
情報から構成される。 【０００９】また、領域指定手段（3）と付加情報入力
手段（3）とを一体として構成し、任意の領域及び付加
情報を切替て入力できるようにすることもできる。 【００１０】また、センサ入力手段（27）が入力する付
加情報としては、温度、湿度、ＰＨ値、３次元位置情
報、高度、気圧、風向、風速、電磁界強度、イオン濃
度、窒素酸化物濃度、塩分濃度等の情報のうち少なくと
も１つの情報を含む。 【００１１】このような構成によれば、取り込んだ外部
情報の任意の領域を指定し、指定した領域に関する付加
情報を設定し、この付加情報をインデックスとして外部
情報の検索処理を行うので、一つの外部情報を領域毎に
活用して、各領域を参照して複数の外部情報の中から所
望のものをきめ細かに検索することができる。 【００１２】 【発明の実施の形態】本発明の一実施形態による情報処
理装置は、図１に示すような、デジタルカメラで収集し
た画像情報を専用のサーバに蓄積し、家庭の端末からサ
ーバにアクセスして検索を行う情報処理システムに適用
することができる。 【００１３】［情報処理装置の構成］本実施形態におけ
る情報処理装置は、図１に示すように、情報入力手段
１、表示手段２、指定手段・付加情報入力手段３、制御
手段４、記憶手段５、検索手段６、及び出力手段７を備
える。なお、ここではこれらの構成要素を個別に構成し
た例を示しているが、情報入力手段１、表示手段、指定
手段・付加情報入力手段３、及び制御手段４と、記憶手
段５と、検索手段６及び出力手段７とを統合して１つの
ハードウェア装置により構成してもよい。 【００１４】情報入力手段１は、動画／静止画切替機能
を有するＣＣＤ（Charge-Coupled Device）カメラ８を
備え、ユーザからの撮影指示に応じて、風景や物体等の
視覚情報を静止画像若しくは動画像として取り込む。な
お、ユーザは、動画／静止画切替機能を操作して、静止
画像又は動画像のどちらの形態で視覚情報を取り込むの
かを情報入力手段１に指示することができる。 【００１５】表示手段２は、入力ペン１０による手書入
力に対応した液晶モニタ９を備え、情報入力手段１が取
り込んだ画像情報や、ユーザが入力ペン１０を操作して
入力した各種情報を表示出力する。 【００１６】指定手段・付加情報入力手段３は、領域指
定処理モードと文字入力処理モードの動作モードの切替
えが可能な入力ペン１０により構成される。この入力ペ
ン１０を指定手段として利用する場合は、ユーザは、入
力ペン１０を領域指定処理モードに切替え、表示手段２
に表示出力されている画像内の任意の領域を指定する。
一方、入力ペン１０を付加情報入力手段として利用する
場合は、ユーザは、入力ペン１０を文字入力処理モード
に切替え、指定した画像領域に関連する付加情報（以下
「メモ情報」と表記する）を文字入力する。 【００１７】制御手段４は、画像メモリ１１、入力モー
ド判定部１２、指定領域判定部１３と文字認識部１４か
ら成るデータ識別部１５、情報メモリ１６、付加情報設
定部１７、及び通信制御部１８を備え、情報入力手段１
が取り込んだ画像情報、指定手段・付加情報入力手段３
を介して指定された画像情報内の指定領域に関する情報
（以下「指定領域情報」と略記する）、及び各指定領域
に関するメモ情報を取得すると共に、画像情報に指定領
域情報とメモ情報とを関連付けさせてこれらの情報を記
憶手段５に送信する。なお、本実施形態においては、上
記指定領域情報は、領域の基点座標、領域形状、領域サ
イズについての情報から構成される。 【００１８】記憶手段５は、情報サーバ１９と情報サー
バ１９に接続された磁気記憶式の記憶装置２０を備え、
画像情報に、指定領域情報及びそのメモ情報を関連付け
して記憶する。 【００１９】検索手段６は、検索端末２１を備え、情報
サーバ１９にアクセスしてメモ情報をインデックスとし
て記憶手段５内に記憶された画像情報と指定領域情報を
検索する。出力手段７は、画像処理装置２２、出力モニ
タ装置２３、及び多色印刷方式のプリンタ２４を備え、
検索により抽出された画像情報、指定領域情報、及びメ
モ情報を合成出力する。 【００２０】このように、図１に示す情報処理装置は、
情報入力手段１により取り込まれた画像内の任意の領域
に設定されたメモ情報を参照して、複数の画像の中から
所望のものを検索することができるように構成されてい
る。 【００２１】［情報処理装置の動作］次に、撮影した画
像情報内の任意の領域にメモ情報を設定する情報設定処
理と、設定したメモ情報を利用して複数の画像の中から
所望のものを検索する情報検索処理を実行する際の上記
情報処理装置の動作を順に説明する。 【００２２】《情報設定処理》情報設定処理を実行する
際は、撮影対象物方向にＣＣＤカメラ８を向けて撮影ボ
タンを押す。撮影ボタンが押されると、ＣＣＤカメラ８
は、視覚情報を静止画像として取り込み、取り込んだ画
像情報を画像メモリ１１内に記憶する。そして、制御手
段４は画像メモリ１１内に記憶した画像情報を液晶モニ
タ９に出力し、液晶モニタ９は画像情報を表示出力す
る。 【００２３】液晶モニタ９に画像情報が表示されると、
ユーザは、入力ペン１０の入力モードを領域指定モード
に切替える。入力モードが領域指定モードに切替えられ
ると、入力ペン１０は、入力モードが領域指定モードに
切替えられたことを入力モード判定部１２に通知する。 【００２４】次に、ユーザは、入力ペン１０を操作して
液晶モニタ９に表示された画像内の任意の領域を指定す
る。具体的には、入力ペン１０は、ユーザにより操作さ
れると、ペン先の座標情報の軌跡を検知し、ペン先の座
標情報を入力モード判定部１２に出力する。そして、ペ
ン先の座標情報が入力されると、入力モード判定部１２
は、ペン先の座標情報を指定領域判定部１３に出力す
る。なお、この処理の際、液晶モニタ９は、図２（ａ）
に示すように、入力モード毎に予め指定された色で入力
ペン１０のペン先の軌跡を画像に重ねて表示して、ユー
ザが指定した領域を表示出力する。 【００２５】入力モード判定部１２からペン先の座標情
報が入力されると、指定領域判定部１３は、ペン先の座
標情報を曲線又は直線で囲まれた図形に置き換えて、ユ
ーザが指定した画像内の領域を認識する。なお、指定領
域判定部１３は、画像解析により予め抽出された対象物
の中から指定された領域内により多く含まれる対象物を
選択するようにしてユーザが指定した領域を認識しても
よい。 【００２６】そして、ユーザが指定した領域を認識する
と、指定領域判定部１３は指定領域情報を情報メモリ１
６に記憶し、液晶モニタ９は、図２（ｂ）に示すよう
に、ペン先の軌跡表示を消去した後、指定領域判定部１
３が認識した領域を画像に重ねて表示する。ここで、複
数の画像間で同じ指定領域情報を用いる場合には、ユー
ザは、既に情報メモリ１６内に記憶された指定領域情報
を呼び出して利用してもよい。なお、指定領域判定部１
３が認識した領域が意図するものでない場合、ユーザは
入力ペン１０を操作して再び領域指定を行う。 【００２７】指定領域判定部１３により認識された領域
が意図するものである場合、ユーザは、入力ペン１０の
入力モードを文字入力モードに切替える。入力モードが
文字入力モードに切替えられると、入力ペン１０は、入
力モードが文字入力モードに切替えられたことを入力モ
ード判定部１２に通知する。 【００２８】次に、ユーザは、入力ペン１０を操作して
指定した領域に関するメモ情報を入力する。入力ペン１
０は、ユーザにより操作されると、ペン先の座標情報の
軌跡を検知し、ペン先の座標情報を入力モード判定部１
２に出力する。そして、入力モード判定部１２は、ペン
先の座標情報を文字認識部１４に出力する。なお、この
処理の際、液晶モニタ９は、領域指定時の処理と同様、
入力モード毎に予め指定された色で入力ペン１０のペン
先の軌跡を画像に重ねて表示する。 【００２９】入力モード判定部１２からペン先の座標情
報が入力されると、文字認識部１４は、ペン先の座標情
報を参照してユーザが入力したメモ情報を構成する文字
列を認識する。そして、文字列を認識すると、文字認識
部１４はメモ情報を領域情報と関連付けして情報メモリ
１６に記憶し、液晶モニタ９は、領域指定時と同様、文
字認識部１４が抽出した文字列を画像に重ねて表示す
る。なお、抽出された文字が意図するものでない場合に
は、ユーザは再度入力ペン１０を操作して文字入力を行
う。また、複数の画像間で同じメモ情報を用いている場
合には、ユーザは、予め情報メモリ１６内に記憶された
メモ情報を呼び出して利用してもよい。 【００３０】以上のようにして情報メモリ１６内に指定
領域情報とそのメモ情報が記憶されると、付加情報設定
部１７は、図３に示すような、検索の際にインデックス
として利用するメモ情報の数（インデックス数）、例え
ば画像情報のファイル名等が記述される画像情報のリン
ク先、インデックス（メモ情報）、及びそのインデック
スと関連付けられた指定領域情報から構成されるデータ
を形成することにより、画像メモリ１１内の画像情報
と、情報メモリ１６内に記憶されている指定領域情報と
メモ情報とを関連付けする。そして、付加情報設定部１
７は、通信制御部１８を介して形成したデータを情報サ
ーバ１９に送信する。情報サーバ１９は、関連付けられ
た画像情報、指定領域情報、及びそのメモ情報を記憶装
置２０内に記憶する。これにより、画像情報内の所望の
領域にメモ情報を設定する情報設定処理は完了する。 【００３１】なお、上記の情報設定処理は取り込む画像
が静止画像である場合の処理であったが、この情報設定
処理は動画像についても同様に行うことができる。具体
的には、取り込む画像が動画像である場合には、追尾処
理を利用することにより指定領域に関連したメモ情報を
シーン毎に設定する。また、表示領域全体についてメモ
情報を設定し、シーンのインデックスとして利用する。 【００３２】《情報検索処理》情報検索処理を実行する
際は、ユーザは、検索端末２１を操作して情報サーバ１
９にアクセスして、所望のメモ情報を選択する。なお、
メモ情報の選択は、例えば、情報サーバ１９がメモ情報
の一覧を出力し、この一覧の中から所望のものをユーザ
に選択させることにより実行してもよいし、また、ユー
ザに所望のキーワードを入力させることにより実行して
もよい。 【００３３】メモ情報が選択されると、情報サーバ１９
は、メモ情報をインデックスとして記憶装置２０の中か
ら選択されたメモ情報に対応する画像情報と指定領域情
報を抽出し、検索端末２１を介して抽出した画像情報と
指定領域情報を画像処理装置２２に送信する。なお、情
報サーバ１９は、抽出した画像情報についてインデック
スとして利用したメモ情報以外のメモ情報を抽出し、画
像処理装置２２に送信するようにしてもよい。 【００３４】画像処理装置２２は、抽出された画像情報
に指定領域情報とメモ情報を合成し、出力モニタ２３又
はプリンタ２４に出力する。ここで、画像処理装置２２
は、例えば図２（ｃ）に示すように、複数の指定領域と
メモ情報を画像情報に合成して出力してもよい。なお、
指定領域の表示方法は、非表示、図形による囲み、矢印
等から選択することができることが望ましい。また、画
像処理装置２２は、ユーザの指示に応じて、図２（ｄ）
に示すように指定領域のみの画像情報をメモ情報と共に
出力するようにしてもよい。 【００３５】なお、上記情報処理装置においては、付加
情報入力手段として、入力ペン１０を利用した文字認識
技術によってメモ情報を入力することとしたが、例えば
図４に示すように、ユーザの音声を収集する音声マイク
２５を備え、音声認識部２６によりユーザの音声を認識
し、認識したユーザの音声をメモ情報として情報メモリ
１６に記憶にしてもよい。 【００３６】さらに、例えば図５に示すように、温度、
湿度、ＰＨ値、３次元位置情報、高度、気圧、風向、風
速、電磁界強度、イオン濃度、窒素酸化物（ＮＯｘ）濃
度、塩分濃度を測定するセンサ２７を設け、測定データ
編集部２８によりセンサ２７の測定値を認識し、認識し
た測定値を付加情報として情報メモリ１６に記憶するよ
うにしても良い。 【００３７】このような構成によれば、例えば図６に示
すように、化学実験等の複数の物質を並べて比較する際
に、各物質の視覚情報と温度、ＰＨを始めとする物理的
・化学的なデータを対応付けて保存し、視覚的に分かり
やすい比較資料を容易に作成することができる。 【００３８】以上の説明から明らかなように、この実施
形態の情報処理装置は、取り込んだ画像情報の任意の領
域についてメモ情報を設定し、このメモ情報をインデッ
クスとして画像情報の検索処理を行うので、１つの画像
を領域毎に活用して、各領域を参照したきめ細かな検索
処理を行うことが可能となる。 【００３９】また、この実施形態の情報処理装置は、検
索された画像について、同一画像内の他の領域に関する
情報や関連するメモ情報を取り出すので、周辺の情報を
参照して画像を編集する等して、情報を幅広く活用する
ことが可能となる。 【００４０】さらに、この実施の形態の情報処理装置
は、画像情報を取り込む際にセンサ入力情報を付加情報
として関連付けて保存するので、情報取り込み時の諸条
件の設定を容易に行うことができる。また、これらの付
加情報は情報検索時の絞込み条件として有効的であるの
で、目的の情報を速やかに得ることも可能となる。さら
に、画像情報と付加情報の蓄積を容易に行うことができ
るので、統計的にも利用価値の高い情報収集が可能とな
る。 【００４１】以上、本発明の実施形態について詳細に説
明したが、本発明は、その精神または主要な特徴から逸
脱することなく、他の色々な形で実施することができ
る。そのため、前述の実施例はあらゆる点で単なる例示
に過ぎず、限定的に解釈してはならない。本発明の範囲
は、特許請求の範囲によって示すものであって、明細書
本文には何ら拘束されない。さらに、特許請求の範囲の
均等範囲に属する変形や変更は、全て本発明の範囲内の
ものである。 【００４２】 【発明の効果】本発明によれば、きめ細かな検索処理を
可能にすると同時に、記憶した情報の利用価値を高める
ことができる。

【図面の簡単な説明】 【図１】本実施形態による情報処理装置の構成を示す模
式図である。 【図２】本実施形態による情報処理装置の情報処理方法
を説明するための模式図である。 【図３】画像情報、指定領域情報、及びメモ情報の関連
付けを説明するための図である。 【図４】図１に示す情報処理装置の応用例を示す模式図
である。 【図５】図１に示す情報処理装置の他の応用例を示す模
式図である。 【図６】図５に示す情報処理装置を利用して画像情報に
付加情報を合成出力した様子を示す図である。 【符号の説明】 １....情報入力手段 ２....表示手段 ３....指定手段・付加情報入力手段 ４....制御手段 ５....記憶手段 ６....検索手段 ７....出力手段 ８....動画／静止画切替え付きＣＣＤカメラ ９....ペン入力対応液晶モニタ １０....領域指定／文字入力切替付き入力ペン １１....画像メモリ １２....入力モード判定部 １３....指定領域判定部 １４....文字認識部 １５....データ識別部 １６....情報メモリ １７....付加情報設定部 １８....通信制御部 １９....情報サーバ ２０....記憶装置 ２１....検索端末 ２２....画像処理装置 ２３....出力モニタ ２４....プリンタ ２５....音声マイク ２６....音声認識部 ２７....センサ ２８....測定データ編集部

Claims (1)

1. 【特許請求の範囲】 【請求項１】 外部情報を取り込む情報入力手段と、 取り込んだ前記外部情報を表示する表示手段と、 表示された前記外部情報の任意の領域情報を指定する領
   域指定手段と、 指定された前記領域情報に関する付加情報を入力する付
   加情報入力手段と、 前記外部情報に前記領域情報及び前記付加情報を関連づ
   ける制御手段と、 関連づけられた前記外部情報と前記領域情報及び前記付
   加情報とを記憶する記憶手段と、 前記付加情報をインデックスとして、前記記憶手段に記
   憶されている前記外部情報及び前記領域情報を検索する
   検索手段と、 検索された前記外部情報及び前記領域情報と前記付加情
   報とを合成して出力する出力手段とを備え、 前記付加情報入力手段は、前記付加情報を手書で入力す
   る手書入力手段と、前記付加情報を音声で入力する音声
   入力手段と、前記付加情報を感知して入力するセンサ入
   力手段とのうち、少なくとも１つを備えることを特徴と
   する情報処理装置。