JP2001084274A - 画像検索方法および画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】原画像中の人物や物体等の被写体の形状や原画
像に付随する音声情報やメッセージ情報などの特定の情
報をキーとして、画像検索を効率的に行う画像検索方
法、およびこの画像検索方法または原画像中から抽出さ
れる特定の情報を利用する画像処理方法を提供する。 【解決手段】画像に対してこの画像に存在または付随す
る、もしくは存在するとともに付随する特定の情報を抽
出または認識し、得られた特定の情報をそのまま、もし
くは特定の情報の関連情報を、画像の画像データに付属
させて付属情報としてデータベースに記憶し、この付属
情報の少なくとも一部を検索条件として指定し、指定さ
れた検索条件でデータベースを検索し、選び出された記
憶画像データに付属している付属情報との一致度を求
め、所定値以上の一致度を持つ画像を読み出すことによ
り、上記課題を解決する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像検索方法およ
び画像処理方法に関し、より具体的には、画像中から抽
出されたシンプルな図形や人物、物体等の被写体などの
特定の情報や画像に付随する音声情報や文字やマークな
どのメッセージ情報などの特定の情報を、画像の付属情
報としてデータベースに記憶しておいて、それに基づい
て画像を検索する画像検索方法、および、この方法や画
像中から抽出される特定情報を利用する画像処理方法に
関する。

【０００２】

【従来の技術】例えば、人物写真を鑑賞する際に最も注
目される部位は、人物の顔である。そのため、フィルム
などに記録された原画像を印画紙などの複写材料に焼き
付ける場合には、人物の顔が適正な色や濃度に再現され
るように、焼付露光量を決定する必要がある。

【０００３】このため、人物写真では、例えば、特開平
４−３４６３３２号公報に開示されているような方法に
より、カラー原画像を多数の画素に分割し、各画素毎に
Ｒ，Ｇ，Ｂの３色に分解して測光し、この結果に基づい
て、色相および彩度についてのヒストグラムを求めて、
求めたヒストグラムのうち人物の顔に相当する色相およ
び彩度を有する画素が存在する領域を、人物の顔に相当
する領域として切り出し、この領域の測光データから露
光量を決定している。

【０００４】また、特開平６−１６０９９３号公報に
は、人物の顔に相当する領域を抽出する確度を向上させ
るために、画像の外縁に接している領域を背景領域と判
断して除去したり、抽出した領域を線図形化し、抽出し
た領域の周辺に位置している近傍領域の形状および抽出
した領域の形状に基づいて、抽出した領域が人物の顔に
相当する領域であるか否かを判断する技術が示されてい
る。

【０００５】しかしながら、これらの技術では、原画像
中に、例えば、地面や樹木などの肌色に近い色相および
彩度の領域が存在している場合には、この領域を人物の
顔に相当する領域と誤判定する可能性がある。また、こ
れらの領域が人物の顔に相当する領域と隣接している場
合、両者を適正に分離することができず、原画像を適正
な範囲の領域に分割できない可能性がある。

【０００６】

【発明が解決しようとする課題】上述のように、人物の
顔以外の領域を人物の顔に相当する領域と誤判定した場
合や、または、人物の顔に相当する領域に隣接する同様
な色相および彩度を有する領域を分離できない場合に
は、本来の人物の顔が適正に焼付けるための露光量が得
られなくなるという問題があった。

【０００７】このような問題に対しては、注目する部位
の色（色相や彩度）のみでなく、その部位の形状に関す
る情報をも利用することが有効と考えられる。すなわ
ち、人物の顔に相当する領域であれば、概ね、楕円形な
いし卵型の形状を有すると考えられるので、色に関する
情報に加えて、このような特別な形状を有することを、
抽出する際の条件とすればよい。

【０００８】このように、原画像中の被写体の形状に関
する情報は、画像検出ないしは画像検索において極めて
重要な意味を持っている。なお、これに関しては、本出
願人の出願に係る特開平９−１３８４７１号公報に開示
された技術を参考にすることができる。この技術は、画
像のエッジを検出して人物に相当する領域の輪郭を抽出
し、人物（特に、顔）に相当する領域について、好まし
い色再現を行うことを目的とするものである。

【０００９】この他にも、検索者に対象とする画を描か
せることなく、また、手元にあるいは一覧できる枚数内
に、検索者が望んでいる画像に近い画像がなくとも、検
索者が抽出したいと思っている画像を検索可能とするた
めの、画像検索システムを提供するものとして、例え
ば、特開平７−２１１９８号公報、特開平８−２４９３
５２号公報の記載を参考にすることができる。

【００１０】本発明は、上述の従来技術における、原画
像中の特定の形状をキーとして領域検出を行うという思
想をさらに発展させたもので、その第１の目的とすると
ころは、原画像中の人物や物体等の被写体の形状や原画
像に付随する音声情報やメッセージ情報などの特定の情
報をキーとして、画像検出ないしは画像検索（以下、こ
れらをまとめて画像検索という）を効率的に行う画像検
索方法を提供するところにある。また、本発明の第２の
目的は、上記画像検索方法または上記原画像中から抽出
される特定の情報を利用する画像処理方法を提供するこ
とにある。

【００１１】

【課題を解決するための手段】上記第１の目的を達成す
るため、本発明は、画像に対してこの画像に存在または
付随する、もしくは存在するとともに付随する特定の情
報を抽出、または認識し、得られた特定の情報をそのま
ま、もしくは前記特定の情報の関連情報を、前記画像の
画像データに付属させて付属情報としてデータベースに
記憶し、この付属情報の少なくとも一部を検索条件とし
て指定し、指定された検索条件で前記データベースを検
索し、選び出された前記記憶画像データに付属している
前記付属情報との一致度を求め、所定値以上の一致度を
持つ画像を読み出すことを特徴とする画像検索方法を提
供するものである。

【００１２】ここで、本発明に係る画像検索方法は、画
像に対してＭ（Ｍは１以上）種類の予め定められた特定
の幾何学図形を抽出する処理を適用し、抽出の結果、Ｎ
（Ｎは０以上）個の幾何学図形に対応する、位置と大き
さ、または位置と大きさと向き、または必要に応じてさ
らに色を含む付属情報を、該当する画像のデータに付属
させて記憶し、前記特定の幾何学図形のＬ種類（Ｌは１
〜Ｍ）について、存在の有無、または位置、大きさ、向
きおよび色の少なくとも一つの概略を指定し、前記記憶
させた画像のデータに付属している付属情報との一致度
を求め、所定値以上の一致度を持つ画像を読み出すこと
を特徴とする。

【００１３】また、本発明に係る画像検索方法は、画像
に対してＭ（Ｍは１以上）種類の予め定められた特定の
被写体を抽出する処理を適用し、抽出の結果、Ｎ（Ｎは
０以上）個の被写体に対応する、位置と大きさ、または
位置と大きさと向き、または必要に応じてさらに色を含
む付属情報を、該当する画像のデータに付属させて記憶
し、前記特定の被写体のＬ種類（Ｌは１〜Ｍ）につい
て、存在の有無、または位置、大きさ、向きおよび色の
少なくとも一つの概略を指定し、前記記憶させた画像の
データに付属している付属情報との一致度を求め、所定
値以上の一致度を持つ画像を読み出すことを特徴とす
る。

【００１４】また、本発明に係る画像検索方法は、時間
的に連続性を有する画像に対して、所定の時間またはフ
レーム数の間隔で、前記画像に対して予め定められた特
定の幾何学図形を抽出する処理を適用し、抽出された任
意の幾何学図形についてのフレーム間における位置の比
較に基づき、前記任意の幾何学図形に対応する画像の移
動方向を求め、前記幾何学図形の情報と該幾何学図形に
対応する画像の移動方向からなる付属情報を、該当する
画像のデータに付属させて記憶し、時間的に連続性を有
する画像に対して、所定の時間またはフレーム数の間隔
で、幾何学図形とその動きベクトルの方向の概略を指定
し、前記記憶させた画像のデータに付属している付属情
報との一致度を求め、所定値以上の一致度を持つ画像を
読み出すことを特徴とする。

【００１５】また、本発明に係る画像検索方法は、時間
的に連続性を有する画像に対して、所定の時間またはフ
レーム数の間隔で、予め定められた特定の被写体を抽出
する処理を適用し、抽出された被写体についてのフレー
ム間における位置の比較に基づき、前記被写体に対応す
る画像の移動方向を求め、前記被写体の情報と該被写体
に対応する画像の移動方向からなる付属情報を、該当す
る画像のデータに付属させて記憶し、時間的に連続性を
有する画像に対して、所定の時間またはフレーム数の間
隔で、被写体とその動きベクトルの方向の概略を指定
し、前記記憶させた画像のデータに付属している付属情
報との一致度を求め、所定値以上の一致度を持つ画像を
読み出すことを特徴とする。

【００１６】また、本発明に係る画像検索方法は、音声
情報を有する画像に対して、音声情報を認識し、認識し
た音声情報を、該当する画像のデータに付属させて記憶
し、音声情報を有する画像に対して、音声情報の概略を
指定し、前記記憶させた画像のデータに付属している音
声認識情報との一致度を求め、所定値以上の一致度を持
つ画像を読み出すことを特徴とする。

【００１７】本発明に係る画像検索方法においては、前
記音声情報に加えて、特定の幾何学図形に対応する位置
と大きさ、または位置と大きさと向き、または必要に応
じてさらに色を含む付属情報を付属させることができ、
前記検索条件として特定の幾何学図形の存在の有無、ま
たは位置、大きさ、向きおよび色の少なくとも一つを指
定することができる。また、前記音声情報に加えて、特
定の被写体に対応する位置と大きさ、または位置と大き
さと向き、または必要に応じてさらに色を含む付属情報
を付属させることができ、前記検索条件として特定の被
写体の存在の有無、または位置、大きさ、向きおよび色
の少なくとも一つを指定することができる。

【００１８】また、本発明に係る画像検索方法は、予め
特定の人物Ａ人（Ａは１以上）の顔画像と人物名からな
る人物情報を登録しておき、画像記憶時に、人物抽出お
よび前記人物情報を用いた人物同定処理により、特定人
物の位置と大きさまたは位置と大きさと向き、または必
要に応じてさらに色を含み、あるいは人物の有無のみの
いずれかからなる付属情報を、該当する画像のデータに
付属させて記憶し、検索条件として、特定の人物Ｂ人
（Ｂは１〜Ａ）の位置、大きさ、向きおよび色の少なく
とも一つ、あるいは人物の有無のみのいずれかを指定
し、各記憶画像の付属情報との一致度を求め、所定値以
上の一致度を持つ画像を読み出すことを特徴とする。

【００１９】また、本発明に係る画像検索方法において
は、時間的に連続性を有する画像に対して、所定の時間
またはフレーム数の間隔で、前記人物情報を用いた人物
同定処理により、特定人物の位置と大きさ、または位置
と大きさと向き、または必要に応じてさらに色を含み、
あるいは人物の有無のみのいずれかからなる付属情報
を、該当する画像のデータに付属させて記憶し、時間的
に連続性を有する画像に対する検索条件として、特定の
人物Ｂ人（Ｂは１〜Ａ）の存在の有無、または位置、大
きさ、向きおよび色の少なくとも一つおよびその動きベ
クトルの方向の概略を指定し、各記憶画像の付属情報と
の一致度を求め、所定値以上の一致度を持つ画像を読み
出すことを特徴とする。

【００２０】また、本発明に係る画像検索方法は、音声
情報を有する画像に対して、前記人物情報を用いた人物
同定処理により、特定人物の位置と大きさ、または位置
と大きさと向き、または必要に応じてさらに色を含み、
あるいは人物の有無のみのいずれかからなる付属情報
を、認識した音声情報とともに該当する画像のデータに
付属させて記憶し、音声情報を有する画像に対する検索
条件として、特定の人物Ｂ人（Ｂは１〜Ａ）の存在の有
無、または位置、大きさ、向きおよび色の少なくとも一
つおよび音声情報の概略を指定し、各記憶画像の付属情
報との一致度を求め、所定値以上の一致度を持つ画像を
読み出すことを特徴とする。

【００２１】また、本発明に係る画像検索方法は、メッ
セージ情報を有する画像に対して、前記メッセージ情報
を認識し、認識した前記メッセージ情報を、該当する画
像のデータに付属させて記憶し、前記メッセージ情報を
有する画像に対して、メッセージ情報の概略を指定し、
前記記憶させた画像のデータに付属しているメッセージ
認識情報との一致度を求め、所定値以上の一致度を持つ
画像を読み出すことを特徴とする。ここで、前記メッセ
ージ情報は、テキストデータまたは付随画像データであ
るのが好ましい。

【００２２】また、本発明に係る画像検索方法は、コン
ピュータグラフィックス画像に対して、このコンピュー
タグラフィックス画像を作成する際に用いた編集データ
を、当該コンピュータグラフィックス画像の画像データ
に付属させて記憶し、前記コンピュータグラフィックス
画像に対して、特定の幾何学図形、特定の物体および特
定の色の少なくとも一つの存在の有無、またはその位
置、大きさおよび向きの少なくとも一つにより前記コン
ピュータグラフィックス画像のシーンを指定し、指定さ
れたシーン指定データをコンピュータグラフィックスコ
マンドに変換して、変換されたコンピュータグラフィッ
クスコマンドと選び出された前記記憶画像データに付属
している前記編集データとの一致度を求め、所定値以上
の一致度を持つ画像を読み出すことを特徴とする。

【００２３】ここで、前記コンピュータグラフィックス
画像は、時間的に連続性を有するコンピュータグラフィ
ックス画像であり、前記付属情報は、前記編集データに
加え、前記時間的に連続性を有するコンピュータグラフ
ィックス画像に対して、所定の時間またはフレーム数の
間隔で、前記特定の幾何学図形および前記特定の物体の
少なくとも一つについてのフレーム間における位置の比
較に基づき、前記特定の幾何学図形および前記特定の物
体の少なくとも一つに対応する画像の移動方向を求める
ことによって得られた、前記特定の幾何学図形および前
記特定の物体の少なくとも一つおよびその画像の移動方
向であり、前記検索条件として、前記時間的に連続性を
有するコンピュータグラフィックス画像に対して、所定
の時間またはフレーム数の間隔で、特定の幾何学図形お
よび特定の物体の少なくとも一つの存在の有無、または
その位置、大きさおよび色の少なくとも一つとその動き
ベクトルの方向の概略を指定するのが好ましい。

【００２４】また、本発明に係る画像検索方法におい
て、前記指定工程は、記号、言語および音声の少なくと
も一つによって指定する工程と、指定された記号、言語
および音声の少なくとも一つを前記特定の情報またはそ
の付属情報に自動変換する工程とを有するのが好まし
い。

【００２５】なお、本発明に係る画像検索方法において
は、画像データ中の検索条件に合致するエリアを、時間
的に優先して表示するようにすることが好ましい。ま
た、画像データ中の検索条件に合致するエリアを、それ
以外のエリアとは異なる画像処理により強調表示するよ
うにすることも好ましい。

【００２６】さらに、本発明に係る画像検索方法におい
ては、表示端末の表示能力に応じて画像データの加工を
行うことが好ましい。また、検索した画像エリアをエリ
ア単位で管理し、アクセス頻度に応じて、検索時参照優
先順位を設定するようにすることが好ましい。また、検
索した画像エリアをエリア単位で管理し、アクセス頻度
に応じて、データ記憶時の解像度を設定するようにする
ことが好ましい。

【００２７】また、本発明に係る画像処理方法は、先の
プリント処理時に、プリント画像中の特定図形または特
定被写体を抽出して、抽出された特定図形または特定被
写体を付属情報として画像処理条件、または画像処理条
件および画像データと対応付けてデータベースに記憶し
ておき、再注文プリントの処理時には、先のプリントま
たは撮影画像記録媒体から画像データを読み取って特定
図形または特定被写体を抽出して、これを前記データベ
ースに記憶された付属情報との一致度を求め、所定値以
上の一致度を持つ画像を検索し、検索された画像の先の
プリント処理時における画像処理条件による画像処理を
行うことを特徴とする。

【００２８】また、本発明に係る他の画像処理方法は、
先のプリント処理時に、画像処理条件と画像データとを
対応付けてデータベースに記憶しておき、再注文プリン
トの処理時には、先のプリントから画像データを読み取
り、第１の特定図形または特定被写体を抽出するととも
に、前記データベースに記憶された画像データから第２
の特定図形または特定被写体を抽出し、前記第１の特定
図形または特定被写体と前記第２の特定図形または特定
被写体との一致度を求め、所定値以上の一致度を持つ前
記画像を検索し、検索された画像の前記画像データをこ
れと対応付けて記憶された前記画像処理条件とともに前
記データベースから読み出し、読み出された画像データ
に読み出された画像処理条件による画像処理を行うこと
を特徴とする。

【００２９】また、本発明に係る他の画像処理方法は、
１注文内の複数の画像中の特定図形または特定被写体を
抽出して、前記特定図形または前記特定被写体の位置と
大きさが類似する画像コマについては、プリント仕上が
りを所定範囲内に揃えるように画像処理することを特徴
とする。

【００３０】

【発明の実施の形態】本発明に係る画像検索方法および
画像処理方法を添付の図面に示す好適実施形態に基づい
て以下に詳細に説明する。

【００３１】図１〜図３は、それぞれ本発明の一実施例
に係る画像検索方法を説明するための図である。図１は
画像データ源から供給され、図示しないデータベース等
の記憶手段にその画像データが記憶される原画像１０を
示している。図２は、この原画像１０を検索する際に、
ユーザが、図示しない画像指定装置によって指定され
た、例えば、タブレット上でペンなどを用いて手書きで
入力した、もしくは画像入力装置や画像表示装置にマウ
スやキーボード等を使って入力または表示・入力された
検索用指定パターン２０を示している。また、図３は、
本実施例に係る画像検索方法のプログラムが、パターン
マッチングなどの手法により、図１に示した原画像１０
中から予め定められた特定の幾何学的図形（円，楕円，
３角形，４角形などの図形、以下、特定図形という）を
抽出した結果３０を示している。なお、前述の特開平９
−１３８４７１号公報に開示されているエッジ追跡手法
などを用いて、各種の特定形状を検出することも可能で
ある。

【００３２】図１に示す原画像１０中において、１１は
３角形状の山を、１２および１３はそれぞれ人物の顔お
よび胴体を、１４はビルディングを示している。また、
図２に示す検索用指定パターン２０では、ユーザが、図
１に示す原画像１０を検索する目的で、山を象徴する３
角形２１と、人物を象徴する２つの楕円（すなわち、顔
と胴体）２２，２３と、ビルディングを示す縦型の４角
形２４とを、それぞれが存在すると思われる位置対応に
配置した状況を示している。

【００３３】なお、図３では、図１に示した原画像１０
中から、本実施例に係る画像検索方法のプログラムが抽
出した図形を、実線で示す原画像１０に重ねて点線で示
している（しかし、分かり易くするために部分的に点線
をずらして示している）。ここで、３１は原画像１０中
の３角形状の山１１に対応するもの、３２および３３は
それぞれ同人物の顔と胴体１２および１３に対応するも
の、３４は同ビルディング１４に対応するものである。
また、図３の右端のビルディングの窓部分にかかる４角
形３５と、その下方の楕円形３６は、プログラムが誤検
出したものである。

【００３４】ここで、本発明の画像検索方法の対象とな
る原画像１０は、画像データとして供給されるものであ
れば、特に限定的ではなく、例えば、画像入力装置や画
像取得装置などによって入力または取得された画像、あ
るいは画像供給源から供給された画像、すなわち、従来
型カメラによってネガフィルムやポジフィルム等の写真
フィルムに撮影された画像や写真プリントや印刷画像な
どのようにスキャナ等の画像読取装置によって読み取ら
れる画像、デジタルスチールカメラやビデオカメラなど
によって撮影された画像、Ｘ線撮影装置やＣＲ装置やＣ
Ｔ装置やＭＲＩ装置などのような医療用診断画像撮影装
置で撮影された画像、コンピュータグラフィックス画像
（以下、ＣＧ画像という）などのようなコンピュータ等
で作成された画像などを挙げることができる。また、後
述するように、従来型カメラやデジタルスチルカメラな
どで連続撮影（連写）された時間的に連続性を有する画
像（以下動画像という）、ビデオカメラなどで撮影され
た動画像（以下、ビデオ画像という）、テレビジョン放
送の動画像（以下、テレビ画像という）、このようなビ
デオ画像やテレビ画像やＣＧ画像等のような音声情報を
有する画像、さらには文字、マーク、顔画像、キャラク
タ画像等のメッセージ情報を付した画像などをであって
も良い。

【００３５】なお、図２に示す検索用指定パターン２０
としては、異なる特定図形の組み合わせ、あるいは同じ
特定図形の大きさを変えた組み合わせなどを用いること
ができる。また、ユーザが画像表示装置にマウスやキー
ボードを用いて描画し、または、タブレットなどの画像
指定装置を用いて具体的な形状で直接検索用指定パター
ン２０を指定する以外にも、文字や記号やマークなどの
キーワードで指定したり、音声で入力し、入力された音
声を認識して具体的な形状に自動変換して指定するな
ど、間接的に指定する方法も利用できる。例えば、図２
において、特定図形で入力する代わりに、ユーザが概略
位置をタブレットや画像表示装置上で概略位置を囲み、
この囲みの中に文字や記号やマークを入力する。例え
ば、「山」と文字入力すれば、「山」を三角形探索に自
動変換して処理する。同様に、「ビル」および「人」と
文字入力すれば、それぞれ四角形探索、および顔や人物
探索に変換して処理する。なお、記号やマークで指定す
る場合には、ラボなどのように大量の付属情報付画像の
データベースを保有するサイトやセンタ（データベース
機関）およびそのデータベースを利用するユーザが記号
やマークを設定できるようにしておくのが好ましい。こ
うして、ユーザによる記号指定やマーク指定を特定図形
や後述する特定の主要被写体や人物や物体などに自動変
換する処理を行うことができる。

【００３６】ここで、検索用指定パターン２０として用
いられる特定図形は、画像中に存在する特定の情報に相
当するものであれば良く、上述したように、円，楕円，
３角形，４角形などのようなシンプルな図形が検索が容
易である点から好ましいが、本発明では、これに限定さ
れず、その他の、すなわち五角形以上の多角形、星形や
星型（☆）のようなキャラクタ、異形や、直線や曲線お
よびその組み合わせな等の多様な図形など、画像中に存
在する図形であればどのようなものでも良い。なお、検
索用指定パターン２０は、特定の図形そのものを指定す
るものに限定されず、その図形の中心位置、大きさ、向
き、頂点、色などの少なくとも一つであっても良い。ま
た、本発明に用いられる特定の情報は、上述した特定図
形に限定されず、例えば、後述するように、画像中に存
在する特定の被写体、画像中に存在する特定の人物の顔
画像と画像に付随する特定の人物名からなる人物情報、
画像に付随する音声情報、文字やサイン等の手書き文字
等のテキストデータやマークや撮影画像やＣＧ画像等の
参照用画像等の画像データからなるメッセージ情報、特
定の図形や特定の色や特定の物体を描画するＣＧコマン
ドなどのＣＧ画像を作成する時に用いた編集データ等で
あっても良い。

【００３７】以下、本実施例に係る画像検索方法におけ
る準備動作としての、図１に示す原画像１０中から予め
定められた特定図形を抽出する動作の一実施例の概要
を、図４に示す動作フロー図の一例に従って説明する。

【００３８】図４に示すように、まず、始めに、ステッ
プ４０１で原画像１０が図示しない画像データ供給源か
ら画像データとして読み込まれると、次に、ステップ４
０２で予定められている特定の幾何学的図形（特定図
形）に類似した形状を有する領域が上述したパターンマ
ッチングやエッジ追跡手法などを用いて抽出される。続
いて、ステップ４０３で、抽出領域を関連情報として数
値化し、後述するようなそれらの領域の特性値が算出さ
れて、ステップ４０４で、得られた特性値が付属情報と
して図示されていないデータベースなどの記憶手段内に
記憶される。ここで、ステップ４０２〜４０４において
は、原画像１０中の特定図形の中心位置、サイズ（大き
さ）、向きなどの各種特性値が認識され、順次、付属情
報としてデータベースに記憶される。

【００３９】付属情報として用いられる各種特性値とし
ては、例えば、円の場合は中心位置の他サイズとしての
直径が、楕円であれば中心位置の他サイズとしての長
径，短径が、３角形であれば３つの頂点の座標が、ま
た、４角形であれば中心位置の他Ｘ軸幅，Ｙ軸幅など
が、それぞれ採用される。もちろん、本発明の画像検索
方法においては、上述の各種特性値の取り方自体は何等
限定されるものではない。なお、原画像１０がカラー画
像である場合には、付属情報として特定図形の色等の関
連情報を用いても良い。さらに、本発明において用いら
れる付属情報としては、特定図形の中心位置，サイズ
（大きさ）、向きなどの各種特性値や色等の関連情報に
限定されず、後述するように、特定の被写体や特定の人
物の位置、サイズ、向き、色等の関連情報であっても良
いし、動画像中の特定図形、特定の被写体、特定の人物
の情報および動画像の複数のフレーム間における特定図
形、特定の被写体、特定の人物の移動方向、音声情報自
体、メッセージ情報自体、ＣＧコマンドなどのＣＧ画像
作成用編集データ自体であっても良い。

【００４０】表１に、図１に示した原画像１０から、上
述の特定図形を抽出した結果の一例を示す。表１は、本
実施例に係る画像検索方法のプログラムが、パターンマ
ッチングなどの手法により、原画像１０中から、楕円の
領域を３個、３角形の領域を１個、４角形の領域を２個
抽出したことを示している。なお、前述のように、楕円
の領域の１個、４角形の領域の１個は、誤検出結果であ
る。

【００４１】

【表１】

【００４２】次に、本発明の画像検索方法に従って、上
述の記憶されているデータに基づいて画像を検索する動
作の流れを、図５に基づいて説明する。まず、始めに、
ステップ５０１で検索条件として、検索用指定パターン
２０を読み込む。次のステップ５０２において、読み込
まれた検索用指定パターン２０を前述と同様にして数値
化し、特性値に変換して、テーブル化する。この手順で
は、特定図形の位置、サイズ、向き等の特性値や色など
を直接入力してもよい。次に、ステップ５０３で、原画
像データベース（ＤＢ）から検索対象として原画像を読
み込む。続いて、ステップ５０４でテーブル化した検索
用指定パターン２０と比較照合する。

【００４３】この照合は、検索用指定パターンテーブル
の各列，各行を順次行う。例えば、検索用指定パターン
の複数の特性値等がテーブルの１行に並べられている場
合、まず、ステップ５０４で，テーブルの第１行の各列
に配列されている第１の指定パターンの各特性値をデー
タベースから読み出された原画像に付属情報として付属
している特性値を比較照合して、ステップ５０５で一致
不一致の判断を行い、一致するものがあればステップ５
０６で検索結果として取り出す。

【００４４】一方、ステップ５０５での判断が不一致で
あれば、ステップ５０６をバイパスして、ステップ５０
７に進み、次の行に移る。次に、ステップ５０８で検索
用指定パターンテーブルに次の行があるかどうか判断
し、次の行が存在していれば、ステップ５０４に戻り、
次の行の比較照合を行い、ステップ５０４〜ステップ５
０８を繰り返す。ステップ５０８の判断で次の行が存在
していなければ、検索対象の一つの原画像の照合を終了
し、ステップ５０９に進み、次の検索対象となる原画像
に移る。次に、ステップ５１０で次の原画像があるかど
うか判断し、次の原画像が存在していれば、ステップ５
０３に戻り、次の原画像について検索を行う。ステップ
５０８の判断で次の原画像が存在していなければ、検索
対象の全ての原画像の検索を終了する。このようにし
て、本発明の検索方法は実施される。

【００４５】ここで、検索用指定パターンの複数の特性
値などがテーブルの１列に並べられている場合、上記照
合は、列単位で行われ、一つの検索用指定パターンがあ
る行と列との塊を単位として配列されている場合には、
その一塊を単位として行われる。なお、ここでは、簡単
に「ステップ５０５で一致するものがあれば、ステップ
５０６で取り出す」と説明しているが、実際には、完全
に一致することは少ないので、後述するように一致度を
定義して、ステップ５０４で一致度を算出し、ステップ
５０５で、算出した一致度が、所定の閾値を超えたもの
を、一致したものとするのがよい。

【００４６】なお、ユーザが入力・指定した検索用指定
パターン２０は、例えば、表２に示すような形で、テー
ブル化されたデータとして、図示されていない記憶部に
記憶される。また、ここでは、楕円だけについて例示し
たが、他の図形についても同様なデータが作成される。
そして、このデータを基にして、上述のように、この検
索用指定パターンに適合する原画像の検索が行われる。

【００４７】

【表２】

【００４８】以下に、上述の、一致度の計算式の一例と
して、楕円の場合を示す。

【数１】 ここで、Ｆ｛Ｘ｝値は入力値Ｘが小であるほど大となる
特性とする。

【００４９】ここで、Ｉは１〜付属情報に存在する個数
Ｉmax 、Ｊは１〜検索時のパターン個数Ｊmax 、ｋ１〜
ｋ３は係数である。また、検索パターンの番号Ｊに関す
る点数： Ｐ（Ｊ）＝max （Ｄ（Ｉ，Ｊ) ） 全画面に置ける点数： Ｐtotal （Ａ：楕円）＝Σ（Ｐ（Ｊ）） Ｊ＝１〜Ｊmax である。

【００５０】上記説明では、一例として、楕円形の場合
について説明したが、この他の図形についても、ステッ
プ５０４で同様の一致度計算を行う。例えば、楕円に関
する一致度をＰtotal （Ａ）、３角形に関する一致度を
Ｐtotal （Ｂ）、４角形に関する一致度をＰtotal
（Ｃ）と表わすとすると、図２のケースでは、コマの一
致度：Ｐtotal （ＡＬＬ）＝Ｐtotal （Ａ）＋Ｐtotal
（Ｂ）＋Ｐtotal （Ｃ）となる。

【００５１】なお、本発明にいう特定図形は、上記幾何
学図形に限定されるものではなく、上述したように、そ
の他の多角形，星型（☆）のようなキャラクタ，直線，
曲線およびその組み合わせなど、多様な図形を用いるこ
とを含むものである。また、計算結果を基に、一致度の
ポイント順に、検索された画像をサムネイル表示するよ
うにしてもよい。

【００５２】検索時の指定パターンには、ＡＮＤ条件モ
ードとＯＲ条件のモードを設定することが可能である。
例えば、以下のようにする。 （１）ＡＮＤ条件モード時：関数Ｆ｛Ｘ｝は、入力Ｘが
所定値以下の場合、負の値となる特性を持たせる。例え
ば、検索指定パターンの位置に指定した図形が存在すれ
ば正の値、存在しない場合は負の値となる。外れた場
合、全体の一致度点数は低下する。

【００５３】（２）ＯＲ条件モード時：関数Ｆ｛Ｘ｝
は、０以上、または、正の値となる特性を持たせる。例
えば、検索指定パターンの位置に指定した図形が存在す
れば正の値、存在しない場合は０となる。外れた場合で
も、全体の一致度点数は低下しない。

【００５４】なお、上述した例では、全ての検索用指定
パターン２０の中心位置等の位置、サイズ、向き等の複
数の特性値を検索条件として、読み出された原画像の付
属情報と比較照合しているが、本発明はこれに限定され
ず、検索用指定パターン自体の存在の有無のみを検索条
件にしても良いし、特性値の内の位置、サイズ、向きお
よび色の少なくとも一つの要素や項目を検索条件として
も良いし、特性値の他指定パターンの色（色味）を検索
条件としても良いし、複数の検索用指定パターンの少な
くとも一つを用いても良い。

【００５５】ただし、検索条件として検索用指定パター
ン自体の有無が指定される場合や指定される要素や項目
や指定パターンが少ない場合には、検索に要する時間は
短くなり、ヒットして取り出される原画像の数は増加
し、その中に目的とする原画像が含まれている可能性は
高いが、検索の精度は低下する。一方、指定される要素
や項目や指定パターンが多ければ多いほど検索の精度は
向上し、目的の原画像のみがヒットして取り出される可
能性があるが、検索時間が長くかかり、要素や項目や指
定パターンが正確でないと、ヒットする原画像がないと
いう結果になる虞もある。このため、本発明の検索にお
いては、検索の確実性および精度を考慮して、指定する
要素や項目や指定パターンの数を適宜選択すれば良い。

【００５６】この時、検索指示のユーザインターフェー
スとして、特定図形などの特定の情報の存在の有無のチ
ェックのみか、または、さらにその位置、大きさ、向き
等の特性値や色などをそれぞれ利用するか、また、これ
らの特性値や色などの種々の項目や要素の関連付けとし
て、これらの項目や要素をそれぞれ単独で使うか、２つ
以上組み合わせて使うかというモードの設定をユーザが
指定できるようにしておくのが好ましい。例えば、上述
した数１に示す数式において、係数ｋ１およびｋ２を０
として、一致度計算から除外するようにしても良い。

【００５７】本実施例に示した画像検索方法によれば、
タブレットに大まかな図形を描くとか、キーボードから
図形の名称や記号を入力するとか、これらを音声入力す
るといった簡単な指示方法により、指示に適合する画像
を検索することが可能になるという効果が得られる。本
発明においては、簡単な指示方法により指示された図形
や名称（言語）や記号や音声による指定は、特定図形に
自動変換され、所要の特性値に数値化され、色味など変
えられる。

【００５８】次に、本発明の他の実施例を説明する。前
述の実施例では、特定の情報として特定図形を用いて検
索対象となる特定図形の位置や大きさや向きや色等を付
属情報としたが、本実施例では、特定の情報として特定
の主要被写体（以下、特定被写体という、ここでは、人
物を例に挙げる）とし、その位置や大きさや向きや色な
どを付属情報として検索を行う点を特徴とするものであ
る。

【００５９】図６に、検索時の特定被写体指定例６０を
示す。ここでは、被写体を人物と設定した後、例えば、
楕円形などの単純な図形６１を用いて、その存在の有
無、またはその位置や大きさや向きや色の少なくとも一
つを指定する。図７に、上述の指定に対応する検索結果
の一例を示す。この例では、人物の位置や大きさのみに
基づいて、検索が行われた結果、目的とする画像７０が
検索された例を示している。

【００６０】本実施例に示した画像検索方法によれば、
検索対象が人物である場合に、その人物自体、またはそ
の位置や大きさや向きの少なくとも一つを、タブレット
で大まかに示すとか、キーボードから人物自体の有無、
または人物の位置や大きさや向きの少なくとも一つを入
力するといった簡単な指示により、指示に適合する画像
を検索することが可能になるという効果が得られる。

【００６１】なお、人物の位置や大きさに加えて、この
人物の服装を色で表現した情報を付加することにより、
人物の胴体部分を検索する際に、その色味をチェックす
るようにすれば、検索の効率が大幅に向上する可能性が
ある。また、複数の人物の特徴を組み合わせてもよい。

【００６２】応用分野によっては、特定図形または特定
被写体について、位置がほぼ固定的である場合がある
が、そのような場合には、大きさまたは大きさと向き、
さらには色を付属情報として記録すればよい。また、特
定図形または特定被写体について、大きさがほぼ固定的
である場合には、位置または位置と向き、さらには色を
付属情報として記録すればよい。

【００６３】本発明のさらに他の実施例を説明する。前
述の各実施例では、静止画像を検索対象としていたが、
本実施例では、動画像を検索対象として、特定図形また
は特定被写体（人物）の当初の位置や移動方向を付属情
報とし、これらを指定して検索を行う点を特徴とするも
のである。

【００６４】図８に、検索時の特定被写体指定例８０を
示す。ここでは、特定被写体を人物と設定した後、その
特定被写体８１の移動方向（ベクトル）８２を矢印で指
定する。図９に、上述の指定に対応する検索結果の一例
を示す。この例では、人物の当初の位置や大きさのみに
基づいて、検索が行われた結果、目的とする動画像９０
ａ，９０ｂが検索された例を示している。

【００６５】本実施例においては、付属情報の登録を行
う際に、動画像のフレーム内で抽出した指定図形（特定
図形）または指定被写体（特定被写体）が、所定フレー
ム後にどのように移動しているかの追跡を行い、そのベ
クトル情報を付属情報に含めて記憶するようにする。検
索を行う際には、指定の図形およびその動きベクトル
（大きさおよび方向の少なくとも一方）に基づいて、付
属情報とのマッチングを行う。

【００６６】他の方法としては、付属情報をフレーム単
位で作成する方法が可能である。すなわち、検索を行う
際には、フレーム単位で指定図形（特定図形）または被
写体を検出した場合、そのフレームから所定時間後（あ
るいは、その中間フレーム）のフレームに該当する位置
（この位置は、指定した動きベクトルから求める）に指
定図形が存在するか否かを、付属情報とのマッチングに
よりチェックするという方法である。

【００６７】本実施例に係る方法においては、プログラ
ムは入力のシーンの指定情報を、シンプルな形状とその
動きに解読し、データベース内の各画像の付属情報との
一致度を計算する。計算結果は、ポイント順に、該当す
る動画像のコマ表示により出力（サムネイル表示）す
る。

【００６８】上記実施例に示した画像検索方法によれ
ば、検索対象が動画像中の人物である場合に、その当初
の位置や移動方向を、タブレットで大まかに示すとか、
キーボードから入力するとか、音声入力するといった簡
単な指示により、指示に適合する動画像を検索すること
が可能になるという効果が得られ、例えば、ビデオ編集
における大まかなシーン記述での画像検索が容易にな
る。

【００６９】本発明のさらに他の実施例を説明する。前
述の各実施例では、音声情報を含まない画像を検索対象
としていたが、本実施例では、動画像などの音声情報を
含む画像を検索対象として、音声情報の概略を付属情報
に含めるようにして、検索を行う際には、音声情報の概
略を指定して検索を行うというものである。

【００７０】例えば、人物を被写体とする動画像におい
て、動きの情報に加えて音声情報を取り込み、音声変換
により、その内容をデータベースに記憶する。これによ
り、検索時のキーワードとして、例えば、被写体：人
物、音声情報：学校と指定することにより、シーンとし
て、人物が存在し、かつ、学校という単語に関連するシ
ーンが検索される。なお、動画像に限らず、静止画像に
音声情報を付加したものを検索対象としても良い。

【００７１】本実施例に示す画像検索方法によれば、検
索対象が音声情報を有する場合に、その情報を利用する
ことにより、指示に適合する画像を検索することが可能
になるという効果が得られ、被写体の動きのみならず、
その発言内容などからの検索が可能になり、ビデオ編集
の際などに有効である。なお、もちろん、これ（音声情
報）に加えて、特定図形または特定の主要被写体（人
物）の各種の情報を追加指定するようにしても良い。

【００７２】本発明のさらに他の実施例を説明する。本
実施例においては、画像中の特定の人物を人物同定処理
を用いて同定することを特徴とするものである。すなわ
ち、予め、特定の人物の顔画像と人物名を付属情報とし
て登録しておき、検索を行う際には、上述の登録されて
いる人物の内から必要な人物を顔画像または人物名によ
り指定して、検索を行うというものである。

【００７３】具体的には、顧客が予め名前と顔画像を組
み合わせて、Ｎ人分の情報を登録する。ここで、画像中
の特定の人物を人物同定処理を用いて同定する際には、
例えば、電子情報通信学会論文誌Ｖol．Ｊ80−Ｄ-II Ｎ
o.8,pp.2218-2224小杉等による「粗密濃淡モザイク特徴
をキーとした類似顔画像の検索」、同 pp.2225-2231相
馬等による「取得過程の極端に異なる顔画像の照合」等
に記載されている技術が適用可能である。

【００７４】ラボに持ち込まれた画像に対して、上記処
理により、顔抽出および人物同定を行い、付属情報を作
成する。すなわち、各コマに誰が写っているかを表わす
付属情報を、画像データに付加して記憶する。もちろ
ん、ここで、人物の位置や大きさの情報を含めてもよ
い。顧客が、人物名を指定して検索を依頼したときに
は、付属情報から該当する人物が写っている画像コマを
取り出す。

【００７５】本実施例に示した画像検索方法によれば、
検索対象となる人物の顔画像と人物名が対応付けられて
付属情報化されるので、その情報を利用することによ
り、指示に適合する画像を検索することが可能になると
いう効果が得られ、例えば、家族の名前で、思い出のあ
る写真を容易に検索することが可能になる。なお、対象
画像は、静止画像だけでなく、動画像も対象とすること
ができる。

【００７６】また、音声情報を有する画像の場合には、
検索時に、これらの情報を組み合わせて用いることも可
能である。さらに、上述のラボと顧客のパソコン（パー
ソナルコンピュータ）を通信回線で接続しておけば、上
述の処理を、オンラインにより、より迅速に行うことが
可能になる。

【００７７】本発明のさらに他の実施例を説明する。前
述の各実施例では、撮影画像などを検索対象としていた
が、本実施例では、パーソナルコンピュータ（ＰＣ）な
どで作成されたコンピュータグラフィックス（ＣＧ）画
像を検索対象とし、単純な図形や大まかな色や特定の物
体によりシーンを指定して、ＣＧ画像の作成・編集デー
タを用いて検索を行う点を特徴とするものである。

【００７８】本実施例においては、このＣＧ画像を作成
した時の編集データを特定の情報とするとともに付属情
報として当該ＣＧ画像に付属させてデータベースに記憶
させる。すなわち、データベース機関では、ＣＧ画像と
編集データをセットで蓄積しておく。ここで、編集デー
タは、ＣＧ画像中の単純な図形や大まかな色や人物や動
物や自動車や建物などの特定の物体を作成した時のそれ
らの図形や色や物体を表すＣＧコマンドであるのが好ま
しい。本実施例における検索においては、ユーザ（顧
客）が、単純な図形や大まかな色や人物や動物や自動車
や建物などの特定の物体によりシーンを指定する。この
指定は、手書き、描画ソフトウェアやＣＧソフトウェア
等によって指定するのが良い。

【００７９】次に、データベース機関では、データベー
ス処理装置において、ユーザからのシーン指定データを
ＣＧコマンドに変換する。ここで、ユーザがシーン指定
した図形の形状や、位置、サイズ、向き等の特性値や、
色などを所定パターンに分類しておくのが好ましい。続
いて、変換したＣＧコマンドと、データベース内のＣＧ
画像に付属情報として付随しているＣＧ編集データとの
間で、一致度や類似度を計算し、付属情報とのマッチン
グを行う。なお、計算結果は、ポイント順に、該当する
ＣＧ画像のコマ表示により出力（サムネイル表示）する
ようにしても良い。

【００８０】本実施例に示す画像検索方法によれば、検
索対象となるＣＧ画像の作成・編集データを付属情報と
して用いることにより、ＣＧ画像検索処理での演算量を
低減でき、ユーザの指示に適合するＣＧ画像を迅速かつ
精度良く検索することが可能になるという効果が得られ
る。なお、対象ＣＧ画像は、静止画像だけでなく、動画
像も対象とすることができる。ＣＧ動画像を検索対象と
する場合には、前述と同様に、特定の図形や物体と、そ
の移動ベクトル（その大きさおよび方向の少なくとも一
つ）を指定するのが良い。また、音声情報を有する画像
の場合には、検索時に、これらの情報を組み合わせて用
いることも可能である。

【００８１】本発明のさらに他の実施例を説明する。本
実施例では、メッセージ情報を備える画像を検索対象と
し、画像検索用に画像に付随するメッセージ情報をチェ
ックし、検索を行う。本実施例においては、前述した音
声情報を持つ画像を検索する場合と同様に、画像に付随
するメッセージ情報を特定の情報とするとともに付属情
報として当該画像に付属させてデータベースに記憶させ
る。

【００８２】ここで、画像に付属する付属情報として
は、メッセージ情報として画像に合成したテキストデー
タ、またはマークや撮影画像やＣＧ画像等の画像データ
を用いるのが好ましいが、前述した音声情報のように、
画像中ではなく画像に付随させたテキストデータや画像
データ、例えば、プリント画像の裏面側に、白縁のある
プリント画像ではその白縁の部分に記録（合成）したテ
キストデータや画像データを用いても良い。例えば、テ
キストデータとしては、ワードプロセッサ等の印刷文字
データやサイン等の手書き文字データなどを用いること
もできるし、画像から文字抽出を行って得られた文字デ
ータを用いることもできる。

【００８３】本実施例における検索においては、ユーザ
（顧客）が、メッセージ情報を、文字自体、その内容、
筆跡の形状（サイン等の場合）などで指定したり、メッ
セージ情報として登録されている参照用画像を選択する
ことにより、指定し、マッチング処理を行う。例えば、
文字自体を検索するモードでは、前述の特定図形を用い
た検索での特定図形の特性値や色等の指定と同様に、文
字自体の有無、文字の位置、サイズ、向き、色等の少な
くとも一つを用いて指定し、一致度を計算して一致した
画像を選び出すマッチング処理を行えばよい。また、文
字検索モードでも、文字の内容を指定する場合には、指
定された漢字などの文字の内容を解釈して、マッチング
処理を行えば良い。また、サイン等の手書き文字の場合
には、筆跡の形状を指定して、マッチング処理を行えば
良い。

【００８４】さらに、参照用画像を用いて検索する場合
には、ユーザが、メッセージ情報として登録されたマー
クや撮影画像やＣＧ画像等の複数の参照用画像の中から
参照用画像のエリアを指定したり、予め用意された図柄
パターンを選択する等によって、一つ以上の参照用画像
を選択して指定し、画像マッチングを行えば良い。な
お、マッチング処理における一致度の計算結果は、ポイ
ント順に、該当する画像のコマ表示により出力（サムネ
イル表示）するようにしても良い。

【００８５】本実施例に示す画像検索方法によれば、検
索対象となる画像に付随するメッセージ情報として、文
字などのテキストデータや参照用の画像データを用い、
文字自体の特性値や色、または、その内容や筆跡の形状
などの指定するなどの簡単な指定方法により、予め登録
されている参照用画像をエリア指定や図柄パターンの選
択等による指定などの簡単な指定方法により、指定に適
合する画像を検索することが可能になるという効果が得
られる。

【００８６】上記各実施例において、検索結果の画像を
表示する際には、例えば、背景などの動きのない部分を
除いて、検索条件指定に合致するエリアを優先して表示
するようにするとよい。あるいは、検索条件指定に合致
するエリアを他のエリアとは異なる、例えば、輝度強
調，ブリンク（点滅）などの特別な画像処理結果の強調
表示により表示することも有効である。

【００８７】上述のような表示方法を採用すれば、検索
した画像を、モニタなどに転送する際の転送データ容量
を大幅に削減できるので、表示の応答速度が向上し、使
い勝手がよくなるという効果がある。また、表示画面内
の目的とする画像の見やすさが向上し、やはり使い勝手
がよくなる効果がある。

【００８８】また、表示を行う際に、表示装置の表示能
力をチェックして、その能力に応じた画像データに加工
して表示させるようにすることも好ましいことである。
またさらに、データベース上で、検索したエリアをエリ
ア単位で管理するようにしておき、アクセス頻度に応じ
て、検索時の参照優先順位を設定することや、データ記
憶時の解像度を設定することも有効である。

【００８９】この方法では、例えば、顧客が携帯用端末
からデータベースのあるセンタ（データベース機関）に
アクセスしたような場合に、顧客の携帯用端末の表示能
力に関する情報をＩＤと共に転送するようにして、セン
タからのデータ転送の際に、必要に応じて、画像圧縮や
２値化、線画化、トリミング（主要被写体のみの切り出
し）などの画像データ加工を行う。

【００９０】上述のような画像表示時の処理を効率的の
行うことにより、データ通信量の低減が可能になると共
に、携帯用端末における画像表示までの時間が短縮さ
れ、さらに、表示画像の見やすさが向上するなどの効果
が得られる。

【００９１】上述の、各種の付属情報を具備した画像デ
ータの管理を行う場合には、画像を被写体毎に領域分割
して、各分割エリア毎にラベルを付けて登録することが
好ましい。そして、ラベルを付けた部分のみを切り出し
てファイル化するようにすれば、データ容量の削減に大
きな効果があるばかりでなく、検索の際の速度の向上に
も、大きな効果がある。また、例えば、上述のラベルを
付けた部分の画像のみを、高解像度で記憶し、その他の
領域は画像圧縮して記憶するなどの方法を用いることも
可能である。

【００９２】各領域の付属情報としては、画像ファイル
名，位置（中心，輪郭画素），色などの特性、および、
通算アクセス回数／ヒット回数などが挙げられる。これ
らを用いて、例えば、アクセス頻度に応じて、記憶手段
内での記憶階層の制御を行うようにすれば、検索の際の
速度の向上にさらに大きな効果がある。また、利用頻度
の高いデータは、個別に保存するようにして、より利用
しやすくすることも可能である。

【００９３】以下、上述のような、本発明に係る画像検
索方法を応用した、画像処理方法を説明する。第１の方
法は、ラボにおける最初のプリント処理（いわゆる、同
時プリント）や先の再プリント処理（これらを代表して
先のプリントという）時に、プリント画像中の特定図形
または被写体等の特定の情報を抽出して、抽出された特
定情報やその関連情報（特性値や色）を付属情報とし
て、プリントのための画像データおよび画像処理のパラ
メータと共にデータベース等の記憶手段に記憶させてお
くというものである。

【００９４】この画像が含まれるフィルムの再プリント
または後の再プリント（これらを代表して後のプリント
という）の依頼があった場合には、顧客が指定した画像
コマから特定図形または被写体等の特定の情報を抽出し
て、先に記憶させた付属情報との一致度の大きいもの
（所定の閾値を超えるもの）の画像の先のプリント処理
時の画像処理条件（処理パラメータ）により、後のプリ
ントの処理を行うようにする。

【００９５】この画像処理方法によれば、後のプリント
時に顧客が持参したフィルム中の画像から、先のプリン
ト時の画像処理条件を検索することが可能になり、顧客
に満足を与えられるような、再現性に優れたプリントを
行うことが可能になるという効果が得られる。なお、上
記処理は、写真フィルムだけではなく、ＤＳＣ（デジタ
ルスチルカメラ）などの撮影画像記録媒体などのように
プリント用画像データが記録されたスマートメディアや
ＭＯやフォトＣＤ等の画像記録媒体でも、同様に適用で
きる。

【００９６】また、顧客が、再プリントの注文時に、写
真フィルムまたは撮影画像記録媒体の撮影画像データで
はなく、同時プリント時の写真プリントのみを持ち込ん
だ場合には、そのプリントをスキャナで読み取り、画像
検索用の特定図形等の特定の情報の抽出処理を実行し
て、抽出された特定の情報やその関連情報を検索条件と
して、データベース内の同時プリント時に記録した写真
フィルムからの読取画像データを検索して類似度の計算
（マッチング処理）を行い、該当するコマを取り出し、
プリント処理においては、該当コマに対応する同時プリ
ント時の読取画像データと処理パラメータとを読み出
し、これらを用いて、プリント処理を行ってもよい。

【００９７】第２の方法は、１本のフィルムストリップ
（いわゆる、１件の写真フィルム）内、または１枚の撮
影画像記録媒体内、もしくはユーザ（顧客）が一時に注
文した１本または複数の写真フィルムまたは１枚または
複数の撮影画像記録媒体（いわゆる、１回の注文）内で
の焼き付けのバラツキ（変動）を防止可能とするための
方法である。すなわち、１件または１回の注文（これら
を代表して１注文という）の写真フィルムや撮影記録媒
体内で、特定図形または被写体等の特定の情報が類似し
た構図（各図形の配置やサイズや向きや色）である場合
は、１注文に属するこれらのコマ間で、仕上がりの色
調，濃度などを揃えるように画像処理を調整するのが良
い。

【００９８】本実施例によれば、画像の構図に基づいて
類似画像を判別するので、色や濃度の影響を受けにくく
なり、これにより、１注文の写真フィルムや撮影画像記
録媒体内で極端に色調，濃度などが異なるプリントを作
製することがなくなり、顧客に不満を持たせることがな
くなるという効果が得られる。

【００９９】以上のような本発明に係る画像検索方法お
よび画像処理方法は、それぞれ図１０に示すような画像
検索装置およびこれを用いるプリントシステムによって
実施することができる。同図に示すプリントシステム１
００は、上述した本発明の画像検索方法を実施する画像
検索装置（以下、単に検索装置という）１０２と、検索
装置１０２に接続され、検索装置１０２と共に、本発明
の画像処理方法を実施するフォトプリンタ１０４と、検
索装置１０２にインターネット等の通信網によってオン
ライン接続され、本発明に係る画像検索方法および画像
処理方法の実施およびプリント出力の依頼を行うことが
できるユーザ端末１０６とを有する。

【０１００】まず、画像検索装置１０２は、画像の画像
データと共に、画像に存在およびまたは付随する特定情
報自体または特定情報の関連情報などを画像データの付
属情報として蓄積記憶する画像データベース（以下、単
にデータベースまたはＤＢという）１０８と、データベ
ース１０８に記憶するために特定情報自体または特定情
報の関連情報を付属データとして取得する付属情報取得
部（以下、単に取得部という）１１０と、検索条件とし
て付属情報の少なくとも一部を指定する付属情報指定部
（以下、単に指定部という）１１２と、この指定部１１
２によって指定された検索条件に基づいてデータベース
１０８を検索して、選び出された画像データに付属して
いる付属条件と、検索条件として用いた付属情報の少な
くとも一部との一致度を求めて、所定値以上の一致度を
持つ画像を読み出す画像検索部（以下、単に検索部とい
う）１１４と、検索部１１４による検索結果や読み出さ
れた画像を表示する表示部１１６とを有する。

【０１０１】また、フォトプリンタ１０４は、ネガやリ
バーサルなどのフィルムＦからフィルム画像の画像デー
タを読み取る、あるいはデジタルカメラによる撮影画像
の画像データ記録媒体Ｒから画像データを読み取る、も
しくはＣＧ画像作成装置１１７などの画像データ供給源
から画像データを受け取る画像入力部１１８と、画像入
力部１１８から受け取った画像データを分析して良質の
プリント作成のために画像データを処理する画像処理条
件を設定し、設定された画像処理条件または検索装置１
０２から受け取った画像処理条件に従って、画像入力部
１１８または検索装置１０２から受け取った画像データ
を画像処理する画像処理部１２０と、画像処理部１２０
によって画像処理された画像データを用いて写真感光材
料などの記録材料に画像を記録（潜像焼付、現像定着）
してプリントＰとして出力するプリント出力部１２２と
を有する。なお、図示例では、画像処理部１２０は、画
像データを取得部１１０に転送し、取得部１１０で得ら
れた付属情報を受け取り、画像データに付属させてＤＢ
１０８に転送し、蓄積記憶させる機能も有する。

【０１０２】ユーザ端末１０６は、画像を表示可能な表
示部１２４と、検索条件や画像や記号や言語やプリント
の注文情報などを入力する入力部１２６と、画像や検索
条件や注文情報を検索装置１０２に転送するインターフ
ェース（Ｉ／Ｆ）１２８とを有する。なお、検索装置１
０２の検索部１１４には、ユーザ端末１０６のＩ／Ｆ１
２８から画像や種々の情報を受信するＩ／Ｆ１１５を有
する。

【０１０３】検索装置１０２においては、取得部１１０
は、特定の幾何学図形、特定の被写体、メッセージ情
報、特定の人物の顔画像からなる人物情報などの特定情
報の概略をフリーハンドで入力するタブレット１３０
と、特定の幾何学図形、特定の被写体、メッセージ情
報、特定の人物の顔画像と人物名とからなる人物情報、
ＣＧ画像の編集データなどの特定情報の概略や音声情報
からなる特定情報の意味などをキーボードやマウスによ
るＧＵＩ（グラフィカルユーザインターフェース）を使
って入力し、必要に応じてメッセージ情報などではその
意味を認識して入力する入力部１３２、画像に付随する
音声情報または画像に存在する特定情報の音声情報を入
力し、その意味を認識して文字認識された特定情報に変
換する音声認識部１３４と、これらのタブレット１３０
や入力部１３２や音声認識部１３４から入力された特定
情報の概略を用いて、フォトプリンタ１０４の画像処理
部１２０から受け取った画像の画像データから特定情報
を抽出する抽出部１３６と、抽出部１３６で抽出された
特定情報から特定情報自体やその関連情報、例えば認識
されたメッセージ情報および音声情報等の特定情報、特
定の幾何学図形、特定の被写体、特定の人物の顔画像と
人物名とからなる人物情報等の特定情報の位置、大き
さ、向き、色、存在の有無、動画像の場合の特定情報の
移動方向（移動ベクトルの方向）等の関連情報、ＣＧ画
像の編集データ等の特定情報自体などや、音声認識部１
３４や入力部で認識されたメッセージ情報および音声情
報等の特定情報自体を、ＤＢ１０８に蓄積すべき付属情
報として設定し、設定した付属情報を画像データに関係
付け（て画像処理部１２０に転送す）る付属情報設定部
（以下、単に設定部という）１３８とを有する。

【０１０４】従って、フォトプリンタ１０４の画像処理
部１２０は、取得部１１０の設定部１３８から伝送され
た付属情報を画像の画像データに付属させて、ＤＢ１０
８に転送し、その状態で蓄積記憶させる。ここで、画像
処理部１２０から抽出部１３６および／またはＤＢ１０
８に転送される画像データは、画像処理前のものでも良
いし、画像処理後のものでも良いし、両画像データは、
同じでも異なっていても良い。なお、画像処理前の画像
データであれば、画像入力部１２０から転送しても良
い。なお、ＣＧ画像の場合には、画像データに付属情報
として付属させる編集データをＣＧ画像作成装置１１７
から直接設定部１３８に転送しても良いし、画像データ
およびこれに付属する編集データを直接ＣＧ画像作成装
置１１７からＤＢ１０８に転送しても良い。さらに、フ
ォトプリンタ１０４からではなく、別のフォトプリンタ
や、画像読取装置（スキャナ）や、画像処理装置や、画
像データ記録媒体のドライバなどの別の画像データ供給
源から取得部１１０で付属情報を取得するための画像デ
ータやＤＢ１０８に蓄積するための画像データを受け取
っても良い。また、同じ画像の画像データであれば、こ
れらの２種の画像データの一方をフォトプリンタ１０４
から、他方を別の画像データ供給源から受け取っても良
い。

【０１０５】検索装置１０２の指定部１１２は、取得部
１１０で用いるタブレット１３０や入力部１３２や音声
認識部１３４などやＣＧ作成装置１１７などを用いて、
検索条件として付属情報の少なくとも一部、例えば、上
記音声情報やメッセージ情報等の特定情報自体の概略、
特定情報の存在の有無、位置、大きさ、向き、または移
動ベクトルの方向、色等の関連情報の少なくとも１つを
指定するものである。なお、指定部１１２で用いるタブ
レット１３０や入力部１３２や音声認識部１３４やＣＧ
作成装置１１７などは、取得部１１０などで用いるもの
と同じであっても良いし、異なるものであっても良い
し、さらには、取得部１１０と、指定部１１２を個別に
設けるのではなく、共用し、１つで画像データの付属情
報の取得と検索条件として付属情報の少なくとも１つの
指定とを行っても良い。

【０１０６】検索部１１４による検索の結果、ＤＢ１０
８から読み出された画像データは、画像として表示部１
１６に表示されるが、表示画像は、選び出された画像の
確認ができれば良いので、特に高精細である必要はな
く、ＤＢ１０８から読み出された画像データをそのまま
表示しても良いのはもちろんであるが、高精細な画像が
表示可能な表示部１１６であれば、フォトプリンタ１０
４の画像処理部１２０で処理した後の高精細な画像を表
示するようにしても良い。すなわち、表示部１１６を検
索装置１０２とフォトプリンタ１０４とで共用しても良
い。さらに、検索部１１４で選び出された画像データを
確認するために、これを直接フォトプリンタ１０４のプ
リント出力部１２２に転送して、プリント出力するよう
にしてもよいし、別のプリンタや簡易型プリンタに転送
して出力するようにしても良い。

【０１０７】ところで、本発明の画像処理方法において
は、フィルムＦや画像データ記録媒体Ｒがなくても、プ
リント（ハードコピー画像）Ｐがあれば、再注文プリン
トが可能である。このプリントＰから読み取られる画像
データは、特定図形や特定被写体などの特定情報が、検
索に必要な程度の画素密度（解像度）有していれば良い
ので、フォトプリンタ１０４の画像入力装置１１８に備
えられている反射原稿用スキャナで読み取っても良い
し、全く別のスキャナや、簡便なスキャナでよみとっ
て、得られた画像データを取得部１１０の抽出部１３６
に直接転送しても良い。この時には、抽出部１３６で抽
出された特定情報および／またはその関連情報をそのま
ままたは設定部１３８で付属情報に変換して、直接検索
部１１４に転送しても良い。なお、この場合には、ＤＢ
１０８から画像データ読み出された画像データに対して
も、特定情報の抽出処理が行われるので、検索部１１４
にＤＢ１０８から読み出された画像データを直接取得部
１１０の抽出部１３６に転送しても良い。さらに、１注
文内の複数の画像中の特定図形や特定被写体等の特定情
報の一致度を検索部１１４で算出する場合にも抽出部１
３６による特定情報の抽出結果を直接検索部１１４に転
送するのが良い。

【０１０８】なお、上記各実施例はいずれも本発明の一
例を示したものであり、本発明はこれらに限定されるべ
きものではなく、本発明の要旨を逸脱しない範囲におい
て、改良や設計の変更をしても良いことは言うまでもな
い。

【０１０９】

【発明の効果】以上、詳細に説明したように、本発明に
よれば、原画像中に存在する被写体（人物や物体）の形
状（特定の幾何学図形など）や特定の被写体自体等や原
画像に合成されたまたは付随するメッセージ情報や音声
情報などをキーとして、画像検索を効率的に行う画像検
索方法、および、この方法を利用する画像処理方法を実
現することが可能である。

【０１１０】より具体的には、本発明に係る画像検索方
法によれば、第１に、タブレットや画像表示装置に大ま
かな図形を描くとか、キーボードから図形の名称や記号
を入力するとか、これらを音声入力するといった簡単な
指示方法により、指示に適合する画像を検索することが
可能になるという効果が得られる。なお、検索対象が人
物である場合にも、同様に、その人物自体、またはその
位置や大きさや向きの少なくとも一つを、タブレットや
画像表示装置で大まかに示すとか、キーボードから人物
自体の有無、または人物の位置や大きさや向きの少なく
とも一つを入力するといった簡単な指示により、指示に
適合する画像を検索することが可能になるという効果が
得られる。

【０１１１】第２には、検索対象が動画像中の人物であ
る場合に、その当初の位置や移動方向を、タブレットな
どで大まかに示すとか、キーボードから入力するとか、
音声入力するといった簡単な指示により、指示に適合す
る動画像を検索することが可能になるという効果が得ら
れ、例えば、ビデオ編集における大まかなシーン記述で
の画像検索が容易になる。

【０１１２】第３には、検索対象が音声情報を有する場
合に、その情報を利用することにより、指示に適合する
画像を検索することが可能になるという効果が得られ
る。なお、対象画像は、静止画像だけでなく、動画像も
対象とすることができ、被写体の動きのみならず、その
発言内容などからの検索が可能になり、ビデオ編集の際
などに有効である。

【０１１３】第４には、検索対象となる人物の顔画像と
人物名が対応付けられて付属情報化して、その情報を利
用することにより、指示に適合する画像を検索すること
が可能になるという効果が得られる。例えば、家族の名
前で、思い出のある写真を容易に検索することが可能に
なる。なお、対象画像は、静止画像だけでなく、動画像
も対象とすることができるし、音声情報を有する画像も
対象とすることができる。

【０１１４】また、第５には、検索対象が音声情報を有
する画像の場合には、検索時に、これらの情報を組み合
わせて用いることも可能である。なお、この場合にも、
対象画像は、静止画像だけでなく、動画像も対象とする
ことができる。

【０１１５】また、第６には、検索対象となるＣＧ画像
の作成・編集データを付属情報として用いることによ
り、ＣＧ画像検索処理での演算量を低減でき、ユーザの
指示に適合するＣＧ画像を迅速かつ精度良く検索するこ
とが可能になるという効果が得られる。なお、対象ＣＧ
画像は、静止画像だけでなく、動画像も対象とすること
ができる。ＣＧ動画像を検索対象とする場合には、前述
と同様に、特定の図形や物体と、その移動ベクトル（そ
の大きさおよび方向の少なくとも一つ）を指定するのが
良い。また、音声情報を有する画像の場合には、検索時
に、これらの情報を組み合わせて用いることも可能であ
る。

【０１１６】また、第７には、検索対象となる画像に付
随するメッセージ情報として、文字などのテキストデー
タや参照用の画像データを用い、文字自体の特性値や
色、その内容や筆跡の形状などの指定するなどの簡単な
指定方法により、予め登録されている参照用画像をエリ
ア指定や図柄パターンの選択等による指定などの簡単な
指定方法により、指定に適合する画像を検索することが
可能になるという効果が得られる。

【０１１７】なお、検索結果の画像を表示する際には、
例えば、背景などの動きのない部分を除いて、検索条件
指定に合致するエリアを優先して表示するようにした
り、あるいは、検索条件指定に合致するエリアを他のエ
リアとは異なる、例えば、輝度強調，ブリンク（点滅）
などの特別な画像処理結果の強調表示により表示するこ
とも有効である。

【０１１８】また、表示を行う際に、表示装置の表示能
力をチェックして、その能力に応じた画像データに加工
して表示させるようにすることも好ましいことである。
またさらに、データベース上で、検索したエリアをエリ
ア単位で管理するようにしておき、アクセス頻度に応じ
て、検索時の参照優先順位を設定することや、データ記
憶時の解像度を設定することも有効である。

【０１１９】上記画像検索方法を応用すれば、後のプリ
ント時に顧客が持参した写真フィルムや撮影記録媒体中
の画像から、先のプリント時の画像処理条件を検索する
ことが可能になり、顧客に満足を与えられるような、再
現性に優れたプリントを行うことが可能になるという効
果が得られる。

【０１２０】また、上記画像検索方法を応用すれば、画
像の構図に基づいて類似画像を判別することができるの
で、色や濃度の影響を受けにくくなり、これにより、１
注文の写真フィルムや撮影記録媒体内で極端に色調，濃
度などが異なるプリントを作製することがなくなり、顧
客に不満を持たせることがなくなるという効果が得られ
る。

【図面の簡単な説明】

【図１】 本発明の一実施例に係る画像検索方法を説明
するための図で、原画像を示す図である。

【図２】 同、図１に示す原画像を検索する際に、ユー
ザが入力した検索用指定パターンを示す図である。

【図３】 同、図１に示した原画像中から抽出した特定
図形を原画像に重ねて示す図である。

【図４】 同、準備動作としての、図１に示した原画像
中から予め定められた特定図形を抽出する動作の概要を
示す動作フロー図である。

【図５】 同、記憶手段に記憶されているデータに基づ
いて画像を検索する動作の流れを示す動作フロー図であ
る。

【図６】 本発明の他の実施例に係る画像検索方法を説
明するための図で、被写体指定例を示す図である。

【図７】 同、図６に示した指定に対応する被写体検索
結果の一例を示す図である。

【図８】 本発明のさらに他の実施例に係る画像検索方
法を説明するための図で、動画像検索時の被写体指定例
を示す図である。

【図９】 同、図８に示した指定に対応する動画像検索
結果の一例を示す図である。

【図１０】 本発明の画像検索方法および画像処理方法
をそれぞれ実施する画像検索装置およびこれを用いるプ
リントシステムの一実施例のブロック図である。

【符号の説明】 １０ 原画像 １１ ３角形状の山 １２ 人物の顔 １３ 人物の胴体 １４ ビルディング ２０ 検索用指定パターン ２１ 山を象徴する３角形 ２２，２３ 人物を象徴する２つの楕円 ２４ ビルディングを示す縦型の４角形 ３０ 原画像からの図形抽出結果 ３１ 山１１に対応する図形 ３２，３３ 人物１２，１３に対応する図形 ３４ ビルディング１４に対応する図形 ３５，３６ 誤検出図形 ６０ 検索用指定パターン ６１ 人物指定図形 ７０ 原画像からの図形抽出結果 ８０ 被写体指定例 ８１ 被写体 ８２ 被写体移動方向 ９０ａ，９０ｂ 動画像抽出結果 １００ プリントシステム １０２ 画像検索装置 １０４ フォトプリンタ １０６ ユーザ端末 １０８ 画像データベース（ＤＢ） １１０ 付属情報取得部 １１２ 付属情報指定部 １１４ 画像検索部 １１５、１２８ インターフェース（Ｉ／Ｆ） １１６、１２４ 表示部 １１７ コンピュータグラフィックス（ＣＧ）画像作成
装置 １１８ 画像入力装置 １２０ 画像処理部 １２２ プリント出力部 １２６、１３２ 入力部 １３０ タブレット １３４ 音声認識部 １３６ 抽出部 １３８ 付属情報設定部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 1/00 ３４０ Ｇ０６Ｔ 1/00 ３４０Ａ 7/20 7/20 Ａ 7/60 ２００ 7/60 ２００Ｚ

Claims (24)

【特許請求の範囲】
1. 【請求項１】画像に対してこの画像に存在または付随す
   る、もしくは存在するとともに付随する特定の情報を抽
   出または認識し、得られた特定の情報をそのまま、もし
   くは前記特定の情報の関連情報を、前記画像の画像デー
   タに付属させて付属情報としてデータベースに記憶し、
   この付属情報の少なくとも一部を検索条件として指定
   し、指定された検索条件で前記データベースを検索し、
   選び出された前記記憶画像データに付属している前記付
   属情報との一致度を求め、所定値以上の一致度を持つ画
   像を読み出すことを特徴とする画像検索方法。
2. 【請求項２】前記画像に存在する特定の情報は、前記画
   像に対してＭ（Ｍは１以上）種類の予め定められた特定
   の幾何学図形であり、 前記付属情報として記憶される前記関連情報は、前記画
   像に対して前記Ｍ種類の前記特定の幾何学図形を抽出す
   る処理を適用し、抽出の結果得られたＮ（Ｎは０以上）
   個の特定の幾何学図形に対応する位置と大きさ、位置と
   大きさと向き、位置と大きさと色、または位置と大きさ
   と向きと色のいずれか一つであり、 前記検索条件として前記付属情報の少なくとも一部を指
   定する工程は、前記特定の幾何学図形のＬ種類（Ｌは１
   〜Ｍ）について、前記特定の幾何学図形の存在の有無ま
   たは前記位置、大きさおよび向きならびに色の少なくと
   も一つの概略を指定することである請求項１に記載の画
   像検索方法。
3. 【請求項３】前記画像に存在する特定の情報は、前記画
   像に対してＭ（Ｍは１以上）種類の予め定められた特定
   の被写体であり、 前記付属情報として記憶される前記関連情報は、前記画
   像に対して前記Ｍ種類の前記特定の被写体を抽出する処
   理を適用し、抽出の結果得られた、Ｎ（Ｎは０以上）個
   の特定の被写体に対応する位置と大きさ、位置と大きさ
   と向き、位置と大きさと色、または位置と大きさと向き
   と色のいずれか一つであり、 前記検索条件として前記付属情報の少なくとも一部を指
   定する工程は、前記特定の被写体のＬ種類（Ｌは１〜
   Ｍ）について、前記特定の被写体の存在の有無または前
   記位置、大きさ、向きおよび色の少なくとも一つの概略
   を指定することである請求項１に記載の画像検索方法。
4. 【請求項４】前記画像は、時間的に連続性を有する画像
   であり、 前記画像に存在する特定の情報は、前記画像に対して予
   め定められた特定の幾何学図形であり、 前記付属情報として記憶される前記関連情報は、前記時
   間的に連続性を有する画像に対して、所定の時間または
   フレーム数の間隔で、前記画像に対して前記特定の幾何
   学図形を抽出する処理を適用し、抽出された前記幾何学
   図形についてのフレーム間における位置の比較に基づ
   き、前記幾何学図形に対応する画像の移動方向を求める
   ことによって得られた、前記幾何学図形の情報および該
   幾何学図形に対応する画像の移動方向であり、 前記検索条件として前記付属情報の少なくとも一部を指
   定する工程は、前記時間的に連続性を有する画像に対し
   て、所定の時間またはフレーム数の間隔で、幾何学図形
   とその動きベクトルの方向の概略を指定することである
   請求項１に記載の画像検索方法。
5. 【請求項５】前記画像は、時間的に連続性を有する画像
   であり、 前記画像に存在する特定の情報は、前記画像に対して予
   め定められた特定の被写体であり、 前記付属情報として記憶される前記関連情報は、前記時
   間的に連続性を有する画像に対して、所定の時間または
   フレーム数の間隔で、前記特定の被写体を抽出する処理
   を適用し、抽出された前記被写体についてのフレーム間
   における位置の比較に基づき、前記被写体に対応する画
   像の移動方向を求めることによって得られた、前記被写
   体の情報および該被写体に対応する画像の移動方向であ
   り、 前記検索条件として前記付属情報の少なくとも一部は、
   前記時間的に連続性を有する画像に対して、所定の時間
   またはフレーム数の間隔で、被写体とその動きベクトル
   の方向の概略を指定することである請求項１に記載の画
   像検索方法。
6. 【請求項６】前記画像は、音声情報を有する画像であ
   り、 前記画像に付随する特定の情報は、前記音声情報であ
   り、 前記付属情報は、前記音声情報を有する画像に対して認
   識された前記音声情報であり、 前記検索条件として前記付属情報の少なくとも一部を指
   定する工程は、前記音声情報を有する画像に対して、音
   声情報の概略を指定することであり、 前記一致度は、前記記憶させた画像のデータに付属して
   いる音声認識情報との一致度である請求項１に記載の画
   像検索方法。
7. 【請求項７】前記付属情報として、前記音声情報に加
   え、特定の幾何学図形に対応する位置と大きさ、位置と
   大きさと向き、位置と大きさと色、または位置と大きさ
   と向きと色のいずれか一つの前記関連情報を付属させ、 前記検索条件は、前記音声情報に加え、特定の幾何学図
   形の存在の有無、または前記特定の幾何学図形に対応す
   る位置、大きさおよび向きならびに色の少なくとも一つ
   である請求項６に記載の画像検索方法。
8. 【請求項８】前記付属情報として、前記音声情報に加
   え、特定の被写体に対応する位置と大きさ、位置と大き
   さと向き、位置と大きさと色および位置と大きさと向き
   と色のいずれか一つの前記関連情報を付属させ、 前記検索条件は、前記音声情報に加え、特定の被写体の
   存在の有無、または前記特定の被写体に対応する位置、
   大きさおよび向きならびに色の少なくとも一つである請
   求項６に記載の画像検索方法。
9. 【請求項９】前記画像に存在するとともに付随する特定
   の情報は、特定の人物の顔画像と人物名からなる人物情
   報であり、 前記付属情報として記憶される前記関連情報は、予め前
   記特定の人物Ａ人（Ａは１以上）の顔画像と人物名から
   なる人物情報を登録しておき、前記画像の記憶時に、人
   物抽出および前記人物情報を用いた人物同定処理により
   得られる、前記特定の人物の存在の有無、または前記特
   定の人物の位置と大きさ、位置と大きさと向き、位置と
   大きさと色および位置と大きさと向きと色のいずれか一
   つであり、 前記検索条件として前記付属情報の少なくとも一部を指
   定する工程は、前記検索条件として、特定の人物Ｂ人
   （Ｂは１〜Ａ）の存在の有無またはその特定の人物の位
   置、大きさおよび向きの少なくとも一つを指定すること
   であり、 前記一致度は、各記憶画像の付属情報との一致度である
   請求項１に記載の画像検索方法。
10. 【請求項１０】前記画像は、時間的に連続性を有する画
    像であり、 前記付属情報として記憶される前記関連情報は、前記時
    間的に連続性を有する画像に対して、所定の時間または
    フレーム数の間隔で、前記人物情報を用いた前記人物同
    定処理により得られるものであり、 前記検索条件として前記付属情報の少なくとも一部を指
    定する工程は、前記検索条件として、前記特定の人物の
    存在の有無、またはその特定の人物の位置、大きさおよ
    び色の少なくとも一つおよびその動きベクトルの方向を
    指定することである請求項９に記載の画像検索方法。
11. 【請求項１１】前記画像は、音声情報を有する画像であ
    り、 前記付属情報は、前記音声情報を有する画像に対して、
    前記人物情報を用いた人物同定処理により得られた前記
    関連情報および認識された音声情報であり、 前記検索条件として前記付属情報の少なくとも一部を指
    定する工程は、前記音声情報を有する画像に対する前記
    検索条件として、前記関連情報である前記特定の人物の
    存在の有無、またはその特定の人物の位置、大きさ、向
    きおよび色の少なくとも一つ、または前記音声情報の概
    略を指定することである請求項９に記載の画像検索方
    法。
12. 【請求項１２】前記画像は、メッセージ情報を有する画
    像であり、 前記画像に付随する特定の情報は、前記メッセージ情報
    であり、 前記付属情報は、前記メッセージ情報を有する画像に対
    して認識された前記メッセージ情報であり、 前記検索条件として前記付属情報の少なくとも一部を指
    定する工程は、前記メッセージ情報を有する画像に対し
    て、メッセージ情報の概略を指定することであり、 前記一致度は、前記記憶させた画像のデータに付属して
    いるメッセージ認識情報との一致度である請求項１に記
    載の画像検索方法。
13. 【請求項１３】前記メッセージ情報は、画像中に合成さ
    れたテキストデータまたは付随画像データである請求項
    １２に記載の画像検索方法。
14. 【請求項１４】前記画像は、コンピュータグラフィック
    ス画像であり、 前記画像に付随する特定の情報は、前記画像を作成する
    際に用いた編集データであり、 前記付属情報は、前記編集データであり、 前記検索条件として前記付属情報の少なくとも一部を指
    定する工程は、特定の幾何学図形、特定の物体および特
    定の色の少なくとも一つの存在の有無、またはその位
    置、大きさおよび向きの少なくとも一つにより前記コン
    ピュータグラフィックス画像のシーンを指定する工程
    と、指定されたシーン指定データをコンピュータグラフ
    ィックスコマンドに変換する工程とを有し、 前記一致度を求める工程は、変換されたコンピュータグ
    ラフィックスコマンドと選び出された前記記憶画像デー
    タに付属している前記編集データとの一致度を求める工
    程である請求項１に記載の画像検索方法。
15. 【請求項１５】前記コンピュータグラフィックス画像
    は、時間的に連続性を有するコンピュータグラフィック
    ス画像であり、 前記付属情報は、前記編集データに加え、前記時間的に
    連続性を有するコンピュータグラフィックス画像に対し
    て、所定の時間またはフレーム数の間隔で、前記特定の
    幾何学図形および前記特定の物体の少なくとも一つにつ
    いてのフレーム間における位置の比較に基づき、前記特
    定の幾何学図形および前記特定の物体の少なくとも一つ
    に対応する画像の移動方向を求めることによって得られ
    た、前記特定の幾何学図形および前記特定の物体の少な
    くとも一つおよびその画像の移動方向であり、 前記検索条件として、前記時間的に連続性を有するコン
    ピュータグラフィックス画像に対して、所定の時間また
    はフレーム数の間隔で、特定の幾何学図形および特定の
    物体の少なくとも一つの存在の有無、またはその位置、
    大きさおよび色の少なくとも一つとその動きベクトルの
    方向の概略を指定する請求項１４に記載の画像検索方
    法。
16. 【請求項１６】前記指定工程は、記号、言語および音声
    の少なくとも一つによって指定する工程と、指定された
    記号、言語および音声の少なくとも一つを前記特定の情
    報またはその付属情報に自動変換する工程とを有する請
    求項１〜１５のいずれか１項に記載の画像検索方法。
17. 【請求項１７】前記画像データ中の前記検索条件に合致
    するエリアを、時間的に優先して表示する請求項１〜１
    ６のいずれか１項に記載の画像検索方法。
18. 【請求項１８】前記画像データ中の前記検索条件に合致
    するエリアを、それ以外のエリアとは異なる画像処理に
    より強調表示する請求項１〜１６のいずれか１項に記載
    の画像検索方法。
19. 【請求項１９】表示端末の表示能力に応じて前記画像デ
    ータの加工を行う請求項１〜１８のいずれか１項に記載
    の画像検索方法。
20. 【請求項２０】検索した画像エリアをエリア単位で管理
    し、アクセス頻度に応じて、検索時参照優先順位を設定
    する請求項１〜１９のいずれか１項に記載の画像検索方
    法。
21. 【請求項２１】検索した画像エリアをエリア単位で管理
    し、アクセス頻度に応じて、データ記憶時の解像度を設
    定する請求項１〜１９のいずれか１項に記載の画像検索
    方法。
22. 【請求項２２】先のプリント処理時に、プリント画像中
    の特定図形または特定被写体を抽出して、抽出された特
    定図形または特定被写体を付属情報として画像処理条
    件、または画像処理条件および画像データと対応付けて
    データベースに記憶しておき、再注文プリントの処理時
    には、先のプリントまたは撮影画像記録媒体から画像デ
    ータを読み取って特定図形または特定被写体を抽出し
    て、これを前記データベースに記憶された付属情報との
    一致度を求め、所定値以上の一致度を持つ画像を検索
    し、検索された画像の先のプリント処理時における画像
    処理条件による処理を行うことを特徴とする画像処理方
    法。
23. 【請求項２３】先のプリント処理時に、画像処理条件と
    画像データとを対応付けてデータベースに記憶してお
    き、再注文プリントの処理時には、先のプリントまたは
    撮影画像記録媒体から画像データを読み取り、第１の特
    定図形または特定被写体を抽出するとともに、前記デー
    タベースに記憶された画像データから第２の特定図形ま
    たは特定被写体を抽出し、前記第１の特定図形または特
    定被写体と前記第２の特定図形または特定被写体との一
    致度を求め、所定値以上の一致度を持つ前記画像を検索
    し、検索された画像の前記画像データをこれと対応付け
    て記憶された前記画像処理条件とともに前記データベー
    スから読み出し、読み出された画像データに読み出され
    た画像処理条件による画像処理を行うことを特徴とする
    画像処理方法。
24. 【請求項２４】１注文内の複数の画像中の特定図形また
    は特定被写体を抽出して、前記特定図形または前記特定
    被写体の位置と大きさが類似する画像コマについては、
    プリント仕上がりを所定範囲内に揃えるように画像処理
    することを特徴とする画像処理方法。