JP2008159049A - 画像記録システム - Google Patents

Abstract

【課題】画像の検索を効率的に行う画像の検索方法を実施可能な画像検索装置と、この画像の検索方法を利用して画像処理を行う画像処理装置とを備えた画像記録システムを提供すること。
【解決手段】先の画像出力処理時に、記録画像中の特定図形または特定被写体を抽出して、これを付属情報として画像データと対応付けてデータベースに記憶しておき、再注文画像の出力処理時には、先の画像が出力された記録媒体または撮影画像記録媒体から画像データを読み取って特定図形または特定被写体を抽出して、これと前記データベースに記憶された付属情報との一致度を求め、所定値以上の一致度を持つ画像を検索し、画像処理装置は、先の画像出力処理時に画像検索装置により検索された画像の先の画像出力処理時における画像処理条件による処理を行うことを特徴とする画像記録システム。
【選択図】図１０

Description

本発明は、画像記録システムに関し、より具体的には、画像中から抽出されたシンプルな図形や人物、物体等の被写体などの特定の情報や画像に付随する音声情報や文字やマークなどのメッセージ情報などの特定の情報を、画像の付属情報としてデータベースに記憶しておいて、それに基づいて検索した画像、およびこの画像中から抽出される特定情報を利用する画像記録システムに関する。

例えば、人物写真を鑑賞する際に最も注目される部位は、人物の顔である。そのため、フィルムなどに記録された原画像を印画紙などの複写材料に焼き付ける場合には、人物の顔が適正な色や濃度に再現されるように、焼付露光量を決定する必要がある。

このため、人物写真では、例えば、特許文献１に開示されているような方法により、カラー原画像を多数の画素に分割し、各画素毎にＲ，Ｇ，Ｂの３色に分解して測光し、この結果に基づいて、色相および彩度についてのヒストグラムを求めて、求めたヒストグラムのうち人物の顔に相当する色相および彩度を有する画素が存在する領域を、人物の顔に相当する領域として切り出し、この領域の測光データから露光量を決定している。

また、特許文献２には、人物の顔に相当する領域を抽出する確度を向上させるために、画像の外縁に接している領域を背景領域と判断して除去したり、抽出した領域を線図形化し、抽出した領域の周辺に位置している近傍領域の形状および抽出した領域の形状に基づいて、抽出した領域が人物の顔に相当する領域であるか否かを判断する技術が示されている。

しかしながら、これらの技術では、原画像中に、例えば、地面や樹木などの肌色に近い色相および彩度の領域が存在している場合には、この領域を人物の顔に相当する領域と誤判定する可能性がある。また、これらの領域が人物の顔に相当する領域と隣接している場合、両者を適正に分離することができず、原画像を適正な範囲の領域に分割できない可能性がある。

上述のように、人物の顔以外の領域を人物の顔に相当する領域と誤判定した場合や、または、人物の顔に相当する領域に隣接する同様な色相および彩度を有する領域を分離できない場合には、本来の人物の顔が適正に焼き付けるための露光量が得られなくなるという問題があった。

このような問題に対しては、注目する部位の色（色相や彩度）のみでなく、その部位の形状に関する情報をも利用することが有効と考えられる。すなわち、人物の顔に相当する領域であれば、概ね、楕円形ないし卵型の形状を有すると考えられるので、色に関する情報に加えて、このような特別な形状を有することを、抽出する際の条件とすればよい。

このように、原画像中の被写体の形状に関する情報は、画像の検出ないしは画像の検索において極めて重要な意味を持っている。なお、これに関しては、本出願人の出願に係る特許文献３に開示された技術を参考にすることができる。この技術は、画像のエッジを検出して人物に相当する領域の輪郭を抽出し、人物（特に、顔）に相当する領域について、好ましい色再現を行うことを目的とするものである。

この他にも、検索者に対象とする画を描かせることなく、また、手元にあるいは一覧できる枚数内に、検索者が望んでいる画像に近い画像がなくとも、検索者が抽出したいと思っている画像を検索可能とするための、画像検索システムを提供するものとして、例えば、特許文献４、特許文献５の記載を参考にすることができる。

特開平４−３４６３３２号公報 特開平６−１６０９９３号公報 特開平９−１３８４７１号公報 特開平７−０２１１９８号公報 特開平８−２４９３５２号公報

本発明は、上述の従来技術における、原画像中の特定の形状をキーとして領域検出を行うという思想をさらに発展させた画像の検索方法、すなわち、原画像中の人物や物体等の被写体の形状や原画像に付随する音声情報やメッセージ情報などの特定の情報をキーとして、画像の検出ないしは画像の検索（以下、これらをまとめて画像の検索という）を効率的に行う画像の検索方法を実施可能な画像検索装置と、上記画像の検索方法または上記原画像中から抽出される特定の情報を利用して画像処理を行う画像処理装置とを備えた画像記録システムを提供することにある。

上記目的を達成するため、本発明に係る画像記録システムは、入力される画像に付随する特定の情報を得、得られた特定の情報を前記画像の画像データに付属させて付属情報としてデータベースに記憶させ、検索条件として、前記付属情報の少なくとも一部が指定された際に、前記指定された検索条件で前記データベースを検索し、選び出された画像を読み出す検索部と、読み出された画像を表示する表示部とを有する画像検索装置と、この画像検索装置に接続され、前記画像検索装置から受け取った画像処理条件に従って、画像データの画像処理を行う画像処理装置と、この画像処理装置によって画像処理された画像データを用いて記録材料に画像を記録する画像出力部を有する画像記録装置とを有する画像記録システムであって、前記画像検索装置は、先の画像出力処理時に、記録画像中の特定図形または特定被写体を抽出して、抽出された特定図形または特定被写体を付属情報として画像処理条件、または画像処理条件および画像データと対応付けてデータベースに記憶しておき、再注文画像の出力処理時には、先の画像が出力された記録媒体または撮影画像記録媒体から画像データを読み取って特定図形または特定被写体を抽出して、これと前記データベースに記憶された付属情報との一致度を求め、所定値以上の一致度を持つ画像を検索するものであり、前記画像処理装置は、先の画像出力処理時に前記画像検索装置により検索された画像の先の画像出力処理時における画像処理条件による処理を行うものであることを特徴とする。

また、本発明に係る画像記録システムは、入力される画像に付随する特定の情報を得、得られた特定の情報を前記画像の画像データに付属させて付属情報としてデータベースに記憶させ、検索条件として、前記付属情報の少なくとも一部が指定された際に、前記指定された検索条件で前記データベースを検索し、選び出された画像を読み出す検索部と、読み出された画像を表示する表示部とを有する画像検索装置と、この画像検索装置に接続され、前記画像検索装置から受け取った画像処理条件に従って、画像データの画像処理を行う画像処理装置と、この画像処理装置によって画像処理された画像データを用いて記録材料に画像を記録する画像出力部を有する画像記録装置とを有する画像記録システムであって、前記画像検索装置は、先の画像出力処理時に、画像処理条件と画像データとを対応付けてデータベースに記憶しておき、再注文画像の出力処理時には、先の画像が出力された記録媒体または撮影画像記録媒体から画像データを読み取り、第１の特定図形または特定被写体を抽出するとともに、前記データベースに記憶された画像データから第２の特定図形または特定被写体を抽出し、前記第１の特定図形または特定被写体と前記第２の特定図形または特定被写体との一致度を求め、所定値以上の一致度を持つ前記画像を検索するものであり、前記画像処理装置は、先の画像出力処理時に前記画像検索装置により検索された画像の前記画像データをこれと対応付けて記憶された前記画像処理条件とともに前記データベースから読み出し、読み出された画像データに読み出された画像処理条件による画像処理を行うものであることを特徴とする。

ここで、前記画像に付随する特定の情報は、前記画像に対してＭ（Ｍは１以上）種類の予め定められた特定の幾何学図形であり、前記付属情報として記憶される前記関連情報は、前記画像に対して前記Ｍ種類の前記特定の幾何学図形を抽出する処理を適用し、抽出の結果得られたＮ（Ｎは０以上）個の特定の幾何学図形に対応する位置と大きさ、位置と大きさと向き、位置と大きさと色、または位置と大きさと向きと色のいずれか一つであり、前記検索条件として前記付属情報の少なくとも一部を指定する工程においては、前記特定の幾何学図形のＬ種類（Ｌは１〜Ｍ）について、前記特定の幾何学図形の存在の有無または前記位置、大きさおよび向きならびに色の少なくとも一つの概略が指定されるものであることが好ましい。

また、前記画像に付随する特定の情報は、前記画像に対してＭ（Ｍは１以上）種類の予め定められた特定の幾何学図形により規定される被写体であり、前記付属情報として記憶される前記関連情報は、前記画像に対して前記Ｍ種類の前記特定の被写体を抽出する処理を適用し、抽出の結果得られた、Ｎ（Ｎは０以上）個の特定の被写体に対応する位置と大きさ、位置と大きさと向き、位置と大きさと色、または位置と大きさと向きと色のいずれか一つであり、前記検索条件として前記付属情報の少なくとも一部を指定する工程においては、前記特定の被写体のＬ種類（Ｌは１〜Ｍ）について、前記特定の被写体の存在の有無または前記位置、大きさ、向きおよび色の少なくとも一つの概略が指定されるものであることが好ましい。

また、前記画像に付随する特定の情報は、特定の人物の顔画像と人物名からなる人物情報であり、前記付属情報として記憶される前記関連情報は、予め前記特定の人物Ａ人（Ａは１以上）の顔画像と人物名からなる人物情報を登録しておき、前記画像の記憶時に、人物抽出および前記人物情報を用いた人物同定処理により得られる、前記特定の人物の存在の有無、または前記特定の人物の位置と大きさ、位置と大きさと向き、位置と大きさと色および位置と大きさと向きと色のいずれか一つであり、前記検索条件として前記付属情報の少なくとも一部を指定する工程は、前記検索条件として、特定の人物Ｂ人（Ｂは１〜Ａ）の存在の有無またはその特定の人物の位置、大きさおよび向きの少なくとも一つを指定することであり、前記一致度は、各記憶画像の付属情報との一致度であることが好ましい。

また、本発明に係る他の画像記録システムは、入力される画像に付随する特定の情報を得、得られた特定の情報を前記画像の画像データに付属させて付属情報としてデータベースに記憶させ、検索条件として、前記付属情報の少なくとも一部が指定された際に、前記指定された検索条件で前記データベースを検索し、選び出された画像を読み出す検索部と、読み出された画像を表示する表示部とを有する画像検索装置と、この画像検索装置に接続され、前記画像検索装置から受け取った画像処理条件に従って、画像データの画像処理を行う画像処理装置と、この画像処理装置によって画像処理された画像データを用いて記録材料に画像を記録する画像出力部を有する画像記録装置とを有する画像記録システムであって、前記画像検索装置により、１注文内の複数の画像中の特定図形または特定被写体を抽出して、前記画像処理装置は、前記画像検索装置により検出された、前記特定図形または前記特定被写体の位置と大きさが類似する画像コマについては、記録室力された画像の仕上がりを所定範囲内に揃えるように画像処理することを特徴とする。

本発明によれば、原画像中に存在する被写体（人物や物体）の形状（特定の幾何学図形など）や特定の被写体自体等や原画像に合成されたまたは付随する情報などをキーとして、画像の検索を効率的に行うようにしたことによって、後の出力画像の作製（いわゆる、再プリント）時に顧客が持参した写真フィルムや撮影記録媒体中の画像から、先のプリント（画像が出力された記録媒体の作製）時の画像処理条件を検索することが可能になり、顧客に満足を与えられるような、再現性に優れた画像記録（プリント）を行うことが可能な画像記録システムを実現できるという効果が得られる。

また、画像の構図に基づいて類似画像を判別することができるので、色や濃度の影響を受けにくくなり、これにより、例えば、１注文の写真フィルムや撮影記録媒体内で極端に色調，濃度などが異なるプリントを作製することがなくなり、顧客に不満を持たせることがなくなるという効果が得られる。

以下では、本発明に係る画像記録システムを添付の図面に示す好適実施形態に基づいて説明するが、それに先立って、その基礎となる画像の検索方法を詳細に説明する。

図１〜図３は、それぞれ本発明の基礎となる画像の検索方法を説明するための図である。図１は画像データ源から供給され、図示しないデータベース等の記憶手段にその画像データが記憶される原画像１０を示している。図２は、この原画像１０を検索する際に、ユーザが、図示しない画像指定装置によって指定された、例えば、タブレット上でペンなどを用いて手書きで入力した、もしくは画像入力装置や画像表示装置にマウスやキーボード等を使って入力または表示・入力された検索用指定パターン２０を示している。また、図３は、本実施形態において用いる画像の検索方法のプログラムが、パターンマッチングなどの手法により、図１に示した原画像１０中から予め定められた特定の幾何学的図形（円，楕円，３角形，４角形などの図形、以下、特定図形という）を抽出した結果３０を示している。
なお、前述の特開平９−１３８４７１号公報（特許文献３）に開示されているエッジ追跡手法などを用いて、各種の特定形状を検出することも可能である。

図１に示す原画像１０中において、１１は３角形状の山を、１２および１３はそれぞれ人物の顔および胴体を、１４はビルディングを示している。また、図２に示す検索用指定パターン２０では、ユーザが、図１に示す原画像１０を検索する目的で、山を象徴する３角形２１と、人物を象徴する２つの楕円（すなわち、顔と胴体）２２，２３と、ビルディングを示す縦型の４角形２４とを、それぞれが存在すると思われる位置対応に配置した状況を示している。

なお、図３では、図１に示した原画像１０中から、本実施形態において用いる画像の検索方法のプログラムが抽出した図形を、実線で示す原画像１０に重ねて点線で示している（しかし、分かり易くするために部分的に点線をずらして示している）。ここで、３１は原画像１０中の３角形状の山１１に対応するもの、３２および３３はそれぞれ同人物の顔と胴体１２および１３に対応するもの、３４は同ビルディング１４に対応するものである。また、図３の右端のビルディングの窓部分にかかる４角形３５と、その下方の楕円形３６は、プログラムが誤検出したものである。

ここで、本発明の基礎となる画像の検索方法の対象となる原画像１０は、画像データとして供給されるものであれば、特に限定的ではなく、例えば、画像入力装置や画像取得装置などによって入力または取得された画像、あるいは画像供給源から供給された画像、すなわち、従来型カメラによってネガフィルムやポジフィルム等の写真フィルムに撮影された画像や写真プリントや印刷画像などのようにスキャナ等の画像読取装置によって読み取られる画像、デジタルスチルカメラやビデオカメラなどによって撮影された画像、Ｘ線撮影装置やＣＲ装置やＣＴ装置やＭＲＩ装置などのような医療用診断画像撮影装置で撮影された画像、コンピュータグラフィックス画像（以下、ＣＧ画像という）などのようなコンピュータ等で作成された画像などを挙げることができる。また、後述するように、従来型カメラやデジタルスチルカメラなどで連続撮影（連写）された時間的に連続性を有する画像（以下、動画像という）、ビデオカメラなどで撮影された動画像（以下、ビデオ画像という）、テレビジョン放送の動画像（以下、テレビ画像という）、このようなビデオ画像やテレビ画像やＣＧ画像等のような音声情報を有する画像、さらには文字、マーク、顔画像、キャラクタ画像等のメッセージ情報を付した画像などであっても良い。

なお、図２に示す検索用指定パターン２０としては、異なる特定図形の組み合わせ、あるいは同じ特定図形の大きさを変えた組み合わせなどを用いることができる。また、ユーザが画像表示装置にマウスやキーボードを用いて描画し、または、タブレットなどの画像指定装置を用いて具体的な形状で直接検索用指定パターン２０を指定する以外にも、文字や記号やマークなどのキーワードで指定したり、音声で入力し、入力された音声を認識して具体的な形状に自動変換して指定するなど、間接的に指定する方法も利用できる。
例えば、図２において、特定図形で入力する代わりに、ユーザが概略位置をタブレットや画像表示装置上で概略位置を囲み、この囲みの中に文字や記号やマークを入力する。例えば、「山」と文字入力すれば、「山」を三角形探索に自動変換して処理する。同様に、「ビル」および「人」と文字入力すれば、それぞれ四角形探索、および顔や人物探索に変換して処理する。なお、記号やマークで指定する場合には、ラボなどのように大量の付属情報付画像のデータベースを保有するサイトやセンタ（データベース機関）およびそのデータベースを利用するユーザが記号やマークを設定できるようにしておくのが好ましい。こうして、ユーザによる記号指定やマーク指定を特定図形や後述する特定の主要被写体や人物や物体などに自動変換する処理を行うことができる。

ここで、検索用指定パターン２０として用いられる特定図形は、画像中に存在する特定の情報に相当するものであれば良く、上述したように、円，楕円，３角形，４角形などのようなシンプルな図形が検索が容易である点から好ましいが、これに限定されず、その他の、すなわち五角形以上の多角形、星形や星型のようなキャラクタ、異形や、直線や曲線およびその組み合わせな等の多様な図形など、画像中に存在する図形であればどのようなものでも良い。なお、検索用指定パターン２０は、特定の図形そのものを指定するものに限定されず、その図形の中心位置、大きさ、向き、頂点、色などの少なくとも一つであっても良い。
また、本発明に用いられる特定の情報は、上述した特定図形に限定されず、例えば、後述するように、画像中に存在する特定の被写体、画像中に存在する特定の人物の顔画像と画像に付随する特定の人物名からなる人物情報、画像に付随する音声情報、文字やサイン等の手書き文字等のテキストデータやマークや撮影画像やＣＧ画像等の参照用画像等の画像データからなるメッセージ情報、特定の図形や特定の色や特定の物体を描画するＣＧコマンドなどのＣＧ画像を作成する時に用いた編集データ等であっても良い。

以下、本実施形態において用いる画像の検索方法における準備動作としての、図１に示す原画像１０中から予め定められた特定図形を抽出する動作の一例の概要を、図４に示す動作フロー図の一例に従って説明する。

図４に示すように、まず、始めに、ステップ４０１で原画像１０が図示しない画像データ供給源から画像データとして読み込まれると、次に、ステップ４０２で予定められている特定の幾何学的図形（特定図形）に類似した形状を有する領域が上述したパターンマッチングやエッジ追跡手法などを用いて抽出される。続いて、ステップ４０３で、抽出領域を関連情報として数値化し、後述するようなそれらの領域の特性値が算出されて、ステップ４０４で、得られた特性値が付属情報として図示されていないデータベースなどの記憶手段内に記憶される。ここで、ステップ４０２〜４０４においては、原画像１０中の特定図形の中心位置、サイズ（大きさ）、向きなどの各種特性値が認識され、順次、付属情報としてデータベースに記憶される。

付属情報として用いられる各種特性値としては、例えば、円の場合は中心位置の他サイズとしての直径が、楕円であれば中心位置の他サイズとしての長径，短径が、３角形であれば３つの頂点の座標が、また、４角形であれば中心位置の他Ｘ軸幅，Ｙ軸幅などが、それぞれ採用される。もちろん、本発明の基礎となる画像の検索方法においては、上述の各種特性値の取り方自体は何等限定されるものではない。なお、原画像１０がカラー画像である場合には、付属情報として特定図形の色等の関連情報を用いても良い。
さらに、本発明において用いられる付属情報としては、特定図形の中心位置，サイズ（大きさ）、向きなどの各種特性値や色等の関連情報に限定されず、後述するように、特定の被写体や特定の人物の位置、サイズ、向き、色等の関連情報であっても良いし、動画像中の特定図形、特定の被写体、特定の人物の情報および動画像の複数のフレーム間における特定図形、特定の被写体、特定の人物の移動方向、音声情報自体、メッセージ情報自体、ＣＧコマンドなどのＣＧ画像作成用編集データ自体であっても良い。

表１に、図１に示した原画像１０から、上述の特定図形を抽出した結果の一例を示す。表１は、本実施形態において用いる画像の検索方法のプログラムが、パターンマッチングなどの手法により、原画像１０中から、楕円の領域を３個、３角形の領域を１個、４角形の領域を２個抽出したことを示している。なお、前述のように、楕円の領域の１個、４角形の領域の１個は、誤検出結果である。

次に、本発明の基礎となる画像の検索方法に従って、上述の記憶されているデータに基づいて画像を検索する動作の流れを、図５に基づいて説明する。
まず、始めに、ステップ５０１で検索条件として、検索用指定パターン２０を読み込む。次のステップ５０２において、読み込まれた検索用指定パターン２０を前述と同様にして数値化し、特性値に変換して、テーブル化する。この手順では、特定図形の位置、サイズ、向き等の特性値や色などを直接入力してもよい。次に、ステップ５０３で、原画像データベース（ＤＢ）から検索対象として原画像を読み込む。続いて、ステップ５０４でテーブル化した検索用指定パターン２０と比較照合する。

この照合は、検索用指定パターンテーブルの各列，各行を順次行う。例えば、検索用指定パターンの複数の特性値等がテーブルの１行に並べられている場合、まず、ステップ５０４で，テーブルの第１行の各列に配列されている第１の指定パターンの各特性値をデータベースから読み出された原画像に付属情報として付属している特性値を比較照合して、ステップ５０５で一致不一致の判断を行い、一致するものがあればステップ５０６で検索結果として取り出す。

一方、ステップ５０５での判断が不一致であれば、ステップ５０６をバイパスして、ステップ５０７に進み、次の行に移る。次に、ステップ５０８で検索用指定パターンテーブルに次の行があるかどうか判断し、次の行が存在していれば、ステップ５０４に戻り、次の行の比較照合を行い、ステップ５０４〜ステップ５０８を繰り返す。ステップ５０８の判断で次の行が存在していなければ、検索対象の一つの原画像の照合を終了し、ステップ５０９に進み、次の検索対象となる原画像に移る。次に、ステップ５１０で次の原画像があるかどうか判断し、次の原画像が存在していれば、ステップ５０３に戻り、次の原画像について検索を行う。ステップ５０８の判断で次の原画像が存在していなければ、検索対象の全ての原画像の検索を終了する。
本発明の基礎となる画像の検索方法は、このようにして実施される。

ここで、検索用指定パターンの複数の特性値などがテーブルの１列に並べられている場合、上記照合は、列単位で行われ、一つの検索用指定パターンがある行と列との塊を単位として配列されている場合には、その一塊を単位として行われる。
なお、ここでは、簡単に「ステップ５０５で一致するものがあれば、ステップ５０６で取り出す」と説明しているが、実際には、完全に一致することは少ないので、後述するように一致度を定義して、ステップ５０４で一致度を算出し、ステップ５０５で、算出した一致度が、所定の閾値を超えたものを、一致したものとするのがよい。

なお、ユーザが入力・指定した検索用指定パターン２０は、例えば、表２に示すような形で、テーブル化されたデータとして、図示されていない記憶部に記憶される。また、ここでは、楕円だけについて例示したが、他の図形についても同様なデータが作成される。そして、このデータを基にして、上述のように、この検索用指定パターンに適合する原画像の検索が行われる。

以下に、上述の、一致度の計算式の一例として、楕円の場合を示す。

ここで、Ｆ｛Ｘ｝値は入力値Ｘが小であるほど大となる特性とする。

ここで、Ｉは１〜付属情報に存在する個数Ｉmax 、Ｊは１〜検索時のパターン個数Ｊmax 、ｋ１〜ｋ３は係数である。
また、検索パターンの番号Ｊに関する点数：
Ｐ（Ｊ）＝max （Ｄ（Ｉ，Ｊ））
全画面に置ける点数：
Ｐtotal （Ａ：楕円）＝Σ（Ｐ（Ｊ））
Ｊ＝１〜Ｊmax
である。

上記説明では、一例として、楕円形の場合について説明したが、この他の図形についても、ステップ５０４で同様の一致度計算を行う。
例えば、楕円に関する一致度をＰtotal （Ａ）、３角形に関する一致度をＰtotal （Ｂ）、４角形に関する一致度をＰtotal （Ｃ）と表わすとすると、図２のケースでは、コマの一致度：Ｐtotal （ＡＬＬ）＝Ｐtotal （Ａ）＋Ｐtotal （Ｂ）＋Ｐtotal （Ｃ）となる。

なお、ここでいう特定図形は、上記幾何学図形に限定されるものではなく、上述したように、その他の多角形，星型のようなキャラクタ，直線，曲線およびその組み合わせなど、多様な図形を用いることを含むものである。
また、計算結果を基に、一致度のポイント順に、検索された画像をサムネイル表示するようにしてもよい。

検索時の指定パターンには、ＡＮＤ条件モードとＯＲ条件のモードを設定することが可能である。例えば、以下のようにする。
（１）ＡＮＤ条件モード時：関数Ｆ｛Ｘ｝は、入力Ｘが所定値以下の場合、負の値となる特性を持たせる。
例えば、検索指定パターンの位置に指定した図形が存在すれば正の値、存在しない場合は負の値となる。外れた場合、全体の一致度点数は低下する。

（２）ＯＲ条件モード時：関数Ｆ｛Ｘ｝は、０以上、または、正の値となる特性を持たせる。
例えば、検索指定パターンの位置に指定した図形が存在すれば正の値、存在しない場合は０となる。外れた場合でも、全体の一致度点数は低下しない。

なお、上述した例では、全ての検索用指定パターン２０の中心位置等の位置、サイズ、向き等の複数の特性値を検索条件として、読み出された原画像の付属情報と比較照合しているが、これに限定されず、検索用指定パターン自体の存在の有無のみを検索条件にしても良いし、特性値の内の位置、サイズ、向きおよび色の少なくとも一つの要素や項目を検索条件としても良いし、特性値の他指定パターンの色（色味）を検索条件としても良いし、複数の検索用指定パターンの少なくとも一つを用いても良い。

ただし、検索条件として検索用指定パターン自体の有無が指定される場合や指定される要素や項目や指定パターンが少ない場合には、検索に要する時間は短くなり、ヒットして取り出される原画像の数は増加し、その中に目的とする原画像が含まれている可能性は高いが、検索の精度は低下する。一方、指定される要素や項目や指定パターンが多ければ多いほど検索の精度は向上し、目的の原画像のみがヒットして取り出される可能性があるが、検索時間が長くかかり、要素や項目や指定パターンが正確でないと、ヒットする原画像がないという結果になる虞もある。このため、ここでの検索においては、検索の確実性および精度を考慮して、指定する要素や項目や指定パターンの数を適宜選択すれば良い。

この時、検索指示のユーザインターフェースとして、特定図形などの特定の情報の存在の有無のチェックのみか、または、さらにその位置、大きさ、向き等の特性値や色などをそれぞれ利用するか、また、これらの特性値や色などの種々の項目や要素の関連付けとして、これらの項目や要素をそれぞれ単独で使うか、２つ以上組み合わせて使うかというモードの設定をユーザが指定できるようにしておくのが好ましい。
例えば、上述した数１に示す数式において、係数ｋ１およびｋ２を０として、一致度計算から除外するようにしても良い。

本実施形態において用いた画像の検索方法によれば、タブレットに大まかな図形を描くとか、キーボードから図形の名称や記号を入力するとか、これらを音声入力するといった簡単な指示方法により、指示に適合する画像を検索することが可能になるという効果が得られる。ここでは、簡単な指示方法により指示された図形や名称（言語）や記号や音声による指定は、特定図形に自動変換され、所要の特性値に数値化され、色味なども変えることが可能である。

次に、本発明の基礎となる画像の検索方法の他の動作例を説明する。
前述の動作例では、特定の情報として特定図形を用いて検索対象となる特定図形の位置や大きさや向きや色等を付属情報としたが、本動作例では、特定の情報として特定の主要被写体（以下、特定被写体という、ここでは、人物を例に挙げる）とし、その位置や大きさや向きや色などを付属情報として検索を行う点を特徴とするものである。

図６に、検索時の特定被写体指定例６０を示す。ここでは、被写体を人物と設定した後、例えば、楕円形などの単純な図形６１を用いて、その存在の有無、またはその位置や大きさや向きや色の少なくとも一つを指定する。
図７に、上述の指定に対応する検索結果の一例を示す。この例では、人物の位置や大きさのみに基づいて、検索が行われた結果、目的とする画像７０が検索された例を示している。

本動作例に示した画像の検索方法によれば、検索対象が人物である場合に、その人物自体、またはその位置や大きさや向きの少なくとも一つを、タブレットで大まかに示すとか、キーボードから人物自体の有無、または人物の位置や大きさや向きの少なくとも一つを入力するといった簡単な指示により、指示に適合する画像を検索することが可能になるという効果が得られる。

なお、人物の位置や大きさに加えて、この人物の服装を色で表現した情報を付加することにより、人物の胴体部分を検索する際に、その色味をチェックするようにすれば、検索の効率が大幅に向上する可能性がある。また、複数の人物の特徴を組み合わせてもよい。

応用分野によっては、特定図形または特定被写体について、位置がほぼ固定的である場合があるが、そのような場合には、大きさまたは大きさと向き、さらには色を付属情報として記録すればよい。
また、特定図形または特定被写体について、大きさがほぼ固定的である場合には、位置または位置と向き、さらには色を付属情報として記録すればよい。

本発明の基礎となる画像の検索方法のさらに他の動作例を説明する。
前述の各動作例では、静止画像を検索対象としていたが、本動作例では、動画像を検索対象として、特定図形または特定被写体（人物）の当初の位置や移動方向を付属情報とし、これらを指定して検索を行う点を特徴とするものである。

図８に、検索時の特定被写体指定例８０を示す。ここでは、特定被写体を人物と設定した後、その特定被写体８１の移動方向（ベクトル）８２を矢印で指定する。
図９に、上述の指定に対応する検索結果の一例を示す。この例では、人物の当初の位置や大きさのみに基づいて、検索が行われた結果、目的とする動画像９０ａ，９０ｂが検索された例を示している。

本動作例においては、付属情報の登録を行う際に、動画像のフレーム内で抽出した指定図形（特定図形）または指定被写体（特定被写体）が、所定フレーム後にどのように移動しているかの追跡を行い、そのベクトル情報を付属情報に含めて記憶するようにする。検索を行う際には、指定の図形およびその動きベクトル（大きさおよび方向の少なくとも一方）に基づいて、付属情報とのマッチングを行う。

他の方法としては、付属情報をフレーム単位で作成する方法が可能である。すなわち、検索を行う際には、フレーム単位で指定図形（特定図形）または被写体を検出した場合、そのフレームから所定時間後（あるいは、その中間フレーム）のフレームに該当する位置（この位置は、指定した動きベクトルから求める）に指定図形が存在するか否かを、付属情報とのマッチングによりチェックするという方法である。

本動作例に示した方法においては、プログラムは入力のシーンの指定情報を、シンプルな形状とその動きに解読し、データベース内の各画像の付属情報との一致度を計算する。計算結果は、ポイント順に、該当する動画像のコマ表示により出力（サムネイル表示）する。

上記動作例に示した画像の検索方法によれば、検索対象が動画像中の人物である場合に、その当初の位置や移動方向を、タブレットで大まかに示すとか、キーボードから入力するとか、音声入力するといった簡単な指示により、指示に適合する動画像を検索することが可能になるという効果が得られ、例えば、ビデオ編集における大まかなシーン記述での画像の検索が容易になる。

本発明の基礎となる画像の検索方法のさらに他の動作例を説明する。
前述の各動作例では、音声情報を含まない画像を検索対象としていたが、本動作例では、動画像などの音声情報を含む画像を検索対象として、音声情報の概略を付属情報に含めるようにして、検索を行う際には、音声情報の概略を指定して検索を行うというものである。

例えば、人物を被写体とする動画像において、動きの情報に加えて音声情報を取り込み、音声変換により、その内容をデータベースに記憶する。これにより、検索時のキーワードとして、例えば、被写体：人物、音声情報：学校と指定することにより、シーンとして、人物が存在し、かつ、学校という単語に関連するシーンが検索される。なお、動画像に限らず、静止画像に音声情報を付加したものを検索対象としても良い。

本動作例に示した画像の検索方法によれば、検索対象が音声情報を有する場合に、その情報を利用することにより、指示に適合する画像を検索することが可能になるという効果が得られ、被写体の動きのみならず、その発言内容などからの検索が可能になり、ビデオ編集の際などに有効である。なお、もちろん、これ（音声情報）に加えて、特定図形または特定の主要被写体（人物）の各種の情報を追加指定するようにしても良い。

本発明の基礎となる画像の検索方法のさらに他の動作例を説明する。
本動作例においては、画像中の特定の人物を人物同定処理を用いて同定することを特徴とするものである。すなわち、予め、特定の人物の顔画像と人物名を付属情報として登録しておき、検索を行う際には、上述の登録されている人物の内から必要な人物を顔画像または人物名により指定して、検索を行うというものである。

具体的には、顧客が予め名前と顔画像を組み合わせて、Ｎ人分の情報を登録する。ここで、画像中の特定の人物を人物同定処理を用いて同定する際には、例えば、電子情報通信学会論文誌Ｖol．Ｊ80−Ｄ-II Ｎo.8,pp.2218-2224小杉等による「粗密濃淡モザイク特徴をキーとした類似顔画像の検索」、同 pp.2225-2231 相馬等による「取得過程の極端に異なる顔画像の照合」等に記載されている技術が適用可能である。

ラボに持ち込まれた画像に対して、上記処理により、顔抽出および人物同定を行い、付属情報を作成する。すなわち、各コマに誰が写っているかを表わす付属情報を、画像データに付加して記憶する。もちろん、ここで、人物の位置や大きさの情報を含めてもよい。顧客が、人物名を指定して検索を依頼したときには、付属情報から該当する人物が写っている画像コマを取り出す。

本動作例に示した画像の検索方法によれば、検索対象となる人物の顔画像と人物名が対応付けられて付属情報化されるので、その情報を利用することにより、指示に適合する画像を検索することが可能になるという効果が得られ、例えば、家族の名前で、思い出のある写真を容易に検索することが可能になる。なお、対象画像は、静止画像だけでなく、動画像も対象とすることができる。

また、音声情報を有する画像の場合には、検索時に、これらの情報を組み合わせて用いることも可能である。
さらに、上述のラボと顧客のパソコン（パーソナルコンピュータ）を通信回線で接続しておけば、上述の処理を、オンラインにより、より迅速に行うことが可能になる。

本発明の基礎となる画像の検索方法のさらに他の動作例を説明する。
前述の各動作例では、撮影画像などを検索対象としていたが、本動作例では、パーソナルコンピュータ（ＰＣ）などで作成されたコンピュータグラフィックス（ＣＧ）画像を検索対象とし、単純な図形や大まかな色や特定の物体によりシーンを指定して、ＣＧ画像の作成・編集データを用いて検索を行う点を特徴とするものである。

本動作例においては、このＣＧ画像を作成した時の編集データを特定の情報とするとともに付属情報として当該ＣＧ画像に付属させてデータベースに記憶させる。すなわち、データベース機関では、ＣＧ画像と編集データをセットで蓄積しておく。ここで、編集データは、ＣＧ画像中の単純な図形や大まかな色や人物や動物や自動車や建物などの特定の物体を作成した時のそれらの図形や色や物体を表すＣＧコマンドであるのが好ましい。
本動作例における検索においては、ユーザ（顧客）が、単純な図形や大まかな色や人物や動物や自動車や建物などの特定の物体によりシーンを指定する。この指定は、手書き、描画ソフトウェアやＣＧソフトウェア等によって指定するのが良い。

次に、データベース機関では、データベース処理装置において、ユーザからのシーン指定データをＣＧコマンドに変換する。ここで、ユーザがシーン指定した図形の形状や、位置、サイズ、向き等の特性値や、色などを所定パターンに分類しておくのが好ましい。
続いて、変換したＣＧコマンドと、データベース内のＣＧ画像に付属情報として付随しているＣＧ編集データとの間で、一致度や類似度を計算し、付属情報とのマッチングを行う。なお、計算結果は、ポイント順に、該当するＣＧ画像のコマ表示により出力（サムネイル表示）するようにしても良い。

本動作例に示した画像の検索方法によれば、検索対象となるＣＧ画像の作成・編集データを付属情報として用いることにより、ＣＧ画像の検索処理での演算量を低減でき、ユーザの指示に適合するＣＧ画像を迅速かつ精度良く検索することが可能になるという効果が得られる。なお、対象ＣＧ画像は、静止画像だけでなく、動画像も対象とすることができる。ＣＧ動画像を検索対象とする場合には、前述と同様に、特定の図形や物体と、その移動ベクトル（その大きさおよび方向の少なくとも一つ）を指定するのが良い。また、音声情報を有する画像の場合には、検索時に、これらの情報を組み合わせて用いることも可能である。

本発明の基礎となる画像の検索方法のさらに他の動作例を説明する。
本動作例では、メッセージ情報を備える画像を検索対象とし、画像検索用に画像に付随するメッセージ情報をチェックし、検索を行う。
本動作例においては、前述した音声情報を持つ画像を検索する場合と同様に、画像に付随するメッセージ情報を特定の情報とするとともに付属情報として当該画像に付属させてデータベースに記憶させる。

ここで、画像に付属する付属情報としては、メッセージ情報として画像に合成したテキストデータ、またはマークや撮影画像やＣＧ画像等の画像データを用いるのが好ましいが、前述した音声情報のように、画像中ではなく画像に付随させたテキストデータや画像データ、例えば、プリント画像の裏面側に、白縁のあるプリント画像ではその白縁の部分に記録（合成）したテキストデータや画像データを用いても良い。
例えば、テキストデータとしては、ワードプロセッサ等の印刷文字データやサイン等の手書き文字データなどを用いることもできるし、画像から文字抽出を行って得られた文字データを用いることもできる。

本動作例における検索においては、ユーザ（顧客）が、メッセージ情報を、文字自体、その内容、筆跡の形状（サイン等の場合）などで指定したり、メッセージ情報として登録されている参照用画像を選択することにより、指定し、マッチング処理を行う。
例えば、文字自体を検索するモードでは、前述の特定図形を用いた検索での特定図形の特性値や色等の指定と同様に、文字自体の有無、文字の位置、サイズ、向き、色等の少なくとも一つを用いて指定し、一致度を計算して一致した画像を選び出すマッチング処理を行えばよい。また、文字検索モードでも、文字の内容を指定する場合には、指定された漢字などの文字の内容を解釈して、マッチング処理を行えば良い。また、サイン等の手書き文字の場合には、筆跡の形状を指定して、マッチング処理を行えば良い。

さらに、参照用画像を用いて検索する場合には、ユーザが、メッセージ情報として登録されたマークや撮影画像やＣＧ画像等の複数の参照用画像の中から参照用画像のエリアを指定したり、予め用意された図柄パターンを選択する等によって、一つ以上の参照用画像を選択して指定し、画像マッチングを行えば良い。
なお、マッチング処理における一致度の計算結果は、ポイント順に、該当する画像のコマ表示により出力（サムネイル表示）するようにしても良い。

本動作例に示した画像の検索方法によれば、検索対象となる画像に付随するメッセージ情報として、文字などのテキストデータや参照用の画像データを用い、文字自体の特性値や色、または、その内容や筆跡の形状などの指定するなどの簡単な指定方法により、予め登録されている参照用画像をエリア指定や図柄パターンの選択等による指定などの簡単な指定方法により、指定に適合する画像を検索することが可能になるという効果が得られる。

上記各動作例において、検索結果の画像を表示する際には、例えば、背景などの動きのない部分を除いて、検索条件指定に合致するエリアを優先して表示するようにするとよい。あるいは、検索条件指定に合致するエリアを他のエリアとは異なる、例えば、輝度強調，ブリンク（点滅）などの特別な画像処理結果の強調表示により表示することも有効である。

上述のような表示方法を採用すれば、検索した画像を、モニタなどに転送する際の転送データ容量を大幅に削減できるので、表示の応答速度が向上し、使い勝手がよくなるという効果がある。また、表示画面内の目的とする画像の見やすさが向上し、やはり使い勝手がよくなる効果がある。

また、表示を行う際に、表示装置の表示能力をチェックして、その能力に応じた画像データに加工して表示させるようにすることも好ましいことである。またさらに、データベース上で、検索したエリアをエリア単位で管理するようにしておき、アクセス頻度に応じて、検索時の参照優先順位を設定することや、データ記憶時の解像度を設定することも有効である。

この方法では、例えば、顧客が携帯用端末からデータベースのあるセンタ（データベース機関）にアクセスしたような場合に、顧客の携帯用端末の表示能力に関する情報をＩＤと共に転送するようにして、センタからのデータ転送の際に、必要に応じて、画像圧縮や２値化、線画化、トリミング（主要被写体のみの切り出し）などの画像データ加工を行う。

上述のような画像表示時の処理を効率的の行うことにより、データ通信量の低減が可能になると共に、携帯用端末における画像表示までの時間が短縮され、さらに、表示画像の見やすさが向上するなどの効果が得られる。

上述の、各種の付属情報を具備した画像データの管理を行う場合には、画像を被写体毎に領域分割して、各分割エリア毎にラベルを付けて登録することが好ましい。そして、ラベルを付けた部分のみを切り出してファイル化するようにすれば、データ容量の削減に大きな効果があるばかりでなく、検索の際の速度の向上にも、大きな効果がある。また、例えば、上述のラベルを付けた部分の画像のみを、高解像度で記憶し、その他の領域は画像圧縮して記憶するなどの方法を用いることも可能である。

各領域の付属情報としては、画像ファイル名，位置（中心，輪郭画素），色などの特性、および、通算アクセス回数／ヒット回数などが挙げられる。これらを用いて、例えば、アクセス頻度に応じて、記憶手段内での記憶階層の制御を行うようにすれば、検索の際の速度の向上にさらに大きな効果がある。また、利用頻度の高いデータは、個別に保存するようにして、より利用しやすくすることも可能である。

以下、上述のような、本発明の基礎となる画像の検索方法を応用した、画像処理方法を説明する。第１の方法は、ラボにおける最初のプリント処理（いわゆる、同時プリント）や先の再プリント処理（これらを代表して先のプリントという）時に、プリント画像中の特定図形または被写体等の特定の情報を抽出して、抽出された特定情報やその関連情報（特性値や色）を付属情報として、プリントのための画像データおよび画像処理のパラメータと共にデータベース等の記憶手段に記憶させておくというものである。

この画像が含まれるフィルムの再プリントまたは後の再プリント（これらを代表して後のプリントという）の依頼があった場合には、顧客が指定した画像コマから特定図形または被写体等の特定の情報を抽出して、先に記憶させた付属情報との一致度の大きいもの（所定の閾値を超えるもの）の画像の先のプリント処理時の画像処理条件（処理パラメータ）により、後のプリントの処理を行うようにする。

この画像処理方法によれば、後のプリント時に顧客が持参したフィルム中の画像から、先のプリント時の画像処理条件を検索することが可能になり、顧客に満足を与えられるような、再現性に優れたプリントを行うことが可能になるという効果が得られる。なお、上記処理は、写真フィルムだけではなく、ＤＳＣ（デジタルスチルカメラ）などの撮影画像記録媒体などのようにプリント用画像データが記録されたスマートメディアやＭＯやフォトＣＤ等の画像記録媒体でも、同様に適用できる。

また、顧客が、再プリントの注文時に、写真フィルムまたは撮影画像記録媒体の撮影画像データではなく、同時プリント時の写真プリントのみを持ち込んだ場合には、そのプリントをスキャナで読み取り、画像検索用の特定図形等の特定の情報の抽出処理を実行して、抽出された特定の情報やその関連情報を検索条件として、データベース内の同時プリント時に記録した写真フィルムからの読取画像データを検索して類似度の計算（マッチング処理）を行い、該当するコマを取り出し、プリント処理においては、該当コマに対応する同時プリント時の読取画像データと処理パラメータとを読み出し、これらを用いて、プリント処理を行ってもよい。

第２の方法は、１本のフィルムストリップ（いわゆる、１件の写真フィルム）内、または１枚の撮影画像記録媒体内、もしくはユーザ（顧客）が一時に注文した１本または複数の写真フィルムまたは１枚または複数の撮影画像記録媒体（いわゆる、１回の注文）内での焼き付けのバラツキ（変動）を防止可能とするための方法である。すなわち、１件または１回の注文（これらを代表して１注文という）の写真フィルムや撮影記録媒体内で、特定図形または被写体等の特定の情報が類似した構図（各図形の配置やサイズや向きや色）である場合は、１注文に属するこれらのコマ間で、仕上がりの色調，濃度などを揃えるように画像処理を調整するのが良い。

上記画像処理方法によれば、画像の構図に基づいて類似画像を判別するので、色や濃度の影響を受けにくくなり、これにより、１注文の写真フィルムや撮影画像記録媒体内で極端に色調，濃度などが異なるプリントを作製することがなくなり、顧客に不満を持たせることがなくなるという効果が得られる。

以上のような本発明の基礎となる画像の検索方法およびこの画像の検索方法を応用した画像処理方法は、それぞれ図１０に示すようなプリントシステムによって実施することができる。
同図に示すプリントシステム１００は、上述した本発明の基礎となる画像の検索方法を実施する画像の検索装置（以下、単に検索装置という）１０２と、検索装置１０２に接続され、検索装置１０２と共に、上記画像の検索方法を用いる画像処理方法を実施するフォトプリンタ１０４と、検索装置１０２にインターネット等の通信網によってオンライン接続され、本発明の基礎となる画像の検索方法および画像処理方法の実施およびプリント出力の依頼を行うことができるユーザ端末１０６とを有する。

まず、画像の検索装置１０２は、画像の画像データと共に、画像に存在およびまたは付随する特定情報自体または特定情報の関連情報などを画像データの付属情報として蓄積記憶する画像データベース（以下、単にデータベースまたはＤＢという）１０８と、データベース１０８に記憶するために特定情報自体または特定情報の関連情報を付属データとして取得する付属情報取得部（以下、単に取得部という）１１０と、検索条件として付属情報の少なくとも一部を指定する付属情報指定部（以下、単に指定部という）１１２と、この指定部１１２によって指定された検索条件に基づいてデータベース１０８を検索して、選び出された画像データに付属している付属条件と、検索条件として用いた付属情報の少なくとも一部との一致度を求めて、所定値以上の一致度を持つ画像を読み出す画像検索部（以下、単に検索部という）１１４と、検索部１１４による検索結果や読み出された画像を表示する表示部１１６とを有する。

また、フォトプリンタ１０４は、ネガやリバーサルなどのフィルムＦからフィルム画像の画像データを読み取る、あるいはデジタルカメラによる撮影画像の画像データ記録媒体Ｒから画像データを読み取る、もしくはＣＧ画像作成装置１１７などの画像データ供給源から画像データを受け取る画像入力部１１８と、画像入力部１１８から受け取った画像データを分析して良質のプリント作成のために画像データを処理する画像処理条件を設定し、設定された画像処理条件または検索装置１０２から受け取った画像処理条件に従って、画像入力部１１８または検索装置１０２から受け取った画像データを画像処理する画像処理部１２０と、画像処理部１２０によって画像処理された画像データを用いて写真感光材料などの記録材料に画像を記録（潜像焼付、現像定着）してプリントＰとして出力するプリント出力部１２２とを有する。なお、図示例では、画像処理部１２０は、画像データを取得部１１０に転送し、取得部１１０で得られた付属情報を受け取り、画像データに付属させてＤＢ１０８に転送し、蓄積記憶させる機能も有する。

ユーザ端末１０６は、画像を表示可能な表示部１２４と、検索条件や画像や記号や言語やプリントの注文情報などを入力する入力部１２６と、画像や検索条件や注文情報を検索装置１０２に転送するインターフェース（Ｉ／Ｆ）１２８とを有する。なお、検索装置１０２の検索部１１４には、ユーザ端末１０６のＩ／Ｆ１２８から画像や種々の情報を受信するＩ／Ｆ１１５を有する。

検索装置１０２においては、取得部１１０は、特定の幾何学図形、特定の被写体、メッセージ情報、特定の人物の顔画像からなる人物情報などの特定情報の概略をフリーハンドで入力するタブレット１３０と、特定の幾何学図形、特定の被写体、メッセージ情報、特定の人物の顔画像と人物名とからなる人物情報、ＣＧ画像の編集データなどの特定情報の概略や音声情報からなる特定情報の意味などをキーボードやマウスによるＧＵＩ（グラフィカルユーザインターフェース）を使って入力し、必要に応じてメッセージ情報などではその意味を認識して入力する入力部１３２、画像に付随する音声情報または画像に存在する特定情報の音声情報を入力し、その意味を認識して文字認識された特定情報に変換する音声認識部１３４と、これらのタブレット１３０や入力部１３２や音声認識部１３４から入力された特定情報の概略を用いて、フォトプリンタ１０４の画像処理部１２０から受け取った画像の画像データから特定情報を抽出する抽出部１３６と、抽出部１３６で抽出された特定情報から特定情報自体やその関連情報、例えば認識されたメッセージ情報および音声情報等の特定情報、特定の幾何学図形、特定の被写体、特定の人物の顔画像と人物名とからなる人物情報等の特定情報の位置、大きさ、向き、色、存在の有無、動画像の場合の特定情報の移動方向（移動ベクトルの方向）等の関連情報、ＣＧ画像の編集データ等の特定情報自体などや、音声認識部１３４や入力部で認識されたメッセージ情報および音声情報等の特定情報自体を、ＤＢ１０８に蓄積すべき付属情報として設定し、設定した付属情報を画像データに関係付け（て画像処理部１２０に転送す）る付属情報設定部（以下、単に設定部という）１３８とを有する。

従って、フォトプリンタ１０４の画像処理部１２０は、取得部１１０の設定部１３８から伝送された付属情報を画像の画像データに付属させて、ＤＢ１０８に転送し、その状態で蓄積記憶させる。ここで、画像処理部１２０から抽出部１３６および／またはＤＢ１０８に転送される画像データは、画像処理前のものでも良いし、画像処理後のものでも良いし、両画像データは、同じでも異なっていても良い。なお、画像処理前の画像データであれば、画像入力部１２０から転送しても良い。
なお、ＣＧ画像の場合には、画像データに付属情報として付属させる編集データをＣＧ画像作成装置１１７から直接設定部１３８に転送しても良いし、画像データおよびこれに付属する編集データを直接ＣＧ画像作成装置１１７からＤＢ１０８に転送しても良い。
さらに、フォトプリンタ１０４からではなく、別のフォトプリンタや、画像読取装置（スキャナ）や、画像処理装置や、画像データ記録媒体のドライバなどの別の画像データ供給源から取得部１１０で付属情報を取得するための画像データやＤＢ１０８に蓄積するための画像データを受け取っても良い。また、同じ画像の画像データであれば、これらの２種の画像データの一方をフォトプリンタ１０４から、他方を別の画像データ供給源から受け取っても良い。

検索装置１０２の指定部１１２は、取得部１１０で用いるタブレット１３０や入力部１３２や音声認識部１３４などやＣＧ作成装置１１７などを用いて、検索条件として付属情報の少なくとも一部、例えば、上記音声情報やメッセージ情報等の特定情報自体の概略、特定情報の存在の有無、位置、大きさ、向き、または移動ベクトルの方向、色等の関連情報の少なくとも一つを指定するものである。なお、指定部１１２で用いるタブレット１３０や入力部１３２や音声認識部１３４やＣＧ作成装置１１７などは、取得部１１０などで用いるものと同じであっても良いし、異なるものであっても良いし、さらには、取得部１１０と、指定部１１２を個別に設けるのではなく、共用し、一つで画像データの付属情報の取得と検索条件として付属情報の少なくとも一つの指定とを行っても良い。

検索部１１４による検索の結果、ＤＢ１０８から読み出された画像データは、画像として表示部１１６に表示されるが、表示画像は、選び出された画像の確認ができれば良いので、特に高精細である必要はなく、ＤＢ１０８から読み出された画像データをそのまま表示しても良いのはもちろんであるが、高精細な画像が表示可能な表示部１１６であれば、フォトプリンタ１０４の画像処理部１２０で処理した後の高精細な画像を表示するようにしても良い。すなわち、表示部１１６を検索装置１０２とフォトプリンタ１０４とで共用しても良い。さらに、検索部１１４で選び出された画像データを確認するために、これを直接フォトプリンタ１０４のプリント出力部１２２に転送して、プリント出力するようにしてもよいし、別のプリンタや簡易型プリンタに転送して出力するようにしても良い。

ところで、本発明の基礎となる画像の検索方法を用いる画像処理方法においては、フィルムＦや画像データ記録媒体Ｒがなくても、プリント（ハードコピー画像）Ｐがあれば、再注文プリントが可能である。このプリントＰから読み取られる画像データは、特定図形や特定被写体などの特定情報が、検索に必要な程度の画素密度（解像度）有していれば良いので、フォトプリンタ１０４の画像入力部１１８に備えられている反射原稿用スキャナで読み取っても良いし、全く別のスキャナや、簡便なスキャナでよみとって、得られた画像データを取得部１１０の抽出部１３６に直接転送しても良い。この時には、抽出部１３６で抽出された特定情報および／またはその関連情報をそのまままたは設定部１３８で付属情報に変換して、直接検索部１１４に転送しても良い。なお、この場合には、ＤＢ１０８から読み出された画像データに対しても、特定情報の抽出処理が行われるので、検索部１１４にＤＢ１０８から読み出された画像データを直接取得部１１０の抽出部１３６に転送しても良い。
さらに、１注文内の複数の画像中の特定図形や特定被写体等の特定情報の一致度を検索部１１４で算出する場合にも抽出部１３６による特定情報の抽出結果を直接検索部１１４に転送するのが良い。

なお、上記実施形態は本発明の一例を示したものであり、本発明はこれらに限定されるべきものではなく、本発明の趣旨を逸脱しない範囲において、改良や設計の変更をしても良いことは言うまでもない。

以上、詳細に説明したように、本発明によれば、原画像中に存在する被写体（人物や物体）の形状（特定の幾何学図形など）や特定の被写体自体等や原画像に合成されたまたは付随するメッセージ情報や音声情報などをキーとして、画像の検索を効率的に行う画像の検索方法を利用する画像処理装置を備えたプリントシステムを実現することができる。

より具体的には、本発明の基礎となる画像の検索方法を応用することで、第１に、タブレットや画像表示装置に大まかな図形を描くとか、キーボードから図形の名称や記号を入力するとか、これらを音声入力するといった簡単な指示方法により、指示に適合する画像を検索することが可能になるという効果が得られる。なお、検索対象が人物である場合にも、同様に、その人物自体、またはその位置や大きさや向きの少なくとも一つを、タブレットや画像表示装置で大まかに示すとか、キーボードから人物自体の有無、または人物の位置や大きさや向きの少なくとも一つを入力するといった簡単な指示により、指示に適合する画像を検索することが可能になるという効果が得られる。

第２には、検索対象が動画像中の人物である場合に、その当初の位置や移動方向を、タブレットなどで大まかに示すとか、キーボードから入力するとか、音声入力するといった簡単な指示により、指示に適合する動画像を検索することが可能になるという効果が得られ、例えば、ビデオ編集における大まかなシーン記述での画像の検索が容易になる。

第３には、検索対象が音声情報を有する場合に、その情報を利用することにより、指示に適合する画像を検索することが可能になるという効果が得られる。なお、対象画像は、静止画像だけでなく、動画像も対象とすることができ、被写体の動きのみならず、その発言内容などからの検索が可能になり、ビデオ編集の際などに有効である。

第４には、検索対象となる人物の顔画像と人物名が対応付けられて付属情報化して、その情報を利用することにより、指示に適合する画像を検索することが可能になるという効果が得られる。例えば、家族の名前で、思い出のある写真を容易に検索することが可能になる。なお、対象画像は、静止画像だけでなく、動画像も対象とすることができるし、音声情報を有する画像も対象とすることができる。

また、第５には、検索対象が音声情報を有する画像の場合には、検索時に、これらの情報を組み合わせて用いることも可能である。なお、この場合にも、対象画像は、静止画像だけでなく、動画像も対象とすることができる。

また、第６には、検索対象となるＣＧ画像の作成・編集データを付属情報として用いることにより、ＣＧ画像の検索処理での演算量を低減でき、ユーザの指示に適合するＣＧ画像を迅速かつ精度良く検索することが可能になるという効果が得られる。なお、対象ＣＧ画像は、静止画像だけでなく、動画像も対象とすることができる。ＣＧ動画像を検索対象とする場合には、前述と同様に、特定の図形や物体と、その移動ベクトル（その大きさおよび方向の少なくとも一つ）を指定するのが良い。また、音声情報を有する画像の場合には、検索時に、これらの情報を組み合わせて用いることも可能である。

また、第７には、検索対象となる画像に付随するメッセージ情報として、文字などのテキストデータや参照用の画像データを用い、文字自体の特性値や色、その内容や筆跡の形状などの指定するなどの簡単な指定方法により、予め登録されている参照用画像をエリア指定や図柄パターンの選択等による指定などの簡単な指定方法により、指定に適合する画像を検索することが可能になるという効果が得られる。

なお、検索結果の画像を表示する際には、例えば、背景などの動きのない部分を除いて、検索条件指定に合致するエリアを優先して表示するようにしたり、あるいは、検索条件指定に合致するエリアを他のエリアとは異なる、例えば、輝度強調，ブリンク（点滅）などの特別な画像処理結果の強調表示により表示したりすることも有効である。

また、表示を行う際に、表示装置の表示能力をチェックして、その能力に応じた画像データに加工して表示させるようにすることも好ましいことである。またさらに、データベース上で、検索したエリアをエリア単位で管理するようにしておき、アクセス頻度に応じて、検索時の参照優先順位を設定することや、データ記憶時の解像度を設定することも有効である。

まとめとして、上記画像の検索方法を応用すれば、後のプリント時に顧客が持参した写真フィルムや撮影記録媒体中の画像から、先のプリント時の画像処理条件を検索することが可能になり、顧客に満足を与えられるような、再現性に優れたプリントを行うことが可能なプリントシステムを実現できるという効果が得られる。

また、上記画像の検索方法を応用すれば、画像の構図に基づいて類似画像を判別することができるので、色や濃度の影響を受けにくくなり、これにより、１注文の写真フィルムや撮影記録媒体内で極端に色調，濃度などが異なるプリントを作製することがなくなり、顧客に不満を持たせることがなくなるという効果が得られる。

本発明の基礎となる画像の検索方法の一動作例を説明するための図で、原画像を示す図である。 同、図１に示す原画像を検索する際に、ユーザが入力した検索用指定パターンを示す図である。 同、図１に示した原画像中から抽出した特定図形を原画像に重ねて示す図である。 同、準備動作としての、図１に示した原画像中から予め定められた特定図形を抽出する動作の概要を示す動作フロー図である。 同、記憶手段に記憶されているデータに基づいて画像を検索する動作の流れを示す動作フロー図である。 本発明の基礎となる画像の検索方法の他の動作例を説明するための図で、被写体指定例を示す図である。 同、図６に示した指定に対応する被写体検索結果の一例を示す図である。 本発明の基礎となる画像の検索方法のさらに他の動作例を説明するための図で、動画像検索時の被写体指定例を示す図である。 同、図８に示した指定に対応する動画像検索結果の一例を示す図である。 本発明の基礎となる画像の検索方法およびこの方法を利用する画像処理方法をそれぞれ実施する画像の検索装置およびこれを用いるプリントシステムの一実施形態のブロック図である。

符号の説明

１０ 原画像
１１ ３角形状の山
１２ 人物の顔
１３ 人物の胴体
１４ ビルディング
２０ 検索用指定パターン
２１ 山を象徴する３角形
２２，２３ 人物を象徴する２つの楕円
２４ ビルディングを示す縦型の４角形
３０ 原画像からの図形抽出結果
３１ 山１１に対応する図形
３２，３３ 人物１２，１３に対応する図形
３４ ビルディング１４に対応する図形
３５，３６ 誤検出図形
６０ 被写体指定例
６１ 人物指定図形
７０ 原画像からの図形抽出結果
８０ 被写体指定例
８１ 被写体
８２ 被写体移動方向
９０ａ，９０ｂ 動画像抽出結果
１００ プリントシステム
１０２ 画像の検索装置
１０４ フォトプリンタ
１０６ ユーザ端末
１０８ 画像データベース（ＤＢ）
１１０ 付属情報取得部
１１２ 付属情報指定部
１１４ 画像検索部
１１５、１２８ インターフェース（Ｉ／Ｆ）
１１６、１２４ 表示部
１１７ コンピュータグラフィックス（ＣＧ）画像作成装置
１１８ 画像入力部
１２０ 画像処理部
１２２ プリント出力部
１２６、１３２ 入力部
１３０ タブレット
１３４ 音声認識部
１３６ 抽出部
１３８ 付属情報設定部

Claims (6)

1. 入力される画像に付随する特定の情報を得、得られた特定の情報を前記画像の画像データに付属させて付属情報としてデータベースに記憶させ、検索条件として、前記付属情報の少なくとも一部が指定された際に、前記指定された検索条件で前記データベースを検索し、選び出された画像を読み出す検索部と、読み出された画像を表示する表示部とを有する画像検索装置と、
   この画像検索装置に接続され、前記画像検索装置から受け取った画像処理条件に従って、画像データの画像処理を行う画像処理装置と、この画像処理装置によって画像処理された画像データを用いて記録材料に画像を記録する画像出力部を有する画像記録装置とを有する画像記録システムであって、
   前記画像検索装置は、先の画像出力処理時に、記録画像中の特定図形または特定被写体を抽出して、抽出された特定図形または特定被写体を付属情報として画像処理条件、または画像処理条件および画像データと対応付けてデータベースに記憶しておき、再注文画像の出力処理時には、先の画像が出力された記録媒体または撮影画像記録媒体から画像データを読み取って特定図形または特定被写体を抽出して、これと前記データベースに記憶された付属情報との一致度を求め、所定値以上の一致度を持つ画像を検索するものであり、
   前記画像処理装置は、先の画像出力処理時に前記画像検索装置により検索された画像の先の画像出力処理時における画像処理条件による処理を行うものであることを特徴とする画像記録システム。
2. 入力される画像に付随する特定の情報を得、得られた特定の情報を前記画像の画像データに付属させて付属情報としてデータベースに記憶させ、検索条件として、前記付属情報の少なくとも一部が指定された際に、前記指定された検索条件で前記データベースを検索し、選び出された画像を読み出す検索部と、読み出された画像を表示する表示部とを有する画像検索装置と、
   この画像検索装置に接続され、前記画像検索装置から受け取った画像処理条件に従って、画像データの画像処理を行う画像処理装置と、この画像処理装置によって画像処理された画像データを用いて記録材料に画像を記録する画像出力部を有する画像記録装置とを有する画像記録システムであって、
   前記画像検索装置は、先の画像出力処理時に、画像処理条件と画像データとを対応付けてデータベースに記憶しておき、再注文画像の出力処理時には、先の画像が出力された記録媒体または撮影画像記録媒体から画像データを読み取り、第１の特定図形または特定被写体を抽出するとともに、前記データベースに記憶された画像データから第２の特定図形または特定被写体を抽出し、前記第１の特定図形または特定被写体と前記第２の特定図形または特定被写体との一致度を求め、所定値以上の一致度を持つ前記画像を検索するものであり、
   前記画像処理装置は、先の画像出力処理時に前記画像検索装置により検索された画像の前記画像データをこれと対応付けて記憶された前記画像処理条件とともに前記データベースから読み出し、読み出された画像データに読み出された画像処理条件による画像処理を行うものであることを特徴とする画像記録システム。
3. 前記画像に付随する特定の情報は、前記画像に対してＭ（Ｍは１以上）種類の予め定められた特定の幾何学図形であり、
   前記付属情報として記憶される前記関連情報は、前記画像に対して前記Ｍ種類の前記特定の幾何学図形を抽出する処理を適用し、抽出の結果得られたＮ（Ｎは０以上）個の特定の幾何学図形に対応する位置と大きさ、位置と大きさと向き、位置と大きさと色、または位置と大きさと向きと色のいずれか一つであり、
   前記検索条件として前記付属情報の少なくとも一部を指定する工程においては、前記特定の幾何学図形のＬ種類（Ｌは１〜Ｍ）について、前記特定の幾何学図形の存在の有無または前記位置、大きさおよび向きならびに色の少なくとも一つの概略が指定されるものである請求項１または２に記載の画像記録システム。
4. 前記画像に付随する特定の情報は、前記画像に対してＭ（Ｍは１以上）種類の予め定められた特定の幾何学図形により規定される被写体であり、
   前記付属情報として記憶される前記関連情報は、前記画像に対して前記Ｍ種類の前記特定の被写体を抽出する処理を適用し、抽出の結果得られた、Ｎ（Ｎは０以上）個の特定の被写体に対応する位置と大きさ、位置と大きさと向き、位置と大きさと色、または位置と大きさと向きと色のいずれか一つであり、
   前記検索条件として前記付属情報の少なくとも一部を指定する工程においては、前記特定の被写体のＬ種類（Ｌは１〜Ｍ）について、前記特定の被写体の存在の有無または前記位置、大きさ、向きおよび色の少なくとも一つの概略が指定されるものである請求項１または２に記載の画像記録システム。
5. 前記画像に付随する特定の情報は、特定の人物の顔画像と人物名からなる人物情報であり、
   前記付属情報として記憶される前記関連情報は、予め前記特定の人物Ａ人（Ａは１以上）の顔画像と人物名からなる人物情報を登録しておき、前記画像の記憶時に、人物抽出および前記人物情報を用いた人物同定処理により得られる、前記特定の人物の存在の有無、または前記特定の人物の位置と大きさ、位置と大きさと向き、位置と大きさと色および位置と大きさと向きと色のいずれか一つであり、
   前記検索条件として前記付属情報の少なくとも一部を指定する工程は、前記検索条件として、特定の人物Ｂ人（Ｂは１〜Ａ）の存在の有無またはその特定の人物の位置、大きさおよび向きの少なくとも一つを指定することであり、
   前記一致度は、各記憶画像の付属情報との一致度である請求項１または２に記載の画像記録システム。
6. 入力される画像に付随する特定の情報を得、得られた特定の情報を前記画像の画像データに付属させて付属情報としてデータベースに記憶させ、検索条件として、前記付属情報の少なくとも一部が指定された際に、前記指定された検索条件で前記データベースを検索し、選び出された画像を読み出す検索部と、読み出された画像を表示する表示部とを有する画像検索装置と、
   この画像検索装置に接続され、前記画像検索装置から受け取った画像処理条件に従って、画像データの画像処理を行う画像処理装置と、この画像処理装置によって画像処理された画像データを用いて記録材料に画像を記録する画像出力部を有する画像記録装置とを有する画像記録システムであって、
   前記画像検索装置により、１注文内の複数の画像中の特定図形または特定被写体を抽出して、
   前記画像処理装置は、前記画像検索装置により検出された、前記特定図形または前記特定被写体の位置と大きさが類似する画像コマについては、記録出力された画像の仕上がりを所定範囲内に揃えるように画像処理することを特徴とする画像記録システム。

Images