JP2004005534A

JP2004005534A - Image preserving method, retrieving method and system of registered image, image processing method of registered image and program for executing these methods

Info

Publication number: JP2004005534A
Application number: JP2003095004A
Authority: JP
Inventors: Naoto Kaneshiro; 金城　直人
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2002-03-29
Filing date: 2003-03-31
Publication date: 2004-01-08
Anticipated expiration: 2023-03-31
Also published as: JP4090926B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image preserving method for registering an image such as a photographed image, an acquired image and a formed image associated with a sensitivity expressing keyword in a database as a registered image, a registered image retrieving method and a system for efficiently retrieving the image suitable for sensitivity expression from the registered image, an image processing method of the registered image for applying image processing suited to the inputted sensitivity expression and a program for executing these methods. <P>SOLUTION: When preserving the image by preparing the database for previously recording and preserving a pattern of an image scene and a sensitivity expressing keyword associated with this pattern, the pattern as the image scene is determined by extracting a scene in this image, and the sensitivity expressing keyword is derived by referring to the database by using this determined pattern, and this derived sensitivity expressing keyword is associated as ancillary information on the image, and the image is preserved as the registered image to attain this purpose. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラ等で撮影した撮影画像や反射原稿または透過原稿の読取画像やＣＧ（コンピュータグラフィック）等の生成画像を登録画像として保存する際の画像の保存方法、この保存方法で保存された登録画像の中から所望の画像を検索する登録画像の検索方法およびシステム、上記画像の保存方法によって保存された画像または上記登録画像の検索方法で検索された画像を取り出して画像処理を施す登録画像の画像処理方法、ならびに、画像の保存方法を実施するプログラム、登録画像の検索方法を実施するプログラムおよび登録画像の画像処理方法を実施するプログラムに関する。
【０００２】
【従来の技術】
今日、カメラを用いて撮影された撮影画像を大量に蓄積しつつ、蓄積された大量の画像の中から所望の画像を効率よく検索することが望まれており、種々の画像検索システムが提案されている。
一方、蓄積された画像から検索する者（操作者）が自分の感性表現に適した画像、例えば、「壮大な」、「すがすがしい」といった感性表現を入力することによって、この感性表現に適した画像を効率よく検索して出力することも望まれている。
【０００３】
例えば、特許文献１では、画像の検索を行う者が検査に際して負担をかけずに自らの感性に適した画像の検索を行うことのできる画像検索システムを提案している。
上記公報における画像検索システムは、キーワードを入力するキーワード入力手段と、画像を入力する画像入力手段と、登録画像とともに画像特徴量とキーワードを記憶する画像記憶手段と、前記キーワード入力手段から入力されたキーワードを組み合わせて画像を検出するキーワード検索手段と、登録画像からキーワードや特徴量を自動的に抽出する特徴量・キーワード抽出手段と、前記キーワード検索手段によって検索した結果に対し、キーワードを使わず絞り込む検索結果絞り込み手段とを備えることで、撮影画像の検索を行う者が検査に際して負担をかけずに自らの感性に適した画像の検索を行うことができるとされている。
【０００４】
また、特許文献２では、画像内に存在若しくはこの画像に付属し、またはこの画像内に存在すると同時にこの画像に付属する特定の情報を抽出または認識し、得られた特定の情報をそのまま、もしくは特定の情報の関連情報を、画像の画像データに付属させて付属情報としてデータベースに記憶し、この付属情報の少なくとも一部を検索条件として指定し、指定された検索条件でデータベースを検索し、選び出された記憶画像データに付属している付属情報との一致度を求め、所定値以上の一致度を持つ画像を読み出す検索方法を提案している。これにより、画像の効率の良い検索が実現できるとされている。
【０００５】
しかし、上記特許文献１の画像検索システムは、取得された画像毎に演算される画像特徴量、例えば画像データを用いたヒストグラムから得られる画像特徴量と、「鮮やか」、「壮大な」といった撮影画像内の被写体とを一意的に対応付けることは難しく、従って、入力した感性表現に適した画像を効率よく検索することは困難であるといった問題がある。
【０００６】
また、上記特許文献２の検索方法は、検索時にキーワードの代わりに音声情報やメッセージ情報等の特定の入力情報を使用し、この入力情報と一致するまたは近い付属情報を持つ画像を検索するが、このような付属情報を画像に付加する煩雑な操作を操作者が行わなければならないといった問題がある。しかも、この検索方法では、撮影画像中の被写体の領域を幾何学図形を用いて、例えば被写体が「山」であれば三角形の被写体の領域を持つ画像を検索するので、「壮大な」、「すがすがしい」といった操作者により入力された感性表現に適合した画像を検索するといったことはできない。
【０００７】
【特許文献１】
特開２０００−０４８０４１号公報
【特許文献２】
特開２００１−０８４２７４号公報
【０００８】
【発明が解決しようとする課題】
そこで、本発明は、上記従来技術の問題点を解消し、撮影被写体や画像の主題等の画像シーンの類型と対応付けられた感性表現キーワードに適した画像を効率よく検索することができるように、撮影画像や取得画像や生成画像等の画像をデータベースに登録画像として登録する画像の保存方法、この保存方法によって保存された登録画像の中から、操作者が感性表現キーワードを入力することによって、この感性表現キーワードに適した画像を効率よく検索することができる登録画像の検索方法およびシステム、この検索方法によって検索された登録画像について、入力された感性表現に合った画像処理を施す登録画像の画像処理方法、ならびに、画像の保存方法を実施するプログラム、登録画像の検索方法を実施するプログラムおよび登録画像の画像処理方法を実施するプログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明の第１の態様は、画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとが予め記録保存された（第１）データベースを用いて画像の付属情報を求め、前記画像またはその識別情報を登録画像として前記付属情報とともに（第２データベースに）保存する画像の保存方法であって、前記画像を保存する際、前記画像内のシーンを抽出して、前記画像シーンとしての類型を求め、この求められた前記類型を用いて前記（第１）データベースを参照して前記感性表現キーワードを導出し、この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記画像の付属情報として対応付け、前記画像またはその識別情報を登録画像として（前記第２データベースに）保存することを特徴とする画像の保存方法を提供するものである。
【００１０】
ここで、前記画像は、撮影画像、取得画像または生成画像であり、前記画像シーンは、撮影被写体または画像の主題であり、前記シーンは、被写体または主題であるのが好ましい。
すなわち、本態様の一形態は、撮影被写体の類型と、この類型と対応関係を付けた感性表現キーワードとが予め記録保存された（第１）データベースを用いて撮影画像の付属情報を求め、前記撮影画像を登録画像として前記付属情報とともに（第２データベースに）保存する画像の保存方法であって、前記撮影画像を保存する際、前記撮影画像内の被写体を抽出して、前記撮影被写体としての類型を求め、この求められた前記類型を用いて前記（第１）データベースを参照して前記感性表現キーワードを導出し、この導出した感性表現キーワードを前記撮影画像の付属情報として対応付け、前記撮影画像を登録画像として（前記第２データベースに）保存することを特徴とする画像の保存方法を提供するものである。
【００１１】
ここで、前記登録画像には、前記撮影画像の保存の際に求められた前記被写体の前記撮影被写体としての類型も、前記撮影画像の付属情報として対応付けられているのが好ましい。
また、前記撮影画像内の被写体の抽出は、撮影シーンの奥行き情報を用いて行うのが好ましい。
また、前記撮影画像内の被写体の抽出を行った後、この被写体の同定を撮影の奥行き情報を用いて行うことにより、前記被写体の撮影被写体としての類型を求めるのも好ましい。
また、前記撮影画像内の被写体の抽出は、前記撮影画像内の被写体の領域を抽出することであるのが好ましい。
【００１２】
また、上記目的を達成するために、本発明の第２の態様は、上記第１の態様の画像の保存方法によって（前記第２データベースに）保存された登録画像の中から所望の登録画像を検索する検索方法であって、入力された感性表現情報に一致する、または近似する感性表現キーワードを、登録画像の付属情報から見出し、この見出された感性表現キーワードを付属情報とする登録画像を（前記第２データベースから）取り出すことにより、登録画像の検索を行うことを特徴とする登録画像の検索方法を提供するものである。
入力された感性表現情報に一致する、または近似する感性表現キーワード、またはこの感性表現キーワードと対応関係にある前記画像シーンの類型を、登録画像の付属情報から見出し、この見出された感性表現キーワード、または前記画像シーンの類型を付属情報とする登録画像を取り出すことにより、登録画像の検索を行うことを特徴とする登録画像の検索方法。
【００１３】
また、上記目的を達成するために、本発明の第２の態様は、上記第１の態様の画像の保存方法によって（前記第２データベースに）保存された登録画像の中から所望の登録画像を検索する検索方法であって、入力された感性表現情報に一致する、または近似する感性表現キーワードと対応関係にある撮影被写体の類型を（前記第１データベースから）取り出し、この取り出された撮影被写体の類型を付属情報として持つ登録画像を（前記第２データベースから）取り出すことにより、登録画像の検索を行うことを特徴とする登録画像の検索方法を提供するものである。
【００１４】
また、上記目的を達成するために、本発明の第２の態様は、上記第１の態様の画像の保存方法によって（前記第２データベースに）保存された登録画像の中から所望の登録画像を検索する検索方法であって、前記登録画像の検索を行う際に入力された感性表現情報に一致する、または近似する感性表現キーワードを用いて、（前記第２）データベース内の登録画像を検索し、この感性表現キーワードを付属情報とする複数の登録画像を取り出して、画像表示デバイスに表示し、表示された複数の登録画像の中からユーザによって１つの選択された画像またはその類型に対してポイントを加算することを、検索毎に所定期間繰り返し、前記所定期間経過後、同一の感性表現キーワードにおいて検索された画像または類型毎かつ前記ユーザ毎に、加算されたポイントを集計して、記憶しておき、次回からの検索時に、所定の比率以上のポイントを有する画像またはその類型に絞って、あるいは優先して、登録画像の検索を行うことを特徴とする登録画像の検索方法を提供するものである。
【００１５】
また、上記目的を達成するために、本発明の第３の態様は、上記第２の態様の登録画像の検索方法によって（前記第２データベースから）検索された登録画像を呼び出して画像処理を施す登録画像の画像処理方法であって、前記感性表現キーワードに対応して画像処理条件が対応付けられて（前記第３データベースに）設定されており、登録画像に画像処理を施す際、前記感性表現情報に一致する、または近似する感性表現キーワードと対応付けられた画像処理条件を（前記第３データベースから）呼び出し、この画像処理条件に基づいて画像処理を施すことを特徴とする登録画像の画像処理方法を提供するものである。
【００１６】
また、上記目的を達成するために、本発明の第４の態様は、画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとを予め記録保存する第１データベースと、画像を保存する際に、この画像内のシーンを抽出して、前記画像シーンとしての類型を求める手段と、この求められた前記類型を用いて前記第１のデータベースを参照して前記感性表現キーワードを導出する手段と、
この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記画像の付属情報として対応付け、前記画像またはその識別情報を登録画像として前記付属情報とともに保存する第２データベースとを有することを特徴とする画像の保存システムを提供するものである。
【００１７】
ここで、前記画像は、撮影画像、取得画像または生成画像であり、前記画像シーンは、撮影被写体または画像の主題であり、前記シーンは、被写体または主題であるのが好ましい。
また、前記登録画像には、前記撮影画像の保存の際に求められた前記被写体の前記撮影被写体としての類型も、前記撮影画像の付属情報として対応付けられているのが好ましい。
また、前記撮影画像内の被写体の抽出は、撮影シーンの奥行き情報を用いて行うのが好ましい。
また、前記撮影画像内の被写体の抽出を行った後、この被写体の同定を撮影の奥行き情報を用いて行うことにより、前記被写体の撮影被写体としての類型を求めるのも好ましい。
また、前記撮影画像内の被写体の抽出は、前記撮影画像内の被写体の領域を抽出することであるのが好ましい。
【００１８】
また、上記目的を達成するために、本発明の第５の態様は、登録画像の中から所望の登録画像を検索する検索システムであって、本発明の第４の態様の画像の保存システムと、この第２データベースに記録保存された登録画像の中から、入力された感性表現情報に一致する、または近似する感性表現キーワード、またはこの感性表現キーワードと対応関係にある前記画像シーンの類型を登録画像の付属情報から見出し、この見出された感性表現キーワード、または前記画像シーンの類型を付属情報とする登録画像を取り出す登録画像の検索手段とを有することを特徴とする登録画像の検索システムを提供するものである。
【００１９】
また、上記目的を達成するために、本発明の第５の態様は、登録画像の中から所望の登録画像を検索する検索システムであって、本発明の第４の態様の画像の保存システムと、この第２データベースに記録保存された登録画像の中から登録画像の検索を行う際に、入力された感性表現情報に一致する、または近似する感性表現キーワードを用いて、第２データベース内の登録画像を検索する検索手段と、この感性表現キーワードを付属情報とする複数の登録画像を取り出して表示する画像表示デバイスと、表示された複数の登録画像の中からユーザによって１つの選択された画像またはその類型に対してポイントを加算することを、検索毎に所定期間繰り返し、前記所定期間経過後、同一の感性表現キーワードにおいて検索された画像または類型毎かつ前記ユーザ毎に、加算されたポイントを集計して、前記第２データベースに当該登録画像の前記付属情報として記憶させる評価手段と、前記検索手段は、次回からの検索時に、所定の比率以上のポイントを有する画像またはその類型に絞って、あるいは優先して、登録画像の検索を行うことを特徴とする登録画像の検索システムを提供するものである。
【００２０】
また、上記目的を達成するために、本発明の第６の態様は、登録画像に画像処理を施す登録画像の画像処理システムであって、上記第５の態様の登録画像の検索システムと、前記感性表現キーワードに対応して画像処理条件が対応付けられて設定されている第３データベースと、前記登録画像の検索システムによって前記第２データベースから検索された登録画像を呼び出し、呼び出された登録画像に画像処理を施す際、前記感性表現情報に一致する、または近似する感性表現キーワードと対応付けられた画像処理条件を前記第３データベースから呼び出し、この画像処理条件に基づいて画像処理を施す画像処理手段とを有することを特徴とする登録画像の画像処理システムを提供するものである。
【００２１】
また、上記目的を達成するために、本発明の第７の態様は、本発明の第１の態様の画像の保存方法を実施することを特徴とするプログラム、本発明の第２の態様の登録画像の検索方法を実施することを特徴とするプログラム、または本発明の第３の態様の登録画像の画像処理方法を実施することを特徴とするプログラムを提供するものである。
【００２２】
【発明の実施の形態】
本発明に係る画像の保存方法、登録画像の検索方法およびシステム、登録画像の画像処理方法ならびにこれらの方法を実施するプログラムを添付に図面に示す好適実施形態に基づいて以下詳細に説明する。
以下においては、本発明法（本発明の第１の態様の画像の保存方法、本発明の第２の態様の登録画像の検索方法および本発明の第３の態様の登録画像の画像処理方法）を実施する装置の一実施形態である図１に示す画像検索・画像処理装置１に基づいて説明するが、本発明は、これらに限定されるわけではない。
【００２３】
図１は、画像検索・画像処理装置１の概略の構成を機能的に示したブロック図である。
画像検索・画像処理装置１は、一部分がプログラムを実行することによって機能を発揮するコンピュータで構成されてもよいし、一部分が専用回路で構成されてもよいし、コンピュータと専用回路によって構成されてもよい。
画像検索・画像処理装置１は、「壮大な」、「鮮やかな」といった感性表現の情報（以降、感性表現情報という）を操作者が入力することによって画像を検索して、所望の画像を画像処理して写真プリントとして出力する装置である。
画像検索・処理装置１は、主に、画像蓄積装置２、画像検索装置３、画像出力装置４、通信制御装置５、ＣＰＵ６およびモニタ７を有する。
ＣＰＵ６は、画像蓄積装置２、画像検索装置３、画像出力装置４および通信制御装置５の各機能を制御する部位である。
ここで、画像検索・処理装置１は、本発明の第６の態様の登録画像の画像処理システムを、画像蓄積装置２は、本発明の第４の態様の画像の保存システムを、画像蓄積装置２および画像検索装置３は、本発明の第５の態様の登録画像の検索システムを構成する。
【００２４】
画像蓄積装置２は、デジタルスチルカメラ等の撮影画像を登録画像として保存する際、登録画像に適した感性表現キーワードを付属情報として対応付けて保存する装置である。
画像蓄積装置２は、画像取得部１０と、被写体抽出・同定部１２と、データベース部１４と、登録画像格納部１６とを有する。
【００２５】
画像取得部１０は、デジタルスチルカメラにより撮影された撮影画像を取得する部位である。あるいは、銀塩フィルムに撮影された画像を透過光を用いてＣＣＤ素子（Ｃｈａｒｇｅｄ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）等の受光面に結像させて画像を読み取るスキャナであってもよい。画像取得部１０は、さらに、撮影画像を取得する際に撮影時の撮影情報、例えば、撮影位置（緯度、経度）、撮影方位および撮影倍率の情報、さらには、撮影日時の情報や撮影時のカメラから被写体に至る測距情報を取得する。なお、撮影位置および撮影方位の情報は、ＧＰＳ（Ｇｌｏｂａｌ　ＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）機能を搭載し、かつ、ジャイロを利用した方位測定センサを備えたカメラによって撮影が行われる際に撮影位置および撮影方位の情報を同時に記録したものが取得される。測距情報は、赤外線等を用いてカメラから被写体に至る距離を測定する測定センサによって測定して記録したものが取得される。
【００２６】
撮影情報の取得の方法は、デジタルスチルカメラでは、画像データが画像取得部１０に読み込まれる際に撮影情報のデータが読み込まれる。ＡＰＳ（ＡｄｖａｎｃｅｄＰｈｏｔｏ　Ｓｙｓｙｔｅｍ）銀塩フィルムを用いたカメラでは、銀塩フィルムの各撮影コマの上下に設けられた磁気記録領域に書き込まれ、スキャナで撮影画像を読み取る際に磁気記録領域に書き込まれた磁気記録情報が、スキャナに設けられた磁気読取装置によって読み取られることによって撮影位置および撮影方位の情報を取得することができる。
画像取得部１０は、通信制御部５を介して接続されたインターネット等の通信ネットワーク８上のウェブサイト内の画像を取得するものであってもよい。
【００２７】
被写体抽出・同定部１２は、画像取得部１０で取得された画像から撮影情報を用いて画像内の被写体を抽出する、詳しくは、被写体の領域を抽出し、さらに、この抽出された領域の被写体を同定するとともに、抽出した被写体から、または抽出した領域から、あるいは同定した被写体から、例えば「人物」、「山」、「海」、「空」、「山林」、または「富士山」といったように撮影被写体としての類型を求める部位である。
【００２８】
被写体の領域の抽出については、例えば、取得した画像に対して微分処理を行うことにより、被写体としてのエッジ部分が鮮鋭化されている領域、またはこの領域で囲まれている領域を被写体の領域として抽出することができる。ピントの合った領域は、エッジ部分が鮮明であり、微分処理により値が大きくなるからである。
【００２９】
また、カメラを同一の位置から同一の方向に向けて被写体を撮影する際、被写体に対して多段階の結像距離（カメラの結像レンズの主点と結像面との距離）で複数の画像を撮影して多段焦点撮影画像（多段フォーカス撮影画像）を得、撮影の際に得られる測距情報を用いて、さらに、多段焦点撮影画像とともに取得される結像距離の情報を用いて、撮影シーンの被写体の領域を抽出することができる他、撮影シーンの奥行き情報を得ることができる。具体的には、測距情報は撮影したカメラと被写体との間の距離であるので、この距離の情報に対応する結像距離に一致するまたは最も近い結像距離で撮影された撮影画像内においてピントが合った領域を求め、この領域を被写体の領域として抽出することができる。従って、これ以外の結像距離で撮影された撮影画像のピントの合った領域は、奥行きの情報として取得することができる。なお、ピントの合った領域は、上述したように微分処理により求めることができる。
このような奥行き情報は後述するように被写体の同定に利用するとよい。
【００３０】
被写体の同定については、上述の撮影位置（緯度、経度）、撮影方位および撮影倍率の情報と、被写体抽出・同定部１２が自ら保有する地図データとを用いて被写体を同定する。例えば、撮影位置および撮影方位から地図データ上における被写体となる候補を取り出し、撮影画像内における被写体の位置と形状（被写体の領域の形状）と撮影倍率とを用いて、撮影画像内の被写体の形状や大きさと地図データにおける被写体の候補となる３次元情報との対応を行うことによって、被写体の同定を行う。この場合、上述の奥行き情報を用いることで同定の精度は向上する。
【００３１】
さらに、被写体抽出・同定部１２は、抽出された被写体の領域、あるいは同定された被写体に基づいて撮影被写体としての類型を求める。例えば、「山」、「川」、「海」といった普通名詞や、例えば「富士山」、「東京タワー」といった固有名詞を求める。
なお、被写体の同定を行うことなく、直接被写体を抽出することにより、あるいは、被写体の領域を抽出し、この領域の画像データを用いることにより、例えば青い「海」、白い「山」といった普通名詞の類型を求めてもよい。
被写体抽出・同定部１２は、さらに、データベース部１４内に保存されている撮影被写体の類型と感性表現キーワードとの対応関係を用いて、感性表現キーワードを導出する。
【００３２】
データベース部１４は、本発明の第１データベースに対応する部分であって、上述したような撮影被写体の類型と、この類型と対応関係を付けた感性表現キーワードとを記録保存する部位である。
例えば、「海」、「湖」、または「空」の類型には「あざやか」といった感性表現キーワードを、「山林」には「すがすがしい」といった感性表現キーワードを、また、固有名詞の「富士山」には「壮大」といった感性表現キーワードを対応させて関係付ける。このような対応関係は、１つの類型に対して複数の感性表現キーワードが対応づけられ、１つの感性表現キーワードに対して複数の類型が対応づけられてもよい。
【００３３】
データベース部１４において、撮影被写体の類型と感性表現キーワードとを関連付ける方法では、画像の被写体またはシーンの主題については、マニュアル設定および自動設定のいずれでも良いし、両者を併用しても良い。また、感性表現キーワードの関連付けは、被写体の類型導出とは別処理としても良い。
例えば、画像の主要テーマが判れば良いので、被写体の類型を導出するのは、撮影画像に限らず、コンピュータグラフィックス（ＣＧ）でも可能である。
なお、本発明において対象とする画像としては、撮影画像の他、反射原稿／透過原稿の読取（スキャン）画像またはＣＧ画像等の生成画像であっても良い。また、これらの撮影画像、読取画像、生成画像は、それぞれ放映画像などであっても良く、それぞれ動画／静止画を問わず、各種タイプの画像データを対象とすることができる。
また、画像シーンとしては、撮影被写体または画像の主題であり、シーン情報としては、撮影情報または主題情報であり、シーンとしては、被写体または主題であるのが好ましい。
【００３４】
また、映像コンテンツ、例えば、テレビ（ＴＶ）放送等のメタデータに被写体を示すデータがある場合に、別途、感性表現検索用のデータを業者レベルおよび／またはユーザレベルで作成することもできる。例えば、被写体人物が、テレビタレントや有名人である場合、その人物の最新のイメージ調査データにアクセスして、感性表現キーワードを付属および／または更新させることができる。この場合には、一般ユーザーが自分でできるように、パーソナルコンピュータ（ＰＣ）ソフトを専門業者が提供することが好ましい。
ここでは、画像を表示デバイスに表示させ、印象を示すキーワードを入力および／または選択すると、被写体類型と入力キーワードとが関連付けられてデータベース部１４に記憶される機能を持つのが好ましい。
【００３５】
被写体抽出・同定部１２において導出された感性表現キーワードは、撮影画像とともに、登録画像格納部１６に送られる。
登録画像格納部１６は、本発明の第２データベースに対応する部分であって、導出した感性表現キーワードを撮影画像の付属情報として対応付けて、撮影画像を登録画像として保存する。
【００３６】
一方、画像検索装置３は、画像表現情報入力部１８と、画像検索部２０と、辞書参照部２２とを有し、操作者が感性表現情報、例えば「すがすがしい」といった感性表現情報を入力することで、感性表現情報に適した登録画像を、登録画像格納部１６から検索する装置である。
画像表現情報入力部１８は、感性表現情報を入力するキーボードやマウス等の入力装置であり、感性表現情報は画像検索部２０に送る。
【００３７】
画像検索部２０は、送られてきた感性表現情報と、登録画像格納部１６に格納されている感性表現キーワードとを比較して、一致する感性表現キーワードがあるか否かを調べ、入力された感性表現情報と一致する感性表現キーワードが見つかると、この感性表現キーワードと対応付けられた登録画像を登録画像格納部１６から取り出し、一致した感性表現キーワードとともに、後述する画像処理部２４に送るように構成される。
【００３８】
なお、入力された感性表現情報と一致する感性表現キーワードが見つからない場合、辞書参照部２２に感性表現情報を送り、感性表現情報に近い近似表現を導出するように指示する。感性表現情報に近い近似表現が辞書参照部２２から送られると、この近似表現と一致する感性表現キーワードがあるか否かを調べる。例えば、感性表現情報が「さわやか」である場合の近似表現は「すがすがしい」等である。
近似表現と一致する感性表現キーワードが見つかると、画像検索部２０は、感性表現キーワードと対応付けられた登録画像を、登録画像格納部１６から取り出し、この一致した感性表現キーワードとともに画像処理部２４に送る。
なお、最終的に感性表現キーワードと一致する近似表現が見つからない場合、感性表現情報に適した登録画像を見い出すことができなかったものとして、画像出力装置４における処理は行われない。
【００３９】
辞書参照部２２は、画像検索部２０から送られてくる感性表現情報に近い近似表現を、内蔵する辞書を参照して導出する部位である。近似表現は、感性表現情報に近似度の高い順番に複数導出してもよいし、近似度の高い順番に１つずつ導出してもよい。
【００４０】
画像出力装置４は、画像処理部２４とプリンタ部２６とを有する。
画像処理部２４は、画像検索部２０から送られてきた登録画像に画像処理を施す部位である。なお、この画像処理の処理内容、すなわち、処理条件は、感性表現キーワードに対応して画像処理条件が設けられて、第３データベースにデータベース化されている。この第３データベースは、画像処理部２４内に設けられているものであるのが好ましいが、データベース部１４であっても良く、登録画像格納部１６であっても良いし、これらとは、全く別のデータベースやメモリ（データ記録部）であっても良い。この内、第３データベースがデータベース部１４である場合には、画像処理条件は、撮影被写体の類型とともに感性表現キーワードに対応付けられて格納されていても良いし、感性表現キーワードに対応付けられていれば、別々に格納されていても良い。
【００４１】
従って、登録画像に画像処理を施す際、画像検索部２０から送られてきた感性表現キーワードに基づいて第３データベースから画像処理条件を呼び出し、この画像処理条件に基づいて画像処理を施す。
すなわち、画像処理部２４は、登録画像をそのまま、すなわち撮影画像のまま出力するのではなく、検索時に感性表現情報に一致したあるいは近似した感性表現キーワードの表現に適する方向に画像処理を施す。
例えば、被写体について、幾何学的特徴（大きさ、形状）を意図的に拡大縮小したり、画像濃度または色味を加工したり、さらには、シャープネス強調またはぼかし等の加工処理を施す。さらに、この画像処理条件は、撮影被写体としての類型毎に画像処理条件を異ならせてもよい。
【００４２】
例えば、感性表現キーワードが「鮮やか」である場合、登録画像の所定の閾値以上の彩度を持つ登録画像内の領域に対して、さらに、彩度を上げる画像処理を施す。このような場合としては、登録画像の被写体の類型が「花」の場合が挙げられる。また、被写体の類型が「空」、「海」の場合、青色の彩度を上げる。
また、感性表現キーワードが「壮大な」または「雄大な」である場合、登録画像の被写体の類型が「山」の場合、被写体の大きさを大きくして、壮大さまたは雄大さを増すようにする。この場合、手前にいる人物の大きさを変えず、背景の山との隙間は補間処理によって行う。
また、登録画像内の「山」の領域のコントラストを上げたり、鮮鋭度を上げたり、雪山の場合、雪の白さを強調する色補正の画像処理を施す。また、「山」の領域以外の部分はぼかす。
【００４３】
さらに、感性表現キーワードが「しんみり」である場合、登録画像をセピア風に画像処理を施す。
また、感性表現キーワードが「美しい」であり、登録画像の被写体の類型が「女性」の場合、背景の領域の大きさを変えずに登録画像の「女性」の領域を拡大する処理を施す。また、背景の領域をぼかす画像処理を施す。
【００４４】
このように、操作者が感性表現情報入力部１８で入力した感性表現情報に一致または近似した感性表現キーワードに対応して、登録画像に施す画像処理条件が定まる。このため、同一の登録画像であっても、入力される感性表現情報によって、感性表現キーワードが異なるので、画像処理の内容が異なる。なお、画像処理部２４は、専用回路（ハードウェア）によって構成されたものであってもよいし、プログラム（ソフトウェア）の実行によって機能を発揮するものであってもよい。
【００４５】
プリンタ部２６は、画像処理部２４で画像処理された登録画像をプリント画像として提供するために、画像処理の施された登録画像を出力する画像出力装置であり、インクジェットプリンタや感光材料をレーザビームで焼付け露光するプリンタが用いられる。
プリンタ部２６は、画像処理の施された登録画像を出力する一形態であるが、画像処理部２４で処理された登録画像は、モニタ７に表示されたり、通信制御部５に送られ、インターネット等の通信ネットワーク８を介してユーザＰＣ（パーソナルコンピュータ）３０に送信されてもよい。さらに、処理済登録画像は、ＭＯ、ＣＤ−Ｒ、Ｚｉｐ（登録商標）やフレキシブルディスク等の記録媒体に記録保存されてもよい。
以上が画像検索・画像処理装置１の基本的な構成である。
【００４６】
このような画像検索・画像処理装置１において実施される本発明の画像の保存方法、登録画像の検索方法および登録画像の画像処理方法について説明する。
ここで、図２は、本発明の第１の態様の画像の保存方法の一例のフローチャートであり、図３は、本発明の第２の態様の登録画像の検索方法および本発明の第３の態様の登録画像の画像処理方法の一例のフローチャートである。図４は、本発明の第１の態様の画像の保存方法において、撮影画像と対応付けられる情報を表にして分かり易く説明した図である。
【００４７】
本発明の第１の態様の画像の保存方法においては、まず、図２に示すように、撮影画像が画像取得部１０において取得される（ステップ１００）。
撮影画像の取得は、デジタルスチルカメラから直接転送される形態や、デジタルスチルカメラで撮影された画像を記録媒体を経由して取得する形態や、通信制御部５を介してユーザＰＣ３０から転送される形態や、さらに、銀塩フィルムに記録された撮影画像をスキャナで光電的に読み取る形態が挙げられる。
その際、撮影画像の取得とともに、撮影位置（緯度、経度）、撮影方位および撮影倍率の情報、さらには、撮影日時の情報や撮影時のカメラから被写体に至る測距情報等の撮影情報を取得する。
【００４８】
次に、被写体抽出・同定部１２において、被写体自体または被写体の領域が抽出される（ステップ１０２）。
例えば、取得した撮影画像に対して微分処理を行い、被写体としてのエッジ部分が鮮鋭化されている領域、またはこの領域で囲まれている領域を被写体の領域として抽出する。例えば、被写体を富士山とした撮影した場合、撮影された富士山のエッジ部分が領域として抽出される。このような被写体の領域の抽出は、複数の被写体の領域が見い出された場合、撮影画像内の、より真ん中に位置する領域あるいは大きな領域の点数が高くなるように点数化し、点数の最も高い領域を被写体の領域として抽出する。
【００４９】
次に、抽出された被写体または抽出された領域の被写体が何であるかが同定される（ステップ１０４）。例えば、撮影情報に、撮影位置（緯度、経度）、撮影方位および撮影倍率の情報が含まれる場合、撮影位置および撮影方位から地図データ上における被写体となる候補を取り出し、撮影画像内における被写体の位置と形状（被写体の領域の形状）と撮影倍率とを用いて、撮影画像内の被写体の形状や大きさや位置と地図データにおける被写体の候補となる３次元情報との対応を行うことによって、被写体の同定を行う。この場合、カメラを同一の位置から同一の方向に向けて、被写体に対して多段階の結像距離で複数の画像を撮影した多段焦点撮影画像（多段フォーカス撮影画像）を得た場合、撮影シーンの奥行き情報を得ることができるので、この撮影シーンの奥行き情報を用いて同定の精度を向上させることができる。
【００５０】
次に、被写体の類型化が行われる（ステップ１０６）。
例えば、抽出または同定された被写体が「富士山」であれば、「山」といった類型が求められる。
次に、この類型である「山」と対応関係が付けられた感性表現キーワードが、予め用意されているデータベース部１４から導出されて（ステップ１０８）、撮影画像と対応付けが行われる。
最後に、撮影画像は、取り出された感性表現キーワードと対応付けられて、登録画像として登録画像格納部１６に記録保存される（ステップ１１０）。
図４では、「富士山」の撮影画像に、「壮大な」、「どっしりした」、「真っ白な」といった感性表現キーワードが対応付けられている。
【００５１】
このような撮影画像の保存方法では、撮影情報に撮影日時が含まれる場合、撮影日時のイベント情報や天気の情報を割り出すことができるのでこの天気の情報を参照して、被写体の類型化の際に、類型化を天気の情報で限定したものを用いるものであってもよい。
例えば、「富士山」の撮影画像の場合、撮影時の天気の情報から判断して天気が晴れている場合「晴れた日の山」といった類型を定め、天気が雨の場合「雨の日の山」といった類型を定める。そして「晴れた日の山」に「さわやかな」といった感性表現キーワードを、「雨の日の山」に「じめじめした」といった感性表現キーワードの対応関係を持たせてデータベース部１４に予め用意しておく。また、撮影日時が秋であれば、紅葉した「秋の山林」に対して「鮮やかな」または「きれいな」といった感性表現キーワードの対応関係を持たせる。
【００５２】
さらに、撮影日時から撮影位置におけるイベント情報が割り出されるので、例えば、「祭り」といった類型に対して、「にぎやかな」、「楽しげな」といった感性表現キーワードの対応関係を持たせてもよい。また、「入学式」、「卒業式」、「成人式」といったイベントの類型に対して、それぞれ「晴れやかな」といった感性表現キーワードの対応関係を持たせてもよい。
このような類型と感性表現キーワードの対応関係は予めデータベース部１４に作成されて記録保存されている。
【００５３】
こうして登録画像格納部１６に記録保存された登録画像は、画像検索装置３からのアクセスを受け、登録画像の検索に供される。
まず、感性表現情報入力部１８から、操作者によって感性表現情報が入力される（ステップ１２０）。例えば、「雄大な」といった感性表現情報が入力されると、この感性表現情報は画像検索部２０に送られる。
【００５４】
画検索部２０では、送られてきた感性表現情報と感性表現キーワードとが比較され、感性表現情報と一致する感性表現キーワードが登録画像格納部１６に記録保存されているか否かが調べられる。例えば「雄大な」といった感性表現キーワードが記録保存されているか、調べられる。
一致する感性表現キーワードが見つからない場合、感性表現情報は辞書参照部２２に送られる。辞書参照部２２では、送られてきた感性表現情報に近似する近似表現が導出される。近似表現として、例えば、近似度の高い近似表現が導出され画像検索部２０に送られる。例えば、「雄大な」といった感性表現情報に対して「壮大な」といった近似表現が導出され、画像検索部２０に返送される。
【００５５】
画像検索部２０では、返送された近似表現を用いて登録画像格納部１６にアクセスし、近似表現と一致する感性表現キーワードが記録保存されているか、調べられる。
登録画像格納部１６には、図４に示すように、「富士山」の撮影画像が、この撮影画像の付属情報として「壮大な」、「どっしりした」、「真っ白な」といった感性表現キーワードと対応付けられているので、近似表現である「壮大な」と一致する感性表現キーワード「壮大な」が見いだされる。従って、この感性表現キーワードを付属情報として持つ「富士山」の登録画像が取り出される。このように登録画像が検索される（ステップ１２２）。
【００５６】
このように感性表現情報に一致する、または、近似する感性表現キーワードを付属情報として持つ登録画像が検索される。検索された結果、登録画像が複数検索された場合、検索画像がモニタ７に表示され、後述するような登録画像の出力が操作者の選択に委ねられる。こうして出力画像が設定される（ステップ１２４）。なお、以降では、プリント画像を出力する例を用いて説明するが、本発明はこれに限定されない。
こうして出力画像として設定された登録画像は、感性表現情報に一致する、または近似する上記感性表現キーワードとともに、画像処理部２４に送られる。
【００５７】
画像処理部２４では、画像検索部２０から送られてきた感性表現キーワードに応じて画像処理条件が定められ（ステップ１２６）、この画像処理条件に基づいて、画像処理が行われる（ステップ１２８）。
すなわち、画像処理部２４では、処理条件は、感性表現キーワードに対応して画像処理条件が一意的に対応付けられて、第３データベースにデータベース化されているので、感性表現キーワードに応じて、一意的に画像処理条件が定められる。この画像処理条件は、感性表現キーワードと対応づけられており、この感性表現キーワードは、操作者によって入力された感性表現情報によって変わるものであるため、同一の登録画像であっても、入力される感性表現情報によっては、画像処理条件が変わる。
【００５８】
例えば、「壮大な」といった感性表現キーワードに対して、被写体である山の領域を領域の中心を変えずに拡大する画像処理条件がデータベース化されている一方、「真っ白な」といった感性表現キーワードに対して、被写体である山のやや薄汚れた白い領域を雪と判断して明度の高い白色領域に変換する画像処理条件がデータベース化されている場合、感性表現情報として「雄大な」が入力された場合と、「真っ白な」が入力された場合とでは、同じ「富士山」の登録画像であっても、前者では「富士山」を大きく強調する画像処理が行われ、後者では「富士山」の雪の領域を真っ白に強調する画像処理が行われる。
【００５９】
このように画像処理が施された登録画像は、プリンタ部２６に適したデータに変換されて、プリンタ部２６でプリント画像としてプリント出力される（ステップ１３０）。
選択された出力の形態によっては、通信制御部５を介して画像処理の施された登録画像がユーザＰＣ３０に送信される。あるいは、図示されないドライブ装置を介してＭＯ、ＣＤ−Ｒ、Ｚｉｐ（登録商標）やフレキシブルディスク等の記録媒体に書き込まれる。
【００６０】
このように、本実施形態では、操作者の入力した感性表現情報に適した登録画像を検索し、しかも、感性表現情報に応じて登録画像も強調されて出力されることを特徴とする。
【００６１】
上記実施形態のデータベース部１４は、撮影被写体の類型と、この類型と対応関係を付けた感性表現キーワードと予め記録保存したものであったが、本発明においては、このデータベース部は、各個人毎に専用のデータベース部が構築されたものであってもよい。例えば、複数のサンプル画像と感性表現キーワード一覧表を予め用意しておき、各個人がサンプル画像毎に感性キーワード一覧表から感性表現キーワードを選択することで、サンプル画像の撮影被写体の類型と感性表現キーワードの対応関係を求めておき、これをデータベース部に記録保存するとよい。これにより個人用データベースをそれぞれ構築することができる。
【００６２】
また、上記実施形態では、撮影画像を登録画像として登録画像格納部１６に格納する際、登録画像に感性表現キーワードを付属情報として対応させて記録保存するが、さらに、撮影画像から被写体の領域を抽出して求めた被写体の類型を、登録画像の付属情報として対応させて登録画像格納部１６に記憶させてもよい。これにより、図３に示すステップ１２２における登録画像の検索において、以下の方法によって登録画像を検索することができる。
【００６３】
すなわち、画像検索においては、ステップ１２０で入力された感性表現情報に一致する、または、近似する感性表現キーワードをデータベース部１４にて調べる。感性表現情報に一致する、または近似する画像表現キーワードがない場合、画像検索部２０は、辞書参照部２２に近似表現の導出を指示し、この指示に応じて導出された近似表現を用いてデータベース部１４にて感性表現キーワードを調べる。こうして、感性表現情報に一致する、または近似する感性表現キーワードをデータベース部１４にて見出すと、これに対応した撮影被写体の類型を取り出す。この取り出された撮影被写体の類型と一致する付属情報としての類型を調べる。このようにして、上記撮影被写体の類型と一致する類型を付属情報として持つ登録画像を検索することができる。勿論、この時、登録画像が付属情報として持つ複数の感性表現キーワードの中に、感性表現情報に一致する、または近似する感性表現キーワードが含まれているのが好ましい。
【００６４】
さらに、登録画像格納部１６は、上述した登録画像の検索が行われた日時の履歴を登録画像に対応させて記録保存してもよい。例えば、後日、検索した日時の記憶を頼りに登録画像を検索することもできる。
さらに、モニタ７の近くに音声記録装置を設け、検索した登録画像がモニタ７に表示された際の登録画像鑑賞者の発言内容を録音し、この発言内容を音声情報として登録画像の付属情報として対応付けて記録保存してもよい。一方、感性表現情報入力部１８は、音声入力システムを備え、登録画像鑑賞者が、後日、上記発言内容の記憶を頼りに音声入力により感性表現情報を入力することで、上記発言内容を付属情報として持つ登録画像を検索することができる。
【００６５】
このような検索は、上記実施形態における検索方法と組み合わせることで、効率良く所望の登録画像を検索することができる。また、本発明に用いられる画像検索および画像処理装置により、例えば人が癒される画像を表示したり、すがすがしい気持ちになる画像を表示したりすることができる娯楽性をも提供することができる。
【００６６】
なお、上述した実施例においては、撮影画像の登録保存、登録画像の検索および画像処理の対象となる被写体またはシーンを風景としているが、本発明はこれに限定されない。
例えば、対象となる被写体またはシーンは、人物や人物の所有物、あるいは人物の近くにある物品であっても良い。
この時、撮影被写体の類型と感性表現キーワードとの対応付けは、以下のようにして行うことができる。
【００６７】
図５に示す実施例を用いて説明すると、タグセンサ付きデジタルカメラ４２でＩＣタグ４４ａ付き物品４４、例えばハンドバッグを持っている、または装飾品や衣服を身につけている人物４６を撮影すると、人物４６の撮影画像（画像データ）の他に、撮影被写体の類型となるハンドバッグ、装飾品や衣服等の物品４４の識別データ（物品ＩＤ）を入手することができる。
撮影後、カメラ４２がＰＣ（パソコン）４８に接続され、入手できた物品ＩＤが画像データとともにＰＣ４８に入力される。ＰＣ４８から物品ＩＤをキーとして、メーカ５０側に通信ネットワーク５２を介してアクセスし、メーカ５０側が用意している物品４４の物品情報や感性表現キーワードを取り込み、取り込まれた感性表現キーワードと物品４４（類型）との関連付けを行い、データベース（例えば、図１のデータベース部１４）に保存することができるし、人物や物品のの画像データを感性表現キーワードと関連付けて、好ましくはさらに、類型（物品データ）とも関連付けて、データベース（登録画像格納部１６）に保存することもできる。
【００６８】
ここで、人物の所有物や撮影時に当該人物の近傍にある物品４４としては、撮影被写体の類型となるもので、上述した装飾品類、衣服類、ハンドバッグ類、靴類、帽子類、その他置物類や、家具調度品などを挙げることができる。撮影被写体の類型としては、１つであっても、複数であっても良い。
また、メーカ５０側では、物品４４の物品ＩＤに対応付けて、物品情報および感性表現キーワードとなる感性表現データが用意されている。例えば、物品４４が着物である場合に、物品ＩＤが「ＸＸＸ１」である着物には「あでやか」なる感性表現データが用意され、物品ＩＤが「ＸＸＸ２」である着物には「しぶい」なる感性表現データが用意される。
【００６９】
すなわち、風景以外の被写体の場合の撮影被写体の類型と感性表現キーワードとの対応付けの第１ステップでは、画像データには、付属情報として被写体情報を含む。ここで、被写体情報としては、人物情報の他、その人物の所有物や近傍の載置物の各物品について、各物品に付けられているＩＣタグから読み取ることができる。
第２ステップでは、被写体に関連する感性表現をデータベースから読出し、画像データの付属情報に追加する。この時、１つの物品に優先順位付きで複数の感性表現があっても良い。
なお、本発明において対象とされる画像としては、静止画の他、動画であっても良い。
【００７０】
また、上述した実施例においては、撮影画像の画像データと感性表現キーワードとを関連付けてデータベース（登録画像格納部１６）に保存しているが、本発明はこれに限定さない。すなわち、本発明においては、画像データと感性表現キーワードとの関連がわかればよいので、この画像データに感性表現キーワードを付属させるという形態に限定されない。例えば、個々の感性表現キーワードに対し、画像データのＩＤ（ファイル名、アクセス先等）を付属させる形態のファイルを記録（但し、追加／更新／削除は自由）し、参照する方法でも良い。
【００７１】
また、感性表現情報と検索対象との対応付けに学習機能を持たせ、両者の対応付けをユーザ個人毎に学習し、カスタマイズするようにしても良い。
入力ステップとしては、例えば、ＰＣ（パソコン）のデスクトップの背景画像（いわゆる壁紙）として欲しい画像を検索するものとすると、以下のように行うことができる。
最初にある特定のキーワードを入力または選択すると、複数の画像が順次、またはインデックス画像として表示される。ユーザによって、好みの画像（複数でも可能）が選択されると、選択された絵には、ポイントが加算され、選択された画像が壁紙として所定期間（１日／１週間）表示される。なお、複数画像選択した場合には、順次更新されるのが良い。
その後、所定期間経過後に、再び、感性表現キーワードにより、画像を検索して、選択する処理を繰り返す。
【００７２】
次の学習ステップでは、所定期間経過後に、同一の感性表現キーワードで検索された画像について、ポイントの分布をチェックする。
ここでは、各画像の被写体における類型ごとにポイントを集計する。なお、１つの被写体に複数の類型を対応付けても良いので、この場合には、各類型毎にポイントが加算される。
例えば、類型は、１つの被写体に１つとは限らず、固有名詞でも良いし、分野とか国名とか、山であれば何千ｍクラスであるなど、人物であれば性別、年齢、職業、といった類型をつけることができる。
例１として、「固有名詞：富士山」、「分野：山」、「国名：日本」、「高度：３０００ｍクラス」、「人気度：大」などを挙げることができる。
例２として、「固有名詞：○○」、「分野：人物」、「国名：日本」、「性別」、「年齢層」、「職業：俳優」などを挙げることができる。
【００７３】
この後、加算されたポイントを各類型毎に集計し、ポイント集計結果をユーザ毎に記憶しておく。この集計結果は、検索カスタマイズ情報としてＰＣ内に登録しておく。
次回の画像検索時には、所定の比率以上のポイントを有する類型に絞って、あるいは優先して、画像を検索し、表示する。例えば、類型毎にポイントを付けていくのをある程度繰り返して行き、最もポイントを多く獲得した類型に高い優先度をつけることができる。
この時には、同じ感性表現キーワードであっても、Ａ氏の場合とＢ氏の場合では、異なる画像が検索される。例えば、同じ「さわやか」という感性表現キーワードでも、Ａ氏の場合には自然のシーンで、特に森林シーンが主にヒットする。一方、Ｂ氏の場合には若手の女性歌手が主にヒットするという風にだんだん別れて行く。
この時、一定期間経過したら削除しても良いし、古いデータは順次消去する等の処置をすることもできる。
【００７４】
なお、上記実施例において、画像の関連情報と関連付けてポイント集計を行っても良い。
例えば、類型が同じ「分野：山」の場合についても、各撮影情報の「撮影日時（季節／時間帯）」、その時の「天候（晴れ／雨）」、「撮影倍率（大／小）」別にポイント集計しても良い。すなわち、同じ山であっても、撮影情報を階層化して、各階層毎にポイント集計しても良い。
また、上述したカスタマイズ処理は、ユーザ個人別に行われているが、このカスタマイズ処理を、特定のグループ（事前にメンバ登録）内で、すなわち、特定の同好会等のグループ単位で行うこともできる。
ここでは、各メンバの画像指定におけるポイントをグループ内で集計し、グループ内検索カスタマイズ情報として、代表するＰＣ内に記録することができる。さらに、キーワード検索タイプを、一般共通用、個人用、またはグループ用で切り換えて使用することもできる。すなわち、一般共通用／個人用／グループ用の検索カスタマイズ情報を切り換えて使用できる。
【００７５】
本発明の画像の保存方法、登録画像の検索方法および画像処理方法を適用するサービス形態および利用方法として、以下のようなものも挙げることができる。例えば、例１としては、プレゼントの選択時に、相手の個人用検索カスタマイズ情報を利用して検索することができる。例えば、プレゼントを贈る相手の人物は、さわやかな色の服が好きだということを指定すると、その人物のさわやかというのはどのような色かというのをカスタマイズ情報を使って正確に選び出すことができ、好みにあった服を選ぶことができる。
【００７６】
次に、例２として、飲食店をインターネットで検索する場合に、個人／グループの検索カスタマイズ情報を利用することができる。
また、例３として、化粧シミュレーションや化粧品の選択に利用することができる。この時には、化粧品メーカ、色味、モデル等の類型で個人用検索カスタマイズ情報を作成しておくのが好ましい。
例４として、見合い写真選別に利用することができる。この時には、化粧品顔の縦横比や目鼻口の間隔比等でタイプ分けして顔の類型を作成しておくのが好ましい。
【００７７】
また、本発明の第１および４の態様の画像の保存方法およびシステム、本発明の第２および５の態様の登録画像の検索方法およびシステムならびに本発明の第３および６の態様の登録画像の画像処理方法およびシステムは、基本的に以上のように構成されるが、本発明これに限定されず、本発明の第７の態様のように、上述した本発明の第１、２および３の態様の画像の保存方法、登録画像の検索方法および登録画像の画像処理方法をコンピュータ上で動作する画像処理プログラムとして実現しても良い。
【００７８】
以上、本発明の画像の保存方法、登録画像の検索方法およびシステム、登録画像の画像処理方法ならびにこれらの方法を実施するプログラムについて種々の実施形態を挙げて詳細に説明したが、本発明は、上記種々の実施形態に限定されるものでなく、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【００７９】
【発明の効果】
以上、詳細に説明したように、本発明によれば、撮影画像や取得画像や生成画像等の画像に関する感性表現キーワードを撮影被写体や画像の主題等の画像シーンの類型を介して設定し、この感性表現キーワードを撮影画像や取得画像や生成画像等の画像の付属情報として対応付けて、この画像を登録画像として記録保存するので、操作者が感性表現情報を入力するだけで、感性表現情報に適した登録画像を効率よく検索することができる。しかも、撮影場所や被写体の固有名詞がわからない場合でも、感性表現情報を入力するだけで所望の登録画像を検索することができ、しかも、感性表現情報に応じた画像処理を施すので、所望の画像を容易に入手することができる。
【図面の簡単な説明】
【図１】本発明の画像の保存方法を実施する画像保存・検索装置の一実施形態の概略の構成を示すブロック図である。
【図２】図１に示す画像保存・検索装置おいて実施される本発明の画像の保存方法の流れの一例を示すフローチャートである。
【図３】本発明の登録画像の検索方法および登録画像の画像処理方法の流れの一例を示すフローチャートである。
【図４】本発明の画像の保存方法における撮影画像との対応関係を持つ情報をわかり易く説明する説明図である。
【図５】本発明の登録画像の検索方法に利用される撮影被写体の類型と感性表現キーワードとの対応付けを説明するための説明図である。
【符号の説明】
１　画像保存・検索装置
２　画像蓄積装置
３　画像検索装置
４　画像出力装置
５　通信制御装置
６　ＣＰＵ
７　モニタ
１０　画像取得部
１２　被写体抽出・同定部
１４　データベース部
１６　登録画像格納部
１８　感性表現情報入力部
２０　画像検索部
２２　辞書参照部
２４　画像処理部
２６　プリンタ部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image storage method for storing a captured image taken by a camera or the like, a read image of a reflection original or a transmission original, or a generated image such as CG (computer graphic) as a registered image, and the image stored by this storage method. Registered image search method and system for searching for a desired image from registered images, registered image for extracting an image stored by the image storage method or the image searched for by the registered image search method, and performing image processing The present invention relates to an image processing method, a program for executing an image storage method, a program for executing a registered image search method, and a program for executing an image processing method of a registered image.
[0002]
[Prior art]
Today, it is desired to efficiently retrieve a desired image from a large amount of stored images while accumulating a large amount of captured images captured using a camera, and various image retrieval systems have been proposed. ing.
On the other hand, a person who searches from the stored image (operator) inputs an image suitable for his / her emotional expression, for example, an image suitable for this emotional expression by inputting an emotional expression such as “Epic” or “Refreshing”. It is also desired to efficiently search for and output.
[0003]
For example, Patent Document 1 proposes an image search system in which a person who searches for an image can search for an image suitable for his / her sensitivity without placing a burden on the inspection.
The image search system in the above publication includes a keyword input unit for inputting a keyword, an image input unit for inputting an image, an image storage unit for storing an image feature amount and a keyword together with a registered image, and an input from the keyword input unit. Keyword search means for detecting images by combining keywords, feature quantity / keyword extraction means for automatically extracting keywords and feature quantities from registered images, and narrowing down the search results by the keyword search means without using keywords By providing the search result narrowing means, a person who searches for a captured image can search for an image suitable for his or her own sensibility without placing a burden on the inspection.
[0004]
Further, in Patent Document 2, the specific information that is present in or attached to the image, or that is present in the image and is attached to the image at the same time is extracted or recognized, and the obtained specific information is used as it is or Information related to specific information is attached to the image data of the image and stored in the database as attached information. At least a part of this attached information is specified as a search condition, the database is searched using the specified search condition, and selected. A search method is proposed in which the degree of coincidence with the attached information attached to the stored image data is obtained, and an image having a degree of coincidence of a predetermined value or more is read out. Thereby, it is supposed that the efficient search of an image is realizable.
[0005]
However, the image search system disclosed in Patent Document 1 captures image feature amounts calculated for each acquired image, for example, image feature amounts obtained from a histogram using image data, and “brilliant” or “major”. There is a problem that it is difficult to uniquely associate a subject in an image, and thus it is difficult to efficiently search for an image suitable for the input emotional expression.
[0006]
Further, the search method of Patent Document 2 uses specific input information such as voice information and message information instead of a keyword at the time of search, and searches for an image having attached information that matches or is close to this input information. There is a problem that the operator has to perform a complicated operation for adding such attached information to an image. In addition, in this search method, an image having a triangular subject region is searched if the subject region in the photographed image is used, for example, if the subject is “mountain”. It is not possible to search for an image suitable for the emotional expression input by the operator such as “Refreshing”.
[0007]
[Patent Document 1]
JP 2000-048041 A
[Patent Document 2]
JP 2001-084274 A
[0008]
[Problems to be solved by the invention]
Therefore, the present invention solves the above-mentioned problems of the prior art, and can efficiently search for an image suitable for a sensitivity expression keyword associated with a type of an image scene such as a photographed subject or an image subject. By storing an image such as a captured image, an acquired image, or a generated image as a registered image in the database, and by inputting an emotion expression keyword from the registered image stored by the storage method, Registered image search method and system capable of efficiently searching for an image suitable for the Kansei expression keyword, registered image searched by the search method, and a registered image subjected to image processing according to the input Kansei expression Image processing method, program for executing image storage method, program for executing registered image search method, and registration And to provide a program implementing the image processing method of the image.
[0009]
[Means for Solving the Problems]
To achieve the above object, according to a first aspect of the present invention, there is provided an image using a (first) database in which image scene types and Kansei expression keywords associated with the types are recorded and stored in advance. A method of saving an image, wherein the image or its identification information is stored as a registered image together with the auxiliary information (in a second database), and when the image is stored, a scene in the image is extracted Then, the type as the image scene is obtained, the Kansei expression keyword is derived by referring to the (first) database using the obtained type, and the derived Kansei expression keyword or the Kansei expression is derived. A keyword and a type as the image scene are associated as attached information of the image, and the image or its identification information is used as a registered image (the second data). Base) and provides a method of storing an image, characterized in that the storage.
[0010]
Here, it is preferable that the image is a captured image, an acquired image, or a generated image, the image scene is a captured subject or an image subject, and the scene is an object or the subject.
That is, according to one aspect of the present aspect, the attached information of the photographed image is obtained using a database (first) in which a photographed subject type and a sensitivity expression keyword associated with this type are recorded and stored in advance. An image storage method for storing a captured image as a registered image together with the attached information (in a second database), wherein when the captured image is stored, a subject in the captured image is extracted and the captured subject is A type is obtained, the Kansei expression keyword is derived by referring to the (first) database using the obtained type, the derived Kansei expression keyword is associated as attached information of the photographed image, and the photographing The present invention provides an image storage method characterized by storing an image as a registered image (in the second database).
[0011]
Here, it is preferable that the registered image also associates the type of the subject obtained when the photographed image is stored as the subject to be photographed as attached information of the photographed image.
Further, it is preferable that the extraction of the subject in the photographed image is performed using the depth information of the photographed scene.
It is also preferable to obtain the type of the subject as the subject to be photographed by extracting the subject from the photographed image and then identifying the subject using the depth information of the subject.
Further, it is preferable that the extraction of the subject in the captured image is to extract a region of the subject in the captured image.
[0012]
In order to achieve the above object, according to the second aspect of the present invention, a desired registered image is selected from registered images stored in the second database by the image storing method of the first aspect. A search method for searching, wherein an emotional expression keyword that matches or approximates the inputted emotional expression information is found from the attached information of the registered image, and a registered image having the found emotional expression keyword as the attached information The present invention provides a registered image retrieval method characterized by retrieving a registered image by taking it out (from the second database).
The emotional expression keyword that matches or approximates the input emotional expression information, or the type of the image scene corresponding to the emotional expression keyword is found from the attached information of the registered image, and the found emotional expression keyword Alternatively, a registered image is searched by retrieving a registered image having the type of the image scene as attached information.
[0013]
In order to achieve the above object, according to the second aspect of the present invention, a desired registered image is selected from registered images stored in the second database by the image storing method of the first aspect. A search method for searching, which extracts a type of a shooting subject (corresponding to a sensitivity expression keyword that matches or approximates input sensitivity expression information) (from the first database), and The present invention provides a registered image retrieval method characterized by retrieving a registered image by taking out a registered image having a type as attached information (from the second database).
[0014]
In order to achieve the above object, according to the second aspect of the present invention, a desired registered image is selected from registered images stored in the second database by the image storing method of the first aspect. A search method for searching for a registered image in the (second) database by using an emotional expression keyword that matches or approximates the emotional expression information input when searching for the registered image. A plurality of registered images having the sensitivity expression keyword as attached information are extracted, displayed on the image display device, and pointed to one selected image or a type thereof by the user from among the displayed plurality of registered images Is repeated for a predetermined period for each search, and after the predetermined period has elapsed, for each image or type searched for the same Kansei expression keyword and for each user, The calculated points are totaled and stored, and when searching for the next time, the registered images are searched for, or prioritized, with priority or priority to images having a predetermined ratio or more or their types. A registered image search method is provided.
[0015]
In order to achieve the above object, according to the third aspect of the present invention, the registered image retrieved (from the second database) by the registered image retrieval method of the second aspect is called to perform image processing. An image processing method for a registered image, wherein an image processing condition is set in association with the sensitivity expression keyword (in the third database), and the sensitivity expression is applied when image processing is performed on the registered image. Image processing of a registered image, wherein an image processing condition associated with a Kansei expression keyword that matches or approximates information is called (from the third database), and image processing is performed based on the image processing condition A method is provided.
[0016]
In order to achieve the above object, according to a fourth aspect of the present invention, there is provided a first database for prerecording and storing image scene types and Kansei expression keywords associated with the types, and storing images. In this case, the scene in the image is extracted to obtain a type as the image scene, and the Kansei expression keyword is derived by referring to the first database using the obtained type. Means,
The derived Kansei expression keyword, or the Kansei expression keyword and the type as the image scene are associated as attached information of the image, and the second database stores the image or its identification information as a registered image together with the attached information. It is an object of the present invention to provide an image storage system.
[0017]
Here, it is preferable that the image is a captured image, an acquired image, or a generated image, the image scene is a captured subject or an image subject, and the scene is an object or the subject.
In addition, it is preferable that the registered image also associates the type of the subject obtained when the captured image is stored as the captured subject as attached information of the captured image.
Further, it is preferable that the extraction of the subject in the photographed image is performed using the depth information of the photographed scene.
It is also preferable to obtain the type of the subject as the subject to be photographed by extracting the subject from the photographed image and then identifying the subject using the depth information of the subject.
Further, it is preferable that the extraction of the subject in the captured image is to extract a region of the subject in the captured image.
[0018]
In order to achieve the above object, a fifth aspect of the present invention is a retrieval system for retrieving a desired registered image from registered images, the image storage system according to the fourth aspect of the present invention, Registered from the registered images recorded and stored in the second database, the emotional expression keyword that matches or approximates the input emotional expression information, or the type of the image scene corresponding to the emotional expression keyword. A registered image retrieval system comprising: a registered image retrieval unit that retrieves a registered image having a headline from image auxiliary information and the found emotional expression keyword or the type of the image scene as auxiliary information. It is to provide.
[0019]
In order to achieve the above object, a fifth aspect of the present invention is a retrieval system for retrieving a desired registered image from registered images, the image storage system according to the fourth aspect of the present invention, When a registered image is searched from registered images recorded and stored in the second database, registration in the second database is performed using the emotional expression keyword that matches or approximates the input emotional expression information. Search means for searching for an image, an image display device for taking out and displaying a plurality of registered images having this sensitivity expression keyword as attached information, and an image selected by the user from a plurality of displayed registered images or Adding points to the type is repeated for each search for a predetermined period, and after the predetermined period has passed, images searched for in the same emotion expression keyword or For each type and for each user, the evaluation means for adding up the added points and storing the collected points as the attached information of the registered image in the second database; The present invention provides a registered image search system characterized by searching for a registered image by focusing on or prioritizing the image having the above points or its type.
[0020]
In order to achieve the above object, according to a sixth aspect of the present invention, there is provided a registered image image processing system for performing image processing on a registered image, the registered image search system according to the fifth aspect, A third database in which image processing conditions are set in association with a sensitivity expression keyword and a registered image retrieved from the second database by the registered image retrieval system are called, and the registered image called When performing image processing, an image processing unit that calls an image processing condition associated with a Kansei expression keyword that matches or approximates the Kansei expression information from the third database and performs image processing based on the image processing condition The present invention provides an image processing system for registered images.
[0021]
In order to achieve the above object, according to a seventh aspect of the present invention, there is provided a program for performing the image storage method according to the first aspect of the present invention, and registration of the second aspect of the present invention. A program characterized by implementing an image retrieval method or a program characterized by implementing an image processing method for registered images according to the third aspect of the present invention is provided.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
An image storage method, registered image retrieval method and system, registered image processing method, and program for executing these methods according to the present invention will be described below in detail with reference to the preferred embodiments shown in the accompanying drawings.
In the following, the method of the present invention (the image storage method of the first aspect of the present invention, the registered image search method of the second aspect of the present invention, and the registered image image processing method of the third aspect of the present invention) However, the present invention is not limited to the image search / image processing apparatus 1 shown in FIG.
[0023]
FIG. 1 is a block diagram functionally showing a schematic configuration of the image search / image processing apparatus 1.
The image retrieval / image processing apparatus 1 may be configured by a computer that partially performs a function by executing a program, may be configured by a dedicated circuit, or may be configured by a computer and a dedicated circuit. Also good.
The image search / image processing apparatus 1 searches for an image by inputting information of emotional expressions such as “major” and “brilliant” (hereinafter referred to as “sensitive information”), and obtains a desired image as an image. It is a device that processes and outputs as a photographic print.
The image search / processing device 1 mainly includes an image storage device 2, an image search device 3, an image output device 4, a communication control device 5, a CPU 6, and a monitor 7.
The CPU 6 is a part that controls each function of the image storage device 2, the image search device 3, the image output device 4, and the communication control device 5.
Here, the image search / processing device 1 is an image processing system for registered images according to the sixth aspect of the present invention, and the image storage device 2 is an image storage system according to the fourth aspect of the present invention. 2 and the image search device 3 constitute a registered image search system according to the fifth aspect of the present invention.
[0024]
The image storage device 2 is a device that stores a sensitivity expression keyword suitable for a registered image in association with attached information when storing a captured image of a digital still camera or the like as a registered image.
The image storage device 2 includes an image acquisition unit 10, a subject extraction / identification unit 12, a database unit 14, and a registered image storage unit 16.
[0025]
The image acquisition unit 10 is a part that acquires a captured image captured by a digital still camera. Alternatively, a scanner that reads an image by forming an image photographed on a silver salt film on a light receiving surface such as a CCD device (Charged Coupled Device) using transmitted light may be used. The image acquisition unit 10 further acquires shooting information at the time of shooting when acquiring a shot image, for example, shooting position (latitude, longitude), shooting direction, shooting magnification information, shooting date information, and shooting time information. Ranging information from the camera to the subject is acquired. Note that the shooting position and shooting direction information are simultaneously obtained when shooting is performed by a camera equipped with a GPS (Global Positioning System) function and equipped with a gyro-directional sensor. The recorded one is acquired. As the distance measurement information, information measured and recorded by a measurement sensor that measures the distance from the camera to the subject using infrared rays or the like is acquired.
[0026]
In the digital still camera, the shooting information data is read when the image data is read into the image acquisition unit 10. In a camera using an APS (Advanced Photo System) silver salt film, the magnetic field written in the magnetic recording area provided above and below each shooting frame of the silver salt film and written in the magnetic recording area when the captured image is read by the scanner The recording information is read by a magnetic reading device provided in the scanner, whereby information on the photographing position and photographing direction can be acquired.
The image acquisition unit 10 may acquire an image in a website on a communication network 8 such as the Internet connected via the communication control unit 5.
[0027]
The subject extraction / identification unit 12 extracts the subject in the image from the image acquired by the image acquisition unit 10 using the shooting information. Specifically, the subject extraction / identification unit 12 extracts the region of the subject, and further extracts the subject in the extracted region. From the extracted subject, from the extracted region, or from the identified subject, for example, “person”, “mountain”, “sea”, “sky”, “mountain forest”, or “mountain Mt.” This is a part for obtaining a type as a photographing subject.
[0028]
Regarding the extraction of the subject area, for example, by performing differentiation on the acquired image, the area where the edge portion of the subject is sharpened, or the area surrounded by this area is set as the subject area. Can be extracted. This is because the in-focus area has a clear edge portion, and the value is increased by differentiation processing.
[0029]
In addition, when shooting a subject from the same position in the same direction, a plurality of imaging distances (distances between the main point of the imaging lens of the camera and the imaging plane) with respect to the subject. Shooting an image to obtain a multistage focus shot image (multistage focus shot image), using distance measurement information obtained at the time of shooting, and further using an imaging distance information acquired together with the multistage focus shot image, In addition to extracting the subject area of the photographic scene, depth information of the photographic scene can be obtained. Specifically, since the distance measurement information is a distance between the photographed camera and the subject, in the photographed image photographed at the image formation distance corresponding to or closest to the image formation distance corresponding to the distance information. A focused area can be obtained, and this area can be extracted as a subject area. Therefore, a focused area of a captured image captured at an imaging distance other than this can be acquired as depth information. The in-focus area can be obtained by differential processing as described above.
Such depth information may be used for subject identification as will be described later.
[0030]
For identification of the subject, the subject is identified using the above-described information on the photographing position (latitude, longitude), photographing direction, and photographing magnification, and the map data held by the subject extracting / identifying unit 12 itself. For example, a candidate to be a subject on map data is extracted from the shooting position and shooting direction, and the shape of the subject in the shot image is obtained by using the position and shape of the subject in the shot image (the shape of the subject area) and the shooting magnification. The subject is identified by matching the size and size with the three-dimensional information that is a candidate for the subject in the map data. In this case, the accuracy of identification is improved by using the above-described depth information.
[0031]
Further, the subject extraction / identification unit 12 obtains a type as a photographic subject based on the extracted subject region or the identified subject. For example, common nouns such as “mountain”, “river” and “sea” and proper nouns such as “Mt. Fuji” and “Tokyo Tower” are obtained.
It should be noted that common nouns such as blue “sea” and white “mountain” can be obtained by extracting the subject directly without identifying the subject or by extracting the subject region and using the image data of this region. You may ask for the type of.
The subject extraction / identification unit 12 further derives a sensitivity expression keyword using the correspondence relationship between the type of the photographed subject stored in the database unit 14 and the sensitivity expression keyword.
[0032]
The database unit 14 is a part corresponding to the first database of the present invention, and is a part that records and saves the types of the photographic subject as described above and the emotional expression keywords associated with the types.
For example, a sensibility expression keyword such as “Azakayaka” for the type of “sea”, “lake”, or “sky”, a sensitivity expression keyword such as “refreshing” for “mountain forest”, and the proper noun “Mt. Fuji” Associates emotional expressions such as “Epic” with a corresponding keyword. In such a correspondence relationship, a plurality of sensitivity expression keywords may be associated with one type, and a plurality of types may be associated with one sensitivity expression keyword.
[0033]
In the method of associating the photographic subject type with the sensitivity expression keyword in the database unit 14, either manual setting or automatic setting may be used for the subject of the image or the subject of the scene, or both may be used in combination. In addition, the association of emotional expression keywords may be performed separately from the process of deriving the type of the subject.
For example, since it is only necessary to know the main theme of the image, it is possible to derive the type of the subject not only by the photographed image but also by computer graphics (CG).
Note that the target image in the present invention may be a captured image, or a generated image such as a reflection / transmission original read (scan) image or a CG image. These captured images, read images, and generated images may be broadcast images or the like, and various types of image data can be targeted regardless of moving images / still images.
Further, the image scene is a photographing subject or an image subject, the scene information is photographing information or subject information, and the scene is preferably a subject or subject.
[0034]
In addition, when there is data indicating a subject in metadata such as video content, for example, television (TV) broadcast, data for searching for emotional expressions can be separately created at the supplier level and / or the user level. For example, when the subject person is a television talent or a celebrity, the latest image survey data of the person can be accessed to attach and / or update the sensitivity expression keyword. In this case, it is preferable that a professional supplier provides personal computer (PC) software so that general users can do it themselves.
Here, it is preferable to have a function of displaying an image on a display device and inputting and / or selecting a keyword indicating an impression so that the subject type and the input keyword are associated with each other and stored in the database unit 14.
[0035]
The sensitivity expression keyword derived by the subject extraction / identification unit 12 is sent to the registered image storage unit 16 together with the photographed image.
The registered image storage unit 16 is a part corresponding to the second database of the present invention, associates the derived emotion expression keyword with the attached information of the captured image, and stores the captured image as a registered image.
[0036]
On the other hand, the image search device 3 includes an image expression information input unit 18, an image search unit 20, and a dictionary reference unit 22, and an operator inputs emotion expression information, for example, emotion expression information such as “refreshing”. The registered image storage unit 16 searches for a registered image suitable for the emotional expression information.
The image expression information input unit 18 is an input device such as a keyboard or a mouse for inputting the sensitivity expression information, and sends the sensitivity expression information to the image search unit 20.
[0037]
The image search unit 20 compares the sent emotional expression information with the emotional expression keywords stored in the registered image storage unit 16 to check whether or not there is a matching emotional expression keyword. When a Kansei expression keyword matching the Kansei expression information is found, a registered image associated with the Kansei expression keyword is extracted from the registered image storage unit 16 and sent to the image processing unit 24 described later together with the matching Kansei expression keyword. Composed.
[0038]
If no emotional expression keyword matching the input emotional expression information is found, the emotional expression information is sent to the dictionary reference unit 22 to instruct to derive an approximate expression close to the emotional expression information. When an approximate expression close to the sensitivity expression information is sent from the dictionary reference unit 22, it is checked whether or not there is a sensitivity expression keyword that matches the approximate expression. For example, the approximate expression when the sensitivity expression information is “fresh” is “fresh”.
When a Kansei expression keyword matching the approximate expression is found, the image search unit 20 retrieves the registered image associated with the Kansei expression keyword from the registered image storage unit 16 and sends it to the image processing unit 24 together with the matching Kansei expression keyword. send.
If an approximate expression that matches the emotional expression keyword is not finally found, it is assumed that a registered image suitable for the emotional expression information could not be found, and the process in the image output device 4 is not performed.
[0039]
The dictionary reference unit 22 is a part that derives an approximate expression close to the sentiment expression information sent from the image search unit 20 with reference to a built-in dictionary. A plurality of approximate expressions may be derived in descending order of the degree of approximation in the sensitivity expression information, or may be derived one by one in descending order of the degree of approximation.
[0040]
The image output device 4 includes an image processing unit 24 and a printer unit 26.
The image processing unit 24 is a part that performs image processing on the registered image sent from the image search unit 20. Note that the processing contents of the image processing, that is, the processing conditions are stored in the third database by providing image processing conditions corresponding to the sensitivity expression keywords. The third database is preferably provided in the image processing unit 24. However, the third database may be the database unit 14 or the registered image storage unit 16. Another database or memory (data recording unit) may be used. Among these, when the third database is the database unit 14, the image processing condition may be stored in association with the sensitivity expression keyword together with the type of the photographic subject, or is associated with the sensitivity expression keyword. If so, they may be stored separately.
[0041]
Therefore, when image processing is performed on the registered image, the image processing condition is called from the third database based on the sentiment expression keyword sent from the image search unit 20, and the image processing is performed based on the image processing condition.
That is, the image processing unit 24 does not output the registered image as it is, that is, as a captured image, but performs image processing in a direction suitable for expression of a sensitivity expression keyword that matches or approximates the sensitivity expression information at the time of retrieval.
For example, the subject is subjected to processing such as intentional enlargement / reduction of geometric features (size, shape), processing of image density or color, and sharpening or blurring. Further, the image processing conditions may be different for each type as a photographic subject.
[0042]
For example, when the sensitivity expression keyword is “bright”, image processing for further increasing the saturation is performed on a region in the registered image having a saturation equal to or higher than a predetermined threshold of the registered image. As such a case, there is a case where the subject type of the registered image is “flower”. When the subject type is “sky” or “sea”, the blue saturation is increased.
In addition, when the emotional expression keyword is “major” or “major”, and the type of subject of the registered image is “mountain”, the size of the subject is increased to increase the grandeur or grandeur. To do. In this case, the size of the person in front is not changed, and the gap with the background mountain is performed by interpolation processing.
Also, color correction image processing is performed to increase the contrast of the “mountain” region in the registered image, increase the sharpness, and enhance the whiteness of snow in the case of a snowy mountain. Also, the part other than the “mountain” area is blurred.
[0043]
Further, when the sensitivity expression keyword is “Shinmiri”, the registered image is subjected to image processing in a sepia style.
When the sensitivity expression keyword is “beautiful” and the type of the subject of the registered image is “female”, a process of enlarging the “female” region of the registered image without changing the size of the background region is performed. Also, image processing for blurring the background area is performed.
[0044]
In this way, the image processing conditions to be applied to the registered image are determined in correspondence with the emotional expression keyword that matches or approximates the emotional expression information input by the operator using the emotional expression information input unit 18. For this reason, even if the registered images are the same, the content of the image processing differs because the emotional expression keywords differ depending on the input emotional expression information. The image processing unit 24 may be configured by a dedicated circuit (hardware), or may exhibit a function by executing a program (software).
[0045]
The printer unit 26 is an image output device that outputs a registered image on which image processing has been performed in order to provide the registered image subjected to image processing by the image processing unit 24 as a print image. A printer for printing exposure is used.
The printer unit 26 is a form for outputting a registered image on which image processing has been performed. The registered image processed by the image processing unit 24 is displayed on the monitor 7 or sent to the communication control unit 5 for the Internet. It may be transmitted to the user PC (personal computer) 30 via the communication network 8. Furthermore, the processed registered image may be recorded and stored in a recording medium such as MO, CD-R, Zip (registered trademark), or a flexible disk.
The above is the basic configuration of the image search / image processing apparatus 1.
[0046]
An image storage method, a registered image search method, and a registered image image processing method according to the present invention implemented in the image search / image processing apparatus 1 will be described.
Here, FIG. 2 is a flowchart of an example of the image storage method according to the first aspect of the present invention, and FIG. 3 shows the registered image search method according to the second aspect of the present invention and the third aspect of the present invention. It is a flowchart of an example of the image processing method of the registration image of an aspect. FIG. 4 is a diagram illustrating, in an easy-to-understand manner, information associated with a captured image in a table in the image storage method according to the first aspect of the present invention.
[0047]
In the image storage method according to the first aspect of the present invention, first, as shown in FIG. 2, a captured image is acquired by the image acquisition unit 10 (step 100).
Captured images are acquired directly from a digital still camera, acquired from a digital still camera via a recording medium, or transferred from the user PC 30 via the communication control unit 5. The form and the form which further reads the picked-up image recorded on the silver salt film photoelectrically with the scanner are mentioned.
At that time, along with the acquisition of the captured image, information on the shooting position (latitude, longitude), shooting direction and magnification, as well as shooting information such as shooting date and time information and ranging information from the camera to the subject at the time of shooting To do.
[0048]
Next, the subject extraction / identification unit 12 extracts the subject itself or the subject area (step 102).
For example, differentiation processing is performed on the acquired photographed image, and a region where the edge portion of the subject is sharpened or a region surrounded by this region is extracted as the subject region. For example, when the subject is photographed with Mt. Fuji, the edge portion of the photographed Mt. Fuji is extracted as a region. Such extraction of the subject area is performed by scoring so that the score of the area located in the middle or the larger area in the captured image is higher when a plurality of subject areas are found, and the area having the highest score. Are extracted as a subject area.
[0049]
Next, what is the extracted subject or the subject in the extracted region is identified (step 104). For example, if the shooting information includes information on the shooting position (latitude, longitude), shooting direction, and shooting magnification, candidates for subjects on map data are extracted from the shooting position and shooting direction, and the position of the subject in the shot image And the shape (the shape of the area of the subject) and the shooting magnification, the correspondence between the shape, size, and position of the subject in the captured image and the three-dimensional information that is a candidate for the subject in the map data is obtained. Identify. In this case, when a multi-stage focal shot image (multi-stage focus shot image) obtained by shooting a plurality of images at a multi-stage imaging distance with respect to the subject with the camera pointing from the same position in the same direction is obtained, Therefore, the accuracy of identification can be improved using the depth information of the shooting scene.
[0050]
Next, the subject is classified (step 106).
For example, if the extracted or identified subject is “Mt. Fuji”, a type such as “mountain” is required.
Next, a sensitivity expression keyword associated with this type “mountain” is derived from the database unit 14 prepared in advance (step 108), and is associated with the captured image.
Finally, the captured image is recorded and saved in the registered image storage unit 16 as a registered image in association with the extracted Kansei expression keyword (step 110).
In FIG. 4, an emotional expression keyword such as “Epic”, “Dense”, or “Pure white” is associated with the captured image of “Mt. Fuji”.
[0051]
In such a method of saving a captured image, when shooting date / time is included in shooting information, event information on the shooting date / time and weather information can be determined, so this weather information can be referred to when classifying subjects. In addition, it is possible to use what is classified by weather information.
For example, in the case of a photographed image of “Mount Fuji”, a type such as “mountain on a sunny day” is determined when the weather is clear as judged from the weather information at the time of shooting. ”Is defined. The database unit 14 prepares a sensitivity expression keyword such as “refreshing” for “mountain on a sunny day” and a correspondence relationship of sensitivity expression keywords for “mountain on a rainy day”. deep. In addition, if the shooting date is autumn, the “autumn mountain forest” that has fallen leaves is associated with a sensitivity expression keyword such as “bright” or “beautiful”.
[0052]
In addition, since event information at the shooting position is determined from the shooting date and time, for example, it may have a correspondence relationship of emotion expression keywords such as “lively” and “fun” for a type such as “festival” . In addition, the event expression types such as “entrance ceremony”, “graduation ceremony”, and “adult ceremony” may have a corresponding relationship of sensitivity expression keywords such as “sunny”.
Such correspondence between the type and the sensitivity expression keyword is created and recorded in the database unit 14 in advance.
[0053]
The registered image recorded and saved in the registered image storage unit 16 in this manner is accessed by the image search device 3 and used for searching for a registered image.
First, sensitivity expression information is input by the operator from the sensitivity expression information input unit 18 (step 120). For example, when emotional expression information such as “major” is input, the emotional expression information is sent to the image search unit 20.
[0054]
The image search unit 20 compares sent sentiment expression information with the sentiment expression keyword, and checks whether the sentiment expression keyword matching the sentiment expression information is recorded and saved in the registered image storage unit 16. For example, it is checked whether a sensitivity expression keyword such as “major” is recorded and stored.
If no matching emotional expression keyword is found, the emotional expression information is sent to the dictionary reference unit 22. The dictionary reference unit 22 derives an approximate expression that approximates the sent Kansei expression information. As the approximate expression, for example, an approximate expression having a high degree of approximation is derived and sent to the image search unit 20. For example, an approximate expression such as “major” is derived from the emotional expression information such as “major” and is returned to the image search unit 20.
[0055]
The image search unit 20 accesses the registered image storage unit 16 using the returned approximate expression, and checks whether or not a Kansei expression keyword matching the approximate expression is recorded and saved.
In the registered image storage unit 16, as shown in FIG. 4, the captured image of “Mt. Fuji” corresponds to the emotional expression keywords such as “major”, “dense”, and “white” as ancillary information of the captured image. As a result, the sensibility expression keyword “Epic” that matches the approximate expression “Epic” is found. Therefore, a registered image of “Mt. Fuji” having this sensitivity expression keyword as attached information is extracted. In this way, the registered image is searched (step 122).
[0056]
In this way, a registered image having an emotional expression keyword that matches or approximates the emotional expression information as attached information is searched. When a plurality of registered images are searched as a result of the search, the search images are displayed on the monitor 7 and the output of the registered image as described later is left to the operator's selection. Thus, an output image is set (step 124). In the following description, an example of outputting a print image will be described, but the present invention is not limited to this.
The registered image thus set as the output image is sent to the image processing unit 24 together with the above emotional expression keyword that matches or approximates the emotional expression information.
[0057]
In the image processing unit 24, image processing conditions are determined in accordance with the sentiment expression keyword sent from the image search unit 20 (step 126), and image processing is performed based on the image processing conditions (step 128).
That is, in the image processing unit 24, the processing conditions are uniquely associated with the emotional expression keywords and are stored in the third database. Therefore, the processing conditions are unique according to the emotional expression keywords. In particular, image processing conditions are determined. This image processing condition is associated with a Kansei expression keyword, and this Kansei expression keyword changes depending on the Kansei expression information input by the operator, and therefore is input even for the same registered image. The image processing conditions vary depending on the sensitivity expression information.
[0058]
For example, for a Kansei expression keyword such as “Epic”, an image processing condition for enlarging the mountain area of the subject without changing the center of the area has been made into a database. On the other hand, if image processing conditions for converting a slightly lightly soiled white area of a mountain as a subject to snow and converting it to a white area with high brightness are entered in a database, “major” is input as sensitivity expression information. In the case of the case where “pure white” is entered, even if the registered image of the same “Mt. Fuji” is used, image processing that greatly emphasizes “Mt. Fuji” is performed in the former, and in the latter, the snow of “Mt. Fuji” is processed. The image processing for emphasizing the white area is performed.
[0059]
The registered image subjected to the image processing in this way is converted into data suitable for the printer unit 26 and printed out as a print image by the printer unit 26 (step 130).
Depending on the selected output form, a registered image subjected to image processing is transmitted to the user PC 30 via the communication control unit 5. Alternatively, the data is written on a recording medium such as MO, CD-R, Zip (registered trademark) or a flexible disk via a drive device (not shown).
[0060]
As described above, the present embodiment is characterized in that a registered image suitable for the emotional expression information input by the operator is retrieved, and the registered image is also emphasized and output according to the emotional expression information.
[0061]
The database unit 14 of the above-described embodiment was recorded and stored in advance with the types of photographed subjects and the emotional expression keywords associated with the types. In the present invention, the database unit is stored for each individual. A dedicated database unit may be constructed. For example, by preparing multiple sample images and Kansei Expression Keyword Lists in advance and selecting an Kansei Expression Keyword from the Kansei Keyword List for each sample image, each subject image type and Kansei Expression It is preferable to obtain a correspondence relationship between keywords and record and save it in the database section. As a result, a personal database can be constructed.
[0062]
In the above embodiment, when the captured image is stored in the registered image storage unit 16 as a registered image, the registered image is recorded and stored in association with the sensitivity expression keyword as attached information. The type of the subject obtained by extraction may be stored in the registered image storage unit 16 in association with the attached information of the registered image. Thereby, in the search of the registered image in step 122 shown in FIG. 3, the registered image can be searched by the following method.
[0063]
That is, in the image search, the database unit 14 is searched for emotional expression keywords that match or approximate the emotional expression information input in step 120. When there is no image expression keyword that matches or approximates the emotional expression information, the image search unit 20 instructs the dictionary reference unit 22 to derive an approximate expression, and uses the approximate expression derived in accordance with this instruction to create a database. Part 14 examines emotional expression keywords. In this way, when a Kansei expression keyword that matches or approximates the Kansei expression information is found in the database unit 14, the type of the photographic subject corresponding to the keyword is extracted. The type as attached information that matches the type of the taken-out photographic subject is examined. In this way, it is possible to search for a registered image having a type that matches the type of the photographic subject as attached information. Of course, at this time, it is preferable that the emotional expression keywords that match or approximate the emotional expression information are included in the plurality of emotional expression keywords that the registered image has as attached information.
[0064]
Further, the registered image storage unit 16 may record and save the history of the date and time when the registered image search described above is performed in association with the registered image. For example, a registered image can be searched at a later date based on the storage of the searched date and time.
Further, an audio recording device is provided near the monitor 7 to record the remarks of the registered image viewer when the searched registered image is displayed on the monitor 7, and the remarks are recorded as audio information and attached information of the registered image. It may be recorded and saved in association with each other. On the other hand, the sentiment expression information input unit 18 includes a voice input system, and the registered image viewer later inputs the sentiment expression information by voice input by relying on the storage of the talk contents, so that the comment contents are attached to the attached information. As a registered image can be searched.
[0065]
Such a search can be efficiently searched for a desired registered image by combining with the search method in the above embodiment. In addition, the image search and image processing apparatus used in the present invention can provide entertainment that can display, for example, an image that heals a person or an image that makes a person feel refreshed.
[0066]
In the embodiment described above, the subject or scene to be registered and stored for the captured image, the search for the registered image, and the image processing is a landscape, but the present invention is not limited to this.
For example, the target subject or scene may be a person, a person's property, or an article near the person.
At this time, the association between the photographic subject type and the sensitivity expression keyword can be performed as follows.
[0067]
Referring to the embodiment shown in FIG. 5, when a digital camera 42 with a tag sensor shoots a person 46 holding an article 44 with an IC tag 44 a, for example, a handbag or wearing a decoration or clothes, the person 46 In addition to the photographed image (image data), identification data (article ID) of the article 44 such as a handbag, a decorative article, and clothing that is a type of the subject to be photographed can be obtained.
After shooting, the camera 42 is connected to a PC (personal computer) 48, and the obtained article ID is input to the PC 48 together with the image data. Using the article ID as a key from the PC 48, the maker 50 side is accessed via the communication network 52, and the article information and the sensibility expression keyword of the article 44 prepared by the maker 50 side are fetched. Can be stored in a database (for example, the database unit 14 in FIG. 1), and image data of a person or an article can be associated with a Kansei expression keyword, and preferably, the type (article data) ) Can be stored in the database (registered image storage unit 16).
[0068]
Here, the possession of the person and the article 44 in the vicinity of the person at the time of shooting are the types of the shooting subject, and the above-described ornaments, clothes, handbags, shoes, hats, and other figurines And furniture furnishings. There may be one or more types of shooting subjects.
In addition, on the maker 50 side, sensitivity information data serving as product information and a sensitivity expression keyword is prepared in association with the product ID of the product 44. For example, when the article 44 is a kimono, the emotional expression data “Attractive” is prepared for the kimono with the article ID “XXX1”, and the emotional expression “Shibui” is given to the kimono with the article ID “XXX2”. Data is prepared.
[0069]
That is, in the first step of associating the photographic subject type with the sensitivity expression keyword in the case of a subject other than the landscape, the image data includes subject information as attached information. Here, the subject information can be read from the IC tag attached to each article, in addition to the person information, each article of the person's property or a nearby placement object.
In the second step, the emotional expression related to the subject is read from the database and added to the attached information of the image data. At this time, one article may have a plurality of emotional expressions with priorities.
In addition, as an image made into object in this invention, a moving image other than a still image may be sufficient.
[0070]
In the above-described embodiment, the image data of the captured image and the emotional expression keyword are associated with each other and stored in the database (registered image storage unit 16). However, the present invention is not limited to this. That is, in the present invention, it is only necessary to know the relationship between the image data and the emotional expression keyword. Therefore, the present invention is not limited to the form of attaching the emotional expression keyword to the image data. For example, a method of recording (referring to adding / updating / deleting freely) a file in a form in which an image data ID (file name, access destination, etc.) is attached to each sensitivity expression keyword may be used.
[0071]
Moreover, a learning function may be provided for the association between the emotional expression information and the search target, and the association between the two may be learned for each individual user and customized.
As an input step, for example, when a desired image is retrieved as a background image (so-called wallpaper) on a desktop of a PC (personal computer), it can be performed as follows.
When a specific keyword is first input or selected, a plurality of images are displayed sequentially or as an index image. When the user selects a favorite image (or a plurality of images), points are added to the selected picture, and the selected image is displayed as a wallpaper for a predetermined period (one day / one week). When a plurality of images are selected, it is preferable to update them sequentially.
Thereafter, after a predetermined period of time, the process of searching for and selecting an image again with the sensitivity expression keyword is repeated.
[0072]
In the next learning step, after a predetermined period, the point distribution is checked for images searched with the same emotion expression keyword.
Here, points are totaled for each type of subject in each image. Since a plurality of types may be associated with one subject, in this case, points are added for each type.
For example, the type is not limited to one per subject, it may be a proper noun, or it may be a field, country, or thousands of classes in the mountains, such as gender, age, occupation, etc. You can turn on.
Examples include “proprietary noun: Mount Fuji”, “field: mountain”, “country name: Japan”, “altitude: 3000 m class”, “popularity: large”, and the like.
Examples include “proprietary noun: XX”, “field: person”, “country name: Japan”, “sex”, “age group”, “profession: actor”, and the like.
[0073]
Thereafter, the added points are totaled for each type, and the point total results are stored for each user. This total result is registered in the PC as search customization information.
At the next image search, the image is searched and displayed with a priority or a type having a point of a predetermined ratio or more. For example, it is possible to repeatedly give points to each type to some extent, and to give a high priority to the type that has acquired the most points.
At this time, even if the same emotion expression keyword is used, different images are searched for Mr. A and Mr. B. For example, even with the same emotional expression keyword “Sawayaka”, in the case of Mr. A, a natural scene, especially a forest scene, is mainly hit. On the other hand, in the case of Mr. B, the young female singer gradually breaks away.
At this time, the data may be deleted after a certain period of time, or the old data may be deleted sequentially.
[0074]
In the above embodiment, the points may be counted in association with the related information of the image.
For example, in the case of “field: mountain” of the same type, “shooting date / time (season / time zone)”, “weather (clear / rainy)” at that time, “shooting magnification (large / small)” You may collect points separately. That is, even in the same mountain, the shooting information may be hierarchized and the points may be totaled for each hierarchy.
Moreover, although the customization process described above is performed for each user, this customization process can be performed within a specific group (member registration in advance), that is, for each group such as a specific club.
Here, the points in image designation of each member can be totaled in the group and recorded in the representative PC as in-group search customization information. Furthermore, the keyword search type can be switched between general use, individual use, or group use. That is, the search customization information for general use / individual use / group use can be switched and used.
[0075]
Examples of service forms and usage methods to which the image storage method, registered image search method, and image processing method of the present invention are applied include the following. For example, as an example 1, when a present is selected, a search can be performed using personal search customization information of the other party. For example, if you specify that the person you want to give a present likes the clothes of refreshing colors, you can use the customization information to select exactly what the refreshing color of the person is. You can choose clothes that suit your taste.
[0076]
Next, as Example 2, when searching for restaurants on the Internet, personal / group search customization information can be used.
Further, as Example 3, it can be used for makeup simulation and selection of cosmetics. At this time, it is preferable to create personal search customization information according to the types of cosmetic manufacturer, color, model, and the like.
As Example 4, it can be used to select a match photo. At this time, it is preferable to create face types by classifying them according to the aspect ratio of the cosmetic face, the distance between the eyes and the nose and the mouth, and the like.
[0077]
In addition, the image storage method and system according to the first and fourth aspects of the present invention, the registered image retrieval method and system according to the second and fifth aspects of the present invention, and the registered image according to the third and sixth aspects of the present invention. The image processing method and system are basically configured as described above, but the present invention is not limited to this, and as in the seventh aspect of the present invention, the first, second, and third aspects of the present invention described above. The image storage method, registered image search method, and registered image processing method of the aspect may be realized as an image processing program operating on a computer.
[0078]
As described above, the image storage method, registered image retrieval method and system, registered image processing method, and program for executing these methods according to the present invention have been described in detail with reference to various embodiments. Needless to say, the present invention is not limited to the above-described various embodiments, and various improvements and modifications may be made without departing from the scope of the present invention.
[0079]
【The invention's effect】
As described above in detail, according to the present invention, a sensitivity expression keyword related to an image such as a captured image, an acquired image, or a generated image is set via a type of an image scene such as a captured subject or an image subject. The emotional expression keyword is associated with the attached information of the image such as the captured image, the acquired image, or the generated image, and this image is recorded and saved as a registered image. A suitable registered image can be searched efficiently. Moreover, even when the shooting location and the proper noun of the subject are not known, it is possible to search for a desired registered image simply by inputting the Kansei expression information, and the image processing according to the Kansei expression information is performed. Can be easily obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of an embodiment of an image storage / retrieval apparatus that performs an image storage method of the present invention.
FIG. 2 is a flowchart showing an example of the flow of an image storage method of the present invention implemented in the image storage / retrieval apparatus shown in FIG. 1;
FIG. 3 is a flowchart illustrating an example of a flow of a registered image search method and a registered image processing method according to the present invention.
FIG. 4 is an explanatory diagram for easily explaining information having a correspondence relationship with a captured image in the image storage method of the present invention.
FIG. 5 is an explanatory diagram for explaining association between a type of a shooting subject and a sensitivity expression keyword used in the registered image search method of the present invention.
[Explanation of symbols]
1 Image storage / retrieval device
2 Image storage device
3 Image search device
4 Image output device
5 Communication control device
6 CPU
7 Monitor
10 Image acquisition unit
12 Subject extraction / identification part
14 Database Department
16 Registered image storage
18 Kansei expression information input section
20 Image search part
22 Dictionary reference part
24 Image processing unit
26 Printer section

Claims

Attached information of an image is obtained using a database in which a type of an image scene and a sensitivity expression keyword associated with the type are recorded and stored in advance, and the image or its identification information is stored as a registered image together with the attached information. A method for storing images,
When saving the image, the scene in the image is extracted to obtain a type as the image scene,
The sensibility expression keyword is derived by referring to the database using the obtained type,
An image storing method comprising: associating the derived Kansei expression keyword, or the Kansei expression keyword and the type as the image scene as auxiliary information of the image, and storing the image or its identification information as a registered image. .

The image storage method according to claim 1, wherein the image is a captured image, an acquired image, or a generated image, the image scene is a captured subject or a subject of the image, and the scene is a subject or the subject.

The image storing method according to claim 2, wherein the registered image is also associated with the type of the photographed subject of the subject obtained when the photographed image is saved as attached information of the photographed image. .

4. The image storage method according to claim 2, wherein the extraction of the subject in the captured image is performed using depth information of the captured scene.

5. The type of the subject as a subject to be photographed is obtained by extracting the subject in the photographed image and then identifying the subject using the depth information of the subject photograph. How to save the image.

6. The image storage method according to claim 2, wherein the extraction of the subject in the photographed image is extraction of a region of the subject in the photographed image.

A search method for searching for a desired registered image from registered images stored by the image storage method according to claim 1,
The emotional expression keyword that matches or approximates the input emotional expression information, or the type of the image scene corresponding to the emotional expression keyword is found from the attached information of the registered image, and the found emotional expression keyword Alternatively, a registered image is searched by retrieving a registered image having the type of the image scene as attached information.

A search method for searching for a desired registered image from registered images stored by the image storage method according to claim 1,
When searching for registered images, search for registered images in the database using emotional expression keywords that match or approximate the input emotional expression information,
A plurality of registered images with the Kansei expression keywords as attached information are taken out and displayed on an image display device.
Adding a point to one image selected by the user from the displayed plurality of registered images or a type thereof is repeated for a predetermined period for each search,
After the predetermined period, the added points are totalized and stored for each image or type searched for in the same Kansei expression keyword and for each user, and at the next search, a predetermined ratio or more A registered image search method, wherein a registered image is searched with priority or priority on an image having a point or its type.

A registered image image processing method for performing image processing by calling a registered image retrieved by the registered image retrieval method according to claim 7,
An image processing condition is set in association with the sensitivity expression keyword,
When image processing is performed on a registered image, an image processing condition corresponding to a sensitivity expression keyword that matches or approximates the sensitivity expression information is called, and image processing is performed based on the image processing condition Image processing method for registered images.

A search system for searching for a desired registered image from registered images,
A first database that pre-records and stores image scene types and Kansei expression keywords associated with the types;
Means for extracting a scene in the image and determining the type as the image scene when storing the image;
Means for deriving the sensibility expression keyword with reference to the first database using the determined type;
A second database that stores the derived Kansei expression keyword, or the Kansei expression keyword and the type of the image scene as auxiliary information of the image, and stores the image or its identification information as a registered image together with the auxiliary information;
Of the registered images recorded and stored in the second database, the emotional expression keyword that matches or approximates the input emotional expression information, or the type of the image scene corresponding to the emotional expression keyword is registered. A registered image search system comprising: a registered image search means for extracting a registered image having the headline from the attached information and the found emotional expression keyword or the type of the image scene as attached information.

A search system for searching for a desired registered image from registered images,
A first database that pre-records and stores image scene types and Kansei expression keywords associated with the types;
Means for extracting a scene in the image and determining the type as the image scene when storing the image;
Means for deriving the sensibility expression keyword with reference to the first database using the determined type;
A second database that stores the derived Kansei expression keyword, or the Kansei expression keyword and the type of the image scene as auxiliary information of the image, and stores the image or its identification information as a registered image together with the auxiliary information;
When a registered image is searched from registered images recorded and stored in the second database, a registered image in the second database is used by using an emotional expression keyword that matches or approximates the input emotional expression information. A search means for searching for,
An image display device that takes out and displays a plurality of registered images having the sensitivity expression keyword as attached information;
Adding a point to one image selected by the user from the displayed plurality of registered images or a type thereof is repeated for a predetermined period for each search,
After the predetermined period has passed, an evaluation is performed in which the added points are aggregated for each image or type searched for the same Kansei expression keyword and for each user and stored as the attached information of the registered image in the second database. Means,
The registered image search system is characterized in that the search means searches for a registered image in a search from the next time, focusing on or preferentially selecting an image having a predetermined ratio or more or its type.

An image storage method according to any one of claims 1 to 6, a registered image search method according to claim 7 or 8, or a registered image image processing method according to claim 9 is implemented. Program to do.