JP2004282782A - 画像の効果色自動抽出方法及び画像の元の色復元方法を利用した画像データベース生成方法及び画像検索方法 - Google Patents

Abstract

【課題】所定の照明が存在する環境、映像機器の色レンズ（色フィルタ）の取り付け状態及び映像機器の特性によって、撮影された画像に生じる効果色を自動的に抽出し、効果色を修正して画像の元の色を復元することで、画像の検索性能を向上し得る画像の効果色自動抽出方法及び画像の色の復元方法と、それを利用したデータベース生成及び画像検索方法を提供する。
【解決手段】画像フレームの全ての画素を所定の第１しきい値と比較して、第１しきい値より小さい輝度を有する各画素の色相の平均色相値（Ｈｕｅ＿Ａｖｅ）を求めた後、平均色相値（Ｈｕｅ＿Ａｖｅ）に対応する色相を算出し、算出された色相を効果色と決定し、その効果色を利用して、効果色により影響された画像の色を修正して、画像の元の色を復元することで、画像検索システムの画像検索性能を一層向上させる。
【選択図】 図２

Description

本発明は、画像の色抽出方法と色復元方法を利用し、所定の照明、色レンズ（色フィルタ）、カメラの特性に従ってカメラによって撮影された画像の（撮影された画像の色に影響を与える）効果色を自動的に抽出し、かつその抽出された効果色を元々の色に回復させる処理ができるデータベースの生成方法と画像検索方法に関する。なお、本明細書における色相値とは赤を０としたスペクトル順に並べた色相環の角度の数字を意味する。

一般に、所定のカメラ（例えば、デジタルカメラ又はビデオカメラ）により撮影された被写体の色は、被写体の置かれた環境やカメラの特性に伴ってその被写体の元々の色とは異なる色に現れることもある。
即ち、被写体が人工照明の下で撮影されたか、フィルタを装着したカメラで撮影されたような場合、それらによって影響されて被写体の色は、被写体の元々の色とは異なる色に現れる。例えば、黄色い系の照明の下にある白い色の着物（例えば、ウェディングドレス）をカメラで撮影した場合、着物の色は、黄色い色を帯びた白い色に映される。即ち、一般の撮影機器により撮影された色は、被写体の置かれた環境及び撮影機器の特性に伴って変わる。

然るに、従来の画像検出方法においては、カメラの特性及び被写体が存在する環境によって異なった色を修正して被写体の元々の色に復元することはできないという不都合な点があった。

そこで、本発明は、このような従来の問題点に鑑みてなされたもので、その目的は、撮影したい被写体が存在する環境及び撮影機器の特性にかかわらず、撮影された被写体の色に影響を及ぼす色（効果色）を抽出し、画像を修正して被写体の元々の色を復元し得る画像の色の復元方法を提供することである。

本発明の他の目的は、撮影したい被写体が存在する環境、及び撮影機器の特性にかかわらず、撮影された画像の色に影響を及ぼした色（効果色）を抽出し得る画像の色の自動抽出方法を提供することである。

さらに、本発明の他の目的は、撮影したい被写体が存在する環境、及び撮影機器の特性にかかわらず、撮影された画像の色に影響を及ぼした色（効果色）を抽出し、画像を修正して元々の色を有する画像として格納する画像データベース生成方法を提供することである。

更に、本発明の他の目的は、撮影したい被写体が存在する環境、及び撮影機器の特性にかかわらず、撮影された画像の色に影響を及ぼす色（効果色）を抽出し、それを修正して生成された画像と、予め画像データベースに格納された画像とを比較して、生成された画像を検索する画像検索方法を提供することである。

このような目的を達成するため、本発明に係る画像の色の復元方法は、所定の撮影映像機器の特性及び撮影したい被写体が存在する環境に応じて、元の色とは異なるさまざまな色や効果色に影響されて撮影された画像の元の色を復元する方法であって、画像フレームの全ての画素を所定の第１しきい値と比較して、第１しきい値より小さい輝度を有する各画素の色相の平均色相値（Ｈｕｅ＿Ａｖｅ）を求めた後、平均色相値（Ｈｕｅ＿Ａｖｅ）に対応する色相を算出し、その算出された色相を前記効果色と決定する効果色抽出段階と、前記効果色を利用して、その効果色に影響された画像の色を補償することで画像を元の色に調整する段階とを順次行うことを特徴とする。

本発明に係る画像の効果色の自動抽出方法は、所定の撮影映像機器の特性及び撮影したい被写体が存在する環境によって、元の色とは異なるさまざまな色又は効果色に影響されて撮影された画像の効果色を抽出する方法であって、画像のフレームを構成する全ての画素に対し、それら画素の色相要素を抽出してヒストグラムを生成し、ヒストグラムから最大色相値（Ｈｕｅ＿Ｍａｘ）を算出する段階と、最大色相値（Ｈｕｅ＿Ｍａｘ）と、予め設定された第１しきい値とを比較して、最大色相値（Ｈｕｅ＿Ｍａｘ）が第１しきい値以上であると、画像の色に影響する効果色があると判断して、画像フレームを所定のグリッドにそれぞれ分割し、それら各グリッドのうち第２しきい値よりも小さい輝度を有するグリッドを取り上げて、そのグリッドの色相を生成する段階と、各グリッドから生成された色相の平均色相値（Ｈｕｅ＿Ａｖｅ）と、最大色相値（Ｈｕｅ＿Ｍａｘ）との差色相値（Ｈｕｅ＿Ｄｉｆｆ）が第３しきい値より小さいと、各グリッドから生成された色相の平均色相値（Ｈｕｅ＿Ａｖｅ）に対応する色相を画像の効果色と判断する段階とを順次行うことを特徴とする。

本発明に係る画像データベース生成方法においては、所定の画像を入力し、本発明に係る画像の色の復元方法又は画像の効果色の自動抽出方法により入力された画像の元の色を復元処理して格納することを特徴とする。

本発明に係る画像検索方法においては、所定の画像を入力し、前述した段階のそれぞれの対応する段階を行って入力画像の元の色を復元処理して格納した画像データベースを生成する段階と、現在入力する画像に対し、対応する段階を行って元の色を有する画像を生成する段階と、生成された現在の画像と、画像データベースに格納された画像とを比較する段階とを順次行うことを特徴とする。

本発明においては、特定色相が画像全体に影響し、輝度の低い画像の全ての画素の色相値の平均を全体の効果色とし、画像をセル（又はグリッド）に均等に分割し、それら分割されたセル（又はグリッド）に対し、輝度の低い画像画素の色相値の平均を一次的に算出した後、再びそれらの平均を算出することで、生成される画像及びビデオデータから照明又は色レンズ（又は色フィルタ）の特性に伴う効果色を自動に抽出して、画像の検索性能を向上することができる。

且つ、本発明では、一つの画像フレームをセル（又はグリッド）にそれぞれ分割して効果色を抽出したが、前記セル（又はグリッド）に分割せず、画像フレームの全ての画素に対し、第１、第２及び第３しきい値を比較して効果色を抽出することもできる。

又、本発明では、画像の効果色を抽出し、それを修正して画像の元の色を復元することで、予め生成されたデータベースから現在の入力画像を正確に検索することができる。

以上説明したように、本発明に係る画像の効果色自動抽出方法及び画像の元の色復元方法と、それを利用したデータベース生成及び画像検索方法は、所定の照明が存在する環境、映像機器の色レンズ（又は色フィルタ）の取り付け状態及び映像機器の特性によって、映像機器により撮影された画像に生じる効果色を自動に抽出し、抽出された効果色を修正処理することで画像の元の色を復元し、それを利用してデータベースを構築し、構築された画像データベースに基づいて、所定の入力画像を検索し得る。

以下、本発明の実施の形態について図面を用いて説明する。
本発明に係る画像の元の本来の色を復元し、データベースを生成する方法におは、図１に示したように、一般に、撮影機器により撮影された一つの画像フレームを入力し（ＳＴ１００）、入力された画像フレームから画像の色に影響を及ぼす効果色を抽出し（ＳＴ２００）、その抽出された効果色を利用して画像の色を修正することで（ＳＴ３００）、元の色に復元された画像を生成し、その画像をデータベースとして作成して所定の記録媒体に格納する（ＳＴ４００）。

以下、本発明に係る画像の効果色自動抽出方法に対し、図２を参照して説明する。
先ず、一つの画像フレーム内の全ての画素に対して色相（Ｈｕｅ）要素を抽出し、それら色相要素のヒストグラムを生成して（ＳＴ１０）、その生成された各色相要素の最大色相値（Ｈｕｅ＿Ｍａｘ）を算出し（ＳＴ１１）、算出された最大色相値（Ｈｕｅ＿Ｍａｘ）と、予め設定された第１しきい値とを比較して（ＳＴ１２）、最大色相値（Ｈｕｅ＿Ｍａｘ）が第１しきい値よりも小さいと、最大色相値に対応する色相のうち、画像に影響する色（画像の効果色）がないとする（ＳＴ２４）。

一方、算出された最大色相値（Ｈｕｅ＿Ｍａｘ）が第１しきい値以上であると、最大色相値（Ｈｕｅ＿Ｍａｘ）に対応する色相のうち、画像に影響する効果色があると認めて、画像をｎ×ｍ（ｎ、ｍは、任意の定数）個のセル（又はグリッド）にそれぞれ分割し（ＳＴ１３）、それらセルのうち、検索の対象となるセルを最初のセルとして設定する（ＳＴ１４）。

次いで、その検索対象セルの輝度が第２しきい値よりも小さい条件を満たす画素の色相要素を抽出して、それに対するヒストグラムを生成し（ＳＴ１５）、そのヒストグラムから最大色相値（Ｈｕｅ＿Ｈｉ）を算出して（ＳＴ１６）、最大色相（Ｈｕｅ＿Ｈｉ）を所定のメモリセットＡに格納する（ＳＴ１７）。

その後、分割された全てのセルに対し、前記各段階を繰り返して行う（ＳＴ１５〜ＳＴ１９）。

このように、一つの画像フレームから分割された全てのセル毎に最大色相（Ｈｕｅ＿Ｈｉ）が生成されてメモリＡにそれぞれ格納されると、それらメモリＡに格納された色相の平均色相値（Ｈｕｅ＿Ａｖｅ）を算出する（ＳＴ２０）。

その後、平均色相値（Ｈｕｅ＿Ａｖｅ）と、最大色相値（Ｈｕｅ＿Ｍａｘ）との色相差値（Ｈｕｅ＿Ｄｉｆｆ）を算出し（ＳＴ２１）、色相差値（Ｈｕｅ＿Ｄｉｆｆ）と予め設定された第３しきい値とを比較して（ＳＴ１３）、色相差値（Ｈｕｅ＿Ｄｉｆｆ）が第３しきい値よりも大きいと、画像に影響を及ぼす効果色がないと判断する（ＳＴ２４）。

一方、色相差値（Ｈｕｅ＿Ｄｉｆｆ）が第３しきい値よりも小さいと、画像の色に影響する効果色があると判断して、平均色相値（Ｈｕｅ＿Ａｖｅ）に対応する色相を前記画像の効果色とする（ＳＴ２３）。

このようにして、本発明では、入力された画像の効果色を自動に抽出する。ここで、平均色相値（Ｈｕｅ＿Ａｖｅ）と最大色相値（Ｈｕｅ＿Ｍａｘ）とを比較してその差異値を求めたのは、異なる色相値を有する被写体が一つのグリッド内に表れる可能性が多いため、何れの被写体の色が実際に（全体の効果色に影響されない状態で）、輝度の低い値を有すると共に、全体効果色の色相とは全く異なる値を有するものであって、平均色相に及ぼす影響を減らすためである。

本発明に係る、画像の元の色を復元して画像データベースを生成する方法を示したフローチャートである。 本発明に係る画像の効果色自動抽出方法を示したフローチャートである。

Claims (4)

1. 所定の画像を入力して、それら画像の元の色復元処理を行って格納することを特徴とする画像データベース生成方法。
2. 所定の画像を入力し、それら画像の効果色を抽出して、各画像情報として各画像の効果色を格納することを特徴とする画像データベース生成方法。
3. 所定の画像を入力して、それらの画像の元の色復元処理を行って格納する画像データベースを生成する段階と、
   現在入力する画像を処理して元の色を有する画像として生成する段階と、
   前記元の色復元処理された現在の画像と、前記画像データベースに格納された画像とを比較する段階と、
   を順次行うことを特徴とする画像検索方法。
4. 画像検索方法であって、
   所定の画像を入力し、それら画像の効果色を抽出して、各画像情報として画像の効果色をそれぞれ格納することで画像データベースを生成する段階と、
   現在入力する画像を処理して効果色を生成する段階と、
   前記生成された効果色を利用して、現在入力する画像の元の色を補償する段階と、
   元の色の補償された前記入力画像と、前記画像データベースに格納された画像とを比較する段階と、
   を順次行うことを特徴とする画像検索方法。

Images