JP2007128526A - 標準照明色の変換方法、標準照明色の変換プログラム、標準照明色の変換プログラムを記録したコンピュータにて読取り可能な記録媒体、色情報抽出方法、色情報抽出プログラムを記録したコンピュータにて読取り可能な記録媒体、及び色情報抽出装置 - Google Patents

Abstract

【課題】照明変化に強い（照明変化の影響を受けない）映像検索を行う。
【解決手段】映像を入力するクリア映像入力部８１０と、前記映像を照明変化に強い映像で表現するために前記映像の照明色を日光軌跡から６５００Ｋに対する標準照明色に変換するクリア標準照明色変換部８２０と、主要色記述子、スケーラブル色記述子、色配置記述子及び色構造記述子を含む複数の色記述子のうち一つを用いて前記照明変化に強い映像の色情報を抽出するクリア映像色情報抽出部８３０と、を含む色情報抽出装置である。
【選択図】図１２

Description

本発明は、標準照明色の変換方法、標準照明色の変換プログラム、標準照明色の変換プログラムを記録したコンピュータにて読取り可能な記録媒体、色情報抽出方法、色情報抽出プログラムを記録したコンピュータにて読取り可能な記録媒体、及び色情報抽出装置に関する。

映像検索方法には様々なものがある。そのうち一つは、映像に注釈（text）を付け、注釈を検索して所望の映像を探し出すという注釈に基づく（テキストベースの）映像検索方法である。テキストを用いて映像を検索する場合、映像のテキストによる表現には限界があり、映像を検索するユーザによって、映像に関する意味的な解釈が互いに異なるために、ユーザが検索したかった映像ではない全く別の映像が検索され、出力される場合が頻繁に起こる。

他の一つは、探そうとする映像内の主要な特徴をもって検索するという内容に基づく（コンテンツベースの）映像検索方法である。内容に基づく映像検索方法において用いる映像内の主要な特徴としては、色、テキスチャ、形状、動き情報などがある。このような映像内の主要な特徴を用いて所望の映像を検索すると、ユーザが検索しようとする映像がみつかる確率が一層高まる。従って、注釈に基づく映像検索において意味上の不一致により生じる検索誤りが低減できるといった長所がある。

このような内容に基づく映像検索方法のうち色に基づく検索は、映像内に存在する様々な情報のうち、映像内の画素の色分布や種類、位置などに関する情報を用いて類似映像を探し出す方式である。色に基づく検索の代表的な検索方法として、現在ＩＳＯ／ＩＥＣ １５９３８−３において標準として採択されたＭＰＥＧ−７色記述子を用いた映像検索方法がある。色記述子は、下記の４種のものより構成されている。

主要色記述子（Dominant Color Descriptor）は、映像内の特定の色相や少数の色相が映像の全体または一部地域において映像の特徴を表している場合に用いられる記述子である。

色構造記述子（Color Structure Descriptor）は、地域色相構造情報とヒストグラムを共に用いるものである。特徴情報を抽出する時に各画素に関する色相情報を独立的に抽出するのではなく、隣接した画素に関する色相情報を共に考慮して特徴情報を抽出する。

色配置記述子（Color Layout Descriptor）は、色相の空間的な分布を表わす。ｘ−ｙ平面を所定の大きさに分割した１単位をビン（bin）とした時、映像内に存在する色相の空間的な分布を６４ビット値のビン数で表わすことができる。色配置記述子を用いれば、類似度の計算が極めて単純な方法によりなされるので、高速検索が行える。さらに、自然映像や色相スケッチ映像がクエリ（query）として使用できる。従って、このような色配置記述子は、ビデオのブラウジングや検索などに好適に応用できる。

スケーラブルな色記述子は、ハール変換（Harr Transform）によりエンコーディングされた色相ヒストグラムの質的な表現であって、ＨＳＶ色空間（Hue Saturation Value color space）を用いる。両映像間の類似度は、スケーラブルな色記述子間のハミング距離によって決められるので、類似度の計算速度が速い。

しかしながら、前述したＭＰＥＧ−７色記述子を用いた映像検索方法は、照明の変化に敏感であって、同じ内容を有した映像であってもその映像が撮影された時間における周辺照明の僅かな違いによって相異なる色情報を有するため、正確な映像検索にならないといった問題点がある。例えば、自然映像の場合、時間及び天気の変化による映像内の色情報の変化（例えば、映像内の輝度及び影）、別の照明（例えば、白熱灯または蛍光灯）を用いることにより生じる色情報の変化、そして同じ映像を別の映像キャプチャ装備（例えば、相異なる製造会社で生産されたカメラ）を用いてキャプチャすることにより生じる色情報の変化等により正確な映像検索にならないといった問題点がある。

本発明が解決しようとする技術的課題は、照明変化に強い（照明変化の影響を受けない）映像検索を行うために、クエリ映像及び映像データベースに記憶された映像を標準照明下の色度情報を表わす標準照明色に変換し、変換された映像の色情報を互いに比較して照明変化に強い検索方法及び装置を提供するところにある。

本発明は、入力されたクエリ映像の低輝度部分及び自己発光部分を除去する除去段階と、前記除去して残った画素から映像の照明色を検出する検出段階と、前記検出された照明色を標準照明色に変換する変換段階と、を含む標準照明色の変換方法である。

前記除去段階は、前記入力されたクエリ映像において各画素のＲＧＢ値を３刺激値ＸＹＺに変換する段階と、前記変換された３刺激値ＸＹＺを用い、前記映像内の画素のうち低輝度値を有した画素を除去する段階と、前記変換された３刺激値ＸＹＺを用い、前記映像内の画素のうち自己発光画素を除去する段階と、を含んでいても良い。

前記検出段階は、低輝度部分及び自己発光部分が除去された前記クエリ映像の各画素の３刺激値ＸＹＺを色度座標（ｘ，ｙ）値に変換する段階と、前記変換された色度座標値をｘ−ｙ平面上に投影する段階と、前記ｘ−ｙ平面を所定の大きさの格子に分割する段階と、前記分割された各格子内に存在する投影された画素の数を計数する段階と、前記計数の結果その値が所定の値以下である場合、その格子内に存在する画素を除去する段階と、前記除去して残った格子の中心点の平均を取り、その結果を入力映像の照明色として決定する段階と、を含んでいても良い。

前記変換段階は、標準色温度に当たる日光軌跡上の標準照明色度座標値を探し出す段階と、前記標準照明色度座標値及びブラドフォード色順応変換行列を用い、前記検出段階で検出された照明色各画素の３刺激値ＸＹＺを標準照明の３刺激値Ｘ’Ｙ’Ｚ’に変換する段階と、前記変換された標準照明の３刺激値Ｘ’Ｙ’Ｚ’をＲＧＢ値に変換する段階と、を含んでいても良い。

上記標準照明色の変換方法をコンピュータにて実行させるための標準照明色の変換プログラムを記録したコンピュータにて読取り可能な記録媒体であっても良い。

上記標準照明色の変換方法を実行する手段としてコンピュータを機能させるための標準照明色の変換プログラムであっても良い。

また、本発明は、映像を入力する段階と、前記映像の照明色を抽出する段階と、前記抽出された照明色を日光軌跡から６５００Ｋに対応する標準照明色に変換して前記映像を照明変化に強い映像で表現する段階と、主要色記述子、スケーラブル色記述子、色配置記述子及び色構造記述子を含む複数の色記述子のうち一つを用いて前記照明変化に強い映像の色情報を抽出する段階と、を含む照明変化に強い色情報抽出方法である。

上記色情報抽出方法をコンピュータにて実行させるための色情報抽出プログラムを記録したコンピュータにて読取り可能な記録媒体であっても良い。

さらに、本発明は、映像を入力する映像入力部と、前記映像を照明変化に強い映像で表現するために前記映像の照明色を日光軌跡から６５００Ｋに対する標準照明色に変換する標準照明色変換部と、主要色記述子、スケーラブル色記述子、色配置記述子及び色構造記述子を含む複数の色記述子のうち一つを用いて前記照明変化に強い映像の色情報を抽出する映像色情報抽出部と、を含む照明変化に強い色情報抽出装置。

以上述べたように、本発明は、従来の色情報を用いた検索方法において色記述子の構造や類似度の比較方式を変更することなく、標準照明の変換といった線処理過程のみをさらに経ることにより照明変化に強い映像検索が可能になるという効果がある。言い換えれば、色情報を用いて映像検索を行う時、照明が別の環境において撮影された同一内容の映像を探し出し得る方法を提供するものであって、ユーザをして別の時間、別の天気、別の照明、そして別の映像機器で得た同一映像を効果的に検索せしめるという効果がある。

以下、添付した図面に基づき、本発明に係る望ましい一実施の形態を詳細に説明する。

図１は、本発明の映像検索過程を示すフローチャートである。

これを参照すれば、まず、ユーザから照明変化に強い映像検索の要求及びクエリ映像を入力する（Ｓ１１０）。次に、クエリ映像から照明色を検出してこれを標準照明色に変換した後（Ｓ１２０）、色記述子を用いて前記クエリ映像の色情報を抽出する（Ｓ１３０）。最後に、抽出された色情報と、様々な映像を標準照明色に予め変換した後にこの色情報を抽出して記憶してあるデータベースとを比較して、類似映像を探し出す（Ｓ１４０）。

図２は、クエリ映像から照明色を検出してこれを標準照明色に変換する過程（Ｓ１２０）のフローチャートである。

まず、入力されたクエリ映像の低輝度部分及び自己発光部分を除去する（Ｓ２１０）。次に、除去して残った画素から映像の照明色を検出し（Ｓ２２０）、検出された照明色を標準照明色に変換する（Ｓ２３０）。

入力されたクエリ映像の低輝度部分及び自己発光部分を除去する段階（Ｓ２１０）は、下記のような方法により行われる。まず、入力されたクエリ映像の画素のＲＧＢ（レッド、グリーン及びブルー）値をＣＩＥ（Commission Internationale de L'clairage）３刺激値ＸＹＺに変換する。

次に、変換された３刺激値ＸＹＺを用いて低輝度値を有した画素を除去する。低輝度値を有した画素の判断方法には色々があるが、一例として、Ｙ値が全画素のＹ値のうち下位５％内に入れば低輝度値を有した画素であると判断する方法が採用可能である。

次に、自己発光境界値を求め、映像内の画素のうち自己発光画素を除去する。自己発光画素とは、電灯、太陽などのように自ら光を発する物体の映像に対する画素のことを言う。自己発光境界値も従来の方法を用いて求め、この境界値より大きい値を有した画素は自己発光画素であると判断して除去する。

残った画素から入力映像の照明色を検出する段階（Ｓ２２０）は、下記のような方法により行われる。まず、低輝度部分及び自己発光部分が除去されたクエリ映像の各画素の３刺激値ＸＹＺを色度座標（ｘ，ｙ）に変換する。一例として、色度座標のｘ値はＸ／（Ｘ＋Ｙ＋Ｚ）のような数式により計算でき、色度座標のｙ値はＹ／（Ｘ＋Ｙ＋Ｚ）のような数式により計算できる。

図３ないし図６は、標準照明色に変換する過程を説明するための図面である。

これを参照すれば、まず、変換された（ｘ，ｙ）値をｘ−ｙ平面上に投影する。これにより、図３のようになる。このようにして得られたｘ−ｙ平面を、図４のように所定の大きさのビンに等しく分割する。一例として、ｘ−ｙ平面を６０×６０の格子板に分割することができる。次に、各ビン内に存在する画素の数を計数して記憶し、この値が任意の境界値以下であれば、そのビンを除去する。

これにより、図５のような結果が得られる。次に、残ったビンの中心座標値（ｘ，ｙ）の和を残ったビンの数で割った平均色度（ｘav，ｙay）３１０を入力映像の照明色として決定する。ここで、ｘavは中心座標のｘ値を残ったビンの数で割った値であり、ｙayは、中心座標のｙ値を残ったビンの数で割った値である。

最後に、検出された照明色を標準照明色に変換する段階（Ｓ２３０）を説明する。まず、標準色温度６５００Ｋに当たる日光軌跡上の標準照明色度座標（ｘc，ｙc）３２０を探し出す。次に、平均色度（ｘav，ｙay）３１０、標準照明色度座標（ｘc，ｙc）３２０及びブラドフォード色順応変換行列を用い、入力映像の各画素の３刺激値ＸＹＺを標準照明の３刺激値Ｘ’Ｙ’Ｚ’に変換する。これにより、図６のように、各画素の座標が全体的に標準照明の座標に向かって全体的に移動するような結果が得られる。最後に、このようにして変換された標準照明の３刺激値Ｘ’Ｙ’Ｚ’をＲＧＢ値に変換する。

特定の色記述子を用いてクエリ映像の色情報を抽出する段階（Ｓ１３０）では、前述の色々な色記述子を用いる。すなわち、クエリ映像及びデータベース映像において映像の色を表わすＭＰＥＧ−７標準の色記述子を用いて映像を記述する。

図７は、映像を記述するための色記述子の表現形式の一実施の形態である。

この実施の形態でも、４つの色記述子に関する情報を有している。

抽出された色情報と、色々な映像に関する色情報を予め標準照明色から抽出して記憶しているデータベースとを比較して類似映像を探し出す最後の段階（Ｓ１４０）では、抽出された色記述子間の距離を計算して近い順番に検索結果を出力する。

図８及び図９は、本発明の映像検索方法の適用前及び適用後の検索結果を各々示す図面である。

従来の映像検索方法を適用した時には、図８R>８のように、郵便箱映像５１０と類似度が高い映像を検索せよとの命令を下した時、郵便箱映像ではなく、全く別の映像を出力することがあった。しかし、本発明の映像検索方法を適用した場合には、図９のように、正確な結果が得られるということが分かる。

下記表１ないし下記表４は、本発明の映像検索方法を適用した時のゲインの変化を示している。

前記表１は、ＭＰＥＧ−７標準において定義されたＣＣＤデータセットを使用した場合の結果であるが、本発明の照明に強い検索方法を用いれば、パラメータを使用した条件及び使用しなかった条件下で各々０．１１及び０．０８ずつゲインが減ったということが分かる。この結果は、ＣＣＤデータセットそのものが同じ内容に照明に対してのみ変わる映像をほとんど含んでいないということから予想できる。

前記表２は、図１０のような外部自然映像を用いた結果表であり、表３は、図１１のように室内において撮影された客体の集合映像を用いた結果表であり、そして表４は、ＭＰＥＧ−７ＣＣＤデータセット及び外部自然映像を共に用いた結果表である。表２ないし表４を参照すれば、本発明の検索方法が優れているということが分かる。

図１２は、前述の映像検索方法を行う映像検索装置のブロック図である。

映像検索装置は、クエリ映像入力部８１０、標準照明の色変換部８２０、クエリ映像の色情報抽出部８３０、データベース８４０及び類似映像検索部８５０を備えている。

クエリ映像入力部８１０は、ユーザから照明変化に強い映像検索の要求及びクエリ映像を入力される。

標準照明の色変換部８２０は、クエリ映像から照明色を検出してこれを標準照明色に変換する。入力されたクエリ映像の低輝度部分及び自己発光部分を除去して残った画素から映像の照明色を検出し、検出された照明色を標準照明色に変換する。この過程の詳細は、前述の通りである。

クエリ映像の色情報抽出部８３０は、特定の色記述子を用いてクエリ映像の色情報を抽出する。すなわち、クエリ映像及びデータベース映像の色相を表わすＭＰＥＧ−７標準の色記述子を用いて映像を記述する。

データベース８４０は、探し出そうとする色々な映像を標準照明色に予め変換した後にこの色情報を抽出して記憶している。

類似映像検索部８５０は、標準照明色に変換されたクエリ映像の色情報と、データベースに記憶された色々な映像に関する色情報とを比較して類似映像を探し出す。

図１３は、標準照明の色変換部８２０の詳細ブロック図である。

ノイズ除去部９１０は、入力されたクエリ映像の低輝度部分及び自己発光部分を除し、照明色検出部９２０は、ノイズ除去部９１０でノイズを除去して残った画素から映像の照明色を検出する。そして、変換部９３０は、検出された照明色を標準照明色に変換する。

本発明はまた、コンピュータにて読取り可能な記録媒体にコンピュータにて読取り可能なコードとして具現可能である。コンピュータにて読取り可能な記録媒体は、コンピュータシステムにより読取り可能なデータが記憶されるあらゆる種類の記録装置を含む。コンピュータにて読取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フレキシブルディスク、光データ記憶装置などがあり、また、キャリアウェーブ（例えば、インターネットを介して伝送）の形で具現されるものも含む。さらに、コンピュータにて読取り可能な記録媒体はネットワークに結ばれたコンピュータシステムに分散され、分散方式によりコンピュータにて読取り可能なコードが記憶されて実行できる。

以上、本発明について望ましい実施の形態を中心に述べた。本発明が属する技術分野における当業者であれば、本発明が本発明の本質的な特性から逸脱しない範囲において変形された形で具現可能であるということが理解できるであろう。よって、開示された実施の形態は限定的な観点ではなく、説明的な観点で考慮されなければならない。本発明の範囲は前述した説明ではない特許請求の範囲上に示されており、それと同等な範囲内にあるあらゆる違いは本発明に含まれたものとして解釈されなければならない。

本発明の映像検索過程のフローチャートである。 クエリ映像から照明色を検出してこれを標準照明色に変換する過程（Ｓ１２０）のフローチャートである。 標準照明色に変換する過程を説明するための図面であって、（ｘ，ｙ）値をｘ−ｙ平面上に投影して表したものである。 標準照明色に変換する過程を説明するための図面であって、所定の大きさのビンに等しく分割して表したものである。 標準照明色に変換する過程を説明するための図面であって、境界値以下の画素数を格納するビンを除去して表したものである。 標準照明色に変換する過程を説明するための図面であって、各画素の座標が全体的に標準照明の座標に向かって移動した結果を表す。 映像を記述するための色記述子の表現形式の一実施の形態である。 従来の映像検索方法を適用した場合の検索結果を示す図面である。 本発明の映像検索方法を適用した場合の検索結果を示す図面である。 実験に用いられた外部自然映像の例である。 実験に用いられた室内で撮影された客体の集合映像の例である。 前述の映像検索方法を行う映像検索装置のブロック図である。 標準照明の色変換部８２０の詳細ブロック図である。

Claims (9)

1. 入力されたクエリ映像の低輝度部分及び自己発光部分を除去する除去段階と、
   前記除去して残った画素から映像の照明色を検出する検出段階と、
   前記検出された照明色を標準照明色に変換する変換段階と、
   を含むことを特徴とする標準照明色の変換方法。
2. 前記除去段階は、
   前記入力されたクエリ映像において各画素のＲＧＢ値を３刺激値ＸＹＺに変換する段階と、
   前記変換された３刺激値ＸＹＺを用い、前記映像内の画素のうち低輝度値を有した画素を除去する段階と、
   前記変換された３刺激値ＸＹＺを用い、前記映像内の画素のうち自己発光画素を除去する段階と、
   を含むことを特徴とする請求項１に記載の標準照明色の変換方法。
3. 前記検出段階は、
   低輝度部分及び自己発光部分が除去された前記クエリ映像の各画素の３刺激値ＸＹＺを色度座標（ｘ，ｙ）値に変換する段階と、
   前記変換された色度座標値をｘ−ｙ平面上に投影する段階と、
   前記ｘ−ｙ平面を所定の大きさの格子に分割する段階と、
   前記分割された各格子内に存在する投影された画素の数を計数する段階と、
   前記計数の結果その値が所定の値以下である場合、その格子内に存在する画素を除去する段階と、
   前記除去して残った格子の中心点の平均を取り、その結果を入力映像の照明色として決定する段階と、
   を含むことを特徴とする請求項１に記載の標準照明色の変換方法。
4. 前記変換段階は、
   標準色温度に当たる日光軌跡上の標準照明色度座標値を探し出す段階と、
   前記標準照明色度座標値及びブラドフォード色順応変換行列を用い、前記検出段階で検出された照明色各画素の３刺激値ＸＹＺを標準照明の３刺激値Ｘ’Ｙ’Ｚ’に変換する段階と、
   前記変換された標準照明の３刺激値Ｘ’Ｙ’Ｚ’をＲＧＢ値に変換する段階と、
   を含むことを特徴とする請求項１に記載の標準照明色の変換方法。
5. 請求項１に記載の方法をコンピュータにて実行させるための標準照明色の変換プログラムを記録したコンピュータにて読取り可能な記録媒体。
6. 請求項１に記載の方法を実行する手段としてコンピュータを機能させるための標準照明色の変換プログラム。
7. 映像を入力する段階と、
   前記映像の照明色を抽出する段階と、
   前記抽出された照明色を日光軌跡から６５００Ｋに対応する標準照明色に変換して前記映像を照明変化に強い映像で表現する段階と、
   主要色記述子、スケーラブル色記述子、色配置記述子及び色構造記述子を含む複数の色記述子のうち一つを用いて前記照明変化に強い映像の色情報を抽出する段階と、
   を含むことを特徴とする照明変化に強い色情報抽出方法。
8. 請求項７に記載された照明変化に強い色情報抽出方法をコンピュータにて実行させるための色情報抽出プログラムを記録したコンピュータにて読取り可能な記録媒体。
9. 映像を入力する映像入力部と、
   前記映像を照明変化に強い映像で表現するために前記映像の照明色を日光軌跡から６５００Ｋに対する標準照明色に変換する標準照明色変換部と、
   主要色記述子、スケーラブル色記述子、色配置記述子及び色構造記述子を含む複数の色記述子のうち一つを用いて前記照明変化に強い映像の色情報を抽出する映像色情報抽出部と、
   を含むことを特徴とする照明変化に強い色情報抽出装置。