JP2022007633A

JP2022007633A - Ｒｇｂ画素値ヒストグラム点群マッチングによる自動色補正処理方法とその装置

Info

Publication number: JP2022007633A
Application number: JP2020110713A
Authority: JP
Inventors: 力松永; Tsutomu Matsunaga
Original assignee: For A Co Ltd
Current assignee: For A Co Ltd
Priority date: 2020-06-26
Filing date: 2020-06-26
Publication date: 2022-01-13

Abstract

【課題】異なる視点から撮影された画像間のカラーマッチングを目的とする。【解決手段】３次元ＲＧＢ色空間における画素値の３次元幾何学変換を用いた色補正を行う。画素値の３次元ＲＧＢヒストグラムから、ヒストグラム各区間内の画素値の平均値によるヒストグラム点データを計算して、最近傍探索による画像間のヒストグラム点データの対応付けと３次元幾何学変換の推定を繰り返すことにより、アウトライアを除去するとともにヒストグラム点データの対応を確定する。確定したヒストグラム点データの対応に対して、データの共分散行列を考慮した統計的に最適な方法により３次元幾何学変換を最適化する。高自由度の色補正モデルの最適推定の結果に制約条件を課して、事後的に補正することにより、低自由度の色補正モデルを推定し、幾何学的モデル選択により過当てはめを回避する。【選択図】図１１

Description

本発明は、映像機器全般、典型的には、映像制作に用いられる色調整作業を伴う業務用映像機器等における、ＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理方法とその装置等に関する。例えば、同一シーンを撮影する複数のカメラを互いに切り替えて連続利用する場合におけるカメラ間の色合わせ処理等に関する。

色域変換やＨＤＲ変換を含む色補正処理、あるいはカラーグレーディング（Color grading）と呼ばれている処理は映像制作の基本である。参照板（カラーチャート）を用いたカメラの色調整は、色校正（カラーキャリブレーション）として、異なる機種のカメラ間の色合わせは、カラーマッチングとして知られている（［図１］参照）。

色補正処理としては、松永らは、再撮モニタや複数台のカメラ間の色を合わせるために、先頭フレームに撮影した基準となるカラーチャートを自動認識して、観測誤差を考慮して色補正パラメータを最適に推定するとともに、ガマット（Gamut）誤差が含まれている映像に対しても、レベル制約付き最適推定とモデル選択を組み合わせることによって、妥当な色補正結果を得るための方法を示した。（下記非特許文献１）

松永は、参照板（カラーチャート）を撮影した画像からＲＧＢ画素値データを抽出して、観測誤差の性質を考慮した統計的に最適な超精度くりこみ法により３次元ＲＧＢ色空間における３次元幾何学変換を推定した。そして、複数の異なる自由度の幾何学変換モデルの推定結果から、幾何学的モデル選択により、モデルの複雑さと当てはまりのよさをバランスする最適な変換モデルを決定し、選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算して、異なる機種の様々なデジタルカメラ間のカラーマッチングの結果を示した。（下記非特許文献２）

松永は、超精度くりこみ法により最適に推定した色補正パラメータ結果に対して、事後的な補正を行うことにより、厳密なホワイトバランスを実現するとともに、レベル制約を課した場合の高自由度な色補正モデルの推定における過当てはめを幾何学的モデル選択により回避した。（下記非特許文献３）

しかし、実際の色補正を行う場面では、カラーチャートを設置して、色校正することが難しい場合もあるだろう。そこで、カラーチャートを用いずに、撮影したシーン画像間でカラーマッチングを行うことを考える（［図２］参照）。

ＳＩＦＴ作用素等の特徴点抽出処理による特徴点を用いて画像間の位置合わせを行う方法が知られている。（特許文献１、特許文献２、非特許文献４、非特許文献５を参照）。
図３は、ＯＲＢ作用素により抽出した特徴点をマッチングした例である。ＳＩＦＴ作用素等の特徴点抽出処理による特徴点のＲＧＢ値を用いて色補正を行った研究がある。（非特許文献６、非特許文献７、非特許文献８を参照）

US6,711,293 B1，David G.Lowe,METHOD AND APPARATUS FOR IDENTIFYING SCALE INVARIANT FEATURES IN AN IMAGE AND USE OF SAME FOR LOCATING AN OBJECT IN AN IMAGE, Date of Patent:Mar.23,2004 US2009/0238460 A1，Ryuji Funayanra,Hiromichi Yanagihara,Luc Van Gool,Tinne Tuytelaars,Herbert Bay,ROBUST INTEREST POINT DETECTOR AND DESCRIPTOR,Date of Patent:Sep.24,2009

松永力，趙延軍，和田雅徳,カラーチャートを用いた複数の再撮モニタとカメラの最適色補正,第16回画像センシングシンポジウム（SSII2010）講演論文集,横浜（パシフィコ横浜）,2010年6月. 松永力,３次元幾何学変換と幾何学的モデル選択による最適カラーマッチング／カラーキャリブレーション,第23回画像センシングシンポジウム（SSII2017）講演論文集,横浜（パシフィコ横浜）,2017年6月. 松永力,最適レベル補正と幾何学的モデル選択による高精度色補正:画像処理パイプラインの構築を目指して,ViEW2017ビジョン技術の実利用ワークショップ講演論文集,横浜（パシフィコ横浜）,2017年12月． D.Lowe,Distinctive image features from scale-invariant keypoints,International Journal of Computer Vision, 60-2 （January 2004）, 91-110. G. Bradski,K.Konolige,V Rabaud and E. Rublee, 0RB:An efficient alternative to SIFT or SURF,2011 IEEE International Conference on Computer Vision （ICCV2011）Barcelona,2011,pp.2564-2571. S.A. Fezza,M.C.Larabi and K.M.Faraoun,Feature-based color correction of multiview video for coding and rendering enhancement IEEE Transactions on Circuits and Systems for Video Technology,24-9 （September 2014）,1486-1498. Q.Wang,X. Sun,and Z.Wang,A robust algorithm for color correction between two stereo images, Proceedings of the 9th Asian conference on Computer Vision-Volume Part II （ACCV'09）,Xi'an, China,September 2009,pp.405-416. H.Zeng,K.-K.Ma,C.Wang and C.Cai,SIFT-flow-based color correction for multi-view video.Image Communication, 36-C （August 2015）,53-62. 松永力，趙延軍，和田雅徳,3D映像のための自動色補正,第17回画像センシングシンポジウム（SSII2011）講演論文集，横浜（パシフィコ横浜）, 2011年6月． E. Reinhard,M.Ashikhmin,B.Gooch and P.Shirley, Color transfer between images,IEEE Transactions on Computer Graphics and Applications,21-5 （2001）,34-41. R.B.Rusu,N. Blodow,Z.C.Marton and M.Beetz,Aligning point cloud views using persistent feature histograms, IEEE/RSJ International Conference on Intelligent Robots and Systems, Nice, France, September 2008, pp. 3384-3391. F.Tombari,S.Salti and L. Di Stefano, Unique signatures of histograms for local surface description, Proceedings of the 11th European Conference on Computer Vision: Part III （ECCV'10）, Heraklion, Crete, Greece,September 2010, pp. 356-369.

しかし、画像中の特徴点は、“画素値”データとしては適切ではない。なぜなら、物体におけるコーナー、エッジ等の特徴点の“画素値”は背景の影響を受ける。画像圧縮によるノイズの影響も受けやすい。色補正のためには、できるだけ平坦な領域における“画素値”をデータとして用いることが望ましい（図４参照）。

松永らは、３Ｄ映像を撮影する２台のカメラ間のカラーマッチングを行うために、カラーチャートを用いずに、左右２枚の画像間のＲＧＢ毎の１次元ヒストグラムをマッチングした。Reinhardらは、画像間の見た目の色を揃えるために、画像をＬＭＳ色空間に変換して、それらの平均値・標準偏差値を揃える処理を行った。（非特許文献９、非特許文献１０をご参照）

いずれの場合も、色補正のモデルは、ＲＧＢ／ＬＭＳ毎の１次元アフィン変換であり、カメラ内部で行われている“リニアマトリクス処理”と呼ばれるＲＧＢ混合処理を考えると、カラーマッチングを行うためには十分とは言えない。このような課題を解決するため、本発明では、異なる視点から撮影された画像間のカラーマッチングを目的とするものである。

ＲＧＢヒストグラムビン中の画素値の平均値を、ヒストグラム点データとして用いる（［図５］参照）。画像特徴点から画像間の基礎行列や射影変換行列の計算では、特徴点の近傍テンプレートによるマッチングの残差により、特徴点の対応付けを行い、データのランダムサンプルとモデルの当てはめを繰り返すことにより、アウトライアを除外している。３次元データに対しても、様々な特微量記述が提案されており、３次元特微量による対応付けを行い、ランダムサンプリングによりアウトライアを除去して、位置合わせが行われている。（非特許文献１１、非特許文献１２をご参照）

しかし、３次元ＲＧＢ色空間におけるヒストグラム点データは、通常のＬｉＤＡＲ（Light Detection and Ranging）等の測距センサによる３次元ＸＹＺデータとは次の点で異なる。

・データ領域に上限下限が存在し、データ数も限定的である（上限下限を越えて上限下限値にクリップされたものを“ガマット誤差”と呼ぶ）。
・画素値の黒レベルから白レベルに向かって伸びるスパース（疎ら）な分布を示す。
・データ同士が重なっている。

そこで、ヒストグラム点データにおいて、ある方向から見たときに最も手前にあるデータを抽出することにより、データ同士の重なりを除去する“表面化”と呼ぶ処理を行う。そして、対応が未知の点群データに対して、反復的に対応付けと位置合わせを行う“重み反復最小二乗法”を用いて、データ間の対応付けを行う。対応データから推定した位置合わせパラメータにより変換されたデータ間の距離（当てはめ残差）からロバスト推定した標準偏差を用いて、カメラの動きや局所移動物体によるオクルージョン、ガマット誤差等によるアウトライアを除去する。

基準となる参照画像と参照画像に色を合わせる入力画像の各ＲＧＢヒストグラム点データを最近傍点対応（一対一化）による重み反復最小二乗法を行い、対応が確定したヒストグラム点データに対して、データの共分散行列を考慮した統計的に最適な“超精度くりこみ法”により３次元幾何学変換を最適化する。このとき、ヒストグラムビン中の画素値から計算したヒストグラム点データにおける“共分散行列”の情報を用いる。

一般のシーン画像の場合、カラーチャートのように多くの色が含まれているとは限らない。少ないデータ数から、高自由度のモデルを推定する場合、“過当てはめ”が生じる。

“過当てはめ”とは、与えられたデータヘの過剰な当てはめのことである。与えられたデータ（ヒストグラム点データ）に対する当てはまりはいいが、それ以外のデータヘの当てはまりが悪くなる、つまり、ヒストグラム点データは、画像中のすべての画素値データの代表であり、代表データによる予測結果を他のすべての画素値に適用した場合に予測が外れて、正しい色補正が得られないことを意味する。

そこで、過当てはめを回避するために、“幾何学的モデル選択”を行う。モデル選択は、可能性の選択である。一般モデルであるアフィン変換の部分モデルとしての剛体変換、相似変換を、アフィン変換の推定結果にモデル制約を課して、事後的に“最適補正”することにより推定する。そして、複数の可能性（色補正を行うモデル）の中から、当てはまりのよさ（色補正のよさ）とモデルの複雑さをバランスする最適なモデルを決定する。

同一シーンを異なる視点から撮影した画像間のカラーマッチングを自動化することができる。統計的に最適な推定を行うことにより、高精度な色補正が可能となる。すべての処理は、ヒストグラム点データ空間におけるマッチングであり、画像間の幾何学的な位置合わせを必要としないことから効率化が図れる。

参照板（カラーチャート）を撮影して、複数カメラ間の色合わせを行う態様を説明する図である。同一シーンを異なる視点から撮影した画像間の色合わせを説明する図である。ＯＲＢ作用素（Oriented FAST and Rotated BRIEF）により抽出した特徴点をマッチングした例を説明する図である。ＲＧＢ画素値の３次元プロット例を説明する図であり、（ａ）が画像中の上枠（１）、下枠（２）内のＲＧＢ画素値を３次元プロットする位置を示し、（ｂ）が正規化ＲＧＢ［０，１］領域に、画素値とそれぞれの誤差の楕円体（信頼区間９５％）を表示しており、特徴点を含む上枠（１）領域内には、異なる色が含まれており、ＲＧＢ画素値の誤差の楕円体が大きいことが示される一方、下枠（２）内のＲＧＢ画素値はほぼ均一であり、ＲＧＢ画素値の誤差の楕円体も小さく、このような領域における“画素値”をデータとして用いることが望ましいことを示す図である。ヒストグラム点データの３次元プロット例を示す図であって、（ａ）がカラー画像例であり、（ｂ）がカラー画像（ａ）中の全画素のヒストグラム点データを示しており、ヒストグラムのビン数（区間数）を、３２×３２×３２として、各ビン中に含まれる画素値の平均値を表示しているものである。ただし、ヒストグラムビン中の画素数が１０以下のものは用いない。そして、（ｃ）は（ｂ）のヒストグラム点データの表面化を示しており、ＧＲ（緑赤）平面に直交する法線ベクトルの正方向、すなわち、原点からＢ（青）軸の正方向を見て、最も手前にあるヒストグラム点データを抽出（表面化処理）しているものである。３次元幾何学変換を説明する図であり、（ａ）が並進、（ｂ）が剛体、（ｃ）が相似、（ｄ）がアフィンをそれぞれ概念的に示している。最近傍点対応（一対一化）による重み反復最小二乗法の手順を説明する図である。ステレオ画像によるカラーマッチング例を説明する図である。ステレオ画像によるカラーマッチング例（１）。上段左から、ステレオ左画像（基準画像）とステレオ右画像（入力画像）。画像から抽出したＲＧＢヒストグラム点データと最近傍点対応（一対一化）の重み反復最小二乗法による対応付け前後の３次元プロット。ヒストグラムのビン数は６４×６４×６４とした。下段左から、ステレオ右画像（入力画像）を色変換した入力色変換画像。上段のステレオ左画像を基準画像として、入力色変換画像を色補正した結果の色補正画像。幾何学的ＭＤＬにより選ばれた相似変換による色補正の結果である。最小二乗法（ＬＳ）、超精度くりこみ法（ＨＲＮ）、幾何学的モデル選択（Ｇ－ＡＩＣ_ν／Ｇ－ＭＤＬ_ν）による結果のＣＰＳＮＲ値の平均値のグラフと幾何学的モデル選択による選ばれたモデルのヒストグラム。ランダムに生成した相似変換行列による入力色変換画像の１００回の試行結果である。ステレオ画像によるカラーマッチング例を説明する図である。ステレオ画像によるカラーマッチング例を説明する図である。本発明のＲＧＢヒストグラム点群マッチング処理全体を説明するブロック図である。

本発明における典型的な新規技術事項としては、特に、
・同一シーンを異なる視点から撮影した画像間のカラーマッチングにおいて、画素値ヒストグラムから計算されるヒストグラム点データからなるヒストグラム点群同士をマッチングさせることにより自動化を行う。
・ヒストグラム点群マッチングを行うために、最近傍探索により対応付けたヒストグラム点データ間の幾何学変換の推定を行い、推定した幾何学変換による色補正パラメータによりヒストグラム点データを補正する操作を交互に反復することから、ヒストグラム点データの対応を確定する。
・確定したヒストグラム点データの対応に対して、データの共分散行列を考慮した統計的に最適な方法により幾何学変換を最適化する。
・高自由度の色補正モデルの最適推定の結果に制約条件を課して、事後的に補正することにより、低自由度の色補正モデルを推定し、複数の色補正モデルを選択することにより過当てはめを回避する。
・すべての処理は、ヒストグラム点データ空間におけるマッチングであり、画像間の幾何学的な位置合わせを必要としない。
が挙げられる。

また、このような方法や装置を構成・構築するための要素技術思想として、
・画像から画素値のヒストグラムを計算するヒストグラム計算。
・ヒストグラム各区間内の画素値の平均値によるヒストグラム点データとその共分散行列を計算するヒストグラム点データ計算。
・ヒストグラム点データ同士の重なりを除去するための表面化処理。
・画像間のヒストグラム点データ同士を最近傍探索により対応付ける一対一化処理。
・最近傍探索により対応付けられたヒストグラム点データ間の幾何学変換の推定を行う変換推定。
・最近傍探索による対応付けと幾何学変換の推定を反復することにより確定したヒストグラム点データ対応に対して、データの共分散行列を考慮した統計的に最適な方法により幾何学変換を最適化する最適計算。
・幾何学変換の最適推定結果に制約条件を課して、事後的に補正することにより、低自由度の色補正モデルを推定する最適補正計算。
・複数の色補正モデルを選択するモデル選択計算。
・ヒストグラム点群マッチング処理の結果の色補正パラメータを用いて、入力画像を色補正する色補正処理。
などを挙げることができる。

本発明の応用的実現方法としては、ベースバンドビデオ信号を処理するハードウェア装置により実現することも可能であるし、ＭＸＦファイルを処理するソフトウェアおよびそれを実行するコンピュータをベースとした装置により実現することも可能であるし、ＭＸＦファイルをベースバンドビデオ信号に変換、あるいは逆変換する装置を用いれば、いかなる構成による実現も可能である。カメラ映像を動画像圧縮したもの、あるいはＭＸＦファイルをＩＰ（インターネット・プロトコル）伝送して、クラウド上で処理を行うことも可能である。ＩＰ伝送された圧縮映像をベースバンドビデオ信号に復号して、色補正処理を行った結果を再び圧縮してストリーム配信する等、様々なシステム形態への展開が考えられる。

さらに改良を加えて、異なる視点から同一シーンを撮影した画像間において、ヒストグラム点群マッチングにより推定した色補正パラメータを用いて、３次元ルックアップテーブル（３ＤＬＵＴ）を生成すれば、ソフトウェア／ハードウェアのいずれも色補正処理の高速化が図れる。

また、カラーマッチングの具体的な手順は次のようになる。
１）ＲＧＢ画素値ヒストグラム計算
２）ヒストグラムビン中の画素値平均と共分散行列計算
３）表面化
４）最近傍点対応（一対一化）による重み反復最小二乗法（“Ｍ推定”）
５）インライア対応点に対して超精度くりこみ法による最適推定
６）最適推定結果にモデル制約を課した最適補正による部分モデルの推定
７）幾何学的モデル選択
８）色補正処理
以下、上記１）～８）について順次詳細な説明を行う。

［ヒストグラム点データ］
画像のＲＧＢ画素値は、８ビット整数とすると、［０，２５５］の値を取り、そのＲＧＢヒストグラムは３次元になる。ヒストグラムのビン数（区間数あるいは階級数とも呼ぶ）は、２のべき乗に取る。例えば、ＲＧＢ各６４分割すれば、総ビン数は、６４×６４×６４＝２６２，１４４になる。

画像を左上画素から右下へ順にラスタスキャンを行い、各画素値がどのヒストグラムビン中に含まれるか、数えることにより、３次元ＲＧＢヒストグラムが計算される。

問題は、同一シーンを撮影した画像間の色を合わせることであり、参照画像の色に入力画像の色を合わせるとすると、初めに、各画像中の３次元ＲＧＢヒストグラムを計算する。そして、ある方向から見たときに最も手前にあるデータを抽出することにより、データ同士の重なりを除去する表面化処理を行う。各ヒストグラムにおけるビン中の画素値からヒストグラム点データとその共分散行列を計算する。

図５は、ヒストグラム点データの３次元プロット例を示す図であって、（ａ）がカラー画像例であり、（ｂ）がカラー画像（ａ）中の全画素のヒストグラム点データを示しており、ヒストグラムのビン数（区間数）を、３２×３２×３２として、各ビン中に含まれる画素値の平均値を表示しているものである。ただし、ヒストグラムビン中の画素数が１０以下のものは用いない。そして、（ｃ）は（ｂ）のヒストグラム点データの表面化を示しており、ＧＲ（緑赤）平面に直交する法線ベクトルの正方向、すなわち、原点からＢ（青）軸の正方向を見て、最も手前にあるヒストグラム点データを抽出（表面化処理）しているものである。

アフィン変換を施しても直線性や平面性は保たれる。すなわち、同一直線上の点は同一直線上の点に写像され、同一平面上の点は同一平面上の点に写像される。各部分の長さの比も保たれる。その結果、平行な直線は平行な直線に、平行な平面は平行な平面に写像される。しかし、スケールや角度は変化するので、たとえば立方体は平行六面体になる。３次元アフィン変換モデルの自由度は１２である（ベクトルｈのノルムが１になるように正規化するから自由度が１低下する）。

カメラ内部では、“リニアマトリクス処理”と呼ばれるＲＧＢ混合処理が行われており、それは、３次元アフィン変換により一般化される。

各画像から抽出したヒストグラム点データ間のアフィン変換行列を求めたいが、どのヒストグラム点データがどのヒストグラム点データに対応するか、対応付けが未知である。そこで、ヒストグラム点群同士の対応付けを行う。

［ＲＧＢヒストグラム点群の最近傍点対応（一対一化）による重み反復最小二乗法］
データ形状Ｐをモデル形状Ｘに位置合わせする“重み反復最小二乗法”を構成する計算手続きの要素は、次の３つからなる。

・最近傍対応点の計算
・位置合わせの計算
・位置合わせ結果によるデータ形状の変換（補正）

求められた対応関係を表すアフィン変換を最小二乗法により推定する。

を解いて、最小固有値λに対する単位固有ベクトルｈを計算する。

アフィン変換行列（数２）の左上３×３行列Ａが回転行列のとき（数４）は剛体変換となる。Ａが回転行列である条件は、その各列は互いに直交する単位ベクトルである。行列式が負なら反転を表すが、反復解法を用いれば、反復は微小変化の積み重ねであり、初期値の行列式が正であれば、反復過程では行列式を考慮する必要はない。したがって、剛体変換は次の“２次形式”が０となることで指定される。

画像から抽出したヒストグラム点データは、画像の色変換に対して、厳密には保存されない。すなわち、色変換を受けた画像におけるヒストグラム点データと色変換を受けてない画像におけるヒストグラム点データを色変換した結果は、同一画像であっても、厳密には一致しない。したがって、そのままでは真の色補正モデルが選択されず、最も自由度の高い一般モデルが選ばれる割合が高まる場合がある。そこで、二乗ノイズレベルとモデル選択基準を次のように補正する（補正係数νは、１０程度に設定する）。

［画像シミュレーション］
評価用画像には、ステレオ画像（Middlebury Stereo Datasets, http://vision.middlebury.edu/stereo/data/）を用いる。３次元ＲＧＢ色空間における相似変換により色変換した画像の基準画像に対する色補正パラメータを推定して、色補正する。そして、真の画像と色補正画像の間の差分二乗画像のカラーピークＳＮ比（Color peak signal-to-noise ratio，ＣＰＳＮＲ）により評価する。

相似変換は次のように定義する。平均０、標準偏差７×１０^－２の正規乱数により生成した３×３行列を単位行列に加算する。そのような行列を極分解により、直交行列と半正値対称行列の積に分解して、直交行列を回転行列Ｒとする。

スケールｓを平均１，標準偏差２×１０^－２の正規乱数、並進ベクトルｔを平均０、標準偏差５×１０^－２の正規乱数により生成して（ＲＧＢ画素値は［０，１］正規化されている）、最終的な相似変換とする。ただし、色変換画像における総画素数に対するガマット誤差画素数の割合が５％以下になるように選ぶ。

画像から抽出したＲＧＢヒストグラム点データは、ＧＲ平面に直交する法線ベクトルの正方向、すなわち、原点からＢ（青）軸の正方向を見て、最も手前にあるヒストグラム点データを用いて最近傍点対応（一対一化）による重み反復最小二乗法を行った。ヒストグラムのビン数は、すべて６４×６４×６４として、ヒストグラムビン中の画素数が１０以下のものは用いなかった。

図８～図１０はステレオ画像によるカラーマッチング例を説明する図である。上段の画像は、左から基準となる原画像と入力原画像であり、その下段の画像が入力画像を色変換した色変換画像と色補正パラメータ推定結果による色補正画像である。基準画像（reference）と入力色変換画像（input）から、それぞれＲＧＢヒストグラム点データを抽出し、最近傍点対応（一対一化）により対応付けを行うとともに、アウトライアを除去したインライア対応データに対して、３次元アフィン変換（Affine）を最小二乗法（ＬＳ）、超精度くりこみ法（ＨＲＮ）により推定し、超精度くりこみ法の推定結果を最適補正することにより、相似変換（Similarity）、剛体変換（Rigid）を推定した。それらの幾何学的ＭＤＬ（Ｇ－ＭＤＬ_ν）が最小のモデルによる色補正結果である。上段のグラフは、ＲＧＢヒストグラム点データと最近傍点対応（一対一化）の重み反復最小二乗法による対応付け前後の３次元プロットである。下段のグラフは、最小二乗法、超精度くりこみ法、および幾何学的モデル選択による結果のＣＰＳＮＲ値の平均値のグラフと幾何学的モデル選択により選ばれたモデルのヒストグラムであり、それぞれ１００回の試行の結果である。ＣＰＳＮＲ値の平均は幾何学的モデル選択による結果の方が良いことがわかる。これは、一般モデルであるアフィン変換以外の部分モデルである相似変換、剛体変換が選ばれた結果であり、アフィン変換による過当てはめが回避されていることを示している。幾何学的ＭＤＬは自由度の低い部分モデルを選ぶ傾向にあり、残差項に続く罰金項が幾何学的ＡＩＣよりも大きいことから説明される。幾何学的モデル選択における補正は、一般モデルの当てはめ残差から推定される二乗ノイズレベルとすべての色補正モデルの自由度をν倍することに相当する。これは発見的な補正ではあるが、このような補正によって、部分モデルが選ばれて、平均的に色補正結果が向上することが実験的に確認された。

本発明においては、異なる視点から撮影された画像間のカラーマッチングを目的として、３次元ＲＧＢ色空間における画素値の３次元幾何学変換を用いた色補正を行った。画素値の３次元ＲＧＢヒストグラムから、ヒストグラム各区間内の画素値の平均値によるヒストグラム点データを計算し、最近傍探索による画像間のヒストグラム点データの対応付けと３次元幾何学変換の推定を繰り返すことにより、アウトライアを除去するとともにヒストグラム点データの対応を確定した。確定したヒストグラム点データの対応に対して、データの共分散行列を考慮した統計的に最適な方法により３次元幾何学変換の最適化を行い、高自由度の色補正モデルの最適推定の結果に制約条件を課して、事後的に補正することにより、低自由度の色補正モデルを推定し、幾何学的モデル選択により過当てはめを回避した。

図１１は、本発明のＲＧＢヒストグラム点群マッチング処理全体を説明するブロック図である。図１１において、基準画像（reference）と入力画像（input）を入力して、基準画像の色明るさに入力画像を合わせることを目的としている。はじめに、それぞれの画像のＲＧＢ画素値による３次元ＲＧＢヒストグラム点とその共分散行列を計算する（RGB Histogram Point & Cov）。

次に、各画像の３次元ＲＧＢヒストグラム点データを表面化処理（Surface）により、ある方向から見た場合に最も手前にある３次元ＲＧＢヒストグラム点データに間引く。そして、表面化されて間引かれた３次元ＲＧＢヒストグラム点データを用いて、ＲＧＢヒストグラム点群マッチング処理（RGB Histogram Point Matching）として、点データ同士の最近傍探索（一対一化）と重み反復最小二乗法により、点データ同士の対応付けを確定する。

その後、対応付けられたヒストグラム点データに対して、ＲＧＢヒストグラム点データの共分散行列の情報を用いた最適推定及び事後的な最適補正（Optimization）により、例えば、３次元アフィン変換を一般モデルとして、３次元の相似変換、剛体変換、回転変換、並進変換等による幾何学的モデル選択（Model Selection）を行い、選ばれた色補正モデルによる色補正パラメータ（Correct Parameter）を用いて、入力画像を色補正（Color Correct）して出力（Ｏｕｔ）する。

（まとめ）
上述の説明において、例えばシミュレーション評価を行う場合には、入力原画像（Input(Original)）がシミュレーションにおける真の入力画像とし、入力原画像（Input(Original)）を（評価のために）自ら色変換した入力色変換画像を参照画像（Reference）と本発明の色合わせを行った結果の入力色補正画像（Input(Correceted)）と、どれくらい一致するか評価している。真の入力画像(Input(Original))と入力色補正画像(Input(Corrected))の差分二乗画像からＣＰＳＮＲを計算して、評価のための指標としている。この値が大きい値である程、一致していて、良好な結果であると言える。実際の処理では、真の入力画像は未知であって、参照画像と入力画像のみに基づいて処理を遂行するものである。図８乃至図１０のステレオ画像におけるシミュレーション例では、入力原画像（Input(Original)）（真の入力画像（Input(Original)））自ら色変換した入力色変換画像を（評価のために）作成し、これを本発明の色合わせを行って入力色補正画像（Input(Correceted)）とし、入力色補正画像（Input(Correceted)）と参照画像（Reference）とを比較して評価しているものである。

スポーツ中継など同一シーンを複数のカメラで追いかけて撮影し、場面に応じて適宜カメラを切り替えて同一モニターに連続的に表示する場合に、カメラ切り替えに伴い色あいが微妙に変化してしまうと、例えば選手の顔色に違和感が生じる（例えば、切り変えた途端に顔色が悪く見えてしまう）等好ましくない現象が生じる。本発明のカメラ間の自動色補正によって、現実の切り替え前にカメラ間で色整合をさせることができるので、このような色違和感現象を低減させ回避させることが可能となる。

本発明の自動色補正は、図４（ｂ）に例示するようなＲＧＢ色空間において行う。図３に示すような複数カメラ間の画像の位置合わせをする場合の特徴点（ＲＧＢ画素値）とは異なり、本発明では位置整合ではなく色合わせ（ＲＧＢの整合）であるので、図４に説明するように図４（ａ）の四角枠２のような領域のＲＧＢ画素値を利用する。仮に、図４（ａ）の四角枠１の領域を利用しようとすれば、数画素の位置ズレで画素値が大きく異なってしまう（図４（ｂ）のグレー楕円範囲に広く分布）ことから、本発明の色合わせに利用する対象領域としては好ましくない。このため、画像の中から色合わせに適切な領域を選択抽出する（ＲＧＢヒストグラム）処理を行うことが好ましい。図５はそのようなヒストグラムをＲＧＢ毎に３２分割にしてヒストグラム平均値点データを正規化プロットしたものである。（ここで、３２分割に限定されるものでは無く６４分割でも良く任意とできる）２つの撮像映像間で色が整合されていなければ、このプロットが互いに一致せずにズレてプロットされることとなる（図８乃至図１０等参照）。逆に色整合が図れていればプロットは一致する。

また、モノクロ画像の場合には、ＲＧＢがすべて同じ値になるから、すべての画素値は、ＲＧＢ（０，０，０）黒からＲＧＢ（２５５，２５５，２５５）（正規化した場合は（１，１，１））白までの、一直線上にプロット表現されるものであるが、カラー画像の場合には、ＲＧＢ値が異なる値を取る画素が現れるから、一直線上には並ばず、点群として見える。そして、現実の画像をプロットした場合には重なってプロットされる点データがあるので、表面化処理により最手前のプロット（最表面）のみを抽出して奥に隠れるプロットは無視する。これにより、従来ＸＹＺ空間で利用していたアルゴリズムを適用することができて利用可能となる。

２つの画素の対応付けにおいては、対応する画素が現実には存在しない場合（例えば参照画像ヒストグラムデータが１００プロットで入力画像が９０プロット等）も生じ得るが、ＲＧＢヒストグラム点データを最近傍点対応（一対一化）により、対応付けられた点データに対して、重み反復最小二乗法による対応付け推定を行う。本発明の典型例の特徴としては、３次元ＲＧＢ色空間におけるヒストグラム点データのマッチングを、表面化と最近傍点対応（一体一化）により行い、ヒストグラム点データの共分散行列を考慮してパラメータ推定の最適化を実行する。さらに事後的に最適補正することでモデル選択を実行して過当てはめの問題をも回避する。

すなわち、最も一般的なアフィン変換では計算はできてもオーバーフィッティングにより好ましくない補正結果が得られてしまう場合もあることから、剛体変換や相似変換も含めたモデルの中から最適な幾何学モデルを選択できるものとすることが好ましい。

本書面中で説明している画像シミュレーションでは、３次元ＲＧＢ色空間に対して、３次元アフィン変換を最も自由度の高い一般モデルとして最適に推定し、その最適解に対して事後的な最適補正を行うことにより、部分モデルである相似変換、剛体変換を推定し、それら３つの幾何学変換に対して、幾何学的モデル選択を行った。

しかし、一般モデルとして３次元アフィン変換以外、例えば、３次元射影変換、双線形変換、高次の多項式変換等のさらに自由度の高い幾何学変換モデルを用いても良いし、その最適な推定を超精度くりこみ法により推定した最適解を用いて、同様に事後的な最適補正を行うことにより、部分モデルを推定し、すべての部分モデルに対して、幾何学的ＡＩＣ或いは幾何学的ＭＤＬを計算して、それぞれが最小となるモデルを選べば良い。

ここで言う部分モデルとは、一般モデルの特定のパラメータ値が０である、パラメータ間に特別な関係（制約）がある等の一般モデルより自由度の低いモデルのことを意味する。

例えば、３次元のアフィン変換は並進（平行移動）、回転、スケール変化（拡大縮小）、せん断変形の組み合わせからなるので、並進、回転、スケール変化、せん断変形の任意の組み合わせにより部分モデルを生成することが可能となる。その内の並進と回転の組み合わせが剛体変換であり、さらにスケール変化を組み合わせると相似変換になる。部分モデルとしては、剛体変換、相似変換のみに限るものではない。

すなわち、アフィン変換は、３次元ＲＧＢ色空間における並進（平行移動）、回転、スケール変化（拡大縮小）、せん断変形の組み合わせになり、剛体変換は、並進と回転、相似変換はさらにスケール変化が加わったものである。しかし、幾何学変換はアフィン変換に限定されるものではなく、もっと複雑な変換、すなわち、パラメータ数の多い（自由度の高い）変換も知られている。それでも、最もパラメータ数の多いモデルを一般モデルとして、その部分モデル、すなわち、よりパラメータ数の少ない（自由度の低い）モデルを最適補正により推定することもできるし、もちろん、それらの中から当てはまりの良さと複雑さ（自由度）をトレードオフするモデルを幾何学的モデル選択することも可能である。本書面における具体的例示では、アフィン変換を一般モデルとして、アフィン変換を最適化した後、相似、剛体変換の２つのモデルを最適補正により推定して、３つのモデルの中からモデル選択した場合について説明しているものである。

上述の実施形態で説明した開示内容は、その具体的な説明実例に限定されるものではなく、本発明の技術思想の範囲内において、当業者の知り得る公知技術または周知技術を適宜適用して、または／およびアレンジして、利用することが可能である。

本発明は、映像機器全般、特に、映像制作に用いられる色調整作業を伴う業務用映像機器や各種カメラやテレビ受像機・映像録画再生機等における様々な映像機器に好適である。

Claims

ＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理方法において、
基準となる参照画像（reference）の色と、入力画像（input）の色と、を比較して色合わせをするＲＧＢヒストグラム点群マッチング（RGB Histogram Point Matching）処理を行う
ことを特徴とするＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理方法。
請求項１に記載のＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理方法において、
前記方法は、前記参照画像（reference）に前記入力画像（input）の色明るさを整合させるために、両方の３次元ＲＧＢ画素値ヒストグラム点データをそれぞれ計算して、ＲＧＢヒストグラム点群マッチング（RGB Histogram Point Matching）処理を行い、前記入力画像（input）を色補正するための色補正パラメータ（Color Correct Parameter）を推定する
ことを特徴とするＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理方法。
請求項２に記載のＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理方法において、
前記色補正パラメータ（Color Correct Parameter）を前記入力画像（input）に適用して補正する段階をさらに有する
ことを特徴とするＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理方法。
請求項３に記載のＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理方法において、
前記補正された入力画像（input）を出力する段階をさらに有する
ことを特徴とするＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理方法。
ＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理装置において、
基準となる参照画像（reference）の色と、入力画像（input）の色と、を比較して色合わせをするＲＧＢヒストグラム点群マッチング（RGB Histogram Point Matching）処理部を備える
ことを特徴とするＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理装置。
請求項５に記載のＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理装置において、
前記装置は、前記参照画像（reference）に前記入力画像（input）の色明るさを整合させるために、両方の３次元ＲＧＢ画素値ヒストグラム点データをそれぞれ計算して、ＲＧＢヒストグラム点群マッチング（RGB Histogram Point Matching）処理を行い、前記入力画像（input）を色補正するための色補正パラメータ（Color Correct Parameter）を推定する
ことを特徴とするＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理装置。
請求項６に記載のＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理装置において、
前記色補正パラメータ（Color Correct Parameter）を前記入力画像（input）に適用して補正する色補正（Color Correct）部をさらに備える
ことを特徴とするＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理装置。
請求項７に記載のＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理装置において、
前記色補正（Color Correct）部は、前記補正された入力画像（input）を出力する
ことを特徴とするＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理装置。
異なる視点から撮影された画像間のカラーマッチング処理方法において、
３次元ＲＧＢ色空間における画素値の３次元幾何学変換を用いた色補正を、画素値の３次元ＲＧＢヒストグラムから、ヒストグラム各区間内の画素値の平均値によるヒストグラム点データを計算し、最近傍探索による画像間のヒストグラム点データの対応付けと３次元幾何学変換の推定を繰り返すことにより、アウトライアを除去するとともにヒストグラム点データの対応を確定し、確定したヒストグラム点データの対応に対して、データの共分散行列を考慮した統計的に最適な方法により３次元幾何学変換の最適化を行い、高自由度の色補正モデルの最適推定の結果に制約条件を課して、事後的に補正する
ことを特徴とする異なる視点から撮影された画像間のカラーマッチング処理方法。
異なる視点から撮影された画像間のカラーマッチング処理装置において、
３次元ＲＧＢ色空間における画素値の３次元幾何学変換を用いた色補正を、画素値の３次元ＲＧＢヒストグラムから、ヒストグラム各区間内の画素値の平均値によるヒストグラム点データを計算し、最近傍探索による画像間のヒストグラム点データの対応付けと３次元幾何学変換の推定を繰り返すことにより、アウトライアを除去するとともにヒストグラム点データの対応を確定し、確定したヒストグラム点データの対応に対して、データの共分散行列を考慮した統計的に最適な方法により３次元幾何学変換の最適化を行い、高自由度の色補正モデルの最適推定の結果に制約条件を課して、事後的に補正する
ことを特徴とする異なる視点から撮影された画像間のカラーマッチング処理装置。
請求項１乃至請求項４のいずれか一項に記載のＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理方法において、
前記ＲＧＢヒストグラム点群マッチング（RGB Histogram Point Matching）処理は、ＲＧＢヒストグラムビン中の画素値の平均値をヒストグラム点データとして利用するものである
ことを特徴とするＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理方法。
請求項５乃至請求項８のいずれか一項に記載のＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理装置において、
前記ＲＧＢヒストグラム点群マッチング（RGB Histogram Point Matching）部は、ＲＧＢヒストグラムビン中の画素値の平均値をヒストグラム点データとして利用する
ことを特徴とするＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理装置。
請求項９に記載の異なる視点から撮影された画像間のカラーマッチング処理方法において、
前記ヒストグラム点データは、ＲＧＢヒストグラムビン中の画素値の平均値を利用するものである
ことを特徴とする異なる視点から撮影された画像間のカラーマッチング処理方法。
請求項１０に記載の異なる視点から撮影された画像間のカラーマッチング処理装置において、
前記ヒストグラム点データは、ＲＧＢヒストグラムビン中の画素値の平均値を利用するものである
ことを特徴とする異なる視点から撮影された画像間のカラーマッチング処理装置。
請求項１１に記載のＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理方法において、
前記ヒストグラム点データは、ある方向から見た時に最も手前にあるデータを抽出することにより、データ同士の重なりを除去する表面化処理により処理される
ことを特徴とするＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理方法。
請求項１２に記載のＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理装置において、
前記ヒストグラム点データは、ある方向から見た時に最も手前にあるデータを抽出することにより、データ同士の重なりを除去する表面化処理により処理される
ことを特徴とするＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理装置。
請求項１３に記載の異なる視点から撮影された画像間のカラーマッチング処理方法において、
前記ヒストグラム点データは、ある方向から見た時に最も手前にあるデータを抽出することにより、データ同士の重なりを除去する表面化処理により処理される
ことを特徴とする異なる視点から撮影された画像間のカラーマッチング処理方法。
請求項１４に記載の異なる視点から撮影された画像間のカラーマッチング処理装置において、
前記ヒストグラム点データは、ある方向から見た時に最も手前にあるデータを抽出することにより、データ同士の重なりを除去する表面化処理により処理される
ことを特徴とする異なる視点から撮影された画像間のカラーマッチング処理装置。
請求項１５に記載のＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理方法において、
前記表面化処理の前に、それぞれの画像のＲＧＢ画素値による３次元ＲＧＢヒストグラム点とその共分散行列を計算する段階をさらに有する
ことを特徴とするＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理方法。
請求項１５に記載のＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理方法において、
前記ＲＧＢヒストグラム点群マッチング（RGB Histogram Point Matching）処理は、点データ同士の最近傍探索（一対一化）と重み反復最小二乗法により、点データ同士の対応付けを確定する処理を含む
ことを特徴とするＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理方法。
請求項１６に記載のＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理装置において、
前記表面化処理の前に、それぞれの画像のＲＧＢ画素値による３次元ＲＧＢヒストグラム点とその共分散行列を計算する計算部をさらに備える
ことを特徴とするＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理装置。
請求項１６に記載のＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理装置において、
前記ＲＧＢヒストグラム点群マッチング（RGB Histogram Point Matching）処理部は、点データ同士の最近傍探索（一対一化）と重み反復最小二乗法により、点データ同士の対応付けを確定する処理を遂行するものである
ことを特徴とするＲＧＢ画素値ヒストグラム点群マッチングによる自動色補正処理装置。
請求項９に記載の方法において、
前記３次元幾何学変換は、一般モデルとして、並進（平行移動）、回転、スケール変化（拡大縮小）、せん断変形の組み合わせからなる３次元アフィン変換、または３次元射影変換、または双線形変換、または高次の多項式変換のいずれかである、
ことを特徴とする異なる視点から撮影された画像間のカラーマッチング処理方法。
請求項２３に記載の方法において、
前記３次元幾何学変換が３次元アフィン変換の場合には、部分モデルは、並進、回転、スケール変化、せん断変形の任意の組み合わせに基づくものである
ことを特徴とする異なる視点から撮影された画像間のカラーマッチング処理方法。
請求項２４に記載の方法において、
前記部分モデルは、並進と回転の組み合わせの剛体変換及び剛体変換にスケール変化を組み合わせる相似変換である
ことを特徴とする異なる視点から撮影された画像間のカラーマッチング処理方法。
請求項１０に記載の装置において、
前記３次元幾何学変換は、一般モデルとして、並進（平行移動）、回転、スケール変化（拡大縮小）、せん断変形の組み合わせからなる３次元アフィン変換、または３次元射影変換、または双線形変換、または高次の多項式変換のいずれかである
ことを特徴とする異なる視点から撮影された画像間のカラーマッチング処理装置。
請求項２６に記載の装置において、
前記３次元幾何学変換が３次元アフィン変換の場合には、部分モデルは、並進、回転、スケール変化、せん断変形の任意の組み合わせに基づくものである
ことを特徴とする異なる視点から撮影された画像間のカラーマッチング処理装置。
請求項２７に記載の装置において、
前記部分モデルは、並進と回転の組み合わせの剛体変換、及び前記剛体変換にスケール変化を組み合わせる相似変換である
ことを特徴とする異なる視点から撮影された画像間のカラーマッチング処理装置。
下記の各ステップを順次にコンピュータで遂行させるカラーマッチングの処理方法であって、
１）入力画像からＲＧＢ画素値のヒストグラムを計算するステップ、
２）ヒストグラム各区間内（ヒストグラムビン中）の画素値の平均値によるヒストグラム点データとその共分散行列を計算するステップ、
３）表面化処理により前記ヒストグラム点データ同士の重なりを除去するステップ、
４）画像間のヒストグラム点データ同士を最近傍探索により対応付け（一対一化）による重み反復最小二乗法（“Ｍ推定”）をするステップ、
５）インライア対応点に対して超精度くりこみ法による最適推定をするステップ、
６）幾何学変換の最適推定結果にモデル制約を課した最適補正によって、事後的に補正することにより、より低自由度の色補正モデルである部分モデルの推定をするステップ、
７）複数の色補正モデルとなる幾何学的モデルを選択するステップ、
８）ヒストグラム点群マッチング処理の結果の色補正パラメータを用いて、色補正処理をするステップ、を有する
ことを特徴とするコンピュータによるカラーマッチングの処理方法。
請求項２９に記載の処理方法において、
前記重み反復最小二乗法（“Ｍ推定”）を構成する計算手続きは、
４－１）最近傍対応点の計算をするステップ、
４－２）位置合わせの計算をするステップ、
４－３）位置合わせ結果によるデータ形状の変換（補正）をするステップ、を含む
ことを特徴とするコンピュータによるカラーマッチングの処理方法。
請求項２９または請求項３０に記載の処理方法において、
前記５）インライア対応点に対して超精度くりこみ法による最適推定をするステップは、
最近傍探索により対応付けられた前記ヒストグラム点データ間の幾何学変換の推定を行う変換推定処理と、
前記最近傍探索による対応付けと幾何学変換の推定を反復することにより確定したヒストグラム点データ対応に対して、データの共分散行列を考慮した統計的に最適な方法により幾何学変換を最適化する最適計算処理と、を含む
ことを特徴とするコンピュータによるカラーマッチングの処理方法。