JP2012238932A - 3d automatic color correction device and color correction method and color correction program - Google Patents
3d automatic color correction device and color correction method and color correction program Download PDFInfo
- Publication number
- JP2012238932A JP2012238932A JP2011104794A JP2011104794A JP2012238932A JP 2012238932 A JP2012238932 A JP 2012238932A JP 2011104794 A JP2011104794 A JP 2011104794A JP 2011104794 A JP2011104794 A JP 2011104794A JP 2012238932 A JP2012238932 A JP 2012238932A
- Authority
- JP
- Japan
- Prior art keywords
- color correction
- color
- probability density
- correction parameter
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明は、比較的安価で容易に３Ｄの色補正を実現する３Ｄ自動色補正装置とその色補正方法等に関する。 The present invention relates to a 3D automatic color correction apparatus that easily realizes 3D color correction at a relatively low cost, a color correction method thereof, and the like.
３Ｄ映像の撮影は、２台のカメラによる人間の目のシミュレートであり、２台のカメラの明るさ・色を揃えないと，見やすく安全な３Ｄ映像にはならない。さらには、２台のカメラを単に横に並べて撮影したのでは人間が目で見るのと同じにはならない。 The shooting of 3D video is a simulation of the human eye by two cameras. If the brightness and color of the two cameras are not aligned, it will not be easy to view and safe 3D video. Furthermore, taking two cameras side by side is not the same as human eyes seeing.
また、人間の目の間隔は平均的な大人で約６．５ｃｍであり、それに対応する視差を実現するために、３Ｄリグと称される特別な撮影器具を使うことが知られている。３Ｄリグは、ハーフミラーを使用しているので、必然的に反射映像と透過映像とで明るさ・色が違ってしまう。 Further, the distance between human eyes is about 6.5 cm for an average adult, and it is known to use a special photographing instrument called a 3D rig in order to realize the corresponding parallax. Since the 3D rig uses a half mirror, the brightness and color are inevitably different between the reflected image and the transmitted image.
カラーチャート（色票）を用いて３Ｄ映像の色補正を遂行する場合には、３Ｄ映像データの先頭フレームにおいて、予めカラーチャートを撮影しておく必要がある。しかし、現実の撮影シーン等においては、３Ｄ映像データの先頭フレームにおいて予めカラーチャートを撮影することが困難な場面も少なくない。また、例えば３Ｄ映像の撮影途中において、再度のキャリブレーションが必要となる場合も想定される。 When performing color correction of 3D video using a color chart (color chart), it is necessary to photograph the color chart in advance in the first frame of 3D video data. However, in an actual shooting scene or the like, there are many scenes in which it is difficult to capture a color chart in advance in the first frame of 3D video data. In addition, for example, a case where recalibration is necessary during the shooting of 3D video is also assumed.
一方、取り込んだ映像中の物体の特徴点を抽出して、その特徴点の色レベルを対応する二つの映像間で対応付けすることにより、３Ｄ映像の自動色補正を遂行する色補正方法がカラーチャートを利用しない色補正として知られている。しかしこのような色補正方法においては、映像からの特徴点の抽出処理や、抽出した特徴点同士の対応付けに要する処理量が比較的大きく、処理時間や処理コストが増大するものとなる。 On the other hand, a color correction method that performs automatic color correction of 3D video by extracting feature points of an object in the captured video and associating the color levels of the feature points between the two corresponding videos is a color correction method. This is known as color correction without using a chart. However, in such a color correction method, the processing amount required for extracting feature points from the video and associating the extracted feature points with each other is relatively large, which increases processing time and processing cost.
本発明はこのような問題点に鑑みなされたものであり、カラーチャート等の参照板を用いなくても、低コストかつ安定して、映像から自動的に色補正パラメータを算出し、左右映像間の色補正を遂行することができる３Ｄ映像のための自動色補正装置を提供することを目的とする。 The present invention has been made in view of such a problem, and without using a reference plate such as a color chart, the color correction parameter is automatically calculated from the image at low cost and stably, and the left and right images are separated. It is an object of the present invention to provide an automatic color correction apparatus for 3D images that can perform color correction.
本発明の色補正装置は、撮影して取得した二つの映像間において色補正を遂行する色補正装置において、取得した二つの映像から画素値の色ヒストグラムを各々算出する色ヒストグラム算出部と、色ヒストグラム算出部が算出した色ヒストグラムから確率密度関数を各々算出する確率密度関数算出部と、確率密度算出部が算出した各々の確率密度関数からロバストＭ推定による色補正パラメータを算出する色補正パラメータ算出部とを備え、色補正パラメータ算出部が算出した色補正パラメータを、取得した二つの映像の少なくともいずれか一方に適用して色補正することを特徴とする。 The color correction device of the present invention is a color correction device that performs color correction between two images acquired by photographing, a color histogram calculation unit that calculates a color histogram of pixel values from the two acquired images, A probability density function calculation unit that calculates a probability density function from the color histogram calculated by the histogram calculation unit, and a color correction parameter calculation that calculates a color correction parameter by robust M estimation from each probability density function calculated by the probability density calculation unit A color correction parameter calculated by the color correction parameter calculation unit is applied to at least one of the two acquired images to perform color correction.
また、本発明の色補正装置は、好ましくは二つの映像が、３Ｄ映像用の右画像と左画像とであることを特徴とする。 In the color correction apparatus of the present invention, it is preferable that the two videos are a right image and a left image for 3D video.
また、本発明の色補正装置は、さらに好ましくはレベル制約によるホワイトバランスを維持した色補正パラメータを算出するか、または、時間方向の滑らかさの制約による平滑化作用を伴った色補正パラメータを算出するか、の少なくともいずれかの色補正パラメータを算出することを特徴とする。 In addition, the color correction apparatus of the present invention more preferably calculates a color correction parameter that maintains white balance due to level constraints, or calculates a color correction parameter with a smoothing effect due to smoothness constraints in the time direction. Or at least one of the color correction parameters is calculated.
また、本発明の色補正装置は、さらに好ましくは色補正パラメータ算出部が、取得した二つの映像の各確率密度関数の差が最小となる色補正パラメータを算出することを特徴とする。ここで、各確率密度関数の差を最小とすることについて、各確率密度関数の差の二乗が最小となるように計算するのが最小二乗法（コスト関数の一つ）であり、さらに好ましくは各確率密度関数の差のロバスト推定関数（コスト関数の他の一つ）が最小となるように色補正パラメータを計算する。 In the color correction apparatus of the present invention, it is more preferable that the color correction parameter calculation unit calculates a color correction parameter that minimizes the difference between the probability density functions of the two acquired images. Here, with respect to minimizing the difference between the probability density functions, the least square method (one of the cost functions) is preferably calculated so that the square of the difference between the probability density functions is minimized. The color correction parameter is calculated so that the robust estimation function (the other one of the cost functions) of the difference between the probability density functions is minimized.
また、本発明の色補正方法は、上述のいずれかに記載の色補正装置における色補正方法であって、取得した二つの映像から画素値の色ヒストグラムを各々算出する色ヒストグラム算出工程と、色ヒストグラム算出工程で算出された色ヒストグラムから確率密度関数を各々算出する確率密度関数算出工程と、確率密度算出工程で算出された各々の確率密度関数からロバストＭ推定による色補正パラメータを算出する色補正パラメータ算出工程と、色補正パラメータ算出工程で算出された色補正パラメータを、取得した二つの映像の少なくともいずれか一方に適用して色補正する工程とを有することを特徴とする。 Further, the color correction method of the present invention is a color correction method in the color correction apparatus according to any one of the above, and a color histogram calculation step of calculating a color histogram of pixel values from two acquired images, A probability density function calculating step for calculating each probability density function from the color histogram calculated in the histogram calculating step, and a color correction for calculating a color correction parameter by robust M estimation from each probability density function calculated in the probability density calculating step The method includes a parameter calculation step and a step of applying a color correction parameter calculated in the color correction parameter calculation step to at least one of the two acquired images to perform color correction.
また、本発明の色補正方法は、好ましくは二つの映像が、３Ｄ映像用の右画像と左画像とであることを特徴とする。 The color correction method of the present invention is preferably characterized in that the two videos are a right image and a left image for 3D video.
また、本発明の色補正方法は、さらに好ましくはレベル制約によるホワイトバランスを維持した色補正パラメータを算出するか、または、時間方向の滑らかさの制約による平滑化作用を伴った色補正パラメータを算出するか、の少なくともいずれかの色補正パラメータを算出することを特徴とする。 In the color correction method of the present invention, it is more preferable to calculate a color correction parameter that maintains white balance due to level constraints, or to calculate a color correction parameter with a smoothing effect due to smoothness constraints in the time direction. Or at least one of the color correction parameters is calculated.
また、本発明の色補正方法は、さらに好ましくは色補正パラメータ算出工程において、取得した二つの映像の各確率密度関数の差が最小となる色補正パラメータを算出することを特徴とする。 The color correction method of the present invention is more preferably characterized in that, in the color correction parameter calculation step, the color correction parameter that minimizes the difference between the probability density functions of the two acquired images is calculated.
また、本発明のプログラムは、上述のいずれかに記載の色補正方法の各工程をコンピュータに順次遂行させることを特徴とする。 A program according to the present invention causes a computer to sequentially execute each step of the color correction method described above.
また、本発明の記憶媒体は、上述のプログラムが格納されたコンピュータが読み取り可能な記憶媒体であることを特徴とする。 A storage medium of the present invention is a computer-readable storage medium storing the above-described program.
カラーチャート等の参照板を用いなくても、低コストかつ安定して、映像から自動的に色補正パラメータを算出し、左右映像間の色補正を遂行することができる３Ｄ映像のための自動色補正装置を提供できる。 Automatic color for 3D video that can automatically calculate color correction parameters from video and perform color correction between left and right video without using a reference plate such as a color chart, etc. A correction device can be provided.
実施形態で説明する色補正装置は、典型的には３Ｄ映像のための自動色補正装置である。この自動色補正装置は、カラーチャート（色票）のような特別な参照板を用いることなく、取得した映像のみから自動的に色補正パラメータを低コストで安定的に推定する。 The color correction apparatus described in the embodiment is typically an automatic color correction apparatus for 3D video. This automatic color correction apparatus automatically estimates color correction parameters at low cost and stably from only acquired images without using a special reference plate such as a color chart (color chart).
この自動色補正装置は、推定した色補正パラメータを用いて３Ｄ映像の左右映像間の色補正を遂行する。従来、カラーチャート等の既知の参照板を撮影して、その色レベルを利用して色補正のための各種パラメータを計算する方法が知られている。各種パラメータには、例えばＲＧＢホワイト／ブラック／ガンマレベル等がある。 This automatic color correction apparatus performs color correction between the left and right images of the 3D image using the estimated color correction parameters. Conventionally, a method is known in which a known reference plate such as a color chart is photographed and various parameters for color correction are calculated using the color level. The various parameters include, for example, RGB white / black / gamma level.
また、従来カラーチャートを用いない場合には、映像中の物体の特徴的な点（例えばコーナー）を抽出して、その特徴的な点の色レベルを左右映像間で対応付けすることにより色補正のための各種パラメータを計算する方法が知られている。 If a conventional color chart is not used, color correction is performed by extracting a characteristic point (for example, a corner) of an object in the video and associating the color level of the characteristic point between the left and right images. Methods for calculating various parameters for the are known.
本実施形態においては、取得した映像中の画素値のヒストグラムから核関数により確率密度関数を計算し、二つの画像間の確率密度関数の差が最小となるように色補正パラメータを推定する色補正装置を提案する。二つの画像は、典型的には３Ｄ映像用の左画像と右画像とである。従って、二つの画像には、視差等に起因する多少のオクル−ジョン（隠れ）が存在してもよい。 In the present embodiment, color correction is performed by calculating a probability density function using a kernel function from a histogram of pixel values in an acquired video and estimating a color correction parameter so that a difference between the probability density functions between two images is minimized. Propose the device. The two images are typically a left image and a right image for 3D video. Accordingly, the two images may have some occlusion (hidden) due to parallax or the like.
この自動色補正装置は、映像中の画素値のヒストグラムを核関数により確率密度関数として表現することにより、理論的に厳密な扱いが可能となり、各種統計的な手法が適用可能となる。 This automatic color correction apparatus can theoretically handle strictly by expressing a histogram of pixel values in a video as a probability density function by a kernel function, and various statistical methods can be applied.
実施形態では、観測誤差や色空間におけるレベル飽和によるガマット（色域）誤差、さらには、３Ｄ映像における左右の映像の視差によるオクルージョンの影響を軽減するための”ロバストＭ推定法（総称である「ロバスト推定」に対して、ロバストＭ推定法を単に「Ｍ推定法」と称することもある）”を適用する。また、出願人は、自動色補正装置の効果について、画像シミュレーションにより実験的に確認した。 In the embodiment, a “robust M estimation method (generic name)” is used to reduce the influence of occlusion due to parallax between left and right images in 3D images, as well as gamut (color gamut) errors due to level errors in color space. The robust M estimation method is sometimes simply referred to as “M estimation method” ”. Also, the applicant experimentally confirms the effect of the automatic color correction device by image simulation. did.
また、自動色補正装置における色補正パラメータの推定処理は、一度映像からヒストグラムを計算した後は、すべてヒストグラム及び確率密度関数上で演算処理が行われる。このため、画像に立ち返って、画像とヒストグラム間との変換処理を繰り返す必要がないので、色補正処理に要するコストは極めて軽減されるものとなる。 In addition, the estimation process of the color correction parameter in the automatic color correction apparatus is performed on the histogram and the probability density function after calculating the histogram from the video once. For this reason, since it is not necessary to return to the image and repeat the conversion process between the image and the histogram, the cost required for the color correction process is greatly reduced.
画像の濃淡処理に画素値のヒストグラムを用いる方法は従来知られているが、実施形態の自動色補正装置においては、ヒストグラムを核関数により確率密度関数として表現することにより、理論的に厳密な扱いが可能となり、各種統計的な手法が適用可能になることから、様々な誤差等による問題に対応できることが期待できる。 A method of using a histogram of pixel values for image shading processing is conventionally known. However, in the automatic color correction apparatus of the embodiment, the histogram is expressed as a probability density function by a kernel function, so that it can be handled theoretically strictly. Since various statistical methods can be applied, it can be expected that problems due to various errors can be dealt with.
また、レベル制約条件を課すことにより、カラーバランスを厳密に保った色補正処理を行うことが可能となる。また、時間方向の滑らかさの制約を課すことにより、様々な誤差等による影響をも軽減し、カラーバランスも厳密に保つとともに、時系列における安定な推定も可能となります。この自動色補正装置は、上述したような、発展性・拡張性を有するものである。 In addition, by imposing a level constraint condition, it is possible to perform color correction processing that strictly maintains color balance. In addition, by imposing constraints on smoothness in the time direction, the effects of various errors can be reduced, color balance can be maintained strictly, and stable estimation in time series becomes possible. This automatic color correction apparatus has the expandability and expandability as described above.
自動色補正装置は、映像から画素値のヒストグラムを計算して、それを核関数により確率密度関数として表現する工程と、それを用いて色補正のための各種パラメータを計算する工程と、色補正のための各種パラメータを用いて色補正等処理を遂行する工程とを行う。 An automatic color correction device calculates a pixel value histogram from an image and expresses it as a probability density function using a kernel function, and uses it to calculate various parameters for color correction, and color correction And performing a process such as color correction using various parameters for.
自動色補正装置は、映像の画素値のヒストグラムから、核関数により確率密度関数として表現することにより、解析的な関数として数値の演算処理として扱うことができる。すなわち、自動色補正装置は、理論的にも数値計算的にも勾配の計算、すなわち、微分演算を行うことが可能となる。 The automatic color correction device can be treated as a numerical calculation process as an analytical function by expressing a probability density function by a kernel function from a histogram of image pixel values. That is, the automatic color correction apparatus can perform gradient calculation, that is, differential operation both theoretically and numerically.
自動色補正装置は、解析的な微分可能な関数として扱うことができるので、統計的な手法が実行可能となり、様々な問題を解決することができる。自動色補正装置は、全体としてはハードウェア製品であるが、色補正のためのパラメータ計算については、ソフトウェアにより演算処理を実行し、色補正処理自体はハードウェアにより実行することもできる。 Since the automatic color correction apparatus can be handled as an analytically differentiable function, a statistical method can be executed and various problems can be solved. The automatic color correction apparatus is a hardware product as a whole, but parameter calculation for color correction can be executed by software, and the color correction process itself can be executed by hardware.
一方、自動色補正装置は、すべての処理を完全にソフトウェアにより実行してもよい。また、ベースバンドビデオ信号入出力のみならず、ＭＸＦ動画ファイルによる入出力、およびベースバンドビデオ信号を入力して、これを処理して、ＭＸＦ動画ファイルとして出力する等、様々な展開が考えられる。 On the other hand, the automatic color correction apparatus may execute all the processes completely by software. In addition to input / output of a baseband video signal, various developments are conceivable, such as input / output by an MXF moving image file and input of a baseband video signal, processing this, and outputting it as an MXF moving image file.
また、３Ｄ映像としてのフォーマットも、左右映像の直接入力（デュアルリンク）、サイドバイサイド変換、フレーム／フィールドシーケンシャル等、各種フォーマットに対しても適用可能である。 The format of 3D video can also be applied to various formats such as direct input (dual link) of left and right video, side-by-side conversion, and frame / field sequential.
自動色補正装置は、色補正処理を例えばＲＧＢの３次元色空間にて行ってもよく、ビデオ信号における自然な色空間である輝度色差色空間やその他の色空間における色補正処理としてもよい。実施形態で説明する自動色補正装置は、そのような異なる色空間における適用も可能である。 The automatic color correction apparatus may perform color correction processing in, for example, an RGB three-dimensional color space, or may be color correction processing in a luminance color difference color space, which is a natural color space in a video signal, or in other color spaces. The automatic color correction apparatus described in the embodiment can be applied in such a different color space.
図１は、実施形態で提案する自動色補正装置１０００の構成概要を説明するブロック図である。図１においては、説明の便宜上の観点から、特徴的な機能のみを説明して示したブロック図としているが、公知の色補正装置の図示しない他の機能を有していてもよい。
FIG. 1 is a block diagram for explaining an outline of the configuration of an automatic
図１に示すように自動色補正装置１０００は、取得した左映像入力に基づいて色ヒストグラムを生成する色ヒストグラム演算部１００を備える。また、自動色補正装置１０００は、色ヒストグラム演算部１００で生成された色ヒストグラムに基づいて核関数により確率密度関数を算出する確率密度関数演算部３００を備える。
As shown in FIG. 1, the automatic
確率密度関数演算部３００は、いわゆるディスクリートな色ヒストグラムを連続的に演算処理可能な関数へと変換する。
The probability density
また、自動色補正装置１０００は、取得した右映像入力に基づいて色ヒストグラムを生成する色ヒストグラム演算部２００を備える。また、自動色補正装置１０００は、色ヒストグラム演算部２００で生成された色ヒストグラムに基づいて核関数により確率密度関数を算出する確率密度関数演算部４００を備える。
The automatic
また、自動色補正装置１０００は、確率密度関数演算部３００で算出された左映像の確率密度関数と、確率密度関数演算部４００で算出された右映像の確率密度関数と、から色補正パラメータを算出する色補正パラメータ算出部５００を備える。
The automatic
ここで、自動色補正装置１０００の色補正パラメータ算出部５００は、最小二乗法等によらず、ロバストＭ推定を適用することにより、左右の確率密度関数の差異が最小となるように色補正パラメータを算出する。
Here, the color correction
ロバストＭ推定はＨｕｂｅｒが提唱した手法であって、複数の手法が知られているロバスト推定のうちのひとつである。ロバストＭ推定の基本概念及び基本理論それ自体については、例えば、Ｐ．Ｊ．Ｈｕｂｅｒ，Ｒｏｂｕｓｔ Ｓｔａｔｉｓｔｉｃｓ，Ｗｉｌｅｙ，１９８１，２００４．に記載されていることが知られており、画像から物体の動きを推定する場合にロバストＭ推定を用いることについては、例えばＭ．Ｊ.Ｂｌａｃｋ ａｎｄ Ｐ.Ａｎａｎｄａｎ，Ｔｈｅ ｒｏｂｕｓｔ ｅｓｔｉｍａｔｉｏｎ ｏｆ ｍｕｌｔｉｐｌｅ ｍｏｔｉｏｎｓ：ｐａｒａｍｅｔｒｉｃ ａｎｄ ｐｉｅｃｅｗｉｓｅ−ｓｍｏｏｔｈ ｆｌｏｗ ｆｉｅｌｄｓ， Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ，６３−１（１９９６），７５−１０４.に記載されており、また例えば、Ｐ.Ｊ.Ｈｕｂｅｒ，Ｒｏｂｕｓｔ Ｓｔａｔｉｓｔｉｃｓ，Ｗｉｌｅｙ，１９８１，２００４.に記載されており、また例えば、Ｈ.Ｓ.Ｓａｗｈｎｅｙ ａｎｄ Ｓ.Ａｙｅｒ，Ｃｏｍｐａｃｔ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｏｆ ｖｉｄｅｏｓ ｔｈｒｏｕｇｈ ｄｏｍｉｎａｎｔ ａｎｄ ｍｕｌｔｉｐｌ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， １８−８（１９９６），８１４−８３０．等に記載されていることが知られているので、ここでは詳述を避ける。 The robust M estimation is a technique proposed by Huber and is one of the robust estimations for which a plurality of techniques are known. For the basic concept of the robust M estimation and the basic theory itself, see, for example, P.I. J. et al. Huber, Robust Statistics, Wiley, 1981, 2004. As described in Japanese Patent Application Laid-Open No. H11-218, for example, the use of robust M estimation when estimating the motion of an object from an image is described in, for example, M.S. J. Black and P. Anandan, The robust estimation of multiple motions: Parametric and Piecewise-smooth flow fields, 96 and Computer Vision and Image 63. J. Huber, Robust Statistics, Wiley, 1981, 2004. For example, H. S. Swhney and S. Ayer, Compact representations of videos and dosimetric entropy and immunity Transactions on Pattern Analysis Machine Intelligence, 18-8 (1996), 814-830. Since it is known that it is described in the above, detailed description is avoided here.
また、自動色補正装置１０００は、算出された色補正パラメータを右映像の入力信号に対して適用して色補正を遂行する色補正処理部６００を備える。色補正処理がされた右映像信号は、色自動補正装置１０００から色補正後の右映像出力として出力される。
The automatic
これにより、自動色補正装置１０００は、誤差の問題やサチュレーション（白飛び）等のガマット誤差の問題等に対応することが可能となり、オクルージョンへの対応も可能となるので、これらの誤差等の諸問題を克服可能となる。
As a result, the automatic
また、自動色補正装置１０００は、映像と色ヒストグラムとの間の変換処理を繰り返し演算する必要がなく、確率密度関数に基づいて繰り返し演算処理をすればよいので、色補正パラメータを算出するまでの間の処理負荷が軽くて済む。従って、自動色補正装置１０００は、比較的低コストで適切な色補正パラメータを算出し、色補正処理をすることができる。
Further, the automatic
また、自動色補正装置１０００は、右映像入力に対して色補正処理を遂行する構成としたが、右映像入力を基準として左映像入力に対して色補正処理を遂行する構成としてもよく、また、右映像入力と左映像入力との両方に色補正処理を遂行する構成としてもよい。
The automatic
図２は、自動色補正装置１０００の色補正パラメータ算出に関する処理フローを説明する図である。
FIG. 2 is a diagram for explaining a processing flow related to color correction parameter calculation of the automatic
（ステップＳ２１０）
自動色補正装置１０００は、３Ｄステレオビデオカメラ等で撮影された左映像入力と右映像入力とを各々取り込む。
(Step S210)
The automatic
（ステップＳ２２０）
自動色補正装置１０００の色ヒストグラム演算部１００は、左映像入力に基づいて、左映像入力に対応する色ヒストグラムを演算処理する。また、自動色補正装置１０００の色ヒストグラム演算部２００は、右映像入力に基づいて、右映像入力に対応する色ヒストグラムを演算処理する。
(Step S220)
The color
（ステップＳ２３０）
自動色補正装置１０００の確率密度関数演算部３００は、色ヒストグラム演算部１００が作成した色ヒストグラムに対応する確率密度関数を演算する。これにより、飛び飛びの値である色ヒストグラムから連続的な数値計算が可能な関数へと変換される。また、自動色補正装置１０００の確率密度関数演算部４００は、色ヒストグラム演算部２００が作成した色ヒストグラムに対応する確率密度関数を演算する。
(Step S230)
The probability density
（ステップＳ２４０）
自動色補正装置１０００の色補正パラメータ算出部５００は、左右の各入力映像に対応する確率密度関数の差異が最小となるように、ロバストＭ推定を適用して色補正パラメータを算出する。自動色補正装置１０００は、右映像入力に対して補正処理を遂行する構成であるので、色補正パラメータ算出部５００は、左映像入力を基準として右映像入力を補正するための色補正パラメータを算出する。
(Step S240)
The color correction
ここで上述の例示に拘わらず、色補正パラメータは、左右の各入力映像のいずれか一方の入力映像を基準として、他方の入力映像に対して補正処理を遂行するための色補正パラメータとしてもよい。また、色補正パラメータは、左右の各入力映像のいずれにも補正処理を遂行するための色補正パラメータとしてもよい。 Regardless of the above example, the color correction parameter may be a color correction parameter for performing correction processing on the other input video with reference to one of the left and right input videos. . Further, the color correction parameter may be a color correction parameter for performing correction processing on both the left and right input images.
（ステップＳ２５０）
自動色補正装置１０００の色補正処理部６００は、右映像入力に対して算出された色補正パラメータを適用して色補正処理を遂行する。
(Step S250)
The color
図８は、自動色補正装置１０００が色補正パラメータを算出する処理工程について概念的に説明する図である。図８（ａ）において取得した左右各々の画像から、画素値について例えば８ビットであれば０〜２５５階調の計２５６階調を横軸として出現頻度を横軸として、図８（ｂ）に示すような色ヒストグラムを色ヒストグラム演算部１００と色ヒストグラム演算部２００とが各々生成する。
FIG. 8 is a diagram conceptually illustrating processing steps in which the automatic
また、生成された左右の画像に各々対応する色ヒストグラムに対して、確率密度関数演算部３００と確率密度関数演算部４００とが、各々核関数により連続的に扱うための正規化処理を遂行する。図８（ｃ）に例示した核関数では、横軸を０〜１で正規化して縦軸を確率密度関数（Ｐ）とし、その面積が「１」となるように処理される。
In addition, the probability density
また、図８（ｃ）に示すような確率密度関数に基づいて色補正パラメータ算出部５００が、ロバストＭ推定を適用して、左右各々の画像に対応する確率密度関数の差が最小となるように色補正パラメータを算出する。この場合に、色補正パラメータ算出部５００は、左右いずれか一方の画像に対応する確率密度関数を基準として、他方の画像に対して補正するように色補正パラメータを算出してもよいし、左右の両方に対して補正するための色補正パラメータを算出してもよい。
Further, the color correction
色補正パラメータ算出部５００が反復演算する場合には、図８（ｃ）に示すような確率密度関数に基づいて処理を遂行するので、画素の値にまで戻って再度色ヒストグラムを繰り返し生成することを要しない。このため、処理負荷が軽くなり、比較的安価で遅滞無く色補正パラメータの算出処理が可能となる。
When the color correction
（３Ｄ映像のための自動色補正）
３Ｄ映像における左右の映像を幾何学的・光学的に一致させることは、実写とコンピュータグラフィックス（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ、ＣＧ）の合成における実カメラと仮想カメラの間の幾何学的・光学的な一致と同様に必須である。見やすく、かつ安全な３Ｄ映像を制作するためにも欠かせない。本実施形態では、そのような３Ｄ映像における左右の映像の色・明るさのずれを、カラーチャート（色票）のような特別な参照板を用いずに、取得した映像から自動的に計算して色補正を行う装置・方法・その実行プログラムを提案する。
(Automatic color correction for 3D images)
Matching the left and right images in 3D images geometrically and optically means that the geometric and optical correspondence between the real camera and the virtual camera in the composition of the real image and computer graphics (CG) Equally essential. It is indispensable for producing easy-to-see and safe 3D images. In this embodiment, the color / brightness shift between the left and right images in such a 3D image is automatically calculated from the acquired image without using a special reference plate such as a color chart (color chart). We propose an apparatus, method, and execution program for color correction.
人間は左右の目に映る像の見え方の違いである両眼視差により奥行きや立体感を感じている。これを利用した３Ｄ映像が映画をはじめとして、近年大きな盛り上がりを見せている。 Humans feel depth and three-dimensionality due to binocular parallax, which is the difference in the appearance of images seen by the left and right eyes. In recent years, 3D video using this has become a big excitement, starting with movies.
３Ｄ映像の撮影には、３Ｄリグと呼ばれる左右２台のカメラを水平・垂直に設置する器具を用いる。図３（ａ）は３Ｄリグ一例を示す図であり、図３（ｂ）はシミュレーションに用いた３Ｄ画像の例であり、図３（ｃ）は左右画像の画素値（Ｇ）の確率密度関数を説明する図である。これは、人間の目と同じ間隔による撮影を可能とするものであり、ハーフミラーにより反射・透過する映像を撮影することになる。 For taking 3D video, a device called a 3D rig is used to install two left and right cameras horizontally and vertically. FIG. 3A is a diagram illustrating an example of a 3D rig, FIG. 3B is an example of a 3D image used for simulation, and FIG. 3C is a probability density function of pixel values (G) of left and right images. FIG. This makes it possible to shoot at the same interval as the human eye, and shoots an image reflected and transmitted by the half mirror.
このため、反射映像を左右反転するとともに、反射と透過による色・明るさの違いを揃える色補正処理が必要になる。色補正処理には、既知の色レベルからなるカラーチャート（色票）を用いる方法が知られているが、現実には、カラーチャートを必ず撮影することは運用上困難な場合も考えられる。 For this reason, it is necessary to perform color correction processing that inverts the reflected image horizontally and aligns the difference in color and brightness due to reflection and transmission. For color correction processing, a method using a color chart (color chart) having a known color level is known. However, in reality, it may be difficult to always shoot a color chart.
そこで、任意の撮影画像からの自己校正手法が提案されている。これには、画像中のコーナー等の特徴点を抽出し、左右の画像において特徴点を対応付ける方法が考えられるが、処理コストが掛かる。 Therefore, a self-calibration method from an arbitrary captured image has been proposed. For this, a method of extracting feature points such as corners in the image and associating the feature points in the left and right images can be considered, but processing costs are increased.
本実施形態では、左右画像の画素値のヒストグラムから核関数により確率密度関数を計算し、その差を最小にする色補正パラメータを推定する。推定には、左右映像間の視差によるオクルージョンや、レベル飽和によるガマット誤差の影響を考慮して、ロバストＭ推定を用いる。 In this embodiment, a probability density function is calculated from a histogram of pixel values of left and right images using a kernel function, and a color correction parameter that minimizes the difference is estimated. For the estimation, robust M estimation is used in consideration of the occlusion due to the parallax between the left and right images and the influence of the gamut error due to the level saturation.
さらに、レベル制約を課すことによりカラーバランスを保った色補正や、時間方向に滑らかさの制約を課すことにより時系列推定の安定化も可能となる。画像のヒストグラムは濃淡画像処理をはじめとして、類似画像の検索ための特徴量として用いられる。医用画像では、ヒストグラムから計算される相互情報量（Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ，ＭＩ）を最大にするように、複数のモダリティによる異種画像間の位置合わせに用いられる。 Furthermore, it is possible to perform color correction while maintaining color balance by imposing level constraints, and stabilization of time series estimation by imposing constraints on smoothness in the time direction. The histogram of an image is used as a feature amount for searching for similar images including grayscale image processing. The medical image is used for alignment between different types of images by a plurality of modalities so as to maximize the mutual information (Mutual Information, MI) calculated from the histogram.
また、移動物体の追跡処理のために画素値の色ヒストグラムから核関数を用いて類似度を計算する平均値シフト法を用いる手法が知られている。一方、本願発明者は視程障害映像のコントラスト補正処理のために画素値のヒストグラムから核関数を用いて確率密度関数を計算し、コントラスト補正のためのパラメータをカルバックーライブラー情報量を最小化するように最適に推定した。 In addition, a method using an average value shift method for calculating similarity using a kernel function from a color histogram of pixel values for tracking of a moving object is known. On the other hand, the inventor of the present application calculates a probability density function using a kernel function from a histogram of pixel values for contrast correction processing of a visibility-impaired image, and minimizes the amount of information of the Calbuller library by using a parameter for contrast correction. Estimated optimally.
色補正処理としては、本願発明者らは、再撮モニタや複数台のカメラ間の色を合わせるために、先頭フレームに撮影した基準となるカラーチャート（色票）を自動認識して、観測誤差を考慮して色補正パラメータを最適に推定するとともに、ガマット誤差が含まれている映像に対しても、レベル制約付き最適推定とモデル選択を組み合わせることによって妥当な色補正結果を得るための方法を示した。また、画像間の見た目の色を揃えるために、画像をＬＭＳ色空間に変換して、それらの平均値、分散値を揃える処理を行うことが知られている。 As color correction processing, the inventors of the present application automatically recognize a reference color chart (color chart) photographed in the first frame in order to match the color between a re-shooting monitor and a plurality of cameras, and observe an observation error. A method for obtaining a reasonable color correction result by combining optimal estimation with a level constraint and model selection even for images that include gamut errors, and optimally estimate color correction parameters in consideration of Indicated. In addition, it is known to perform a process of converting an image into an LMS color space and aligning an average value and a dispersion value thereof in order to align the apparent colors between the images.
複数台のカメラにより撮影された多視点映像の動画像圧縮符号化は、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣの追加規格として標準化がなされ、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）に記録した３Ｄ映像の再生・表示を実現するための規格としても採用された。多視点映像において複数台のカメラの色補正を行う研究も進められている。 The moving image compression encoding of multi-view images captured by a plurality of cameras is described in H.264. It was standardized as an additional standard of H.264 / MPEG-4AVC, and was also adopted as a standard for realizing playback / display of 3D video recorded on Blu-ray Disc (registered trademark). Research on color correction of multiple cameras in multi-view images is also underway.
そこで以下、画素値のヒストグラムから核関数により確率密度関数を計算する方法を説明し、次に色補正に用いる色補正モデルとそれによる確率密度関数の変換について説明する。さらに、色補正パラメータのロバスト推定方法について説明し、続いてレベル制約付きパラメータ推定によるカラーバランスを保った色補正について、そして時系列推定を安定化するための時間方向の滑らかさの制約付きパラメータ推定について、順次説明する。また、それらの推定方法を確認するための画像シミュレーションについても述べる。 Therefore, a method for calculating a probability density function using a kernel function from a histogram of pixel values will be described below, and a color correction model used for color correction and conversion of the probability density function using the color correction model will be described. Furthermore, a robust estimation method for color correction parameters is described, followed by color correction with color balance by level-constrained parameter estimation, and time-direction smoothness constrained parameter estimation to stabilize time series estimation Will be described sequentially. An image simulation for confirming these estimation methods is also described.
（核関数による確率密度関数の計算）
画像中のブロック領域における画素値に関する１次元のヒストグラムから核関数を用いて次のように確率密度関数を計算する。
(Calculation of probability density function by kernel function)
A probability density function is calculated as follows using a kernel function from a one-dimensional histogram relating to pixel values in a block region in an image.
ここで、Ｉｊはブロック領域中の画素値であり、ｎはブロック領城中の総画素数である。Ｋ（・）は核関数であり、例えば、次のようなガウス関数を用いる。 Here, I j is a pixel value in the block area, and n is the total number of pixels in the block castle. K (•) is a kernel function, and for example, the following Gaussian function is used.
Ｗは核関数表現におけるバンド幅であり、ガウス関数を用いる場合には、次のように最適に決定される。 W is a bandwidth in the kernel function expression, and is optimally determined as follows when a Gaussian function is used.
σはブロック領域中の画素値の標本標準偏差である。式（１）をヒストグラムｈ（Ｉｊ）を用いて次のように書き直す。 σ is the sample standard deviation of the pixel value in the block area. Equation (1) is rewritten using the histogram h (I j ) as follows.
ここで、Ｎはヒストグラムの階級数である。注意すべきは、式（１）は、ブロック領域中のすべての標本画素値｛Ｉｊ｜ｊ＝１，・・・，ｎ｝をそのまま用いているが、式（４）では、ヒストグラムの階級における画素値（階級値）｛Ｉｊ｜ｊ＝１，・・・，Ｎ｝を用いることである。 Here, N is the class number of the histogram. It should be noted that equation (1) uses all sample pixel values {I j | j = 1,..., N} in the block region as they are, but in equation (4), the histogram class The pixel value (class value) {I j | j = 1,..., N} is used.
式（４）はヒストグラムと核関数のたたみ込みと見なすことができる。核関数がガウス関数の場合、人工神経回路網のひとつである放射基底関数（Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ，ＲＢＦ）ネットワークとしても知られている。 Equation (4) can be regarded as convolution of a histogram and a kernel function. When the kernel function is a Gaussian function, it is also known as a radial basis function (RBF) network which is one of artificial neural networks.
（色補正モデル）
色補正モデルとしては、ＲＧＢ３次元色空間において、ＲＧＢ毎に独立に次のような１次元アフィン補正を行うものとする。
(Color correction model)
As a color correction model, the following one-dimensional affine correction is performed independently for each RGB in the RGB three-dimensional color space.
そのような色補正を行った場合の確率密度関数は式（４）より、次のようになる。 The probability density function when such color correction is performed is as follows from equation (4).
ヒストグラムｈ（Ｉ´ｊ）≡ｈ（Ｉｊ）であるから、色補正を行った画像の確率密度関数は、補正前の原画像のヒストグラムのみから計算することができる。 Since the histogram h (I ′ j ) ≡h (I j ), the probability density function of the image subjected to color correction can be calculated only from the histogram of the original image before correction.
（色補正パラメータのロバスト推定）
３Ｄ映像における左右画像Ｉ（Ｌ），Ｉ（Ｒ）の確率密度関数をｐ（Ｉ（Ｌ）），ｐ（Ｉ（Ｒ））と表す。左画像Ｉ（Ｌ）を基準画像として、右画像Ｉ（Ｒ）を色補正すると仮定する（勿論逆でも構わない）。色補正パラメータを推定するために、左右画像の画面中央領域における各々の画素値に関するヒストグラムから計算される確率密度関数の差が最小になる色補正パラメータを計算する。よく用いられるのは次のような最小二乗法である。
(Robust estimation of color correction parameters)
The probability density functions of the left and right images I (L) and I (R) in the 3D video are represented as p (I (L) ) and p (I (R) ). It is assumed that the left image I (L) is a reference image and the right image I (R) is color-corrected (of course, the reverse is also possible). In order to estimate the color correction parameter, the color correction parameter that minimizes the difference in the probability density function calculated from the histogram relating to each pixel value in the screen center region of the left and right images is calculated. The following least-squares method is often used.
左右画像のヒストグラムの計筧を行う領域には、視差によるオクルージョンのために、一方には含まれていない画素が発生する。そのような画素の影響を避けるためには、例えば、左右画像間の動き推定・補正処理を行うことが考えられるが、動き推定・補正処理にはコストが掛かる。 In the region where the histograms of the left and right images are measured, pixels that are not included in one side are generated due to occlusion due to parallax. In order to avoid the influence of such pixels, for example, it is conceivable to perform motion estimation / correction processing between the left and right images, but the motion estimation / correction processing is costly.
そのような画素が画像全体に占める領域は、局所的なものであるだろうから、ロバストＭ推定により対応が可能と考える。ロバストＭ推定はレベル飽和によりクリップされた画素によるガマット誤差への対応も期待される。 Since the area occupied by such pixels in the entire image will be local, it can be handled by robust M estimation. The robust M estimation is also expected to cope with gamut errors caused by pixels clipped due to level saturation.
３次元ＲＧＢ色空間におけるＲＧＢ毎の１次元アフィン変換による色補正を用いると、ロバストＭ推定により、次の目的関数を最小化する色補正パラメータを推定する。 When color correction by one-dimensional affine transformation for each RGB in the three-dimensional RGB color space is used, a color correction parameter that minimizes the next objective function is estimated by robust M estimation.
ここで、ρ（・）は二乗よりは増加が遅く、０において最小値を取る対称で正の推定関数であり、例えば、次のようなものがある。 Here, ρ (·) is a symmetric and positive estimation function that increases more slowly than the square and takes a minimum value at 0. For example, there is the following.
σＭは次のように推定される。 σ M is estimated as follows.
図４は、σＭ＝１としたときの、ロバスト推定関数を二乗関数とともに説明する図である。色補正パラメータのロバストＭ推定の計算はガウス・ニュートン法により行う。式（８）に説明する目的関数Ｊを未知パラメータβ，γに関して微分すると、勾配は微分の連鎖則から計算できる。核関数により確率密度関数を計算するためのバンド幅Ｗ（式（３））は、ブロック領域の画素値の標準偏差によるから、反復毎に計算する。 FIG. 4 is a diagram for explaining the robust estimation function together with the square function when σ M = 1. Calculation of robust M estimation of color correction parameters is performed by the Gauss-Newton method. When the objective function J described in the equation (8) is differentiated with respect to the unknown parameters β and γ, the gradient can be calculated from the differential chain law. The bandwidth W (formula (3)) for calculating the probability density function by the kernel function depends on the standard deviation of the pixel values in the block area, and is calculated for each iteration.
パラメータの初期値には、オフセット項γはヒストグラムの重心（平均）、あるいはメジアン値を揃えるように計算する。ゲイン項βはヒストグラムの標準偏差、あるいはメジアン値から計算される次のようなメジアン絶対偏差（Ｍｅｄｉａｎ Ａｂｓｏｌｕｔｅ Ｄｅｖｉａｔｉｏｎ，ＭＡＤ）による（標準偏差の）比として計算する。 For the initial value of the parameter, the offset term γ is calculated so that the center of gravity (average) of the histogram or the median value is aligned. The gain term β is calculated as a standard deviation of the histogram or a ratio (standard deviation) based on the following median absolute deviation (MAD) calculated from the median value.
いずれもヒストグラムから簡単に計算することが可能である。最適化のための反復処理もすべてヒストグラムから核関数を用いて計算される確率密度関数による計算処理のため、画像に戻って画素毎の色補正処理とヒストグラムの計算を繰り返す必要がない。したがって、処理コストが劇的に低減可能である。 Both can be easily calculated from the histogram. Since all the iterative processes for optimization are calculation processes using a probability density function calculated from the histogram using a kernel function, it is not necessary to return to the image and repeat the color correction process and the histogram calculation for each pixel. Accordingly, the processing cost can be dramatically reduced.
（５色補正パラメータのレベル制約付き推定）
色データは、例えば、ＲＧＢ３次元色空間のようにベクトルデータであり、ＲＧＢ毎に独立に色補正を行った場合には、白は厳密に白レベルに、黒は厳密に黒レベルに補正されるとは限らない。すなわち、ＲＧＢ毎に独立な推定では、カラーバランスを厳密に保つことができない。
(Estimated estimation with 5 color correction parameters)
The color data is, for example, vector data such as an RGB three-dimensional color space. When color correction is performed independently for each RGB, white is strictly corrected to a white level and black is strictly corrected to a black level. Not necessarily. That is, the color balance cannot be strictly maintained by independent estimation for each RGB.
そこで、厳密にカラーバランスを保つように色補正パラメータを推定するために、白は白レベルにする等、特定の色レベルが必ず特定の色レベルになるような色レベルに関する制約条件を課す。例えば、ＲＧＢ３次元色空間におけるＲＧＢ毎の１次元アフィン変換補正モデルにおいて、そのようなレベル制約を課した場合の目的関数Ｋは次のように書ける。 Therefore, in order to estimate the color correction parameter so as to maintain the color balance strictly, a constraint condition related to the color level is imposed so that the specific color level always becomes the specific color level, such as white is set to the white level. For example, in the one-dimensional affine transformation correction model for each RGB in the RGB three-dimensional color space, the objective function K when such a level restriction is imposed can be written as follows.
ここで，λはラグランジュ未定乗数である。右画像の特定の色レベルＩａ （Ｒ）∈｛Ｒａ （Ｒ），Ｇａ （Ｒ），Ｂａ （Ｒ）｝が、左画像の特定の色レベルＩａ （Ｌ）∈｛Ｒａ （Ｌ），Ｇａ （Ｌ），Ｂａ （Ｌ）｝になるように、ＲＧＢ毎に目的関数Ｋを最小化する未知パラメータβ，γ，λを計算すればよい。 Here, λ is a Lagrange multiplier. The specific color level I a (R) ∈ {R a (R) , G a (R) , B a (R) } in the right image is the specific color level I a (L) ∈ {R a in the left image. The unknown parameters β, γ, and λ that minimize the objective function K may be calculated for each RGB so that (L) , G a (L) , B a (L) }.
白レベルを揃えるためには、左画像における輝度値最大になる画素を探索して、その画素位置を中心とする適当なブロック領域に対応する右画像の領域において輝度値が最大になる画素を探索して、それらの色レベルを対応させる。 To align white levels, search for the pixel with the maximum luminance value in the left image, and search for the pixel with the maximum luminance value in the right image area corresponding to the appropriate block area centered on that pixel position. Then, these color levels are made to correspond.
黒レベルを揃えるためには、左画像における輝度値最小になる画素を探索して、その画素位置を中心とする適当なブロック領域に対応する右画像の領域において輝度値が最小になる画素を探索して、それらの色レベルを対応させる。 To align the black level, search for the pixel with the minimum luminance value in the left image, and search for the pixel with the minimum luminance value in the right image area corresponding to the appropriate block area centered on that pixel position. Then, these color levels are made to correspond.
その他、画像中の特定の色レベルを手動により指定することもできる。ＲＧＢ信号から輝度色差信号ＹＣｂＣｒへの変換は、例えば、「松永力，最適コントラスト補正による視程障害画像の明瞭化，第１５回画像センシングシンポジウム（ＳＳＩＩ２００９）講演論文集，横浜（パシフィコ横浜）」の付録等に記載されている。 In addition, a specific color level in the image can be manually designated. The conversion from RGB signal to luminance color difference signal YCbCr is, for example, an appendix of “Matsunaga Tsuyoshi, Clarification of Visibility Disorder Image by Optimal Contrast Correction, 15th Image Sensing Symposium (SSII2009) Proceedings, Yokohama (Pacifico Yokohama)” Etc. are described.
レベル制約を課した場合にも、同様にガウス・ニュートン法により最適な色補正パラメータを推定することが可能である。初期値には、レベル制約を課さない場合の推定結果を用いる。 Even when level constraints are imposed, it is possible to similarly estimate the optimum color correction parameters by the Gauss-Newton method. As an initial value, an estimation result when no level constraint is imposed is used.
３Ｄ映像における自動色補正処理は、ヒストグラム上での色補正パラメータ推定のため、処理コストが劇的に減少することが期待できる。しかし、フレーム毎の独立した推定結果による色補正は時間変動による妨害が生じるかもしれない。 The automatic color correction processing in 3D video can be expected to dramatically reduce the processing cost because of the color correction parameter estimation on the histogram. However, the color correction based on the independent estimation result for each frame may cause interference due to time variation.
推定したパラメータに対する平滑化処理等の何らかの時系列処理が必要になるが、ＲＧＢ毎に独立に補正パラメータに対して平滑化処理を行うと、レベル制約を課すことによって保持したカラーバランスが崩れてしまう場合も想定される。そこで、補正パラメータの時系列平滑化とレベル制約を同時に満たすために、次のような目的関数の最小化を行う。 Some time-series processing such as smoothing processing for the estimated parameters is required, but if the smoothing processing is performed on the correction parameters independently for each RGB, the retained color balance will be lost by imposing level constraints. Cases are also envisaged. Therefore, in order to satisfy the time series smoothing of the correction parameters and the level constraint at the same time, the following objective function is minimized.
ここで、Ｉａ （Ｌ），Ｉａ （Ｒ）は、それぞれ左右画像において対応するレベル制約であり、λはラグランジュ未定乗数である。
は前フレームにおける推定パラメータである。
Here, I a (L) and I a (R) are level constraints corresponding to the left and right images, respectively, and λ is a Lagrange undetermined multiplier.
Is an estimation parameter in the previous frame.
つまり，レベル制約に加えて時間方向に滑らかさの制約を課した正則化により色補正パラメータを推定するものである。μは正則化パラメータである。Ｈｏｒｎ＆Ｓｃｈｕｎｃｋはオプティカルフローの推定において、空間的な滑らかさの制約による正則化を用いた。明示的な平滑化処理を行わずとも，パラメータ推定自体に平滑化作用が内在している。 That is, the color correction parameter is estimated by regularization that imposes a smoothness constraint in the time direction in addition to the level constraint. μ is a regularization parameter. Horn & Schunkck used regularization with spatial smoothness constraints in optical flow estimation. Even without explicit smoothing, the parameter estimation itself has a smoothing effect.
（同一画像による擬似３Ｄ画像シミュレーション）
３Ｄ画像の左画像の一部分を切り出して、擬似的な３Ｄ画像の左右画像とする。左画像は画像の中央領域から切り出したものとして、右画像は、そのような左画像に対してｅ画素だけ水平方向にシフトさせて切り出したものとする。シフト量（視差量に相当する）は、左画像に対して右にシフトする場合を正の方向とする。
(Pseudo 3D image simulation with the same image)
A part of the left image of the 3D image is cut out to be a pseudo left and right image of the 3D image. It is assumed that the left image is cut out from the central region of the image, and the right image is cut out by shifting the left image by e pixels in the horizontal direction. The shift amount (corresponding to the parallax amount) is a positive direction when shifting to the right with respect to the left image.
切り出し画像の水平サイズＨに対する比ｄ＝ｅ／Ｈ×１００（％）で表す。
そのようにして１枚の画像から生成した擬似的な３Ｄ画像において、左画像をＲＧＢ毎に独立に適当な色変換する。色変換を受けた左画像を基準画像として、右画像を左画像に揃える色補正パラメータを推定する。このとき、右画像にはＲＧＢ毎に独立に期待値０、標準偏差１の正規乱数誤差を加える。
The ratio of the cutout image to the horizontal size H is expressed as d = e / H × 100 (%).
In the pseudo 3D image generated from one image in this way, the left image is appropriately color-converted independently for each RGB. A color correction parameter for aligning the right image with the left image is estimated using the left image subjected to color conversion as a reference image. At this time, a normal random error of expected
画素値の量子化数は８ビット２５６階調である。真の色補正パラメータは色変換パラメータになる。色変換パラメータを固定して、シフト量を変えたときの色補正パラメータを推定する。これを様々な画像を用いて行う。 The quantization number of the pixel value is 8-bit 256 gradation. The true color correction parameter becomes a color conversion parameter. The color conversion parameter is fixed, and the color correction parameter when the shift amount is changed is estimated. This is done using various images.
色補正のモデルとしては、式（５）のＲＧＢ毎に独立な１次元アフィン変換モデルを用いる。擬似的な３Ｄ画像のサイズは１２８０×７２０である。シフト量はｄ＝±５％の範囲で０．１％刻みとする。 As a color correction model, an independent one-dimensional affine transformation model is used for each of RGB in Equation (5). The size of the pseudo 3D image is 1280 × 720. The shift amount is in the range of d = ± 5% in increments of 0.1%.
量子化誤差、観測誤差を防ぐために平滑化した左右画像の８０％中央領域における画素を用いて色補正パラメータを推定する。推定した色補正パラメータにより（誤差を含む）右画像を色補正したものと真の色補正パラメータにより（誤差を含まない）右画像を色補正したものとの二乗誤差画像のピークＳＮ比（ＰＳＮＲ）を計算して評価する。 Color correction parameters are estimated using pixels in the 80% central region of the left and right images smoothed to prevent quantization errors and observation errors. Peak signal-to-noise ratio (PSNR) of the square error image of the right image color corrected (including error) with the estimated color correction parameter and the right image color corrected (without error) with the true color correction parameter Is calculated and evaluated.
図５（ａ）はシミュレーションに用いた擬似的な３Ｄ画像例をサイドバイサイド表示したものである（シフト量はｄ＝２．９％で３７画素）。左右画像の画素値（Ｒ）のヒストグラムから核関数により計算した確率密度関数は図３（ｂ）のようになる。シフト量の絶対値が増すと、ピークＳＮ比がやや低下しているが、３Ｄ映像における快適な視聴範囲とされているｄ＝２．９％の範囲では、ほぼ十分な結果が得られている。グラフ中のひとつの線分が１枚の画像における結果に相当している。 FIG. 5A shows a side-by-side display of a pseudo 3D image example used in the simulation (the shift amount is 37 pixels at d = 2.9%). The probability density function calculated by the kernel function from the histogram of the pixel values (R) of the left and right images is as shown in FIG. When the absolute value of the shift amount increases, the peak S / N ratio slightly decreases. However, in the range of d = 2.9%, which is a comfortable viewing range in 3D video, almost sufficient results are obtained. . One line segment in the graph corresponds to the result in one image.
図６（ａ）の擬似３Ｄ画像例は、左画像の輝度を変換したものである。そのような左画像を基準として、右画像の明るさを揃える。このとき、左右画像中の最大輝度値を探索して対応付けて、最大輝度値の画素の色レベルをレベル制約として課すことにより、カラーバランスを保った色補正を試みる。 The pseudo 3D image example in FIG. 6A is obtained by converting the luminance of the left image. The brightness of the right image is made uniform with reference to such a left image. At this time, the maximum luminance value in the left and right images is searched and associated, and the color level of the pixel having the maximum luminance value is imposed as a level constraint to attempt color correction while maintaining color balance.
推定した色補正パラメータによる色補正画像中の白レベル領域（赤枠：くの字状の屋根辺縁部の曲折部位右側の小さな四角枠）の画素値を色差信号に変換して、２次元色差空間にプロットする。レベル制約を課さないＲＧＢ毎の独立な色補正パラメータ推定による結果では、２次元色差空間上のプロットに偏りが見られるが、レベル制約付き色補正パラメータ推定による結果では、偏りがなくカラーバランスが保たれていることがわかる。 Two-dimensional color difference by converting the pixel value of the white level area (red frame: small square frame on the right side of the curved part of the edge of the U-shaped roof) into a color difference signal based on the estimated color correction parameter Plot in space. In the result of independent color correction parameter estimation for each RGB without imposing level constraints, there is a bias in the plot in the two-dimensional color difference space, but in the result of color correction parameter estimation with level constraint, there is no bias and color balance is maintained. You can see that it is leaning.
（実際の３Ｄ画像シミュレーション）
１枚の画像から生成した擬似的な３Ｄ画像ではなく、２台のカメラで撮影された実際の３Ｄ画像を用いる。左画像を適当な色変換する。そのような色変換を受けた左画像を基準画像として、右画像を左画像に揃える色補正パラメータを推定する。真の色補正パラメータは色変換パラメータになる。
(Actual 3D image simulation)
Instead of a pseudo 3D image generated from a single image, an actual 3D image taken by two cameras is used. Appropriate color conversion of the left image. Using the left image subjected to such color conversion as a reference image, a color correction parameter for aligning the right image with the left image is estimated. The true color correction parameter becomes a color conversion parameter.
左右画像中の最大輝度値を探索して対応付けて、最大輝度値の画素の色レベルをレベル制約として課す。図３（ｂ）はシミュレーションに用いた実際の３Ｄ画像をサイドバイサイド表示した図である。ＲＧＢ毎に既知の１次元アフィン変換により色変換した左画像を基準画像として、右画像を揃えるように色補正処理を行う。基準となる左画像の確率密度関数に、レベル飽和によりクリップされた画素によるガマット誤差が存在する場合でも、ロバストＭ推定により右画像の確率密度関数はマッチングしている（図３（ｃ）参照）。 The maximum luminance value in the left and right images is searched and associated, and the color level of the pixel having the maximum luminance value is imposed as a level constraint. FIG. 3B is a view showing an actual 3D image used for the simulation side-by-side. Color correction processing is performed so that the right image is aligned using the left image color-converted by known one-dimensional affine transformation for each RGB as a reference image. Even if there is a gamut error due to pixels clipped due to level saturation in the probability density function of the reference left image, the probability density function of the right image is matched by robust M estimation (see FIG. 3C). .
推定した色補正パラメータにより色補正した右画像と真の色変換パラメータにより色変換した右画像との二乗誤差画像のピークＳＮ比は６４．８［ｄＢ］であった。 The peak SN ratio of the square error image of the right image color-corrected by the estimated color correction parameter and the right image color-converted by the true color conversion parameter was 64.8 [dB].
（３Ｄ映像における時系列推定シミュレーション）
実際の３Ｄ映像における左映像を適当な色変換を行い、右映像を左映像に揃える色補正パラメータを推定する。図７（ｂ）は、３Ｄ映像のフレーム番号に対する色補正パラメータの推定結果である。時間方向の正則化を行った場合（実線）と、正則化を行わずにフレーム毎に独立に推定した場合（破線）の両方の結果を重ねて表示する。時間方向の滑らかさの制約を課した正則化による安定化の効果が見られる。
(Time series estimation simulation in 3D video)
Appropriate color conversion is performed on the left video in the actual 3D video, and a color correction parameter for aligning the right video with the left video is estimated. FIG. 7B shows the estimation result of the color correction parameter for the frame number of the 3D video. Both the case of regularization in the time direction (solid line) and the case of estimation independently for each frame without regularization (dashed line) are displayed in a superimposed manner. The effect of stabilization by regularization with the restriction of smoothness in the time direction can be seen.
（まとめ）
また、３Ｄ映像における左右映像の色・明るさを揃えるために、画素値のヒストグラムから核関数により確率密度関数を計算し、その差を最小にする色補正パラメータをロバストＭ推定して色補正を行う自動色補正装置について開示した。
(Summary)
Also, in order to align the colors and brightness of the left and right images in the 3D image, a probability density function is calculated from the histogram of pixel values by a kernel function, and a color correction parameter that minimizes the difference is estimated robustly M to perform color correction. An automatic color correction device to perform is disclosed.
また、実施形態の自動色補正装置は、左右画像中の最大輝度値を探索して対応付けて、その色レベルをレベル制約として課すことにより、カラーバランスを保った色補正を遂行できる。さらに、時間方向に滑らかさの制約を課すことにより時系列推定の安定化を行える。 The automatic color correction apparatus according to the embodiment can perform color correction while maintaining color balance by searching for and associating the maximum luminance values in the left and right images and imposing the color level as a level constraint. Furthermore, time series estimation can be stabilized by imposing a smoothness constraint in the time direction.
また、上述の実施形態においては、画素値のヒストグラムを８ビット２５６階調で例示的に説明したが、業務用ビデオ信号の規格とされている１０ビット１０２４階調としてもよく、７ビット１２８階調としてもよいのであって、これに限定されるものではない。 In the above-described embodiment, the pixel value histogram has been exemplarily described with 8-bit 256 gradations. However, the pixel value histogram may be 10-bit 1024 gradations, which is a standard for commercial video signals, and may be 7-bit 128 floors. However, the present invention is not limited to this.
実施形態で説明した自動色補正装置は、実施形態での説明に限定されることはなく、自明な範囲でその構成を変更し、演算処理を変更することができる。 The automatic color correction apparatus described in the embodiment is not limited to the description in the embodiment, and the configuration can be changed and the arithmetic processing can be changed within a self-evident range.
本発明は、３Ｄ映像編集やライブ映像切替え用途における放送業界やマルチメディア業界やアーカイブマーケット等において広く応用展開し利用でき、映像の色補正処理や濃淡画像処理に展開できる。 The present invention can be widely applied and used in the broadcasting industry, multimedia industry, archive market, etc. for 3D video editing and live video switching applications, and can be developed for video color correction processing and grayscale image processing.
１００・・色ヒストグラム演算部、２００・・色ヒストグラム演算部、３００・・確率密度関数演算部、４００・・確率密度関数演算部、５００・・色補正パラメータ算出部、６００・・色補正処理部、１０００・・自動色補正装置。
100 ·· Color histogram calculation unit, 200 · · Color histogram calculation unit, 300 · · Probability density function calculation unit, 400 · · Probability density function calculation unit, 500 · · Color correction parameter calculation unit, 600 · · Color
Claims (10)
前記取得した二つの映像から画素値の色ヒストグラムを各々算出する色ヒストグラム算出部と、
前記色ヒストグラム算出部が算出した色ヒストグラムから確率密度関数を各々算出する確率密度関数算出部と、
前記確率密度算出部が算出した各々の確率密度関数からロバストＭ推定による色補正パラメータを算出する色補正パラメータ算出部とを備え、
前記色補正パラメータ算出部が算出した色補正パラメータを、前記取得した二つの映像の少なくともいずれか一方に適用して色補正する
ことを特徴とする色補正装置。 A color histogram calculation unit that calculates a color histogram of pixel values from the two acquired images in a color correction apparatus that performs color correction between the two images acquired by shooting; and
A probability density function calculating unit for calculating a probability density function from the color histogram calculated by the color histogram calculating unit;
A color correction parameter calculation unit that calculates a color correction parameter based on robust M estimation from each probability density function calculated by the probability density calculation unit;
A color correction apparatus, wherein the color correction parameter calculated by the color correction parameter calculation unit is applied to at least one of the two acquired images to perform color correction.
前記二つの映像は、３Ｄ映像用の右画像と左画像とである
ことを特徴とする色補正装置。 The color correction apparatus according to claim 1,
The two video images are a right image and a left image for 3D video.
レベル制約によるホワイトバランスを維持した色補正パラメータを算出するか、または、時間方向の滑らかさの制約による平滑化作用を伴った色補正パラメータを算出するか、の少なくともいずれかの色補正パラメータを算出する
ことを特徴とする色補正装置。 The color correction apparatus according to claim 1 or 2,
Calculate a color correction parameter that maintains white balance due to level restrictions, or calculate a color correction parameter with a smoothing action due to smoothness restrictions in the time direction. A color correction device characterized by that.
前記色補正パラメータ算出部は、前記取得した二つの映像の各確率密度関数の差が最小となる色補正パラメータを算出する
ことを特徴とする色補正装置。 The color correction apparatus according to any one of claims 1 to 3,
The color correction apparatus, wherein the color correction parameter calculation unit calculates a color correction parameter that minimizes a difference between the probability density functions of the two acquired images.
前記取得した二つの映像から画素値の色ヒストグラムを各々算出する色ヒストグラム算出工程と、
前記色ヒストグラム算出工程で算出された色ヒストグラムから確率密度関数を各々算出する確率密度関数算出工程と、
前記確率密度算出工程で算出された各々の確率密度関数からロバストＭ推定による色補正パラメータを算出する色補正パラメータ算出工程と、
前記色補正パラメータ算出工程で算出された色補正パラメータを、前記取得した二つの映像の少なくともいずれか一方に適用して色補正する工程とを有する
ことを特徴とする色補正方法。 A color correction method in the color correction apparatus according to any one of claims 1 to 4,
A color histogram calculation step for calculating a color histogram of pixel values from the two acquired images;
A probability density function calculating step for calculating each probability density function from the color histogram calculated in the color histogram calculating step;
A color correction parameter calculation step of calculating a color correction parameter by robust M estimation from each probability density function calculated in the probability density calculation step;
Applying the color correction parameter calculated in the color correction parameter calculation step to at least one of the two acquired images to perform color correction.
前記二つの映像は、３Ｄ映像用の右画像と左画像とである
ことを特徴とする色補正方法。 The color correction method according to claim 5,
The two images are a right image and a left image for 3D images.
レベル制約によるホワイトバランスを維持した色補正パラメータを算出するか、または、時間方向の滑らかさの制約による平滑化作用を伴った色補正パラメータを算出するか、の少なくともいずれかの色補正パラメータを算出する
ことを特徴とする色補正方法。 In the color correction method according to claim 5 or 6,
Calculate a color correction parameter that maintains white balance due to level restrictions, or calculate a color correction parameter with a smoothing action due to smoothness restrictions in the time direction. A color correction method characterized by:
前記色補正パラメータ算出工程において、前記取得した二つの映像の各確率密度関数の差が最小となる色補正パラメータを算出する
ことを特徴とする色補正方法。 The color correction method according to any one of claims 5 to 7,
In the color correction parameter calculating step, a color correction parameter that minimizes the difference between the probability density functions of the two acquired images is calculated.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011104794A JP2012238932A (en) | 2011-05-09 | 2011-05-09 | 3d automatic color correction device and color correction method and color correction program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011104794A JP2012238932A (en) | 2011-05-09 | 2011-05-09 | 3d automatic color correction device and color correction method and color correction program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012238932A true JP2012238932A (en) | 2012-12-06 |
Family
ID=47461481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011104794A Withdrawn JP2012238932A (en) | 2011-05-09 | 2011-05-09 | 3d automatic color correction device and color correction method and color correction program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012238932A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103139591A (en) * | 2013-03-24 | 2013-06-05 | 成都索贝数码科技股份有限公司 | Three dimensional (3D) video color automatic revising method based on graph processor |
| WO2013140657A1 (en) | 2012-03-23 | 2013-09-26 | 日産自動車株式会社 | Vehicle control device and vehicle control method |
| WO2017082079A1 (en) * | 2015-11-11 | 2017-05-18 | ソニー株式会社 | Image processing device and image processing method |
| JP2018152804A (en) * | 2017-03-15 | 2018-09-27 | 株式会社朋栄 | Optimum color matching processing method and image processing apparatus |
| JP2020150345A (en) * | 2019-03-12 | 2020-09-17 | 日本放送協会 | Multi-viewpoint video color matching device and program thereof |
| WO2022024516A1 (en) * | 2020-07-29 | 2022-02-03 | 富士フイルム株式会社 | Image correction device, image correction method, program, and recording medium |
-
2011
- 2011-05-09 JP JP2011104794A patent/JP2012238932A/en not_active Withdrawn
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013140657A1 (en) | 2012-03-23 | 2013-09-26 | 日産自動車株式会社 | Vehicle control device and vehicle control method |
| CN103139591A (en) * | 2013-03-24 | 2013-06-05 | 成都索贝数码科技股份有限公司 | Three dimensional (3D) video color automatic revising method based on graph processor |
| WO2017082079A1 (en) * | 2015-11-11 | 2017-05-18 | ソニー株式会社 | Image processing device and image processing method |
| JPWO2017082079A1 (en) * | 2015-11-11 | 2018-08-30 | ソニー株式会社 | Image processing apparatus and image processing method |
| US11223812B2 (en) | 2015-11-11 | 2022-01-11 | Sony Corporation | Image processing apparatus and image processing method |
| JP2018152804A (en) * | 2017-03-15 | 2018-09-27 | 株式会社朋栄 | Optimum color matching processing method and image processing apparatus |
| JP2020150345A (en) * | 2019-03-12 | 2020-09-17 | 日本放送協会 | Multi-viewpoint video color matching device and program thereof |
| JP7308051B2 (en) | 2019-03-12 | 2023-07-13 | 日本放送協会 | Multi-view video color matching device and its program |
| WO2022024516A1 (en) * | 2020-07-29 | 2022-02-03 | 富士フイルム株式会社 | Image correction device, image correction method, program, and recording medium |
| JP7402992B2 (en) | 2020-07-29 | 2023-12-21 | 富士フイルム株式会社 | Image correction device, image correction method, program and recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Reinhard | High dynamic range imaging | |
| KR102295403B1 (en) | Depth estimation method and apparatus, electronic device, program and medium | |
| US8989484B2 (en) | Apparatus and method for generating high dynamic range image from which ghost blur is removed using multi-exposure fusion | |
| Battisti et al. | Objective image quality assessment of 3D synthesized views | |
| JP5750505B2 (en) | 3D image error improving method and apparatus | |
| US9076267B2 (en) | Image coding device, integrated circuit thereof, and image coding method | |
| Conze et al. | Objective view synthesis quality assessment | |
| KR100931311B1 (en) | Depth estimation device and its method for maintaining depth continuity between frames | |
| RU2423018C2 (en) | Method and system to convert stereo content | |
| RU2603529C2 (en) | Noise reduction for image sequences | |
| JP2015188234A (en) | Depth estimation based on global motion | |
| JP2013527646A5 (en) | ||
| JP2012238932A (en) | 3d automatic color correction device and color correction method and color correction program | |
| EP2845164B1 (en) | Reference card for scene referred metadata capture | |
| JP5781372B2 (en) | Image processing apparatus and imaging apparatus | |
| US20120307023A1 (en) | Disparity distribution estimation for 3d tv | |
| Gryaditskaya et al. | Motion aware exposure bracketing for HDR video | |
| KR20130112311A (en) | Apparatus and method for reconstructing dense three dimension image | |
| US20120019625A1 (en) | Parallax image generation apparatus and method | |
| JP2012249038A (en) | Image signal processing apparatus and image signal processing method | |
| US9813698B2 (en) | Image processing device, image processing method, and electronic apparatus | |
| KR101129713B1 (en) | A multi-view image illumination compensation method based on the histogram matching by using image depth and the recording medium thereof | |
| CN114429191B (en) | Electronic anti-shake method, system and storage medium based on deep learning | |
| JP6148154B2 (en) | Image processing apparatus and image processing program | |
| JP2014042238A (en) | Apparatus and method for depth-based image scaling of 3d visual content |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140805 |