JP2019080100A - 高精度色補正処理方法及び高精度色補正処理装置 - Google Patents
高精度色補正処理方法及び高精度色補正処理装置 Download PDFInfo
- Publication number
- JP2019080100A JP2019080100A JP2017203365A JP2017203365A JP2019080100A JP 2019080100 A JP2019080100 A JP 2019080100A JP 2017203365 A JP2017203365 A JP 2017203365A JP 2017203365 A JP2017203365 A JP 2017203365A JP 2019080100 A JP2019080100 A JP 2019080100A
- Authority
- JP
- Japan
- Prior art keywords
- color correction
- model
- color
- dimensional
- correction processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
【課題】カメラの撮像や映像圧縮に起因するノイズを考慮しつつ、適切なパラメータ自由度を有する色補正モデルを選択・決定して、当該色補正モデルを用いてホワイトバランスを考慮したカラーマッチング処理を遂行する高精度色補正処理方法及び高精度色補正処理装置を提案することを目的とする。
【解決手段】カラーチャートを撮影した画像から抽出したRGBデータに対して、3次元RGB色空間における3次元幾何学変換を、誤差の共分散行列を考慮した統計的に最適な方法により推定する。また、厳密なホワイトバランス補正を実現するために、幾何学変換の推定結果に対して、カラーチャート白レベルが指定した理想的な白レベルとなるように事後的な補正を行う。複数の異なる自由度の幾何学変換モデルの推定結果から、幾何学的モデル選択によりモデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定する。そして、選択された3次元幾何学変換による色補正処理を3次元ルックアップテーブル(3DLUT)補間により計算する。
【選択図】図1
Description
本実施形態の高精度色補正処理方法では、カラーチャートを撮影した画像から抽出したRGBデータに対して、3次元RGB色空間における3次元幾何学変換を、誤差の共分散行列を考慮した統計的に最適な方法により推定する色補正/色校正処理において、厳密なホワイトバランス補正を実現するために、カラーチャート白レベルが指定した/理想的な白レベルになるように、3次元幾何学変換の推定結果を最適に補正する。白レベル制約を課すことにより、画像全体としての色補正結果が十分とは言えなくなるので、複数の異なる自由度の幾何学変換モデルを推定して、幾何学的モデル選択によりモデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定する。
(発明の概要2)
1)参照板(カラーチャート)を撮影したカラーチャートsource画像と理想カラーチャート画像を入力し、それぞれのRGBデータ、およびカラーチャートsource画像の共分散行列を抽出する(データ抽出部)。ただし、理想カラーチャート画像のRGBデータは予めメモリに格納しておいたものを読み出して用いればよい。注意すべきは、理想的なRGBデータのため誤差は含まれない。したがって、理想カラーチャートのRGBデータの共分散行列は、
カラーチャートを撮影した画像からカラーチャートRGB画素値データを抽出して、観測誤差の共分散行列を考慮した統計的に最適な超精度くりこみ法により3次元RGB色空間における3次元幾何学変換を推定する。推定結果に対して、特定の色レベルにおけるレベル制約を満たすように事後的な最適補正を行い、厳密なホワイトバランスを実現する高精度な色補正を行う。レベル制約を課すことにより、色補正モデルの自由度が低下して、全体としての色補正結果が十分とは言えない場合がある。色補正モデルを高自由度のものとすればよいが、高自由度のモデルの推定には過当てはめの問題が発生する。そこで、複数の異なる自由度の色補正モデルの推定結果から、モデルの複雑さと当てはまりのよさをバランスする最適な色補正モデルを幾何学的モデル選択により決定する。色補正処理にデノイジング処理を統合した画像処理パイプラインの構築を目指す。
次世代テレビ放送としての4K/8K(スーパーハイビジョン)超高精細映像は、解像度だけではなく、広色域、高フレームレート、高ビット深度がITU−R勧告BT.2020規格(Recommendation ITU-R BT.2020-1, Parameter values for ultra-high definition television systems for production and international programme exchange (2014))として規定されている。映像の明るさを拡張するハイダイナミックレンジ(HDR)も、拡張された信号レベルを圧縮するための非線形の伝達関数が国際標準として規定された(Recommendation ITU-R BT.2100, Image parameter values for high dynamic range television for use in production and international programme exchange (2016))。
3次元RGB色空間における「3次元射影変換」による色補正を考える。空間点(r,g,b),(r´,g´,b´)をスケ−ル定数f0によって各成分のオーダーを揃えた4次元同次ベクトルx,x´で表し、3次元射影変換行列を4×4行列Hで表す。
超精度くりこみ法[12],[13],[14]の手順は次のようになる。
3次元アフィン変換以外の3次元幾何学変換に対しても、同様に拡張できる。
分光画像データセットから生成されたsRGB(BT.709(Recommendation ITU-R BT.709-5, Parameter values for the HDTV standards for production and international programme exchange (2002)))画像(TokyoTech 5-band Multispectral Image Dataset, http://www.ok.sce.titech.ac. jp/res/MSI/MSIdata.html)を真の画像として、D65光源環境下におけるD93(9300K)、およびD50(5003K)の色温度に変換した画像により、色補正処理を評価する。色順応変換には、CIECAM97s[5]を用いる。
[表2、表3]
[表4、表5]
カラーチャートを撮影した画像からカラーチャートRGB画素値データを抽出して、観測誤差の共分散行列を考慮した統計的に最適な超精度くりこみ法により3次元RGB色空間における3次元幾何学変換を推定する色校正において、厳密なホワイトバランスを実現するための最適レベル補正と高自由度モデルの推定における過当てはめを回避する幾何学的モデル選択により、高精度な色補正処理を行った。正規ノイズを付加した色温度変換画像を用いた画像シミュレーションにより、その有効性を確認した。最適レベル補正と幾何学的モデル選択の組み合わせは強力であり、高精度な色補正処理の結果が期待できる。
(参考文献一覧)
[1] B. E. Bayer, Color imaging array, July 20 1976,US Patent 3,971,065.
[2] P. Chatterjee, N. Joshi, Sing Bing Kang, and Y. Matsushita, Noise suppression in low-light images through joint denoising and demosaicing, Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR '11), Washington, DC, USA, (2011), pp. 321-328.
[3] K. Dabov, A. Foi, V. Katkovnik, and K. Egiazarian, Image denoising by sparse 3-d transform-domain collaborative filtering, IEEE Transactions on Image Processing, 16-8 (August 2007), 2080-2095. http://www.cs.tut.fi/~foi/GCF-BM3D/
[4] K. Dabov, A. Foi, V. Katkovnik, and K. Egiazarian, Color image denoising via sparse 3D collaborative filtering with grouping constraint in luminance-chrominance space, Proceedings of IEEE International Conference on Image Processing (ICIP 2007), San Antonio, TX, USA, (September 2007), pp. I-313-I-316.
[5] M. D. Fairchild, Color Appearance Models, Second Edition, John Wiley & Sons Ltd, July 2005.
[6] 画像電子学会編,「カラーマネジメント技術一拡張色空間とカラーアピアランス」,東京電機大学出版局, 2008年7月.
[7] F. Heide, M. Steinberger, Y.-T. Tsai, M. Rouf, D. Pajak, D. Reddy, O. Gallo, J. Liu, W. Heidrich, K. Egiazarian, J. Kautz, and K. Pulli, FlexISP: a flexible camera image processing framework, ACM Transactions on Graphics, 33-6, Article 231 (November 2014).
[8] K. Hirakawa and T. W. Parks, Joint demosaicing and denoising, IEEE Transactions on Image Processing, 15-8 (August 2006), 2146-2157.
[9] K. Kanatani, Statistical Optimization for Geometric Computation: Theory and Practice, Elsevier Science, Amsterdam, The Netherlands, April 1996, reprinted Dover Publications, New York, U.S.A., July 2005.
[10] K. Kanatani, Uncertainty modeling and model selection for geometric inference, IEEE Transactions on Pattern Analysis and Machine Intelligence, 26-10 (2004), 1307-1319.
[11] K. Kanatani and C. Matsunaga, Computing internally constrained motion of 3-D sensor data for motion interpretation, Pattern Recognition, 46-6 (2013-6), 1700-1709.
[12] K. Kanatani, Y. Sugaya, and Y. Kanazawa, Guide to 3D Vision Computation: Geometric Analysis and Implementation, Springer International, Cham, Switzerland, December 2016.
[13] K. Kanatani, A. Al-Sharadqah, N. Chernov and Y. Sugaya, Hyper-renormalization: Nonminimization approach for geometric estimation, IPSJ Transactions on Computer Vision Applications, Vol. 6 (2014), 143-159.
[14]金谷健一,菅谷保之,金庫靖,「3次元コンピュータビジョン計算ハンドブック」,森北出版,2016年10月.
[15] H. R. Kang, Computational Color Technology,SPIE Publications, May 2006.
[16] D. Khashabi, S. Nowozin, J. Jancsary and A. W. Fitzgibbon, Joint demosaicing and denoising via learned nonparametric random fields, IEEE Transactions on Image Processing, 23-12 (December 2014), 4968-4981.
[17] S. Lim and A. Silverstein, Spatially varying colorcorrection (SVCC) matrices for reduced noise, Proceedings of 12th Color and Imaging Conference fCIC). Scottsdale. (2004). dd. 76-81.
[18] 松永力,2次元/3次元幾何学変換の統一的な最適計算,第18回画像センシングシンポジウム (SSII2012)講演論文集,横浜(パシフィコ横浜),2012年6月.
[19] 松永力,広色域映像のための最適色域マッピング,第22回画像センシングシンポジウム(SSII2016)講演論文集,横浜(パシフィコ横浜), 2016年6月.
[20] 松永力,3次元幾何学変換と幾何学的モデル選択による最適カラーマッチング/カラーキャリブレーション,第23回画像センシングシンポジウム(SSII2017)講演論文集,横浜(パシフィコ横浜), 2017年6月.
[21]松永力,金谷健一,内部拘束を持つ3次元運動の最適計算法と幾何学的モデル選択への応用,ビジョン技術の実利用ワークショップ(ViEW2012),横浜(パシフィコ横浜), 2012年12月・
[22]松永力,趙延軍,和田雅徳,カラーチャートを用いた複数の再撮モニタとカメラの最適色補正,第16回画像センシングシンポジウム(SSII2010)講演論文集、横浜(パシフイコ横浜),2010年6月
[23] C. S. McCamy, H. Marcus and J. G. Davidson, A color-rendition chart, Journal of Applied Photographic Engineering, 2-3 (Summer 1976), 95-99. http://www.xrite.com/
[24]紋野雄介,高橋健太,田中正行,奥富正敏,ノイズを含む画像に対する高精度な色補正パイプライン,第23回画像センシングシンポジウム(SSII2017)講演論文集,横浜(パシフィコ横浜), 2017年6月.
[25] J. Morovic, Color Gamut Mapping, John Wiley & Sons Ltd., August 2008.
[26] R. Ramanath, W. E. Snyder, Y. Yoo and M. S. Drew, Color image processing pipeline, IEEE Signal Processing Magazine, 22-1, (January 2005), 34-43.
[27] 田中正行,劉新豪,奥富正敏,パラメータフリー全自動画像デノイジング,第18回画像センシングシンポジウム(SSII2012)講演論文集,横浜(パシフイコ横浜), 2012年6月.
Claims (12)
- カラーチャートを撮影した画像からRGBデータ、およびそれらの共分散行列を抽出するデータ抽出部と、
3次元RGB色空間における3次元幾何学変換による色補正モデルのパラメータを誤差の共分散行列を考慮した統計的に推定するパラメータ推定部と、
色補正モデルのパラメータ推定結果をレベル制約を満たすように事後的にホワイトバランスの補正するパラメータ補正部と、
複数の異なる自由度の3次元幾何学変換モデルの推定結果から、モデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定するモデル選択部と、
モデル選択された3次元幾何学変換による色補正処理の3次元ルックアップテーブル(3DLUT)を生成する3次元ルックアップテーブル(3DLUT)生成部と、
モデル選択された3次元幾何学変換による色補正処理を3次元ルックアップテーブル(3DLUT)補間により計算する色補正処理部とを備える
ことを特徴とする高精度色補正処理装置。 - 請求項1に記載の高精度色補正処理装置において、
前記パラメータ推定部による、前記誤差の共分散行列を考慮した統計的な推定は、超精度くりこみ法を利用した推定である
ことを特徴とする高精度色補正処理装置。 - 請求項1または請求項2に記載の高精度色補正処理装置において、
前記複数の異なる自由度の3次元幾何学変換モデルは、全次項(フル)の2次元多項式変換(Poly2full)と、2次項のみの2次元多項式変換(Poly2)と、アフィン変換(Affine)と、射影変換(Homo)と、双線形変換(Bilinear)のうち少なくとも一つを含む
ことを特徴とする高精度色補正処理装置。 - 請求項1乃至請求項3のいずれか一項に記載の高精度色補正処理装置において、
前記3次元幾何学変換モデルを前記モデル選択部が選択するのは、幾何学的AIC(G−AIC)または幾何学的MDL(G−MDL)による選択である
ことを特徴とする高精度色補正処理装置。 - 請求項1乃至請求項4のいずれか一項に記載の高精度色補正処理装置において、
選択された前記3次元幾何学変換モデルは、2次項のみの2次元多項式変換モデルである
ことを特徴とする高精度色補正処理装置。 - 請求項1乃至請求項5のいずれか一項に記載の高精度色補正処理装置において、
選択された前記3次元幾何学変換モデルによる色補正処理を計算する前記色補正処理部による計算処理は、3次元ルックアップテーブル(3DLUT)補間による計算処理である
ことを特徴とする高精度色補正処理装置。 - 請求項2に記載の高精度色補正処理装置において、
前記超精度くりこみ法を利用した推定は、カラーチャートを撮影した画像から抽出したRGBデータと前記共分散行列とを用いる
ことを特徴とする高精度色補正処理装置。 - カラーチャートを撮影した画像からRGBデータ、およびそれらの共分散行列を抽出するデータ抽出部と、
3次元RGB色空間における3次元幾何学変換による色補正モデルのパラメータを誤差の共分散行列を考慮した統計的に推定するパラメータ推定部と、
色補正モデルのパラメータ推定結果をレベル制約を満たすように事後的にホワイトバランスの補正するパラメータ補正部と、
複数の異なる自由度の3次元幾何学変換モデルの推定結果から、モデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定するモデル選択部と、
モデル選択された3次元幾何学変換による色補正処理の3次元ルックアップテーブル(3DLUT)を生成する3次元ルックアップテーブル(3DLUT)生成部と、
モデル選択された3次元幾何学変換による色補正処理を3次元ルックアップテーブル(3DLUT)補間により計算する色補正処理部とを備える
ことを特徴とする画像処理装置。 - カラーチャートを撮影した画像からRGBデータ、およびそれらの共分散行列を抽出するデータ抽出工程と、
3次元RGB色空間における3次元幾何学変換による色補正モデルのパラメータを誤差の共分散行列を考慮した統計的に推定するパラメータ推定工程と、
色補正モデルのパラメータ推定結果をレベル制約を満たすように事後的にホワイトバランスの補正するパラメータ補正工程と、
複数の異なる自由度の3次元幾何学変換モデルの推定結果から、モデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定するモデル選択工程と、
モデル選択された3次元幾何学変換による色補正処理の3次元ルックアップテーブル(3DLUT)を生成する3次元ルックアップテーブル(3DLUT)生成工程と、
モデル選択された3次元幾何学変換による色補正処理を3次元ルックアップテーブル(3DLUT)補間により計算する色補正処理工程とを有する
ことを特徴とする高精度色補正処理方法。 - 請求項8に記載の画像処理装置は、
ベースバンドビデオ信号を処理するハードウェア装置により実現された画像処理装置であるか、
MXFファイルを処理するソフトウェアを有し、前記ソフトウェアを実行するコンピュータをベースとした画像処理装置であるか、
前記MXFファイルをベースバンドビデオ信号に変換するか、または逆変換する装置を用いて構成された画像処理装置であるか、のいずれか一つである
ことを特徴とする画像処理装置。 - 請求項1乃至請求項7のいずれか一項に記載の高精度色補正処理装置は、
カメラ映像を動画像圧縮したもの、またははMXFファイルをIP(インターネット・プロトコル)伝送して、クラウド上で前記高精度色補正処理装置による処理を遂行される
ことを特徴とする高精度色補正処理装置。 - 請求項1乃至請求項7のいずれか一項に記載の高精度色補正処理装置において、
IP伝送された圧縮映像をベースバンドビデオ信号に復号して、前記高精度色補正処理装置によるカラーマッチング処理またはカラーキャリブレーション処理を行った結果を再び圧縮してストリーム配信する
ことを特徴とする高精度色補正処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017203365A JP7023490B2 (ja) | 2017-10-20 | 2017-10-20 | 高精度色補正処理方法及び高精度色補正処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017203365A JP7023490B2 (ja) | 2017-10-20 | 2017-10-20 | 高精度色補正処理方法及び高精度色補正処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019080100A true JP2019080100A (ja) | 2019-05-23 |
JP7023490B2 JP7023490B2 (ja) | 2022-02-22 |
Family
ID=66628185
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017203365A Active JP7023490B2 (ja) | 2017-10-20 | 2017-10-20 | 高精度色補正処理方法及び高精度色補正処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7023490B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110428362A (zh) * | 2019-07-29 | 2019-11-08 | 深圳市商汤科技有限公司 | 图像hdr转换方法及装置、存储介质 |
CN115988334A (zh) * | 2023-03-17 | 2023-04-18 | 江西北纬空间信息技术有限公司 | 一种自校正的数字化相机移动遥感系统及方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011259047A (ja) * | 2010-06-07 | 2011-12-22 | For-A Co Ltd | 色補正装置と色補正方法とビデオカメラシステム |
JP2016220083A (ja) * | 2015-05-22 | 2016-12-22 | 株式会社朋栄 | ローリングシャッタ回転歪み補正と映像安定化処理方法 |
-
2017
- 2017-10-20 JP JP2017203365A patent/JP7023490B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011259047A (ja) * | 2010-06-07 | 2011-12-22 | For-A Co Ltd | 色補正装置と色補正方法とビデオカメラシステム |
JP2016220083A (ja) * | 2015-05-22 | 2016-12-22 | 株式会社朋栄 | ローリングシャッタ回転歪み補正と映像安定化処理方法 |
Non-Patent Citations (2)
Title |
---|
松永 力 趙 延軍 和田 雅徳: "カラーチャートを用いた複数の再撮モニタ とカメラの最適色補正", 第16回画像センシングシンポジウム(SSII2010)講演論文集, JPN7021002624, 10 June 2010 (2010-06-10), JP, pages 1 - 8, ISSN: 0004549101 * |
松永力: "3次元幾何学変換と幾何学的モデル選択による最適カラーマッチング/カラーキャリブレーション", 第23回画像センシングシンポジウム(SSII2017)講演論文集, JPN7021002623, 7 June 2017 (2017-06-07), JP, pages 1 - 8, ISSN: 0004549100 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110428362A (zh) * | 2019-07-29 | 2019-11-08 | 深圳市商汤科技有限公司 | 图像hdr转换方法及装置、存储介质 |
CN110428362B (zh) * | 2019-07-29 | 2023-12-15 | 深圳市商汤科技有限公司 | 图像hdr转换方法及装置、存储介质 |
CN115988334A (zh) * | 2023-03-17 | 2023-04-18 | 江西北纬空间信息技术有限公司 | 一种自校正的数字化相机移动遥感系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7023490B2 (ja) | 2022-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11849224B2 (en) | Global tone mapping | |
US9842381B2 (en) | Global tone mapping | |
JP7182907B2 (ja) | カメラの画像データ処理方法およびカメラ | |
JP6129119B2 (ja) | 画像処理装置、画像処理システム、撮像装置、および画像処理方法 | |
US10750146B2 (en) | High dynamic range color conversion correction | |
US20040247195A1 (en) | Method and system for calculating a transformed image from a digital image | |
JP7138935B2 (ja) | Hdr映像をsdr映像に変換するhdr広色域映像変換装置及びhdr広色域映像変換方法 | |
WO2019104047A1 (en) | Global tone mapping | |
JP6792872B2 (ja) | 最適カラーマッチング処理方法と画像処理装置 | |
US10600170B2 (en) | Method and device for producing a digital image | |
JP5901362B2 (ja) | 色変換装置、カラーサブサンプリング装置およびこれらのプログラム | |
US7317482B2 (en) | Distance calculating method and imaging device | |
JP7023490B2 (ja) | 高精度色補正処理方法及び高精度色補正処理装置 | |
KR20110108929A (ko) | 보정 행렬의 추정에 의한 영상의 색상 손상 보정장치 및 방법 | |
US20160286090A1 (en) | Image processing method, image processing apparatus, and image processing program | |
TWI471848B (zh) | 顏色校正方法與影像處理裝置 | |
WO2016200480A1 (en) | Color filter array scaler | |
JP4734239B2 (ja) | 空間的信号変換 | |
JP2020155907A (ja) | 自動色補正処理方法及び自動色補正処理装置 | |
KR101005625B1 (ko) | 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법 | |
US20100231725A1 (en) | Illuminant independent color calibration using colored rays approach | |
KR101129309B1 (ko) | 다시점 영상의 히스토그램 매칭 기반 조명보상의 전처리 방법 및 그 기록매체 | |
WO2022127526A1 (zh) | 一种图像处理的方法以及相关装置 | |
McElvain et al. | High-Accuracy Digital Camera Color Transforms for Wide-Gamut Workflows | |
JP2021048522A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201012 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210709 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7023490 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |