JP2015171038A - 画像処理装置およびその方法 - Google Patents
画像処理装置およびその方法 Download PDFInfo
- Publication number
- JP2015171038A JP2015171038A JP2014045561A JP2014045561A JP2015171038A JP 2015171038 A JP2015171038 A JP 2015171038A JP 2014045561 A JP2014045561 A JP 2014045561A JP 2014045561 A JP2014045561 A JP 2014045561A JP 2015171038 A JP2015171038 A JP 2015171038A
- Authority
- JP
- Japan
- Prior art keywords
- light source
- video data
- color conversion
- data
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 108
- 238000000034 method Methods 0.000 title description 61
- 238000000701 chemical imaging Methods 0.000 claims abstract description 66
- 238000005070 sampling Methods 0.000 claims abstract description 35
- 238000003384 imaging method Methods 0.000 claims abstract description 28
- 238000006243 chemical reaction Methods 0.000 claims description 152
- 239000011159 matrix material Substances 0.000 claims description 65
- 230000003595 spectral effect Effects 0.000 claims description 58
- 230000008859 change Effects 0.000 claims description 54
- 238000001514 detection method Methods 0.000 claims description 9
- 238000003672 processing method Methods 0.000 claims 2
- 230000008569 process Effects 0.000 description 54
- 238000003860 storage Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 10
- 238000013500 data storage Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
Description
図2のブロック図により実施例の画像処理装置100の構成例を示す。
実施例の画像処理は、シーンの撮影工程に関する処理(以下、撮影処理)と、その後の色変換工程に関する処理(以下、色変換処理)から構成される。これら工程は並行または順次に実行される。例えば、シーン撮影と同時にACESの映像データを得たい場合には撮影と同時に色変換処理が実行される。また、撮影した映像データを、一旦、デバイス色空間のデータとして保存した後、当該映像データをACES変換する場合が考えられる。その場合は、撮影処理の後、色変換処理が実行される。
図5のフローチャートにより撮影処理を説明する。CPU101は、映像処理の開始を示すユーザ指示が入力されると(S301)、撮影処理を開始する。
図6によりサンプリング部202による分光撮像データのサンプリングと正規化を説明する。図6(a)はある光源の分光撮像データである分光放射輝度L(λ)を示し、図6(b)の各点は図6(a)の分光撮像データに対応するサンプリング分光データL(i)を示す。サンプリング部202は、下式を用いて、分光撮像データを所定の波長間隔でサンプリングし正規化する。
N = (λmax - λmin)/S;
L(i) = {L(λmin + S×i) - Lmin}×D/Lmax; …(1)
ここで、λmaxは可視域の最大波長(例えば780nm)、
λminは可視域の最小波長(例えば380nm)、
Sは放射輝度のサンプリングステップ(例えば10nm)、
LminはL(λ)の最小値、
LmaxはL(λ)の最大値、
Dはサンプリング分光データの最大値(例えば255)
iは整数(0≦i≦N)。
図8のフローチャートにより色変換処理を説明する。
図9のフローチャートにより色変換処理部203の処理(S403)を説明する。なお、図9に示す処理は1フレーム分の処理である。
L'(i) = L(i)・Lmax/D + Lmin;
X1 = 683(N-1)S・ΣL'(i)R(i)x(i);
Y1 = 683(N-1)S・ΣL'(i)R(i)y(i);
Z1 = 683(N-1)S・ΣL'(i)R(i)z(i); …(2)
ここで、iは整数(1≦i≦N)、
Σ演算の範囲は1からN。
RCam = (N-1)S・ΣL'(i)R(i)r(i);
GCam = (N-1)S・ΣL'(i)R(i)g(i);
BCam = (N-1)S・ΣL'(i)R(i)b(i); …(3)
ここで、iは整数(1≦i≦N)、
Σ演算の範囲は1からN。
┌ ┐ ┌ ┐
│RACES│ │RCam│
│GACES│= Mtr│GCam│ …(4)
│BACES│ │BCam│
└ ┘ └ ┘
┌ ┐ ┌ ┐┌ ┐
│X2│ │0.9525523959 0.0 0.0000936786││RACES│
│Y2│ = │0.3439664498 0.7281660966 -0.0721325464││GACES│ …(5)
│Z2│ │0.0 0.0 1.0088251844││BACES│
└ ┘ └ ┘└ ┘
ここで、RACESGACESBACESはACESにおけるRGB値。
X1 = 683∫L(λ)R(λ)x(λ);
Y1 = 683∫L(λ)R(λ)y(λ);
Z1 = 683∫L(λ)R(λ)z(λ); …(2')
ここで、積分範囲は例えば380nmから780nm。
RCam = ∫L(λ)R(λ)r(λ);
GCam = ∫L(λ)R(λ)g(λ);
BCam = ∫L(λ)R(λ)b(λ); …(3')
ここで、積分範囲は例えば380nmから780nm。
以上、三つの実施例を説明したが、これら実施例の機能を組み合わせることも可能である。例えば、実施例1と2を組み合わせて、撮影シーンの光源変化を検出した場合に、光源変化を検出したフレームに分光情報を付加することができる。あるいは、実施例2と3を組み合わせて、撮影シーンの光源変化を検出した場合に、光源の分光特性から色変換マトリクスを生成し、光源変化を検出したフレームに色変換マトリクスを付加することができる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (17)
- 映像データを入力する第一の入力手段と、
前記映像データの撮影シーンの分光撮像データを入力する第二の入力手段と、
前記分光撮像データに基づき前記撮影シーンの光源に関連する情報を作成する作成手段と、
前記光源に関連する情報を前記映像データに付加する付加手段とを有する画像処理装置。 - 前記作成手段は、前記光源に関連する情報として、前記分光撮像データを所定の波長間隔でサンプリングした分光情報を作成する請求項1に記載された画像処理装置。
- 前記作成手段は、前記光源に関連する情報として、前記分光撮像データを所定の波長間隔でサンプリングし、前記サンプリングした分光撮像データを正規化した分光情報を作成する請求項1に記載された画像処理装置。
- さらに、前記映像データに付加された分光情報から色変換マトリクスを生成し、前記色変換マトリクスを使用して前記映像データを色変換する色変換手段を有する請求項2または請求項3に記載された画像処理装置。
- 前記色変換手段は、前記分光情報、仮想被写体の分光反射率、等色関数、前記映像データを撮像する撮像手段のRGBフィルタ特性から前記色変換マトリクスを作成する請求項4に記載された画像処理装置。
- 前記作成手段は、前記光源に関連する情報として、前記映像データの色変換マトリクスを作成する請求項1に記載された画像処理装置。
- 前記作成手段は、前記分光撮像データ、仮想被写体の分光反射率、等色関数、前記映像データを撮像する撮像手段のRGBフィルタ特性から前記色変換マトリクスを作成する請求項6に記載された画像処理装置。
- さらに、前記映像データに付加された色変換マトリクスを使用して前記映像データを色変換する色変換手段を有する請求項6または請求項7に記載された画像処理装置。
- さらに、前記撮影シーンの光源の変化を検出する検出手段を有し、
前記光源の変化が検出されると、前記作成手段は、前記光源の変化が検出されたフレームに対応する分光撮像データに基づき前記光源に関連する情報を作成し、前記付加手段は、前記光源の変化が検出されたフレームに前記光源に関連する情報を付加する請求項1から請求項8の何れか一項に記載された画像処理装置。 - 前記検出手段は、前記映像データのホワイトバランスの変化から前記光源の変化を検出する請求項9に記載された画像処理装置。
- 映像データを入力する入力手段と、
前記映像データから撮影シーンの光源の変化を検出する検出手段と、
前記光源の変化を示す情報を前記映像データに付加する付加手段とを有する画像処理装置。 - 前記検出手段は前記映像データのホワイトバランスの変化から前記光源の変化を検出し、前記付加手段は前記光源の変化が検出されたフレームに前記光源の変化を示す情報を付加する請求項11に記載された画像処理装置。
- さらに、光源選択用のユーザインタフェイスを提供する選択手段と、
前記ユーザインタフェイスによって選択される光源に対応する色変換マトリクスを使用して前記映像データを色変換する色変換手段とを有し、
前記色変換手段は、前記映像データのフレームから前記光源の変化を示す情報を検出すると、前記選択手段に前記ユーザインタフェイスを提供させる請求項11または請求項12に記載された画像処理装置。 - 映像データを入力し、
前記映像データの撮影シーンの分光撮像データを入力し、
前記分光撮像データに基づき前記撮影シーンの光源に関連する情報を作成し、
前記光源に関連する情報を前記映像データに付加する画像処理方法。 - 映像データを入力し、
前記映像データから撮影シーンの光源の変化を検出し、
前記光源の変化を示す情報を前記映像データに付加する画像処理方法。 - コンピュータを請求項1から請求項13の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。
- 請求項16に記載されたプログラムが記録されたコンピュータが読み取り可能な記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014045561A JP6462990B2 (ja) | 2014-03-07 | 2014-03-07 | 画像処理装置およびその方法 |
US14/624,496 US9894283B2 (en) | 2014-03-07 | 2015-02-17 | Image processing apparatus and method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014045561A JP6462990B2 (ja) | 2014-03-07 | 2014-03-07 | 画像処理装置およびその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015171038A true JP2015171038A (ja) | 2015-09-28 |
JP6462990B2 JP6462990B2 (ja) | 2019-01-30 |
Family
ID=54018724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014045561A Active JP6462990B2 (ja) | 2014-03-07 | 2014-03-07 | 画像処理装置およびその方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9894283B2 (ja) |
JP (1) | JP6462990B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114531578B (zh) * | 2020-11-23 | 2023-11-07 | 华为技术有限公司 | 光源光谱获取方法和设备 |
EP4181510A1 (en) * | 2021-08-12 | 2023-05-17 | Honor Device Co., Ltd. | Chromaticity information determination method and related electronic device |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1185952A (ja) * | 1997-09-09 | 1999-03-30 | Olympus Optical Co Ltd | 色再現装置 |
JP2001008224A (ja) * | 1999-06-23 | 2001-01-12 | Minolta Co Ltd | 画像保存装置、画像再生装置、画像保存方法、画像再生方法および記録媒体 |
JP2001136543A (ja) * | 1999-11-05 | 2001-05-18 | Mitsubishi Electric Corp | 画像データの変換方法および画像データ構成方法 |
US6538242B1 (en) * | 1998-09-28 | 2003-03-25 | Mitsubishi Denki Kabushiki Kaisha | Method of measuring spectral responsivity characteristic of image pick-up device and method of configuring imaging data |
JP2004180279A (ja) * | 2002-11-13 | 2004-06-24 | Sony Corp | コンテンツ編集支援システム,映像処理装置,再生装置,編集装置,コンピュータプログラム,およびコンテンツ処理方法 |
JP2006060732A (ja) * | 2004-08-24 | 2006-03-02 | Sony Corp | 撮像装置、撮像方法および撮像プログラム、ならびに、記録装置、記録方法および記録プログラム |
JP2006157152A (ja) * | 2004-11-25 | 2006-06-15 | Sony Corp | 撮像装置と撮像方法 |
WO2007123008A1 (ja) * | 2006-04-21 | 2007-11-01 | Sharp Kabushiki Kaisha | データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 |
JP2009100304A (ja) * | 2007-10-17 | 2009-05-07 | Canon Inc | 色処理装置およびその方法 |
JP2009141904A (ja) * | 2007-12-10 | 2009-06-25 | Canon Inc | 画像処理システムおよび撮影装置、および画像処理方法 |
JP2010246036A (ja) * | 2009-04-09 | 2010-10-28 | Canon Inc | 色処理装置およびその方法 |
JP2011211317A (ja) * | 2010-03-29 | 2011-10-20 | Olympus Corp | 光源検出装置 |
JP2013214956A (ja) * | 2012-03-09 | 2013-10-17 | Panasonic Corp | 画像処理装置および画像処理方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3678404B2 (ja) * | 2000-05-12 | 2005-08-03 | 株式会社東芝 | 映像情報処理装置 |
EP1420406B1 (en) | 2002-11-13 | 2010-05-05 | Sony Corporation | Content editing assistance system, computer program and content processing method |
US8063976B2 (en) * | 2007-07-24 | 2011-11-22 | Casio Computer Co., Ltd. | Image pick-up apparatus and method of controlling the image pick-up apparatus |
CN103487145B (zh) * | 2013-09-25 | 2015-04-15 | 清华大学 | 多光谱采集系统的标定方法及系统 |
-
2014
- 2014-03-07 JP JP2014045561A patent/JP6462990B2/ja active Active
-
2015
- 2015-02-17 US US14/624,496 patent/US9894283B2/en active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1185952A (ja) * | 1997-09-09 | 1999-03-30 | Olympus Optical Co Ltd | 色再現装置 |
US6538242B1 (en) * | 1998-09-28 | 2003-03-25 | Mitsubishi Denki Kabushiki Kaisha | Method of measuring spectral responsivity characteristic of image pick-up device and method of configuring imaging data |
JP2001008224A (ja) * | 1999-06-23 | 2001-01-12 | Minolta Co Ltd | 画像保存装置、画像再生装置、画像保存方法、画像再生方法および記録媒体 |
JP2001136543A (ja) * | 1999-11-05 | 2001-05-18 | Mitsubishi Electric Corp | 画像データの変換方法および画像データ構成方法 |
JP2004180279A (ja) * | 2002-11-13 | 2004-06-24 | Sony Corp | コンテンツ編集支援システム,映像処理装置,再生装置,編集装置,コンピュータプログラム,およびコンテンツ処理方法 |
JP2006060732A (ja) * | 2004-08-24 | 2006-03-02 | Sony Corp | 撮像装置、撮像方法および撮像プログラム、ならびに、記録装置、記録方法および記録プログラム |
JP2006157152A (ja) * | 2004-11-25 | 2006-06-15 | Sony Corp | 撮像装置と撮像方法 |
WO2007123008A1 (ja) * | 2006-04-21 | 2007-11-01 | Sharp Kabushiki Kaisha | データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 |
JP2009100304A (ja) * | 2007-10-17 | 2009-05-07 | Canon Inc | 色処理装置およびその方法 |
JP2009141904A (ja) * | 2007-12-10 | 2009-06-25 | Canon Inc | 画像処理システムおよび撮影装置、および画像処理方法 |
JP2010246036A (ja) * | 2009-04-09 | 2010-10-28 | Canon Inc | 色処理装置およびその方法 |
JP2011211317A (ja) * | 2010-03-29 | 2011-10-20 | Olympus Corp | 光源検出装置 |
JP2013214956A (ja) * | 2012-03-09 | 2013-10-17 | Panasonic Corp | 画像処理装置および画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20150256806A1 (en) | 2015-09-10 |
US9894283B2 (en) | 2018-02-13 |
JP6462990B2 (ja) | 2019-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11343411B2 (en) | Imaging apparatus including circuitry that causes the display of an image corresponding to raw data and with characteristics determined by selected setting information | |
JP6455764B2 (ja) | 色補正パラメータ算出方法、色補正パラメータ算出装置および画像出力システム | |
US9501870B2 (en) | Mixed reality image processing apparatus and mixed reality image processing method | |
US10600170B2 (en) | Method and device for producing a digital image | |
US20240089612A1 (en) | Video processing method and apparatus, electronic device, and storage medium | |
WO2023016037A1 (zh) | 视频处理方法、装置、电子设备和存储介质 | |
TWI697872B (zh) | 色差調整影像資料生成方法、色差調整影像顯示方法、色差調整影像資料生成裝置及色差調整影像顯示系統 | |
JP6462990B2 (ja) | 画像処理装置およびその方法 | |
US20160286090A1 (en) | Image processing method, image processing apparatus, and image processing program | |
McElvain et al. | Camera color correction using two-dimensional transforms | |
JP6265625B2 (ja) | 画像処理装置及び画像処理方法 | |
US20140147090A1 (en) | Image capturing apparatus, image processing apparatus, and control method therefor | |
US20240137650A1 (en) | Video Processing Method and Apparatus, Electronic Device, and Storage Medium | |
EP4262192A1 (en) | Video processing method and apparatus, electronic device, and storage medium | |
JP5743456B2 (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
JP2016010013A (ja) | 画像処理装置およびその方法 | |
JP2016046701A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
CN112995632A (zh) | 图像的白平衡处理方法、装置、电子设备和存储介质 | |
JP4989401B2 (ja) | 映像信号処理装置、その方法及びそのプログラム | |
US20240080405A1 (en) | Video processing method and apparatus, electronic device, and storage medium | |
US20240187744A1 (en) | Video processing method and apparatus, electronic device, and storage medium | |
EP4270936A1 (en) | Video processing method and apparatus, electronic device, and storage medium | |
McElvain et al. | High-Accuracy Digital Camera Color Transforms for Wide-Gamut Workflows | |
CN115426485A (zh) | 色彩矫正矩阵调整方法、摄像设备、电子设备及存储介质 | |
JP2016086280A (ja) | 色変換パラメータ選択装置および色変換パラメータ選択方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180803 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181228 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6462990 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |