JP2021180527A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2021180527A JP2021180527A JP2021132352A JP2021132352A JP2021180527A JP 2021180527 A JP2021180527 A JP 2021180527A JP 2021132352 A JP2021132352 A JP 2021132352A JP 2021132352 A JP2021132352 A JP 2021132352A JP 2021180527 A JP2021180527 A JP 2021180527A
- Authority
- JP
- Japan
- Prior art keywords
- light source
- category
- unit
- data
- optimum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 84
- 239000013598 vector Substances 0.000 claims abstract description 52
- 238000013507 mapping Methods 0.000 claims description 13
- 238000010801 machine learning Methods 0.000 abstract description 24
- 238000012937 correction Methods 0.000 abstract description 23
- 238000013500 data storage Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 16
- 238000000034 method Methods 0.000 description 13
- 238000003705 background correction Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
即ち、一般的には、CMOSイメージセンサ等の撮像素子で得られた画像データに、イメージシグナルプロセッサー(ISP)を含んだシステムオンチップ(SoC)等の半導体を用いて、自動露出補正、自動ホワイトバランス、自動フォーカス、シェーディング補正等の画像処理が行われる。
他方、従来、「所定の色」に基づいて環境光の種類を特定するための手法が知られている。撮影されたシーンの光源として、複数の環境光が存在していると仮定すると、当該「所定の色」は、各環境光から照射された光によって当該環境光に近似した色として存在していることになる。
また、例えば、物体に照射された光は、当該物体表面の状態、材質、光沢、反射等、あらゆる状況によって常に一定の色を保つことは困難である。そのため、撮影された画像データは、必ずしも特定の色の環境光のみで構成されている訳ではなく、所定の色から環境光の種類を特定することは困難である。
さらに、入力された画像データに合わせて画像処理の組み合わせや方法を変更することを可能とする技術も存在する。しかし、入力される画像データは無限に存在するものであり、現実的な使用が困難なことは容易に想像できる。
所定の画像データから所定のパラメータを取得し、前記パラメータに基づく値を、所定の特徴空間上に写像することで、前記特徴空間上の所定の光源推定ベクトルを取得する第1取得手段と、
前記第1取得手段で取得された光源推定ベクトルを、予め機械学習された分類器によって、前記光源推定ベクトルの前記特徴空間上のカテゴリに分類する分類手段と、
前記光源推定ベクトルと前記分類手段により分類されたカテゴリに基づいて、前記画像データのうちの所定のフレームのデータから最適WBGainを取得する第2取得手段と、
を備える。
これにより、機械学習によって得られた分類カテゴリを用いて、より最適WBGainを設定することができる。
画像処理装置1は、センサベイヤデータ取得部2と、イメージパイプ3と、出力画像データ出力部4とを備えている。
RGB算出部61乃至補正データ出力部66の各機能等の詳細については、図3以降のフローチャート等を参照して画像処理装置1の処理を説明する際に合わせて説明する。
教示データ記憶部641は、複数の画像データと当該各画像の夫々を撮影したシーンの光源のカテゴリ番号とからなる教示データを記憶している。
機械学習部642は、教示データ記憶部641に記憶された教示データに基づいて、各画像データから抽出した特徴ベクトルから光源のカテゴリを判定するための基準を機械学習し、学習した判定基準(分類器)を関連パラメータ記憶部643に記憶する。なお、機械学習の方法としては、例えば、SVM(サポート・ベクター・マシーン)等を採用することができる。
光源識別部644は、後述のフレームのデータから特徴空間写像部63によって特徴空間上に写像され光源判定部64に供給された初期推定ベクトルを、関連パラメータ記憶部643に記憶された分類器を用いてカテゴリ分類し、当該フレームを撮影したシーンの一つ以上の光源のカテゴリ、及び当該一つ以上の光源のカテゴリと前記初期推定ベクトルとの特徴空間上での距離等のデータをホワイトバランス補正部65に出力する。
ここで、「ホワイトバランス処理」とは、各フレームが撮影されたシーンの光源を判定して、各フレームのデータに対してホワイトバランス補正を施していく一連の処理をいう。
前記特徴空間上の特徴ベクトル(R/G,B/G)とは、即ち、Gで正規化された光源色の値であるが、この逆数が所定光源の最適ホワイトバランスゲインとして用いられる場合には、以下では「最適WBGain」と省略表記する。また、ステップS12で抽出された初期推定値(Rmax,Gmax,Bmax)を特徴空間に写像した特徴ベクトル(Rmax/Gmax,Bmax/Gmax)を、以下では「初期推定ベクトル」と呼ぶ。
即ち、ステップS14において、光源判定部64は、初期推定ベクトルが分類される一つ以上の光源カテゴリを、分類器に基づいて判定する。なお、この分類器は、予め機械学習した関連パラメータが格納された各種関連パラメータと共に、関連パラメータ記憶部643に格納されている。
即ち、任意に選択したカテゴリの光源のもとで撮像した教示データが、夫々のカテゴリに分類されて、クラスタ化されているのである。
図4の例では、カテゴリAに分類される光源(以下、「A光源」と呼ぶ)は、太陽光であるとする。つまり、A光源に分類されるクラスタとは、太陽光のもとで撮像された教示データが分類されて、クラスタ化されたものである。
ここで、同様にカテゴリB〜Eに分類される光源については、A光源と同様に、B光源〜E光源と呼ぶ。
このようにして算出された分類器の出力イメージについて、引き続き、図5を用いて説明を行う。なお、本実施形態において撮像されたシーンの各フレームのデータは、上記A〜Eの単独あるいは複数の光源が含まれる可能性がある。
なお、A〜Eの記号は、図4と同様に、複数の教示データから得られた初期推定ベクトルが分類されるカテゴリの番号を示している。
即ち、前述の機械学習によって、A〜Eの光源を表す各クラスタの境界を確定することができ、各クラスタの分類を容易に実現することができる。
本実施形態における、分類器とは、このように機械学習によって、各種光源(A〜E)の光源を表す各クラスタの境界を確定する機能を有している。この分類器を用いることで、後述するように、容易に最適WBGainを算出することができるのである。
次に、このようにして算出された分類器を用いて、実際に入力された所定のフレームデータから算出された初期推定光源のWBGainの取得方法について、以降の図面を用いて説明していく。
この新たに算出された初期推定ベクトルHのWBGainの取得方法について、引き続き、図7を用いて説明していく。
ここで、分類器によって分けられた各カテゴリに区分された空間に分布する初期推定ベクトルは、前述の通り、様々な要因で各カテゴリの最適WBGainから外れている可能性がある。そのため、初期推定ベクトルHをそのまま用いてホワイトバランス補正を行うことは望ましくない。
したがって、図7の例では初期推定ベクトルHは、A光源に分類される特徴空間内に存在しているため、当該初期推定ベクトルの代わりに、前述の機械学習により設定されたA光源の最適WBGainを設定する。
即ち、複数のフレームのデータが入力されていくと、上述のA〜Eの何れのカテゴリにも分類が困難な特徴空間内の所定の領域に新たなクラスタを作る場合がある。
このような場合に、フレームのデータが蓄積された結果として生成された新たなクラスタを特殊カテゴリとして呼び、別の光源として識別することができる。そこで、初期推定ベクトルが、この特殊カテゴリに分類される場合について、図9を用いて、引き続き説明を行う。
即ち、図9の例では、初期推定ベクトルは、ここで別途設定された特殊カテゴリに対応した最適WBGainが、初期推定ベクトルの最適WBGainとして設定される。
このような場合、まず、光源識別部644は、初期推定ベクトルと各光源の最適WBGainとをアルゴリズムから類似度を算出する。そして、その類似度に基づいて、初期推定ベクトルがB光源に分類されるのか、あるいはC光源に分類されるのか、が選択される。
図10の例では、光源識別部644は、類似度の算出結果として、初期推定ベクトルをC光源の最適WBGainとして選択している。
さらに、例えば、この機械学習は、ホワイトバランス処理の実行前に完了することを前提として説明を行ったが、これに特に限定されない。即ち、ホワイトバランス処理を実行する際に、並列して機械学習を行うことも可能である。
例えば、(R値,G値,B値)を(Y値,U値,V値)に変換して、その最大値を抽出してもよい。
さらに例えば、(Rmax値,Gmax値,Bmax値)を抽出せず、各チャンネルの平均値(Rave値,Gave値,Bave値)を抽出してもよい。
例えば、算出した類似度によって重み付けしたB光源とC光源の最適WBGainの平均値を用いて、初期推定ベクトルの最適WBGainを選択してもよい。
さらに、機能ブロックの存在場所も、図2に限定されず、任意でよい。
そして、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェアとの組み合わせで構成してもよい。
即ち、本発明が適用される画像処理装置(例えば図1の画像処理装置1)は、
所定の画像データから所定のパラメータを取得し、前記パラメータに基づく値を、所定の特徴空間上に写像することで、前記特徴空間上の所定の光源推定ベクトルを取得する取得手段(例えば図2の初期推定部62や特徴空間写像部63)と、
前記第1取得手段で取得された光源推定ベクトルを、予め機械学習された分類器によって、前記光源推定ベクトルの前記特徴空間上のカテゴリを分類する分類手段(例えば図2の光源識別部644)と、
前記光源推定ベクトルと前記分類手段により分類されたカテゴリに基づいて、前記画像データのうちの所定のフレームのデータから最適WBGainを取得し、WB補正を行う補正手段(例えば図2のホワイトバランス補正部65)と、
を備えていれば足りる。
そのため、フレームのデータから推定された光源色に基づいて、(直接)ホワイトバランス補正を行う従来の技術と比較して、より容易に最適ホワイトバランス補正を行うことが可能となる。
2・・・センサベイヤデータ取得部
3・・・イメージパイプ
4・・・出力画像データ出力部
5・・・シェーディング補正処理部
6・・・ホワイトバランス処理部
7・・・色補間処理部
8・・・色再現ゲイン処理部
9・・・ガンマ処理部
10・・・色空間変換処理部
61・・・RGB算出部
62・・・初期推定部
63・・・特徴空間写像部
64・・・光源判定部
65・・・ホワイトバランス補正部
66・・・補正データ出力部
641・・・教示データ記憶部
642・・・機械学習部
643・・・関連パラメータ記憶部
644・・・光源識別部
Claims (4)
- 所定の画像データから所定のパラメータを取得し、前記パラメータに基づく値を、所定の特徴空間上に写像することで、前記特徴空間上の所定の光源推定ベクトルを取得する第1取得手段と、
前記第1取得手段で取得された光源推定ベクトルを、予め機械学習された分類器によって、前記光源推定ベクトルの前記特徴空間上のカテゴリに分類する分類手段と、
前記光源推定ベクトルと前記分類手段により分類されたカテゴリに基づいて、前記画像データのうちの所定のフレームのデータから最適WBGainを取得する第2取得手段と、
を備える画像処理装置。 - 前記第2取得手段は、前記分類手段により分類された前記カテゴリごとに予め設定されている最適ベクトルを最適WBGainとして取得する、
請求項1に記載の画像処理装置。 - 前記分類手段は、分類されたカテゴリに対して、複数のカテゴリ空間が重複した場合、類似度を算出することによって、最適カテゴリを推定して、特定する、
請求項1又は2に記載の画像処理装置。 - 前記第1取得手段により取得された前記光源推定ベクトルと前記分類手段の分類するカテゴリとを比較し、前記分類手段の分類するカテゴリとかけ離れている場合に、新しく発生した一定の分布を特殊カテゴリとして設定し、
当該特殊カテゴリに基づいて、前記第2取得手段が取得する最適WBGainとは異なる最適WBGainを、別途、取得する、
請求項1乃至3のうちいずれか1項に記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021132352A JP7152065B2 (ja) | 2017-03-01 | 2021-08-16 | 画像処理装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017038725A JP6934240B2 (ja) | 2017-03-01 | 2017-03-01 | 画像処理装置 |
JP2021132352A JP7152065B2 (ja) | 2017-03-01 | 2021-08-16 | 画像処理装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017038725A Division JP6934240B2 (ja) | 2017-03-01 | 2017-03-01 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021180527A true JP2021180527A (ja) | 2021-11-18 |
JP7152065B2 JP7152065B2 (ja) | 2022-10-12 |
Family
ID=63590040
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017038725A Active JP6934240B2 (ja) | 2017-03-01 | 2017-03-01 | 画像処理装置 |
JP2021132352A Active JP7152065B2 (ja) | 2017-03-01 | 2021-08-16 | 画像処理装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017038725A Active JP6934240B2 (ja) | 2017-03-01 | 2017-03-01 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP6934240B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6696095B1 (ja) * | 2018-11-07 | 2020-05-20 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
WO2020142871A1 (zh) * | 2019-01-07 | 2020-07-16 | 华为技术有限公司 | 图像的白平衡处理方法和装置 |
WO2021199366A1 (ja) * | 2020-03-31 | 2021-10-07 | ソニーグループ株式会社 | 情報処理装置、方法、プログラム、およびモデル |
KR20220166592A (ko) * | 2021-06-10 | 2022-12-19 | 삼성전자주식회사 | 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법 |
CN115529448B (zh) * | 2022-03-10 | 2023-07-11 | 荣耀终端有限公司 | 图像处理方法及相关装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009038712A (ja) * | 2007-08-03 | 2009-02-19 | Nikon Corp | カラー撮像装置 |
JP2010508729A (ja) * | 2006-10-26 | 2010-03-18 | クゥアルコム・インコーポレイテッド | 自動ホワイトバランス統計収集 |
JP2016139955A (ja) * | 2015-01-28 | 2016-08-04 | 株式会社シグマ | 色シェーディング補正が可能な撮像装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3849834B2 (ja) * | 1999-02-02 | 2006-11-22 | 富士写真フイルム株式会社 | オートホワイトバランス制御方法 |
JP4158592B2 (ja) * | 2003-04-25 | 2008-10-01 | 富士フイルム株式会社 | オートホワイトバランス調整方法及びこの方法が適用されたカメラ |
JP2006254336A (ja) * | 2005-03-14 | 2006-09-21 | Fuji Photo Film Co Ltd | ホワイトバランス補正方法および装置 |
JP5023874B2 (ja) * | 2007-08-06 | 2012-09-12 | 株式会社ニコン | カラー撮像装置 |
JP2013168723A (ja) * | 2012-02-14 | 2013-08-29 | Nikon Corp | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 |
-
2017
- 2017-03-01 JP JP2017038725A patent/JP6934240B2/ja active Active
-
2021
- 2021-08-16 JP JP2021132352A patent/JP7152065B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010508729A (ja) * | 2006-10-26 | 2010-03-18 | クゥアルコム・インコーポレイテッド | 自動ホワイトバランス統計収集 |
JP2009038712A (ja) * | 2007-08-03 | 2009-02-19 | Nikon Corp | カラー撮像装置 |
JP2016139955A (ja) * | 2015-01-28 | 2016-08-04 | 株式会社シグマ | 色シェーディング補正が可能な撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6934240B2 (ja) | 2021-09-15 |
JP7152065B2 (ja) | 2022-10-12 |
JP2018148281A (ja) | 2018-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7152065B2 (ja) | 画像処理装置 | |
CN110022469B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
US9813635B2 (en) | Method and apparatus for auto exposure value detection for high dynamic range imaging | |
US10021313B1 (en) | Image adjustment techniques for multiple-frame images | |
JP2019012426A (ja) | 画像認識装置、学習装置、画像認識方法、学習方法及びプログラム | |
KR102356372B1 (ko) | 화이트 밸런스 처리 방법, 전자 장치 및 컴퓨터 판독 가능 저장 매체 | |
JP2010220197A (ja) | 画像におけるシャドーの検知装置および検知方法 | |
JP2009159496A (ja) | ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法 | |
KR20110016505A (ko) | 컬러 조정 | |
JP2016540440A (ja) | ピクチャー処理方法、装置 | |
JP5740147B2 (ja) | 光源推定装置及び光源推定方法 | |
US20130083237A1 (en) | Imaging apparatus, imaging method, and program | |
US20160275651A1 (en) | Methods for awb (automatic white balance) compensation and apparatuses using the same | |
US11457189B2 (en) | Device for and method of correcting white balance of image | |
WO2013114803A1 (ja) | 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム | |
US20180288336A1 (en) | Image processing apparatus | |
US20150312487A1 (en) | Image processor and method for controlling the same | |
JP6632724B2 (ja) | ハイダイナミックレンジビデオ/イメージングのための、露光時間セットを低減するためのデバイスおよび方法 | |
JP5956844B2 (ja) | 画像処理装置およびその制御方法 | |
US20230132230A1 (en) | Efficient Video Execution Method and System | |
JP6827782B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体 | |
WO2024079532A1 (en) | Temporally consistent neural network processing system | |
US20190052803A1 (en) | Image processing system, imaging apparatus, image processing apparatus, control method, and storage medium | |
WO2013114802A1 (ja) | 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム | |
CN112995634B (zh) | 图像的白平衡处理方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210913 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210913 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220805 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220921 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7152065 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |