JP2021136661A - 画像処理装置、画像処理方法、プログラム、記憶媒体 - Google Patents
画像処理装置、画像処理方法、プログラム、記憶媒体 Download PDFInfo
- Publication number
- JP2021136661A JP2021136661A JP2020033749A JP2020033749A JP2021136661A JP 2021136661 A JP2021136661 A JP 2021136661A JP 2020033749 A JP2020033749 A JP 2020033749A JP 2020033749 A JP2020033749 A JP 2020033749A JP 2021136661 A JP2021136661 A JP 2021136661A
- Authority
- JP
- Japan
- Prior art keywords
- correction value
- white balance
- balance correction
- image processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 53
- 238000003672 processing method Methods 0.000 title claims 2
- 238000012937 correction Methods 0.000 claims abstract description 79
- 238000011156 evaluation Methods 0.000 claims abstract description 48
- 238000004364 calculation method Methods 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 6
- 239000006185 dispersion Substances 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims 1
- 239000000203 mixture Substances 0.000 abstract 2
- 238000001514 detection method Methods 0.000 description 25
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 7
- 244000025254 Cannabis sativa Species 0.000 description 6
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005457 Black-body radiation Effects 0.000 description 1
- 241000209504 Poaceae Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/74—Circuits for processing colour signals for obtaining special effects
- H04N9/75—Chroma key
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
Description
図1は、本発明の画像処理装置の一実施形態であるデジタルカメラ100の構成例を示すブロック図である。
Cy[i]=(R[i]+B[i]−2G[i])/Y[i]×1024
ただし、Y[i]=(R[i]+2G[i]+B[i])/4
ステップS503では、WB制御部203は、図6(a)のような座標軸を持つグラフを用いて白検出を行う。x座標(Cx)の負方向が高色温度被写体の白を撮影したときの色評価値を表し、正方向が低色温度被写体の白を撮影したときの色評価値を表す。またy座標(Cy)は光源の緑成分の度合いを示しており、負方向になるにつれGreen成分が大きくなり、つまり蛍光灯であることを示している。より具体的には、ステップS503では、WB制御部203は、ステップS502で算出したi番目のブロックの色評価値(Cx[i],Cy[i])が、図6に示す予め設定した白検出範囲601に含まれるか否かを判断する。
WBCo1_G=SumY×1024/SumG
WBCo1_B=SumY×1024/SumB
ただし、SumY=(SumR+2×SumG+SumB)/4である。
図8では草、芝などの評価値分布を示したが、人物の肌も環境光源の色温度により分布が異なるので、緑分布と同様に色温度を推定可能であり、人物の肌領域から第2のWB補正値を決定してもよい。
AveCy:特定領域の平均色評価値(Cy)
図10(a)、10(b)のように、色評価値の分散値からGainA,GainBを求め、分散値による第2のWB補正値の信頼度を算出する。
上記では分散が大きい場合は、第2のWB補正値の信頼度が低いと判断したが、図8に示すように草、芝などの様々な自然緑の色評価値をプロットすると、同一色温度環境下で、一定の広がりを持った分布形状になっている。この特性から、緑領域の色評価値は分散値が大きい場合も同一色温度環境下の分布相関を算出し、相関が高ければ、第2のWB補正値の信頼度が高いと判断できる。
また、特定領域の面積比率(面積の割合)が低い場合は、第2のWB補正値の算出精度が低い可能性があるので、面積比率についても第2のWB補正値の信頼度を算出する要素とする。図10(d)のように面積比率AR(特定領域の面積/特定領域以外の領域を含む領域 )に応じてGainEを算出する。したがって、第2のWB補正値の信頼度βは以下のようになる。
上記で算出した信頼度βを第1のWB補正値と第2のWB補正値を加重加算する混合率とする。
なお、上記の実施形態では、本発明の画像処理装置として、デジタルカメラを例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、デジタルビデオカメラや、デジタルカメラを含む情報処理装置(例えば、パーソナルコンピュータ、携帯端末)等に適用されうる。
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
Claims (17)
- 画像データを取得する取得手段と、
取得した画像データから特定領域を判別する判別手段と、
前記特定領域以外の領域を含む領域の白画素に応じて、第1のホワイトバランス補正値を算出する第1の算出手段と、
前記特定領域の色評価値に基づいて、第2のホワイトバランス補正値を算出する第2の算出手段と、
前記特定領域の色評価値の分布に基づいて、前記第1のホワイトバランス補正値と前記第2のホワイトバランス補正値の混合率を算出する第3の算出手段と、
前記第1のホワイトバランス補正値と前記第2のホワイトバランス補正値を前記混合率で加重加算して最終的なホワイトバランス補正値を算出する第4の算出手段と、
を備えることを特徴とする画像処理装置。 - 前記判別手段は、機械学習を用いて前記特定領域を判別することを特徴とする請求項1に記載の画像処理装置。
- 前記特定領域とは、自然に存在する緑領域であることを特徴とする請求項1または2記載の画像処理装置。
- 前記特定領域とは、人物の肌色領域であることを特徴とする請求項1または2に記載の画像処理装置。
- 前記判別手段は、機械学習によって、前記特定領域の信頼度を判別することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
- 前記第2の算出手段は、前記特定領域の信頼度に応じて色評価値を積分することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
- 前記第2の算出手段は、前記特定領域の色評価値が、予め設定した範囲に入っているか否かを判定し、その結果に基づいて色評価値を積分することを特徴とする請求項6に記載の画像処理装置。
- 前記第3の算出手段は、前記特定領域が前記画像データに存在する場合は、第2のホワイトバランス補正値の混合率を高くすることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
- 前記第3の算出手段は、前記特定領域が前記画像データに存在しない場合は、第2のホワイトバランス補正値の混合率を0にすることを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
- 前記第3の算出手段は、前記特定領域の色評価値の分散値を算出し、その結果に基づいて前記第1のホワイトバランス補正値と前記第2のホワイトバランス補正値の混合率を算出することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
- 前記第3の算出手段は、前記特定領域の色評価値の直線相関値を算出し、その結果に基づいて前記第1のホワイトバランス補正値と前記第2のホワイトバランス補正値の混合率を算出することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
- 前記第3の算出手段は、前記特定領域以外の領域を含む領域に対する特定領域の面積の割合を算出し、その結果に基づいて前記第1のホワイトバランス補正値と前記第2のホワイトバランス補正値の混合率を算出することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
- 前記第3の算出手段は、前記特定領域の面積の割合が高くなるにつれて、前記第2のホワイトバランス補正値の混合率を高くすることを特徴とする請求項12に記載の画像処理装置。
- 前記第3の算出手段は、前記特定領域の面積の割合が低くなるにつれて、前記第1のホワイトバランス補正値の混合率を高くすることを特徴とする請求項12に記載の画像処理装置。
- 画像データを取得する取得工程と、
取得した画像データから特定領域を判別する判別工程と、
前記特定領域以外の領域を含む領域の白画素に応じて、第1のホワイトバランス補正値を算出する第1の算出工程と、
前記特定領域の色評価値に基づいて、第2のホワイトバランス補正値を算出する第2の算出工程と、
前記特定領域の色評価値の分布に基づいて、前記第1のホワイトバランス補正値と前記第2のホワイトバランス補正値の混合率を算出する第3の算出工程と、
前記第1のホワイトバランス補正値と前記第2のホワイトバランス補正値を前記混合率で加重加算して最終的なホワイトバランス補正値を算出する第4の算出工程と、
を有することを特徴とする画像処理方法。 - コンピュータを、請求項1乃至14のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
- コンピュータを、請求項1乃至14のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020033749A JP2021136661A (ja) | 2020-02-28 | 2020-02-28 | 画像処理装置、画像処理方法、プログラム、記憶媒体 |
US17/170,069 US20210274141A1 (en) | 2020-02-28 | 2021-02-08 | Image processing apparatus, image processing method, and storage medium |
CN202110220805.7A CN113329215A (zh) | 2020-02-28 | 2021-02-26 | 图像处理设备、图像处理方法和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020033749A JP2021136661A (ja) | 2020-02-28 | 2020-02-28 | 画像処理装置、画像処理方法、プログラム、記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021136661A true JP2021136661A (ja) | 2021-09-13 |
Family
ID=77414525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020033749A Pending JP2021136661A (ja) | 2020-02-28 | 2020-02-28 | 画像処理装置、画像処理方法、プログラム、記憶媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210274141A1 (ja) |
JP (1) | JP2021136661A (ja) |
CN (1) | CN113329215A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114374830B (zh) * | 2022-01-06 | 2024-03-08 | 杭州海康威视数字技术股份有限公司 | 图像白平衡方法、电子设备及计算机可读存储介质 |
CN116915964B (zh) * | 2023-09-13 | 2024-01-23 | 北京智芯微电子科技有限公司 | 灰度世界白平衡校正方法、装置、设备、芯片及存储介质 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4217698B2 (ja) * | 2005-06-20 | 2009-02-04 | キヤノン株式会社 | 撮像装置及び画像処理方法 |
JP4702635B2 (ja) * | 2007-07-17 | 2011-06-15 | 富士フイルム株式会社 | オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置 |
JP5113514B2 (ja) * | 2007-12-27 | 2013-01-09 | キヤノン株式会社 | ホワイトバランス制御装置およびホワイトバランス制御方法 |
JP5398156B2 (ja) * | 2008-03-04 | 2014-01-29 | キヤノン株式会社 | ホワイトバランス制御装置およびその制御方法並びに撮像装置 |
JP4726251B2 (ja) * | 2008-09-18 | 2011-07-20 | キヤノン株式会社 | 撮像装置及び画像処理方法 |
US8913154B2 (en) * | 2010-02-04 | 2014-12-16 | Canon Kabushiki Kaisha | Image processing apparatus |
JP6442209B2 (ja) * | 2014-09-26 | 2018-12-19 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
KR102346522B1 (ko) * | 2015-09-10 | 2022-01-03 | 삼성전자주식회사 | 영상 처리 장치 및 그것의 자동 화이트 밸런싱 방법 |
CN107295324A (zh) * | 2017-06-16 | 2017-10-24 | 广东欧珀移动通信有限公司 | 白平衡处理方法、装置和终端设备 |
CN108024055B (zh) * | 2017-11-03 | 2019-09-17 | Oppo广东移动通信有限公司 | 白平衡处理的方法、装置、移动终端和存储介质 |
JP7114335B2 (ja) * | 2018-05-23 | 2022-08-08 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、及び、プログラム |
CN110602473B (zh) * | 2019-10-24 | 2021-11-16 | 维沃移动通信有限公司 | 一种白平衡校准方法及装置 |
-
2020
- 2020-02-28 JP JP2020033749A patent/JP2021136661A/ja active Pending
-
2021
- 2021-02-08 US US17/170,069 patent/US20210274141A1/en not_active Abandoned
- 2021-02-26 CN CN202110220805.7A patent/CN113329215A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20210274141A1 (en) | 2021-09-02 |
CN113329215A (zh) | 2021-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4217698B2 (ja) | 撮像装置及び画像処理方法 | |
US8509482B2 (en) | Subject tracking apparatus, subject region extraction apparatus, and control methods therefor | |
US8401328B2 (en) | Image processing apparatus and image processing method | |
EP2076054A2 (en) | White balance control device and white balance control method | |
WO2010131416A1 (ja) | 電子カメラ、画像処理装置および画像処理方法 | |
US20090002509A1 (en) | Digital camera and method of controlling same | |
KR20110025621A (ko) | 화상 처리 장치, 화상 처리 방법 및 컴퓨터 기억 매체 | |
JP2015032966A (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP6904788B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2021128791A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20210274141A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2021182672A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US10863103B2 (en) | Setting apparatus, setting method, and storage medium | |
WO2006126347A1 (ja) | 撮像装置、画像処理方法及び画像処理プログラム | |
JP4971785B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP4726251B2 (ja) | 撮像装置及び画像処理方法 | |
JP6937603B2 (ja) | 画像処理装置およびその制御方法、プログラム、並びに記憶媒体 | |
JP5215775B2 (ja) | ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法 | |
US20210360213A1 (en) | Image processing apparatus, image processing method, and storage medium | |
CN109447925B (zh) | 图像处理方法和装置、存储介质、电子设备 | |
JP5222429B2 (ja) | 被写体追跡装置及びその制御方法 | |
JP5106311B2 (ja) | ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法 | |
JP2007312099A (ja) | 撮像装置 | |
JP2015119436A (ja) | 撮像装置 | |
US11523064B2 (en) | Image processing apparatus, image processing method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231020 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240412 |