JP2020528243A - ホワイトバランス処理方法、電子機器、およびコンピュータ可読記憶媒体 - Google Patents

ホワイトバランス処理方法、電子機器、およびコンピュータ可読記憶媒体 Download PDF

Info

Publication number
JP2020528243A
JP2020528243A JP2020503824A JP2020503824A JP2020528243A JP 2020528243 A JP2020528243 A JP 2020528243A JP 2020503824 A JP2020503824 A JP 2020503824A JP 2020503824 A JP2020503824 A JP 2020503824A JP 2020528243 A JP2020528243 A JP 2020528243A
Authority
JP
Japan
Prior art keywords
color
light source
scene
image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020503824A
Other languages
English (en)
Other versions
JP6874208B2 (ja
Inventor
ワン、フイチャオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of JP2020528243A publication Critical patent/JP2020528243A/ja
Application granted granted Critical
Publication of JP6874208B2 publication Critical patent/JP6874208B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796—Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本開示は、画像に対応するシーンに含まれている光源の色を取得するために画像を処理するステップ（Ｓ１１０）と、光源の色がシーンに含まれている対象物の自然色と同一かどうかを判断するステップ（Ｓ１２０）と、光源の色が対象物の自然色と同一のときは、シーンの種類を決定し、シーンの種類によって画像にホワイトバランス処理を実行するステップ（Ｓ１３０）と、光源の色がシーンに含まれている対象物の自然色とは異なるときは、光源の色によってシーンに含まれている光源の色温度を決定し、光源の色温度によって画像にホワイトバランス処理を実行するステップ（Ｓ１４０）とを含む、ホワイトバランス処理方法を提供する。

Description

本開示は、画像処理技術の分野に関し、より詳細には、ホワイトバランス処理方法、ホワイトバランス処理装置、電子機器、およびコンピュータ可読記憶媒体に関する。
先行技術のホワイトバランス技法は、画像に対応するシーン内の光源の色温度を検知して、シーンに含まれている光源の色温度によってホワイトバランス処理を実行する場合がある。
本開示の実施によるホワイトバランス処理方法は、画像に対応するシーンに含まれている光源の色を取得するために画像を処理するステップと、光源の色がシーンに含まれている対象物の自然色と同一かどうかを判断するステップと、光源の色がシーンに含まれている対象物の自然色と同一であるという判断に応答してシーンの種類を決定し、シーンの種類によって画像にホワイトバランス処理を実行するステップと、光源の色がシーンに含まれている対象物の自然色とは異なるという判断に応答して、光源の色によってシーンに含まれている光源の色温度を決定し、光源の色温度によって画像にホワイトバランス処理を実行するステップとを含む。
実施形態では、ホワイトバランス処理方法は、画像を複数の領域に分割するステップと、各領域のヒストグラムに従って領域が光源を有する対象領域かどうかを判断するステップと、互いに隣接する少なくとも２つの対象領域が存在するかどうかを判断するステップと、少なくとも２つの対象領域が存在するという判断に応答して、少なくとも２つの対象領域に含まれている少なくとも２つの光源をシーンに含まれている光源にスティッチングするステップと、少なくとも２つの対象領域が存在しないという判断に応答して、対象領域に含まれている光源をシーンに含まれている光源として決定するステップとをさらに含む。
実施形態では、領域のヒストグラムに従って領域が光源を有する対象領域かどうかを判断するステップは、それぞれが所定の値よりも大きい画素値を有する画素数の比率が所定比を上回るかどうかを判断するステップと、それぞれが所定の値よりも大きい画素値を有する画素数の比率が所定比を上回るときは、領域のヒストグラムに従って領域が光源を有する対象領域であると判断するステップと、それぞれが所定の値よりも大きい画素値を有する画素数の比率が所定比を上回らないときは、領域のヒストグラムに従って領域が光源を有する対象領域ではないと判断するステップとを含む。
実施形態では、画像に対応するシーンに含まれている光源の色を取得するために画像を処理するステップは、シーンに含まれている光源の中心から半径方向に沿った輝度分布に従って第１の領域および第２の領域を決定するステップと、シーンに含まれている光源の色を決定するために、第２の領域の原色チャネルの平均画素値を第１の領域の原色チャネルの平均画素値から減算するステップとを含む。
実施形態では、第１の領域は、主光源の中心から半径方向に沿った、第１の輝度範囲内の輝度値をそれぞれ有する画素によって画定される領域を指し、第２の領域は、主光源の中心から半径方向に沿った、第２の輝度範囲内の輝度値をそれぞれ有する画素によって画定される領域を指し、第２の輝度範囲の上限は、第１の輝度範囲の下限以下である。
実施形態では、第１の輝度範囲、および第２の輝度範囲は、光源の中心から半径方向に沿った輝度分布に従って決定される。
実施形態では、光源の色がシーンに含まれている対象物の自然色と同一かどうかを判断するステップは、光源の色の原色チャネルの画素値間の比率と、画像内の対象物の色の、原色チャネルの画素値間の比率とに従って、光源の色がシーンに含まれている対象物の自然色と同一かどうかを判断する。
実施形態では、画像内の対象物の色は、光源の色と、シーンに含まれている対象物の自然色とを重ねることによって取得され、光源の色がシーンに含まれている対象物の自然色と同一かどうかを判断するステップは、光源の色が画像内の対象物の色と同一かどうかを判断するステップと、光源の色が画像内の対象物の色と異なるときは、光源の色がシーンに含まれている対象物の自然色とは異なると判断するステップと、光源の色が画像内の対象物の色と同一のときは、光源の色の原色チャネルの画素値間の比率と、画像内の対象物の色の、原色チャネルの画素値間の比率とに従って、光源の色がシーンに含まれている対象物の自然色と同一かどうかを判断するステップとを含む。
実施形態では、光源の色の原色チャネルの画素値間の比率、および画像内の対象物の色の原色チャネルの画素値間の比率に従って、光源の色がシーンに含まれている対象物の自然色と同一かどうかを判断するステップは、光源の色の原色チャネルの画素値間の比率が、画像内の対象物の色の、原色チャネルの画素値間の比率と同一かどうかを判断するステップと、光源の色に対する原色チャネルの画素値に占める比率が、画像内の対象物の色に対する原色チャネルの画素値に占める比率と同一であるという判断に応答して、光源の色がシーンに含まれている対象物の自然色と同一であると判断するステップと、光源の色に対する原色チャネルの画素値に占める比率が、画像内の対象物の色に対する原色チャネルの画素値に占める比率とは異なるという判断に応答して、光源の色がシーンに含まれている対象物の自然色とは異なると判断するステップとを含む。
実施形態では、光源の色がシーンに含まれている対象物の元の自然色と同一かどうかを判断するステップは、光源の色がシーンに含まれている対象物の自然色と同一かどうかを判断するために、事前設定された分類器を使用して画像を処理するステップを含む。
実施形態では、ホワイトバランス処理方法は、複数のフレーム画像を取得するステップであって、各フレーム画像が、光源の色がシーンに含まれている対象物の自然色と同一であることを示す第１のマーク、および光源の色がシーンに含まれている対象物の自然色とは異なっていることを示す第２のマークを含む、ステップと、複数のフレーム画像を、トレーニングサンプルとテストサンプルとに分割するステップと、トレーニングサンプルを、分類器を生成する分類器アルゴリズムに入力するステップと、光源の色がシーンに含まれている対象物の自然色と同一かどうかを示す予測した結果を得るために、テストサンプルを分類器に入力するステップと、事前設定された分類器を得るために、予測した結果に基づいて分類器を補正するステップとをさらに含む。
実施形態では、光源の色がシーンに含まれている対象物の自然色と同一であるという判断に応答してシーンの種類を決定し、シーンの種類によって画像にホワイトバランス処理を行うステップは、画像内の対象物の種類を決定するために画像を処理するステップと、対象物の種類によってシーンの種類を決定するステップと、シーンの種類、ならびにシーンの種類とホワイトバランスパラメータとの間の所定の対応関係に従って、画像にホワイトバランス処理を実行するステップとを含む。
実施形態では、シーンに含まれている光源の色温度を光源の色によって決定するステップは、光源の色、ならびに光源の色と光源の色温度との間の対応関係に従って、シーンに含まれている光源の色温度を決定するステップを含み、対応関係はマッピングテーブルおよび色温度曲線からなる群から選択される。
本開示の実施による電子機器は、１つ以上のプロセッサと、メモリと、１つ以上のプログラムとを含む。メモリには１つ以上のプログラムが記憶され、１つ以上のプロセッサによって実行されるように構成される。１つ以上のプログラムは、前述した実施形態のいずれか１つに従ってホワイトバランス処理方法を実行する命令を含む。
本開示の実施によるコンピュータ可読記憶媒体は、電子機器と協同するコンピュータプログラムを含む。コンピュータプログラムは、前述した実施形態のいずれか１つに従ってホワイトバランス処理方法を実行するためにプロセッサによって実行される。
本開示の実施形態のこれらその他の態様および利点は、図面を参照してなされる以下の説明で明らかになり、かつより容易に理解されるようになるであろう。
本開示のいくつかの実施による、ホワイトバランス処理方法を示すフローチャートである。 本開示のいくつかの実施による、色温度曲線である。 本開示のいくつかの実施による、ホワイトバランス処理方法を示すフローチャートである。 本開示のいくつかの実施による、ホワイトバランス処理を実行するためのシナリオを示す概略図である。 本開示のいくつかの実施による、ホワイトバランス処理方法を示すフローチャートである。 本開示のいくつかの実施による、ホワイトバランス処理を実行するためのシナリオを示す概略図である。 本開示のいくつかの実施による、ホワイトバランス処理方法を示すフローチャートである。 本開示のいくつかの実施による、ホワイトバランス処理方法を示すフローチャートである。 本開示のいくつかの実施による、ホワイトバランス処理方法を示すフローチャートである。 本開示のいくつかの実施による、ホワイトバランス処理装置を示すブロック図である。 本開示のいくつかの実施による、ホワイトバランス処理装置を示すブロック図である。 本開示のいくつかの実施による、第１の処理モジュールを示すブロック図である。 本開示のいくつかの実施による、第２の処理モジュールを示すブロック図である。 本開示のいくつかの実施による、電子機器の平面図である。 本開示のいくつかの実施による、電子機器を示すブロック図である。 本開示のいくつかの実施による、電子機器とコンピュータ可読記憶媒体との結合を示す概略図である。
本開示の実施について詳細に説明し、実施例を図面に示す。説明の全体を通じて、同じまたは類似の要素、ならびに同じまたは類似の機能を有する要素は、同じ参照符号で示される。図面を参照しながら本明細書で説明する実施は説明のためのものであり、本開示の実施を理解するために使用され、本開示の実施を制限するものと解釈されてはならない。
先行技術では、光源の色がシーンに含まれている対象物の色と同一のときは、検知した光源の色温度によってホワイトバランス処理を実行することにより、画像に含まれる対象物が灰色がかった色になりやすく、ホワイトバランス効果が不十分になる。
本開示の実施形態は、ホワイトバランス処理方法、ホワイトバランス処理装置、電子機器、および非一時的なコンピュータ可読記憶媒体を提供する。
本開示の実施によるホワイトバランス処理方法は、画像に対応するシーンに含まれている光源の色を取得するために画像を処理するステップと、光源の色がシーンに含まれている対象物の自然色と同一かどうかを判断するステップと、光源の色がシーンに含まれている対象物の自然色と同一であるという判断に応答してシーンの種類を決定し、シーンの種類によって画像にホワイトバランス処理を実行するステップと、光源の色がシーンに含まれている対象物の自然色とは異なるという判断に応答して、光源の色によってシーンに含まれている光源の色温度を決定し、光源の色温度によって画像にホワイトバランス処理を実行するステップとを含む。
本開示の実施によるホワイトバランス処理装置は、画像に対応するシーンに含まれている光源の色を取得するために画像を処理するように構成された第１の処理モジュールと、光源の色がシーンに含まれている対象物の自然色と同一かどうかを判断するように構成された第１の判断モジュールと、光源の色がシーンに含まれている対象物の自然色と同一であるという判断に応答してシーンの種類を決定し、シーンの種類によって画像にホワイトバランス処理を実行するように構成された第２の処理モジュールと、光源の色がシーンに含まれている対象物の自然色とは異なるという判断に応答して、光源の色によってシーンに含まれている光源の色温度を決定し、光源の色温度によって画像にホワイトバランス処理を実行するように構成された第３の処理モジュールとを含む。
本開示の実施による電子機器は、１つ以上のプロセッサと、メモリと、１つ以上のプログラムとを含む。メモリには１つ以上のプログラムが記憶され、１つ以上のプロセッサによって実行されるように構成される。１つ以上のプログラムは、ホワイトバランス処理方法を実行する命令を含む。
本開示の実施による非一時的なコンピュータ可読記憶媒体は、電子機器と協同するコンピュータプログラムを含む。コンピュータプログラムは、ホワイトバランス処理方法を実行するためにプロセッサによって実行される。
本開示の実施によるホワイトバランス処理方法、ホワイトバランス処理装置、電子機器、およびコンピュータ可読記憶媒体は、光源の色がシーンに含まれている対象物の自然色と同一のときはシーンの種類が決定され、画像の種類によって画像にホワイトバランス処理が実行される。したがって、ホワイトバランス処理された画像に含まれている対象物によって示される色は、シーンに含まれている対象物の実世界の色に近くなる。
図１に示すように、本開示の実施によるホワイトバランス処理方法は、以下のステップを含む。
ブロックＳ１１０において、画像に対応するシーンに含まれている光源の色を取得するために画像が処理される。
ブロックＳ１２０において、光源の色がシーンに含まれている対象物の自然色と同一かどうかが判断される。
ブロックＳ１３０において、光源の色がシーンに含まれている対象物の自然色と同一のときはシーンの種類が決定され、シーンの種類によって画像にホワイトバランス処理が実行される。
ブロックＳ１４０において、光源の色がシーンに含まれている対象物の自然色とは異なるときは、光源の色によって光源の色温度が決定され、光源の色温度によって画像にホワイトバランス処理が実行される。
本開示の実施によるホワイトバランス処理方法、ホワイトバランス処理装置１００、および電子機器１０００は、光源の色がシーンに含まれている対象物の自然色と同一のときはシーンの種類が決定され、シーンの種類によって画像にホワイトバランス処理が実行される。したがって、ホワイトバランス処理された画像に含まれている対象物によって示される色は、シーンに含まれている対象物の実世界の色に近くなり得る。
いくつかの実施では、シーンに含まれている対象物の自然色とは、実際のシーンに含まれている対象物によって示され、かつ標準的な白色光で照射された色を指す。標準的な白色光とは、互いに等しい赤の成分値、緑の成分値、および青の成分値を含む、すなわちＲ：Ｇ：Ｂ＝１：１：１の白色光を指してもよい。標準的な白色光の色温度は、約５５００Ｋであってもよい。
いくつかの実施では、光源の色によってシーンに含まれている光源の色温度を決定するステップは、以下のことを含んでもよい。光源の色温度は、光源の色、ならびに光源の色と光源の色温度との間の対応関係によって決定されてもよい。光源の色と光源の色温度との間の対応関係は、マッピングテーブルまたは色温度曲線であってもよい。
図２に示すように、一実施形態では、画像は色温度が３０００Ｋ、４０００Ｋ、および５０００Ｋの標準的なライトボックスを用いた照明下で取得されてもよく、上述した色温度下の光源の色は計算を行うことによって決定されてもよい。したがって、光源の色と、光源の色温度との色温度曲線が得られる。色温度曲線は、電子機器１０００に記憶されてもよい。光源の色温度は、光源の色に基づいて色温度曲線を調べることによって取得され得る。
いくつかの実施では、光源の色温度と、ホワイトバランスパラメータとの間の対応関係は、電子機器１０００に予め記憶されている。光源の色によって光源の色温度が取得された後に、光源の色温度に基づいて、光源の色温度とホワイトバランスパラメータとの間の対応関係を調べることによってホワイトバランスパラメータが取得されてもよい。したがって、ホワイトバランスパラメータに従って画像にホワイトバランス処理が実行され得る。
図３に示すように、いくつかの実施では、ブロックＳ１１０の前に、ホワイトバランス処理方法は以下のステップを含む。
ブロックＳ１５０において、画像が複数の領域に分割される。
ブロックＳ１６０において、各領域のヒストグラムに従って領域が光源を有する対象領域かどうかが判断される。
ブロックＳ１７０において、互いに隣接する少なくとも２つの対象領域が存在するかどうかが判断される。
ブロックＳ１８０において、互いに隣接する少なくとも２つの対象領域が存在するときは、少なくとも２つの対象領域に含まれている少なくとも２つの光源が、シーンに含まれている光源にスティッチングされる。
ブロックＳ１９０において、互いに隣接する少なくとも２つの対象領域が存在しないときは、対象領域に含まれている光源がシーンに含まれている光源として決定される。
したがって、画像内の光源の位置が決定され得る。
具体的には、画像が複数の領域に分割されてもよい。例えば、画像は６４＊４８の領域に分割されてもよい。各領域のヒストグラムに従って、各領域において画素数の比率が所定比を上回っているかどうかが判断されてもよい。画素は、所定の画素値Ｐよりも大きい画素値をそれぞれ有する。例えば、所定の画素値Ｐは約２３９であってもよく、所定比は約５％であってもよい。つまり、画素数の比率が５％を超えるかどうかが判断される。画素は、２３９よりも大きい画素値をそれぞれ有する。それぞれが５％を超えて２３９よりも大きい画素値を有する画素数の比率に応じた領域は、光源を有する対象領域として決定される。画像内に対象領域が存在するかどうかが判断され、画像内に対象領域が存在するときは、画像に対応するシーンに光源が含まれていることが示される。画像内に対象領域が存在しないときは、画像に対応するシーンに光源が含まれていないことが示される。画像内に対象領域が存在するときは、互いに隣接する少なくとも２つの対象領域が存在するかどうかが判断される。少なくとも２つの対象画像が存在するときは、少なくとも２つの対象領域に含まれている少なくとも２つの光源は、同じ光源の一部である。したがって、少なくとも２つの対象領域に含まれている少なくとも２つの光源は、１つの光源にスティッチングされてもよい。少なくとも２つの対象領域が存在しないときは、対象領域に含まれている光源がシーンに含まれている光源として決定される。したがって、１つ以上の対象領域に基づいて光源の位置が決定され得る。
図４に示すように、一例では、領域Ａ、領域Ｂ、領域Ｃ、および領域Ｄのそれぞれは、各領域のヒストグラムに従って光源を有する対象領域と判断されてもよい。例えば、領域Ａのヒストグラムに基づいて、所定の画素値Ｐよりも大きい画素値をそれぞれ有する画素の比率が所定比を上回っていると判断されてもよい。領域Ａ、領域Ｂ、領域Ｃ、および領域Ｄは互いに隣接する対象領域なので、領域Ａ、領域Ｂ、領域Ｃ、および領域Ｄに含まれている光源は１つの光源にスティッチングされる。
図５および図６に示すように、いくつかの実施では、ブロックＳ１１０は以下のステップを含んでもよい。
ブロックＳ１１２において、光源の中心Ｏから半径方向に沿った輝度分布に従って高輝度領域Ｈおよび中間輝度領域Ｍが決定される。
ブロックＳ１１４において、中間輝度領域Ｍの原色チャネルの平均画素値を高輝度領域Ｈの原色チャネルの平均画素値から減算することによって光源の色が決定される。
したがって、光源の色は、高輝度領域Ｈおよび中間輝度領域Ｍに従って決定され得る。
図６に再度示すように、画像内の光源の位置が決定され得る。画像に含まれている光源の中心Ｏは露出過度であり、通常は大きい白点であって、光源の色についてのいかなる情報も排除することは理解されよう。光源の色は、高輝度領域Ｈの原色チャネルの平均画素値、および中間輝度領域Ｍの原色チャネルの平均画素値に従って決定されてもよい。高輝度領域Ｈは、光源の中心から半径方向に沿って、第１の輝度範囲Ｌ１以内の輝度値をそれぞれ有する画素によって画定される領域を指してもよい。第１の輝度範囲Ｌ１は、例えば、［２００、２３９）である。中間輝度領域Ｍは、光源の中心から半径方向に沿って、第２の輝度範囲Ｌ２以内の輝度値をそれぞれ有する画素によって画定される領域を指してもよい。第２の輝度範囲Ｌ２は、例えば、［１５０、２００）である。第１の輝度範囲Ｌ１、および第２の輝度範囲Ｌ２は、光源の中心から半径方向に沿った輝度分布に従って決定されてもよいことに留意されたい。例えば、光源の輝度が急速に減衰すると、第１の輝度範囲Ｌ１および第２の輝度範囲Ｌ２が適切に増大し得る。例えば、光源の輝度がゆっくり減衰すると、第１の輝度範囲Ｌ１および第２の輝度範囲Ｌ２が適切に減少し得る。
いくつかの実施では、原色チャネルは原色を有するチャネル、例えば、赤（Ｒ）チャネル、緑−赤（Ｇｒ）チャネル、緑−青（Ｇｂ）チャネル、および青（Ｂ）チャネルのうちの少なくとも１つを指す。いくつかの実施では、緑（Ｇ）チャネルの画素値は、緑−赤（Ｇｒ）チャネルの画素値、および緑−青（Ｇｂ）チャネルの画素値に基づいて取得されてもよい。原色チャネルのそれぞれの平均画素値とは、その原色チャネルの複数の画素値の算術平均を指してもよい。複数の画素値とは、高輝度領域または中間輝度領域に含まれている全画素の画素値であってもよい。一例では、高輝度領域の原色チャネルの平均画素値（Ｒａｖｇ、Ｇａｖｇ、Ｂａｖｇ）は（２００、２１０、２２０）であり、中間輝度領域の原色チャネルの平均画素値（Ｒａｖｇ、Ｇａｖｇ、Ｂａｖｇ、）は（１６０、１８０、１９０）であって、光源の赤、緑、および青チャネル（Ｒ、Ｇ、Ｂ）の画素値は（２００−１６０、２１０−１８０、２２０−１９０）、すなわち（４０、３０、３０）となる。
図７に示すように、いくつかの実施では、ブロックＳ１２０は以下のステップを含んでもよい。
ブロックＳ１２２において、光源の色の原色チャネルの画素値間の比率と、画像内の対象物の色の原色チャネルの画素値間の比率とに従って、光源の色がシーン内の対象物の自然色と同一かどうかが判断される。
したがって、光源の色がシーンに含まれている対象物の自然色と同一かどうかは、光源の色、および画像に含まれている対象物の色によって判断されてもよい。
具体的には、画像に含まれている対象物の色は、光源の色と、シーンに含まれている対象物の自然色とを重ねることによって取得されてもよい。画像に含まれている対象物の色とは、画像に含まれている対象物によって示される色を指す。画像に含まれている対象物の色が光源の色と同一かどうかが判断され、画像に含まれている対象物の色が光源の色と異なるときは、シーンに含まれている対象物の自然色が光源の色とは異なると判断される。画像に含まれている対象物の色が光源の色と同一のときは、シーンに含まれている対象物の自然色が光源の色と同一である、またはシーンに含まれている対象物の自然色が白である（すなわち３つの原色チャネルＲ、Ｇ、およびＢの画素値が互いに同一である）と判断される。画像に含まれている対象物の色が光源の色と同一のときは、画像に含まれている対象物の色の原色チャネルの画素値間の比率が、光源の色の原色チャネルの画素値間の比率と同一かどうかが判断される。画像に含まれている対象物の色の原色チャネルの画素値間の比率が、光源の色の原色チャネルの画素値間の比率と同一のときは、光源の色はシーンに含まれている対象物の自然色と同一と判断される。画像に含まれている対象物の色の原色チャネルの画素値間の比率が、光源の色の原色チャネルの画素値間の比率とは異なるときは、光源の色はシーンに含まれている対象物の自然色とは異なると判断される。
実施形態では、光源の色の原色チャネル（Ｒ、Ｇ、Ｂ）の画素値は（４０、３０、３０）である。原色チャネルの画素値間の比率は４：３：３である。画像に含まれている対象物の色の原色チャネル（Ｒ、Ｇ、Ｂ）の画素値は（８０、６０、６０）である。原色チャネル（Ｒ、Ｇ、Ｂ）の画素値間の比率は、やはり４：３：３である。したがって、光源の色は、シーンに含まれている対象物の自然色と同一と判断されてもよい。別の実施形態では、光源の色の原色チャネル（Ｒ、Ｇ、Ｂ）の画素値は（４０、３０、３０）である。原色チャネルの画素値間の比率は４：３：３である。画像に含まれている対象物の色の原色チャネル（Ｒ、Ｇ、Ｂ）の画素値は（５０、４０、４０）である。原色チャネルの画素値間の比率は５：４：４である。したがって、光源の色は、シーンに含まれている対象物の自然色とは異なると判断されてもよい。
図８に示すように、いくつかの実施では、ブロックＳ１２０は以下のステップを含む。
ブロックＳ１２４において、光源の色がシーンに含まれている対象物の自然色と同一かどうかを判断するために、事前設定された分類器を使用して画像が処理される。
したがって、事前設定された分類器に従って、光源の色がシーンに含まれている対象物の自然色と同一かどうかが判断されてもよい。
具体的には、事前設定された分類器は、強力なデータ処理能力を有する装置内でトレーニングすることによって取得されてもよい。例えば、事前設定された分類器は、バックグラウンドサーバでトレーニングすることによって取得されてもよい。事前設定された分類器をトレーニングするためのアルゴリズムは、決定木、ロジスティック回帰、単純ベイズなどの、ニューラルネットワーク、機械学習、およびディープラーニングを含んでもよい。
実施形態では、複数のフレーム画像が取得されてもよい。各フレーム画像は、光源の色がシーンに含まれている対象物の自然色と同一であることを示す第１のマークと、光源の色がシーンに含まれている対象物の自然色とは異なることを示す第２のマークとを含む。光源の色がシーンに含まれている対象物の自然色と同一であることを示す、第１のマークを有する画像は正サンプルと呼ばれてもよく、光源の色がシーンに含まれている対象物の自然色とは異なることを示す、第２のマークを有する画像は負サンプルと呼ばれてもよい。複数の画像に正サンプルおよび負サンプルが含まれていると、分類器の精度が高まり得る。複数の画像は、トレーニングサンプルとテストサンプルとに分けられる。トレーニングサンプルは、分類器を生成するための、バックグラウンドサーバを介した分類器のアルゴリズムの入力と見なされる。テストサンプルは、光源の色がシーンに含まれている対象物の自然色と同一かどうかを示す、予測した結果を生成するために分類器に入力される。分類器は、事前設定された分類器を取得するために、予測した結果の精度に従って補正される。
図９に示すように、いくつかの実施では、ブロックＳ１３０は以下のステップを含む。
ブロックＳ１３２において、画像に含まれている対象物の種類を決定するために画像が処理される。
ブロックＳ１３４において、対象物の種類によってシーンの種類が決定される。
ブロックＳ１３６において、シーンの種類および所定の対応関係に従って、画像にホワイトバランス処理が実行される。
したがって、シーンの種類によって画像にホワイトバランス処理が実行される。
具体的には、画像に含まれている対象物の種類を決定するために画像が処理される。例えば、画像に含まれている対象物は、ＡＩ（人工知能）画像認識で画像を処理することによって取得されてもよい。画像に含まれている対象物の種類には、植物（花、草、木など）、動物（ライオン、ネズミ、ネコなど）、自然景観（川、山など）、人、建物などが含まれる。シーンの種類は、対象物の種類によって決定されてもよい。例えば、対象物の種類が木と認識されたときは、シーンの種類は屋外型と判断されてもよい。また、シーンの種類が森かどうかは、木の量によって判断されてもよい。例えば、対象物の種類がある種の食器のときは、シーンの種類は屋内型と判断されてもよい。また、食器の種類（例えば、食器がコーヒーカップ）によって、シーンの種類が喫茶店かどうかが判断されてもよい。シーンの種類に対応するホワイトバランスパラメータは、シーンの種類とホワイトバランスパラメータと間の対応関係に従って、かつシーンの種類に基づいて決定されてもよい。例えば、シーンの種類が森のときは、森に対応するホワイトバランスパラメータが取得されてもよい。森の色温度は通常は比較的高い（すなわち画像が青色がかっている）ので、Ｒチャネルのゲインを増加させ、Ｂチャネルのゲインを減少させてホワイトバランス処理を実施してもよい。例えば、シーンの種類が喫茶店のときは、喫茶店に対応するホワイトバランスパラメータが取得されてもよい。喫茶店の色温度は通常は比較的低い（すなわち画像が赤色がかっている）ので、赤チャネルのゲインを減少させ、Ｂチャネルのゲインを増加させてホワイトバランス処理を実施してもよい。
本開示の実施形態は、ホワイトバランス処理装置をさらに提供する。
図１０に示すように、本開示の実施によるホワイトバランス処理装置１００は、第１の処理モジュール１１０と、第１の判断モジュール１２０と、第２の処理モジュール１３０と、第３の処理モジュール１４０とを備える。第１の処理モジュール１１０は、画像に対応するシーンに含まれている光源の色を決定するために、画像を処理するように構成される。第１の判断モジュール１２０は、光源の色がシーンに含まれている対象物の自然色と同一かどうかを判断するように構成される。第２の処理モジュール１２０は、光源の色がシーンに含まれている対象物の自然色と同一のときは、シーンの種類を決定して、シーンの種類によって画像にホワイトバランス処理を実行するように構成される。第３の処理モジュール１４０は、光源の色がシーンに含まれている対象物の自然色とは異なるときは、光源の色によって光源の色温度を決定し、光源の色温度によって画像にホワイトバランス処理を実行するように構成される。
本開示の実施によるホワイトバランス処理方法は、本開示の実施によるホワイトバランス処理装置１００によって実施されてもよい。ブロックＳ１１０は、第１の処理モジュール１１０によって実施されてもよい。ブロックＳ１２０は、第１の判断モジュール１２０によって実施されてもよい。ブロックＳ１３０は、第２の処理モジュール１３０によって実施されてもよい。ブロックＳ１４０は、第３の処理モジュール１４０によって実施されてもよい。
図１１に示すように、いくつかの実施では、ホワイトバランス処理装置１００は、分割モジュール１５０と、第２の判断モジュール１６０と、第３の判断モジュール１７０と、スティッチングモジュール１８０と、決定モジュール１９０とを備える。分割モジュール１５０は、画像を複数の領域に分割するように構成される。第２の判断モジュール１６０は、各領域のヒストグラムに従って領域が光源を有する対象領域かどうかを判断するように構成される。第３の判断モジュール１７０は、互いに隣接する少なくとも２つの対象領域が存在するかどうかを判断するように構成される。スティッチングモジュール１８０は、互いに隣接する少なくとも２つの対象領域が存在するときは、少なくとも２つの対象領域に含まれている少なくとも２つの光源をシーンに含まれている光源にスティッチングするように構成される。決定モジュール１９０は、互いに隣接する少なくとも２つの対象領域が存在しないときは、対象領域に含まれている光源をシーンに含まれている光源として決定するように構成される。
すなわち、ブロックＳ１５０は、分割モジュール１５０によって実施されてもよい。ブロックＳ１６０は、第２の判断モジュール１６０によって実施されてもよい。ブロックＳ１７０は、第３の判断モジュール１７０によって実施されてもよい。ブロックＳ１８０は、スティッチングモジュール１８０によって実施されてもよい。ブロックＳ１９０は、決定モジュール１９０によって実施されてもよい。
図１２および図６に示すように、いくつかの実施では、第１の処理モジュール１１０は、第１の決定ユニット１１２と、第１の処理ユニット１１４とを含む。第１の決定ユニット１１２は、光源の中心Ｏから半径方向に沿った輝度分布に従って高輝度領域Ｈおよび中間輝度領域Ｍを決定するように構成される。第１の処理ユニット１１４４は、中間輝度領域Ｈの原色チャネルの平均画素値を高輝度領域Ｍの原色チャネルの平均画素値から減算することによって光源の色を決定するように構成される。
すなわち、ブロックＳ１１２は、第１の決定ユニット１１２によって実施されてもよい。ブロックＳ１１４は、第１の処理ユニット１１４によって実施されてもよい。
図１０で再度示すように、いくつかの実施では、第１の判断モジュール１２０は、光源の色の原色チャネルの画素値間の比率と、画像に含まれている対象物の色の原色チャネルの画素値間の比率とに従って、光源の色がシーンに含まれている対象物の自然色と同一かどうかを判断するように構成される。
すなわち、ブロックＳ１２２は、第１の判断モジュール１２０によって実施されてもよい。
図１０で再度示すように、いくつかの実施では、第１の判断モジュール１２０は、光源の色がシーンに含まれている対象物の自然色と同一かどうかを判断するために、事前設定された分類器を使用して画像を処理するように構成される。
すなわち、ブロックＳ１２４は、第１の決定モジュール１２０によって実施されてもよい。
図１３に示すように、いくつかの実施では、第２の処理モジュール１３０は、第２の処理ユニット１３２と、第２の決定ユニット１３４と、第３の処理ユニット１３６とを含む。第２の処理ユニット１３２は、画像に含まれている対象物の種類を決定するために、画像を処理するように構成される。第２の決定ユニット１３４は、対象物の種類によってシーンの種類を決定するように構成される。第３の処理ユニット１３６は、シーンの種類、および所定の対応関係に従って、画像にホワイトバランス処理を実行するように構成される。
すなわち、ブロックＳ１３２は、第２の処理ユニット１３２によって実施されてもよい。ブロックＳ１３４は、第２の決定ユニット１３４によって実施されてもよい。ブロックＳ１３６は、第３の処理ユニット１３６によって実施されてもよい。
本開示の実施形態は、電子機器をさらに提供する。
図１４に示すように、本開示の実施によるホワイトバランス処理装置１００は、本開示の実施による電子機器１０００と一体化されてもよい。すなわち、本開示の実施による電子機器１０００は、本開示の実施によるホワイトバランス処理装置１００を含んでもよい。
いくつかの実施では、電子機器１０００には、電話、タブレット型コンピュータ、ノートパソコン、スマートリストストラップ、スマートウォッチ、スマートヘルメット、スマートグラスなどが含まれる。
図１５に示すように、本開示の実施による電子機器１０００は、１つ以上のプロセッサ２００と、メモリ３００と、１つ以上のプログラムとを含む。メモリ３００には１つ以上のプログラムが記憶され、１つ以上のプロセッサ２００によって実行可能なように構成される。１つ以上のプログラムは、前述した実施のいずれか１つに従ってホワイトバランス処理方法を実施する命令を含む。
例えば、１つ以上のプログラムは、以下のステップを含むホワイトバランス処理方法を実施する命令を含む。
ブロックＳ１１０において、画像に対応するシーンに含まれている光源の色を取得するために画像が処理される。
ブロックＳ１２０において、光源の色がシーンに含まれている対象物の自然色と同一かどうかが判断される。
ブロックＳ１３０において、光源の色がシーンに含まれている対象物の自然色と同一のときはシーンの種類が決定され、シーンの種類によって画像にホワイトバランス処理が実行される。
ブロックＳ１４０において、光源の色がシーンに含まれている対象物の自然色とは異なるときは、光源の色によってシーンに含まれている光源の色温度が決定され、光源の色温度によって画像にホワイトバランス処理が実行される。
例えば、１つ以上のプログラムは、以下のステップを含むホワイトバランス処理方法を実施する命令を含む。
ブロックＳ１５０において、画像が複数の領域に分割される。
ブロックＳ１６０において、各領域のヒストグラムに従って光源を含む対象領域が存在するかどうかが判断される。
ブロックＳ１７０において、互いに隣接する少なくとも２つの対象領域が存在するかどうかが判断される。
ブロックＳ１８０において、互いに隣接する少なくとも２つの対象領域が存在することが検知されたことに応答して、少なくとも２つの対象領域に含まれている少なくとも２つの光源が、シーンに含まれている光源にスティッチングされる。
ブロックＳ１９０において、互いに隣接する少なくとも２つの対象領域が存在しないことが検知されたことに応答して、対象領域に含まれている光源がシーンに含まれている光源として決定される。
図１６に示すように、本開示の実施によるコンピュータ可読記憶媒体８０００は、電子機器１０００と協同するコンピュータプログラムを含む。コンピュータプログラムは、前述した実施のいずれか１つに従ってホワイトバランス処理方法を実施するために、１つ以上のプロセッサ２００によって実行可能であってもよい。
ブロックＳ１１０において、画像に対応するシーンに含まれている光源の色を取得するために画像が処理される。
ブロックＳ１２０において、光源の色がシーンに含まれている対象物の自然色と同一かどうかが判断される。
ブロックＳ１３０において、光源の色がシーンに含まれている対象物の自然色と同一のときはシーンの種類が決定され、シーンの種類によって画像にホワイトバランス処理が実行される。
ブロックＳ１４０において、光源の色がシーンに含まれている対象物の自然色とは異なるときは、光源の色によってシーンに含まれている光源の色温度が決定され、光源の色温度によって画像にホワイトバランス処理が実行される。
例えば、コンピュータプログラムは、以下のステップを含むホワイトバランス処理方法を実施するために、１つ以上のプロセッサ２００によって実行可能であってもよい。
ブロックＳ１５０において、画像が複数の領域に分割される。
ブロックＳ１６０において、各領域のヒストグラムに従って光源を含む対象領域が存在するかどうかが判断される。
ブロックＳ１７０において、互いに隣接する少なくとも２つの対象領域が存在するかどうかが判断される。
ブロックＳ１８０において、互いに隣接する少なくとも２つの対象領域が存在することが検知されたことに応答して、少なくとも２つの対象領域に含まれている少なくとも２つの光源が、シーンに含まれている光源にスティッチングされる。
ブロックＳ１９０において、互いに隣接する少なくとも２つの対象領域が存在しないことが検知されたことに応答して、対象領域に含まれている光源がシーンに含まれている光源として決定される。
本開示の説明では、本明細書全体を通じて、「実施形態」、「いくつかの実施形態」、「図式的な例」、「例」、「具体的な例」、または「いくつかの例」という文言は、実施または例に関連して説明されている特定の機能、構造、材料、または特徴が、本開示の少なくとも１つの実施または例に含まれていることを意味する。明細書では、前述した用語の図式的な表現は、必ずしも本開示の同じ実施形態または例を指すものではない。さらに、特定の機能、構造、材料、または特徴が、１つ以上の実施または例において、任意の適切な方法で組み合わされてもよい。
また、「第１の」および「第２の」という用語は、説明のためにのみ使用され、技術的特徴の相対的重要性または数を示したり、それを意味したりすることは意図していない。また、「第１の」および「第２の」で定義される機能は、明示的または暗示的に、この機能の１つ以上を含み得る。本開示の説明では、「複数の」という用語は特に指定されない限り、２つまたは３つ以上を意味する。
フローチャートで説明される、または他の方法で本明細書で説明される工程または方法はいずれも、工程における特定の論理関数またはステップを達成するための、実行可能命令の１つ以上のモジュール、セグメント、またはコードの一部を含むものと理解されてもよく、本開示の好ましい実施形態の範囲は他の実施を含み、関連する機能に従って機能をほぼ同時に、または逆の順序で実行することを含めて、実行する順序が記載され考察されているものとは異なっていてもよく、このことは本開示の実施形態の当業者に理解されるべきである。
本明細書において他の方法で説明されている、またはフローチャートで示されている論理および／またはステップ、例えば、論理関数を実現するための実行可能命令の特定のシーケンス表は、命令実行システム、装置または機器（コンピュータに基づくシステム、プロセッサを含むシステム、または命令実行システム、装置および機器から命令を取得でき、命令を実行する他のシステム）によって使用される、あるいは命令実行システム、装置および機器と組み合わせて使用される、任意のコンピュータ可読媒体で特に達成され得る。明細書に関して、「コンピュータ可読媒体」は、命令実行システム、装置または機器によって、またはこれらを組み合わせて使用されるプログラムを含有、記憶、通信、伝播または伝送することに適応する任意の装置であってもよい。コンピュータ可読媒体のより具体的な例は、これに限定されないが（包括的でないリストとして）、１本以上の電線との電子接続（ＩＰＭ過電流保護回路）、携帯型コンピュータ筐体（磁気装置）、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラム可能読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ装置、および携帯型コンパクトディスク読み出し専用メモリ（ＣＤＲＯＭ）を含む。また、コンピュータ可読媒体は、プログラムを印刷することが可能な紙その他の適切な媒体であってもよく、その理由は、例えば、紙その他の適切な媒体は、電子的な方法でプログラムを取得するために光学的に走査されて、必要なときに他の適切な方法で編集、解読、または処理され、その後プログラムはコンピュータメモリに記憶され得るからである。
本開示の実施の各部分は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって実現され得ることを理解されたい。前述した実施では、複数のステップまたは方法が、メモリに記憶されたソフトウェアまたはファームウェアによって実現され、適切な命令実行システムによって実行され得る。例えば、別の実施形態におけるようにハードウェアによって実現される場合は、ステップまたは方法は、当技術分野で知られている、データ信号の論理関数を実現するための論理ゲート回路を有するディスクリート論理回路、適切な組み合わせの論理ゲート回路を有する特定用途向け集積回路、プログラム可能ゲートアレイ（ＰＧＡ）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）などの技術のうちの１つ、またはその組み合わせによって実現されてもよい。
前述した本開示の例示的な方法におけるステップのすべてまたは一部は、関連するハードウェアにプログラムを用いて命令することによって実現され得ることが当業者には理解されよう。プログラムは、コンピュータ可読記憶媒体に記憶されてもよく、プログラムはコンピュータで実行される際に、本開示の方法実施形態のステップのうちの１つ、またはその組み合わせを含む。
また、本開示の実施形態の各機能セルは処理モジュールと一体化されてもよく、またはこれらのセルは個別の物理的な存在であってもよく、あるいは２つ以上のセルが処理モジュールに一体化される。一体化されたモジュールは、ハードウェアの形態で、またはソフトウェア機能モジュールの形態で実現されてもよい。一体化されたモジュールがソフトウェア機能モジュールの形態で実現され、独立した製品として販売または使用されるときは、一体化されたモジュールはコンピュータ可読記憶媒体に記憶されてもよい。
前述した記憶媒体は、読み出し専用メモリ、磁気ディスク、またはＣＤなどであってもよい。

Claims (15)

  1. ホワイトバランス処理方法であって、
    画像に対応するシーンに含まれている光源の色を取得するために前記画像を処理するステップ（Ｓ１１０）と、
    前記光源の前記色が、前記シーンに含まれている対象物の自然色と同一かどうかを判断するステップ（Ｓ１２０）と、
    前記光源の前記色が、前記シーンに含まれている前記対象物の前記自然色と同一であるという判断に応答して前記シーンの種類を決定し、前記シーンの前記種類によって前記画像にホワイトバランス処理を実行するステップ（Ｓ１３０）と、
    前記光源の前記色が、前記シーンに含まれている前記対象物の前記自然色とは異なるという判断に応答して、前記光源の前記色によって前記シーンに含まれている前記光源の色温度を決定し、前記光源の前記色温度によって前記画像に前記ホワイトバランス処理を実行するステップ（Ｓ１４０）と
    を含む、方法。
  2. 前記画像を複数の領域に分割するステップ（Ｓ１５０）と、
    各領域のヒストグラムに従って前記領域が前記光源を有する対象領域かどうかを判断するステップ（Ｓ１６０）と、
    互いに隣接する少なくとも２つの対象領域が存在するかどうかを判断するステップ（Ｓ１７０）と、
    前記少なくとも２つの対象領域が存在するという判断に応答して、前記少なくとも２つの対象領域に含まれている少なくとも２つの光源を前記シーンに含まれている前記光源にスティッチングするステップ（Ｓ１８０）と、
    前記少なくとも２つの対象領域が存在しないという判断に応答して、前記対象領域に含まれている前記光源を前記シーンに含まれている前記光源と判断するステップ（Ｓ１９０）と
    をさらに含む、請求項１に記載の方法。
  3. 前記領域の前記ヒストグラムに従って前記領域が前記光源を有する前記対象領域かどうかを判断するステップ（Ｓ１６０）が、
    それぞれが所定の値よりも大きい画素値を有する画素数の比率が所定比を上回るかどうかを判断するステップと、
    それぞれが前記所定の値よりも大きい前記画素値を有する前記画素数の前記比率が前記所定比を上回るときは、前記領域の前記ヒストグラムに従って前記領域が前記光源を有する前記対象領域であると判断するステップと、
    それぞれが前記所定の値よりも大きい前記画素値を有する前記画素数の前記比率が前記所定比を上回らないときは、前記領域の前記ヒストグラムに従って前記領域は前記光源を有する前記対象領域ではないと判断するステップと
    を含む、請求項２に記載の方法。
  4. 前記画像に対応する前記シーンに含まれている前記光源の前記色を取得するために前記画像を処理するステップ（Ｓ１１０）が、
    前記シーンに含まれている前記光源の中心から半径方向に沿った輝度分布に従って第１の領域および第２の領域を決定するステップ（Ｓ１１２）と、
    前記第２の領域の原色チャネルの平均画素値を前記第１の領域の前記原色チャネルの平均画素値から減算して、前記シーンに含まれている前記光源の前記色を決定するステップ（Ｓ１１４）と
    を含む、請求項２または３に記載の方法。
  5. 前記第１の領域が、前記主光源の前記中心から前記半径方向に沿った、第１の輝度範囲内の輝度値をそれぞれ有する画素によって画定される領域を指し、前記第２の領域が、前記主光源の前記中心から前記半径方向に沿った、第２の輝度範囲内の輝度値をそれぞれ有する画素によって画定される領域を指し、前記第２の輝度範囲の上限が、前記第１の輝度範囲の下限以下である、請求項４に記載の方法。
  6. 前記第１の輝度範囲、および前記第２の輝度範囲が、光源の前記中心から前記半径方向に沿った輝度分布に従って決定される、請求項５に記載の方法。
  7. 前記光源の前記色が前記シーンに含まれている前記対象物の前記自然色と同一かどうかを判断するステップ（Ｓ１２０）が、
    前記光源の前記色の原色チャネルの画素値間の比率と、前記画像内の前記対象物の色の、原色チャネルの画素値間の比率とに従って、前記光源の前記色が前記シーンに含まれている前記対象物の前記自然色と同一かどうかを判断するステップ（Ｓ１２２）を含む、請求項１から６のいずれか一項に記載の方法。
  8. 前記画像内の前記対象物の前記色が、前記光源の前記色と、前記シーンに含まれている前記対象物の前記自然色とを重ねることによって取得され、前記光源の前記色が、前記シーンに含まれている前記対象物の前記自然色と同一かどうかを判断するステップ（Ｓ１２０）が、
    前記光源の前記色が、前記画像内の前記対象物の前記色と同一かどうかを判断するステップと、
    前記光源の前記色が前記画像内の前記対象物の前記色と異なるときは、前記光源の前記色が前記シーンに含まれている前記対象物の前記自然色とは異なると判断するステップと、
    前記光源の前記色が前記画像内の前記対象物の前記色と同一のときは、前記光源の前記色の原色チャネルの画素値間の前記比率と、前記画像内の前記対象物の前記色の、原色チャネルの画素値間の前記比率とに従って、前記光源の前記色が、前記シーンに含まれている前記対象物の前記自然色と同一かどうかを判断するステップ（Ｓ１２２）と
    を含む、請求項７に記載の方法。
  9. 前記光源の前記色の、原色チャネルの画素値間の前記比率、および前記画像内の前記対象物の前記色の、原色チャネルの画素値間の前記比率に従って、前記光源の前記色が前記シーンに含まれている前記対象物の前記自然色と同一かどうかを判断するステップ（Ｓ１２２）が、
    前記光源の前記色の原色チャネルの画素値間の前記比率が、前記画像内の前記対象物の前記色の、原色チャネルの画素値間の前記比率と同一かどうかを判断するステップと、
    前記光源の前記色に対する原色チャネルの画素値に占める前記比率が、前記画像内の前記対象物の前記色に対する原色チャネルの画素値に占める比率と同一であるという判断に応答して、前記光源の前記色が、前記シーンに含まれている前記対象物の前記自然色と同一であると判断するステップと、
    前記光源の前記色に対する原色チャネルの画素値に占める前記比率が、前記画像内の前記対象物の前記色に対する原色チャネルの画素値に占める比率とは異なるという判断に応答して、前記光源の前記色が、前記シーンに含まれている前記対象物の前記自然色とは異なると判断するステップと
    を含む、請求項７または８に記載の方法。
  10. 前記光源の前記色が前記シーンに含まれている前記対象物の元の前記自然色と同一かどうかを判断するステップ（Ｓ１２０）が、
    前記光源の前記色が、前記シーンに含まれている前記対象物の前記自然色と同一かどうかを判断するために、事前設定された分類器を使用して前記画像を処理するステップ（Ｓ１２４）を含む、請求項１〜９のいずれか一項に記載の方法。
  11. 複数のフレーム画像を取得するステップであって、各フレーム画像が、前記光源の前記色が前記シーンに含まれている対象物の前記自然色と同一であることを示す第１のマーク、および前記光源の前記色が前記シーンに含まれている対象物の前記自然色とは異なっていることを示す第２のマークを含む、ステップと、
    前記複数のフレーム画像を、トレーニングサンプルとテストサンプルとに分割するステップと、
    前記トレーニングサンプルを、分類器を生成する分類器アルゴリズムに入力するステップと、
    前記光源の前記色が前記シーンに含まれている前記対象物の前記自然色と同一かどうかを示す予測した結果を得るために、前記テストサンプルを前記分類器に入力するステップと、
    前記事前設定された分類器を得るために、前記予測した結果に基づいて前記分類器を補正するステップと
    をさらに含む、請求項１０に記載の方法。
  12. 前記光源の前記色が、前記シーンに含まれている前記対象物の前記自然色と同一であるという判断に応答して、前記シーンの前記種類を決定して、前記シーンの前記種類によって前記画像にホワイトバランス処理を実行するステップ（Ｓ１３０）が、
    前記画像内の前記対象物の種類を決定するために、前記画像を処理するステップ（Ｓ１３２）と、
    前記対象物の前記種類によって、前記シーンの前記種類を決定するステップ（Ｓ１３４）と、
    前記シーンの前記種類、ならびにシーンの種類とホワイトバランスパラメータとの間の所定の対応関係に従って、前記画像に前記ホワイトバランス処理を実行するステップ（Ｓ１３６）と
    を含む、請求項１〜１１のいずれか一項に記載の方法。
  13. 前記シーンに含まれている前記光源の前記色温度を前記光源の前記色によって決定するステップが、
    前記光源の前記色、ならびに光源の色と前記光源の色温度との間の対応関係に従って、前記シーンに含まれている前記光源の前記色温度を決定するステップを含み、前記対応関係が、マッピングテーブルおよび色温度曲線からなる群から選択される、請求項１〜１２のいずれか一項に記載の方法。
  14. １つ以上のプロセッサ（２００）と、
    メモリ（３００）と、
    前記メモリ（３００）内に記憶され、前記１つ以上のプロセッサ（２００）で実行可能なように構成された、１つ以上のプログラムと
    を含み、
    前記１つ以上のプログラムは命令を含み、前記１つ以上のプロセッサ（２００）は、請求項１〜１３のいずれか一項に記載の前記ホワイトバランス処理方法を実行するように構成される、電子機器（１０００）。
  15. 前記電子機器（１０００）と協同するコンピュータプログラムを含み、
    請求項１〜１３のいずれか一項に記載の前記ホワイトバランス処理方法を実行するために、前記コンピュータプログラムがプロセッサによって実行される、非一時的なコンピュータ可読記憶媒体（８０００）。
JP2020503824A 2017-10-30 2018-10-09 ホワイトバランス処理方法、電子機器、およびコンピュータ可読記憶媒体 Active JP6874208B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201711033365.4A CN107801012B (zh) 2017-10-30 2017-10-30 白平衡处理方法及装置、电子装置和计算机可读存储介质
CN201711033365.4 2017-10-30
PCT/CN2018/109406 WO2019085711A1 (en) 2017-10-30 2018-10-09 White balance processing method, electronic device and computer readable storage medium

Publications (2)

Publication Number Publication Date
JP2020528243A true JP2020528243A (ja) 2020-09-17
JP6874208B2 JP6874208B2 (ja) 2021-05-19

Family

ID=61547796

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020503824A Active JP6874208B2 (ja) 2017-10-30 2018-10-09 ホワイトバランス処理方法、電子機器、およびコンピュータ可読記憶媒体

Country Status (6)

Country Link
US (2) US10674128B2 (ja)
EP (1) EP3477943B1 (ja)
JP (1) JP6874208B2 (ja)
KR (1) KR102294622B1 (ja)
CN (1) CN107801012B (ja)
WO (1) WO2019085711A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107801012B (zh) * 2017-10-30 2019-05-17 Oppo广东移动通信有限公司 白平衡处理方法及装置、电子装置和计算机可读存储介质
CN107635123B (zh) 2017-10-30 2019-07-19 Oppo广东移动通信有限公司 白平衡处理方法及装置、电子装置和计算机可读存储介质
US11212500B2 (en) 2017-12-05 2021-12-28 Nikon Corporation Image capture apparatus, electronic apparatus, and recording medium suppressing chroma in white balance correction performed based on color temperature
CN107872663B (zh) 2017-12-25 2019-05-24 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备
CN110580428A (zh) * 2018-06-08 2019-12-17 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
US11197127B1 (en) * 2019-03-14 2021-12-07 United Services Automobile Association (Usaa) System and method for determining physical locations of addresses
CN110060308B (zh) * 2019-03-28 2021-02-02 杭州电子科技大学 一种基于光源颜色分布限制的颜色恒常性方法
US11849264B2 (en) 2019-11-22 2023-12-19 Samsung Electronics Co., Ltd. Apparatus and method for white balance editing
CN112866656B (zh) * 2019-11-26 2022-05-31 Oppo广东移动通信有限公司 一种白平衡校正方法、装置、存储介质及终端设备
WO2023122860A1 (zh) * 2021-12-27 2023-07-06 深圳市大疆创新科技有限公司 图像处理方法、装置、图像采集设备及存储介质

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000113215A (ja) 1998-10-08 2000-04-21 Dainippon Screen Mfg Co Ltd 画像処理装置およびその処理を実行するためのプログラムを記録した記録媒体
US6379022B1 (en) * 2000-04-25 2002-04-30 Hewlett-Packard Company Auxiliary illuminating device having adjustable color temperature
JP4288553B2 (ja) * 2000-07-25 2009-07-01 富士フイルム株式会社 カメラのストロボ装置
JP4534340B2 (ja) * 2000-10-31 2010-09-01 ソニー株式会社 色再現補正装置
US7084907B2 (en) * 2001-01-15 2006-08-01 Nikon Corporation Image-capturing device
US6755555B2 (en) * 2002-01-31 2004-06-29 Hewlett-Packard Development Company, L.P. Auxiliary illuminating device having an adjustable color temperature by controlling the amount of light passing through color filters
JP2003348601A (ja) * 2002-05-27 2003-12-05 Fuji Photo Film Co Ltd オートホワイトバランス制御方法及び電子カメラ
EP1668918B1 (en) * 2003-08-26 2017-06-07 Casio Computer Co., Ltd. Image pickup apparatus and white balance control method
US7423674B2 (en) * 2003-12-08 2008-09-09 Nikon Corporation Electronic camera having color adjustment function and program therefor
JP4740602B2 (ja) * 2005-01-19 2011-08-03 イーストマン コダック カンパニー オートホワイトバランス装置及びホワイトバランス調整方法
JP4849818B2 (ja) * 2005-04-14 2012-01-11 イーストマン コダック カンパニー ホワイトバランス調整装置及び色識別装置
JP4447520B2 (ja) 2005-06-29 2010-04-07 株式会社市川ソフトラボラトリー 画像処理装置および画像処理方法
US7859554B2 (en) * 2005-11-08 2010-12-28 Young Garrett J Apparatus, methods, and systems for multi-primary display or projection
JP4702635B2 (ja) 2007-07-17 2011-06-15 富士フイルム株式会社 オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置
CN101146233A (zh) 2007-09-26 2008-03-19 东南大学 一种光源颜色计算和图像校正方法
JP4941370B2 (ja) * 2008-03-18 2012-05-30 富士通株式会社 画像補正プログラム、画像補正装置および画像補正方法
KR20100066855A (ko) 2008-12-10 2010-06-18 삼성전자주식회사 촬상 장치 및 촬상 방법
US8717460B2 (en) 2009-02-04 2014-05-06 Texas Instruments Incorporated Methods and systems for automatic white balance
CN101860765B (zh) * 2009-04-13 2012-03-14 鸿富锦精密工业（深圳）有限公司 白平衡调整方法
US9256116B2 (en) * 2010-03-29 2016-02-09 Fujifilm Corporation Stereoscopic imaging device, image reproducing device, and editing software
JP5744430B2 (ja) 2010-07-16 2015-07-08 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
JP5389274B2 (ja) * 2010-11-30 2014-01-15 富士フイルム株式会社 画像処理装置、撮影装置、画像処理方法及びホワイトバランス調整方法
CN102572211B (zh) * 2010-12-20 2015-11-25 韩华泰科株式会社 估计光源的方法和设备
JP5808142B2 (ja) * 2011-05-02 2015-11-10 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6083987B2 (ja) * 2011-10-12 2017-02-22 キヤノン株式会社 撮像装置、その制御方法及びプログラム
TWI532385B (zh) * 2012-03-19 2016-05-01 華晶科技股份有限公司 白平衡處理方法及其處理裝置
JP2013207721A (ja) * 2012-03-29 2013-10-07 Fujifilm Corp 撮像装置、並びにそのホワイトバランス補正方法及びホワイトバランス補正プログラム
JP6049343B2 (ja) * 2012-08-01 2016-12-21 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2014053855A (ja) 2012-09-10 2014-03-20 Sony Corp 画像処理装置および方法、並びにプログラム
JP6212713B2 (ja) * 2013-01-17 2017-10-18 パナソニックＩｐマネジメント株式会社 映像投写装置および映像投写方法
CN103227928B (zh) * 2013-03-29 2015-04-29 华为技术有限公司 白平衡的调整方法及装置
EP2887771B1 (en) * 2013-12-20 2018-02-28 ams AG Sensor arrangement for controlling room lighting, sensor network for controlling room lighting and method for controlling room lighting
KR102170686B1 (ko) * 2014-03-18 2020-10-27 한화테크윈 주식회사 화이트 밸런스 보정 장치 및 방법
CN105282530B (zh) 2014-05-28 2019-03-08 深圳力维智联技术有限公司 基于背景建模的自动白平衡实现方法及装置
JP6508890B2 (ja) * 2014-07-07 2019-05-08 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
JP6552165B2 (ja) * 2014-07-07 2019-07-31 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
JP2016029770A (ja) * 2014-07-25 2016-03-03 富士通株式会社 画像処理装置、光源特定方法、及びプログラム
KR102281256B1 (ko) * 2014-12-04 2021-07-23 삼성전자주식회사 화이트 밸런스 제어 방법 및 그 전자 장치
CN106231193A (zh) * 2016-08-05 2016-12-14 深圳市金立通信设备有限公司 一种图像处理方法及终端
US10453374B2 (en) * 2017-06-23 2019-10-22 Samsung Electronics Co., Ltd. Display apparatus and method for displaying
CN107801012B (zh) 2017-10-30 2019-05-17 Oppo广东移动通信有限公司 白平衡处理方法及装置、电子装置和计算机可读存储介质
CN107635123B (zh) * 2017-10-30 2019-07-19 Oppo广东移动通信有限公司 白平衡处理方法及装置、电子装置和计算机可读存储介质

Also Published As

Publication number Publication date
JP6874208B2 (ja) 2021-05-19
US20190132563A1 (en) 2019-05-02
CN107801012A (zh) 2018-03-13
WO2019085711A1 (en) 2019-05-09
US20190289267A1 (en) 2019-09-19
EP3477943B1 (en) 2020-07-01
KR102294622B1 (ko) 2021-08-27
US10674128B2 (en) 2020-06-02
EP3477943A1 (en) 2019-05-01
KR20200031166A (ko) 2020-03-23
US10616544B2 (en) 2020-04-07
CN107801012B (zh) 2019-05-17

Similar Documents

Publication Publication Date Title
JP6874208B2 (ja) ホワイトバランス処理方法、電子機器、およびコンピュータ可読記憶媒体
JP6903817B2 (ja) ホワイトバランス処理方法、電子機器、およびコンピュータ可読記憶媒体
CN104796683B (zh) 一种校准图像色彩的方法和系统
US11277595B2 (en) White balance method for image and terminal device
US10574960B2 (en) White balance processing method, electronic device and computer readable storage medium
WO2019085698A1 (zh) 白平衡处理方法及装置、电子装置和计算机可读存储介质
US10055824B2 (en) Image correction device, image correction method and storage medium
CN105681775A (zh) 一种白平衡方法和装置
Morimoto et al. Human color constancy based on the geometry of color distributions
US10621769B2 (en) Simplified lighting compositing
KR20090120991A (ko) 자동 화이트 밸런스 영역 설정 방법
US10887567B2 (en) Camera color image processing
CN117221741A (zh) 图像白平衡调整方法、装置、电子设备及存储介质
CN112149468A (zh) 肤色影像的色域权重侦测方法及其装置
Hussain et al. Colour Constancy For Non‐Uniform Illuminant using Image Textures
CN113029363A (zh) 一种混合光源的检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210421

R150 Certificate of patent or registration of utility model

Ref document number: 6874208

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150