JP2021505086A - 画像処理方法および画像処理装置、コンピュータ可読記憶媒体ならびにコンピュータ機器 - Google Patents

画像処理方法および画像処理装置、コンピュータ可読記憶媒体ならびにコンピュータ機器 Download PDF

Info

Publication number
JP2021505086A
JP2021505086A JP2020529643A JP2020529643A JP2021505086A JP 2021505086 A JP2021505086 A JP 2021505086A JP 2020529643 A JP2020529643 A JP 2020529643A JP 2020529643 A JP2020529643 A JP 2020529643A JP 2021505086 A JP2021505086 A JP 2021505086A
Authority
JP
Japan
Prior art keywords
image frame
image
light source
light sources
color temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020529643A
Other languages
English (en)
Other versions
JP6946564B2 (ja
Inventor
ワン、フイチャオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of JP2021505086A publication Critical patent/JP2021505086A/ja
Application granted granted Critical
Publication of JP6946564B2 publication Critical patent/JP6946564B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Color Image Communication Systems (AREA)

Abstract

画像処理方法が提供される。本画像処理方法は、複数の連続した画像フレーム内の各画像フレームが、各画像フレームの光源の数を決定するために処理されること、ｋ番目の画像フレームの光源の数と（ｋ＋１）番目の画像フレームの光源の数との差が０と等しいかどうかが判断されること、および差が０と等しくないと判断した場合、（ｋ＋１）番目の画像フレームの色温度がｋ番目の画像フレームの色温度であると決定され、（ｋ＋１）番目の画像フレームが（ｋ＋１）番目の画像フレームの色温度に従って処理されること、を含む。画像処理装置、コンピュータ可読記憶媒体およびコンピュータ機器がさらに提供される。

Description

本開示は、画像処理の技術分野に関し、特に、画像処理方法、画像処理装置、コンピュータ可読記憶媒体およびコンピュータ機器に関する。
関連技術の画像方法によれば、光源を検出するためにプレビュー画像が処理され、光源の色に従ってホワイトバランス処理が行われる。しかしながら、レンズがぶれると、視野が飛んでプレビュー画像内の光源の分布を変化させ、ホワイトバランス補正が施されたプレビュー画像の色調をさらに飛ばす可能性がある。例えば、レンズのぶれにより光源または光源の一部がランダムに出たり入ったりし、ホワイトバランス処理効果が不安定になり、ユーザ体験に影響を及ぼす。
本開示の実施形態は、画像処理方法、画像処理装置、コンピュータ機器およびコンピュータ可読記憶媒体を提供する。
第１の態様によれば、本開示の実施形態は画像処理方法を提供し、本画像処理方法は以下の動作を含み得る。複数の連続した画像フレーム内の各画像フレームが、各画像フレームの光源の数を決定するために処理される。ｋ番目の画像フレームの光源の数と連続した（ｋ＋１）番目の画像フレームの光源の数との差が０と等しいかどうかが判断される。差が０と等しくないと判断したことに応答して、（ｋ＋１）番目の画像フレームの色温度がｋ番目の画像フレームの色温度であると決定され、（ｋ＋１）番目の画像フレームが（ｋ＋１）番目の画像フレームの色温度に従って処理される。
第２の態様によれば、本開示の実施形態は画像処理装置を提供する。本画像処理装置は、メモリとプロセッサとを含み得る。メモリは、プロセッサによって実行されると、プロセッサに、第１の態様に記載される画像処理方法を実施させる１つまたは複数のコンピュータプログラムを格納する。
第３の態様によれば、本開示の実施形態は、コンピュータ実行可能命令を含む非一時的なコンピュータ可読記憶媒体を提供する。コンピュータ実行可能命令は、１つまたは複数のプロセッサによって、プロセッサが第１の態様に記載される画像処理方法を実行できるようにするために実行され得る。
本開示の実施形態によるコンピュータ機器は、メモリとプロセッサとを含み得る。メモリはコンピュータ可読命令を格納でき、命令は、プロセッサによって、プロセッサが画像処理方法を実行できるようにするために実行され得る。
本開示のその他の態様および利点は、一部は以下の説明に提示され、一部は、以下の説明から明らかになるか、または本開示を実施することによって理解されるであろう。
本開示の実施形態または従来技術の技術的解決策をより明確に説明するために、それらの実施形態または従来技術に関する説明で使用される必要がある図面を以下で簡単に紹介する。以下に記載される図面が本開示の一部の実施形態にすぎないことは明らかである。当業者によれば他の図面がこれらの図面に従って難なくさらに得られよう。
本開示のいくつかの実施形態による画像処理方法の流れ図である。 本開示のいくつかの実施形態による画像処理装置の概略図である。 本開示のいくつかの実施形態によるコンピュータ機器の概略的平面図である。 本開示のいくつかの実施形態による画像処理方法の概略的流れ図である。 本開示のいくつかの実施形態による第１の処理モジュールの概略図である。 本開示のいくつかの実施形態による画像処理方法のシナリオの概略図である。 本開示のいくつかの実施形態による画像処理方法のシナリオの概略図である。 本開示のいくつかの実施形態による画像処理方法の領域ごとに形成されたヒストグラムである。 本開示のいくつかの実施形態による画像処理方法の概略的流れ図である。 本開示のいくつかの実施形態による第１の処理モジュールのモジュール概略図である。 本開示のいくつかの実施形態による画像処理方法のシナリオの概略図である。 本開示のいくつかの実施形態による色温度曲線の概略図である。 本開示のいくつかの実施形態による画像処理方法の概略的流れ図である。 本開示のいくつかの実施形態による第２の処理モジュールの概略図である。 本開示のいくつかの実施形態による画像処理方法のシナリオの概略図である。 本開示のいくつかの実施形態による画像処理方法のシナリオの概略図である。 本開示のいくつかの実施形態による画像処理方法のシナリオの概略図である。 本開示のいくつかの実施形態による画像処理方法の概略的流れ図である。 本開示のいくつかの実施形態による画像処理装置の概略図である。 本開示のいくつかの実施形態による画像処理方法のシナリオの概略図である。 本開示のいくつかの実施形態による画像処理方法の概略的流れ図である。 本開示のいくつかの実施形態による第３の処理モジュールの概略図である。 本開示のいくつかの実施形態によるコンピュータ機器の概略図である。 本開示のいくつかの実施形態による画像処理回路の概略図である。
本開示の実施形態の画像処理方法および画像処理装置、コンピュータ可読記憶媒体ならびにコンピュータ機器によれば、複数の連続した画像フレーム内の２つの連続した画像フレーム間の光源の数が変化するかどうかが判断される。光源の数が変化した後、前の画像フレームの色温度に従って後の画像フレームに対してホワイトバランス調整が行われる。光源の数が変化しない場合、画像の色温度を使用して画像に対してホワイトバランス調整が行われる。そのようにして、レンズのぶれにより光源または光源の一部がランダムに出たり入ったりすることによって引き起こされる画像トーンジャンプを防止でき、ホワイトバランス処理効果の安定性が保証され、ユーザ体験が改善される。
本開示の目的、技術的解決策および利点をより明確にするために、本開示を、図面および詳細な実施形態と組み合わせて以下でさらに説明する。本明細書に記載される具体的な実施形態は本開示を説明するために用いられているにすぎず、本開示を限定するためのものではないことを理解されたい。
図１を参照すると、本開示の実施形態による画像処理方法は、以下のブロックＳ１２からブロックＳ１６の動作を含む。
ブロックＳ１２で、複数の連続した画像フレーム内の各画像フレームが各画像フレームの光源の数を決定するために処理される。
ブロックＳ１４で、ｋ番目の画像フレームの光源の数と（ｋ＋１）番目の画像フレームの光源の数との差が０と等しいかどうかが判断される。
ブロックＳ１６で、差が０と等しくないと判断したことに応答して、（ｋ＋１）番目の画像フレームの色温度がｋ番目の画像フレームの色温度であると決定され、（ｋ＋１）番目の画像フレームが（ｋ＋１）番目の画像フレームの色温度に従って処理される。
本開示の実施形態では、ｋは正の整数であり得る。
図２を参照すると、本開示の実施形態による画像処理装置１０は、第１の処理モジュール１２と、判断モジュール１４と、第２の処理モジュール１６とを含む。第１の処理モジュール１２は、複数の連続した画像フレーム内の各画像フレームを、各画像フレームの光源の数を決定するために処理するように構成される。判断モジュール１４は、ｋ番目の画像フレームの光源の数と（ｋ＋１）番目の画像フレームの光源の数との差が０と等しいかどうかを判断するように構成される。第２の処理モジュール１６は、差が０と等しくないと判断したことに応答して、（ｋ＋１）番目の画像フレームの色温度をｋ番目の画像フレームの色温度であると決定し、（ｋ＋１）番目の画像フレームを（ｋ＋１）番目の画像フレームの色温度に従って処理するように構成される。
本開示の実施形態による画像処理方法は、本開示の実施形態の画像処理装置１０によって実施され得る。ブロックＳ１２の動作は第１の処理モジュール１２によって実施され、ブロックＳ１４の動作は判断モジュール１４によって実施され、ブロックＳ１６の動作は第２の処理モジュール１６によって実施され得る。
図３を参照すると、本開示の実施形態による画像処理装置１０は、本開示の実施形態のコンピュータ機器１００に適用され得る。すなわち、本開示の実施形態のコンピュータ機器１００は、本開示の実施形態の画像処理装置１０を含み得る。
いくつかの実施形態では、コンピュータ機器１００は、携帯電話、タブレットコンピュータ、ノートブックコンピュータ、スマートバンド、スマートウォッチ、スマートヘルメット、スマートグラスなどを含む。
本開示の実施形態の画像処理方法、画像処理装置１０およびコンピュータ機器１００によれば、複数の連続した画像フレーム内の２つの連続した画像フレーム間の光源の数が変化するかどうかが判断され、光源の数が変化した後、前の画像フレームの色温度に従って後の画像フレームに対してホワイトバランス調整が行われ、光源の数が変化しない場合、画像の色温度を使用して画像に対してホワイトバランス調整が行われる。そのようにして、レンズのぶれにより光源または光源の一部がランダムに出たり入ったりすることによって引き起こされる画像トーンジャンプを防止でき、それによってホワイトバランス処理効果の安定性が保証され、ユーザ体験が改善される。
いくつかの実施形態では、複数の連続した画像フレームとは、ある期間内にカメラのフレームレートに従って固定された時間間隔で取得された複数の画像フレームを、時間軸に沿って、連続して配置することによって取得された複数の連続した画像フレームを指す。
図４を参照すると、いくつかの実施形態では、ブロックＳ１２の動作は、以下のブロックＳ１２２からブロックＳ１２８の動作を含む。
ブロックＳ１２２で、各画像フレームが複数の領域に分割される。
ブロックＳ１２４で、複数の領域の各々について、その領域が光源を含むターゲット領域であるかどうかがその領域のヒストグラムに従って判断される。
ブロックＳ１２６で、その領域が光源を含むターゲット領域である場合、その領域に隣接した複数のターゲット領域があるかどうかが判断される。
ブロックＳ１２８で、その領域に隣接した複数のターゲット領域がある場合、それら複数のターゲット領域が１つの光源にスプライスされる。
ブロックＳ１２１で、その領域に隣接したターゲット領域がない場合、ターゲット領域が光源であると決定される。
ブロックＳ１２３で、光源がカウントされる。
図５を参照すると、いくつかの実施形態では、第１の処理モジュール１２は、分割部１２２と、第１の判断部１２４と、第２の判断部１２６と、スプライス部１２８と、第１の決定部１２１と、カウント部１２３とを含む。分割部１２２は、画像を複数の領域に分割するように構成され得る。第１の判断部１２４は、複数の領域の各々について、その領域が光源を含むターゲット領域であるかどうかをその領域のヒストグラムに従って判断するように構成され得る。第２の判断部１２６は、その領域に隣接した複数のターゲット領域があるかどうかを判断するように構成され得る。スプライス部１２８は、その領域に隣接した複数のターゲット領域がある場合、それら複数のターゲット領域を１つの光源にスプライスするように構成され得る。第１の決定部１２１は、その領域に隣接したターゲット領域がない場合、ターゲット領域を光源として決定するように構成され得る。カウント部１２３は、光源をカウントするように構成され得る。
すなわち、ブロックＳ１２２の動作は分割部１２２によって実施され、ブロックＳ１２４の動作は第１の判断部１２４によって実施され、ブロックＳ１２６の動作は第２の判断部１２６によって実施され、ブロックＳ１２８の動作はスプライス部１２８によって実施され、ブロックＳ１２１の動作は第１の決定部１２１によって実施され、ブロックＳ１２３の動作はカウント部１２３によって実施され得る。
そのようにして、画像内の光源の位置および数が決定され得る。
具体的には、図６から図８を参照すると、一実施形態では、本画像処理方法によれば、各画像フレームはまず、複数の領域、例えば４×５の領域に分割される。赤（Ｒ）、緑（Ｇｒ）、緑がかった青（Ｇｂ）および青（Ｂ）のチャンネル値に従って領域ごとに４つのヒストグラムが描かれ得る。次いで、領域ごとに、その領域が光源を含むターゲット領域であるかどうかがその領域の４つのヒストグラムに従って判断される。図６および図７に示されるように、どちらの画像も複数のターゲット領域を含む。例えば、図６の画像は３つのターゲット領域を含み、図７の画像は８つのターゲット領域を含む。本画像処理方法によれば、光源を含むターゲット領域である、ある領域がある場合、その領域に隣接した複数のターゲット領域があるかどうかが判断される。すなわち、複数のターゲット領域が同じ光源によってカバーされているかどうかが判断される。複数のターゲット領域は、部分的カバーまたは全面的カバーとしてカバーされ得る。本画像処理方法によれば、複数の隣接したターゲット領域がある場合、それら複数の隣接したターゲット領域は１つの光源にスプライスされ、隣接したターゲット領域がない場合、各ターゲット領域が光源であると決定される。図６を参照すると、３つの隣接しないターゲット領域は、それぞれ、光源Ｒ、光源Ｇ、および光源Ｂであると決定される。図７を参照すると、６つの隣接したターゲット領域が完全な光源Ｒにスプライスされ、その他２つの隣接しないターゲット領域は、光源Ｇおよび光源Ｂであると決定される。
加えて、図８の領域のヒストグラムを描くための方法が一例にすぎないことにも留意されたい。図８に示されるように、ヒストグラムの横軸は画素値を表し、縦軸は画素数を表す。別の実施形態では、ヒストグラムの横軸が画素数を表し、縦軸が画素値を表していてもよい。あるいは、ヒストグラムの横軸は画素数の割合を表し、縦軸は画素値を表す。あるいは、ヒストグラムの横軸は画素値を表し、ヒストグラムの縦軸は画素数の割合を表す。
いくつかの実施形態では、ある領域が光源を含むターゲット領域であるかどうかのその領域のヒストグラムに従った判断は、所定の値を超える画素値を有する画素数の割合が所定の割合を超えるかどうかを判断することによってなされ得る。例えば、この判断は、２３９を超える画素値を有する画素数の割合が５％を超えるかどうかを判断することによってなされ得る。２３９を超える画素値を有する画素数の割合が５％を超える場合、その領域は光源を含むターゲット領域であることが示される。２３９を超える画素値を有する画素数の割合が５％を超えない場合、その領域は光源を含むターゲット領域ではないことが示される。
図９を参照すると、いくつかの実施形態では、ブロックＳ１２の動作は、以下のブロックＳ１２５〜ブロックＳ１２７の動作をさらに含む。
ブロックＳ１２５で、高輝度領域および中輝度領域が、光源の放射方向に沿って光源の中心から外方に延在する輝度分布に従って決定される。
ブロックＳ１２７で、光源の色が、高輝度領域の原色チャンネルの画素平均値から中輝度領域の原色チャンネルの画素平均値を差し引いて光源の色温度を取得することによって決定される。
図１０を参照すると、いくつかの実施形態では、第１の処理モジュール１２は、第２の決定部１２５と第３の決定部１２７とをさらに含む。第２の決定部１２５は、高輝度領域および中輝度領域を、光源の放射方向に沿って光源の中心から外方に延在する輝度分布に従って決定するように構成され得る。第３の決定部１２７は、光源の色を、高輝度領域の原色チャンネルの画素平均値から中輝度領域の原色チャンネルの画素平均値を差し引いて光源の色温度を取得することによって決定するように構成され得る。
すなわち、ブロックＳ１２５の動作は第２の決定部１２５によって実施され、ブロックＳ１２７の動作は第３の決定部１２７によって実施され得る。
そのようにして、各画像フレーム内の光源の位置および数が決定された後、各光源の色が高輝度領域および中輝度領域によって決定され、よって各光源の色温度が取得され得る。光源の数が１より大きい、すなわち、画像内に複数の光源がある場合、主光源の色温度が光源の色に従って決定され得るので、光源の色温度がより正確に推定され得る。
図１１を参照すると、画像内の光源の位置が決定された後、画像内の光源の中央領域Ｏは露出オーバ領域であり、これは通常大きな白点であり、光源の色に関する情報を含まないことを理解されたい。光源の色は、高輝度領域Ｈおよび中輝度領域Ｍの原色チャンネルの画素平均値に基づいて決定され得る。高輝度領域Ｈは、光源の中心から放射方向外方に延在するその輝度値が第１の輝度範囲Ｌ１内であり、第１の輝度範囲Ｌ１が、例えば、［２００，２３９）である画素によって形成された領域を指し得る。中輝度領域Ｍは、光源の中心から放射方向外方に延在するその輝度値が第２の輝度範囲Ｌ２内であり、第２の輝度範囲Ｌ２が、例えば、［１５０，２００）である画素によって形成された領域を指し得る。第１の輝度範囲Ｌ１および第２の輝度範囲Ｌ２の具体的な値は、光源の中心Ｏから放射方向外方に延在する輝度分布に従って決定され得ることに留意されたい。例えば、光源の輝度が比較的速く減衰する場合、第１の輝度範囲Ｌ１および第２の輝度範囲Ｌ２は拡大され得る。例えば、光源の輝度が比較的ゆっくり減衰する場合、第１の輝度範囲Ｌ１および第２の輝度範囲Ｌ２は狭められ得る。
高輝度領域の原色チャンネルの画素平均値は高輝度領域の全画素の画素値の平均値であり、中輝度領域の原色チャンネルの画素平均値は中輝度領域の全画素の画素値の平均値である。高輝度領域の画素の数はＣ１であり、中輝度領域の画素の数はＣ２であると仮定する。その場合、高輝度領域の原色チャンネルの画素平均値は、
であり、中輝度領域の原色チャンネルの画素平均値は、
である。
光源の色を決定するために、中輝度領域の原色チャンネルの画素平均値
が高輝度領域の原色チャンネルの画素平均値
から差し引かれ、すなわち、
が行われる。これに対応して光源の色温度が光源の色に従って決定され得る。いくつかの実施形態では、光源の色温度が光源の色に従って決定される動作は具体的には、光源の色温度が、光源の色と、光源の色と光源の色温度との対応関係とに従って決定されること、として実施され得る。光源の色と光源の色温度との対応関係は、マッピング表および／または（図１２に示されるような）色温度曲線であり得る。具体的には、一実施形態では、その色温度が、それぞれ、３，０００Ｋ、４，０００Ｋ、５，０００Ｋ、６，０００Ｋ、・・・である標準ライトボックスの下で画像が取得され、異なる色温度の下での
の対応する値が計算され、よって、
と光源の色温度との間のマッピング表または色温度曲線が形成され得る。色温度曲線またはマッピング表はローカルデータベースに格納され得る。本開示の実施形態では、
が計算された後、色温度曲線またはマッピング表から対応する光源の色温度が照会され得る。次いで、光源の色温度と、光源の色温度とホワイト・バランス・パラメータとの対応関係とに従って対応するホワイト・バランス・パラメータが見つけられ、よって、ホワイト・バランス・パラメータに従って画像に対してホワイトバランス処理が行われ得る。
いくつかの実施形態では、原色チャンネルは色チャンネルを指し、例えば、Ｒチャンネル、Ｇｒチャンネル、ＧｂチャンネルまたはＢチャンネルの少なくとも１つを含む。いくつかの実施形態では、Ｇチャンネルの画素値が、Ｇｒチャンネルの画素値とＧｂチャンネルの画素値とに基づいて取得され得る。画素平均値は、画素値の算術平均値を指し得る。一例では、高輝度領域の各原色チャンネルの画素平均値（Ｒａｖｇ，Ｇａｖｇ，Ｂａｖｇ）は（２００，２１０，２２０）であり、中輝度領域の各原色チャンネルの画素平均値（Ｒａｖｇ，Ｇａｖｇ，Ｂａｖｇ）は（１６０，１８０，１９０）であり、その場合、光源の色チャンネル（Ｒ，Ｇ，Ｂ）は、（２００−１６０，２１０−１８０，２２０−１９０）、すなわち、（４０，３０，３０）である。したがって、光源の色は赤であると決定され得る。
図１３を参照すると、いくつかの実施形態では、ブロックＳ１６の動作は、以下のブロックＳ１６２〜ブロックＳ１６８の動作をさらに含む。
ブロックＳ１６２で、ｋ番目の画像フレームの光源の数が１以上であるかどうかが判断される。
ブロックＳ１６４で、ｋ番目の画像フレームの光源の数が１未満である場合、ｋ番目の画像フレームおよび（ｋ＋１）番目の画像フレームに対してホワイトバランス処理を行うためにグレーワールド法が用いられる。
ブロックＳ１６６で、ｋ番目の画像フレームの光源の数が１と等しい場合、（ｋ＋１）番目の画像フレームの光源の色温度および数はｋ番目の画像フレームの光源の色温度および数に従って決定され、（ｋ＋１）番目の画像フレームの色温度に従って（ｋ＋１）番目の画像フレームに対してホワイトバランス処理が行われる。
ブロックＳ１６８で、ｋ番目の画像フレームの光源の数が１より大きい場合、ｋ番目の画像フレームの光源のシナリオパラメータ、面積または輝度パラメータの少なくとも１つに従って主光源が決定され、主光源の色温度に従って（ｋ＋１）番目の画像フレームの色温度が決定され、（ｋ＋１）番目の画像フレームの色温度に従って（ｋ＋１）番目の画像フレームに対してホワイトバランス処理が行われ、（ｋ＋１）番目の画像フレームの光源の数はｋ番目の画像フレームの光源の数であると決定される。この例では、シナリオパラメータは、画像撮影時刻および全地球測位システム（ＧＰＳ）の信号強度を含み、輝度パラメータは複数の光源の輝度を含む。
図１４を参照すると、いくつかの実施形態では、第２の処理モジュール１６は、第３の判断部１６２と、第１の処理部１６４と、第２の処理部１６６と、第３の処理部１６８とを含む。第３の判断部１６２は、ｋ番目の画像フレームの光源の数が１以上であるかどうかを判断するように構成され得る。第１の処理部１６４は、ｋ番目の画像フレームの光源の数が１未満である場合、ｋ番目の画像フレームおよび（ｋ＋１）番目の画像フレームに対してホワイトバランス処理を行うためにグレーワールド法を用いるように構成され得る。第２の処理部１６６は、ｋ番目の画像フレームの光源の数が１と等しい場合、ｋ番目の画像フレームの光源の色温度および数に従って（ｋ＋１）番目の画像フレームの光源の色温度および数を決定し、（ｋ＋１）番目の画像フレームの色温度に従って（ｋ＋１）番目の画像フレームに対してホワイトバランス処理を行うように構成され得る。第３の処理部１６８は、ｋ番目の画像フレームの光源の数が１より大きい場合、ｋ番目の画像フレームの光源のシナリオパラメータ、面積または輝度パラメータの少なくとも１つに従って主光源を決定し、主光源の色温度に従って（ｋ＋１）番目の画像フレームの色温度を決定し、（ｋ＋１）番目の画像フレームの色温度に従って（ｋ＋１）番目の画像フレームに対してホワイトバランス処理を行い、（ｋ＋１）番目の画像フレームの光源の数がｋ番目の画像フレームの光源の数であると決定するように構成され得る。この例では、シナリオパラメータは、画像撮影時刻および全地球測位システム（ＧＰＳ）の信号強度を含み、輝度パラメータは複数の光源の輝度を含む。
すなわち、ブロックＳ１６２の動作は第３の判断部１６２によって実施され、ブロックＳ１６４の動作は第１の処理部１６４によって実施され、ブロックＳ１６６の動作は第２の処理部１６６によって実施され、ブロックＳ１６８の動作は第３の処理部１６８によって実施され得る。
したがって、ｋ番目の画像フレームが光源を含まない（すなわち、光源の数が１未満である）場合、ホワイトバランス処理を行うためにグレーワールド法が用いられる。ｋ番目の画像フレームがただ１つの光源を含む場合、（ｋ＋１）番目の画像フレームの色温度はその光源の色温度に従って決定される。（ｋ＋１）番目の画像フレームが複数の光源を含む場合、複数の光源のシナリオパラメータ、それぞれの面積または輝度パラメータの少なくとも１つに従って主光源が決定され、（ｋ＋１）番目の画像フレームの色温度は主光源の色温度に従って決定される。次いで、（ｋ＋１）番目の画像フレームの色温度に従って（ｋ＋１）番目の画像フレームに対してホワイトバランス処理が行われ、（ｋ＋１）番目の画像フレームの光源の数はｋ番目の画像フレームの光源の数であると決定される。すなわち、ｋ番目の画像フレームの光源の色温度および数がどちらも（ｋ＋１）番目の画像フレームに割り当てられる。（ｋ＋１）番目の画像フレームの後の複数の画像フレームの光源の数とｋ番目のフレームの光源の数との差が０と等しくない場合、ｋ番目の画像フレームの色温度に従ってホワイトバランス処理が行われ得る。そのようにして、光源の数が変化した後、ホワイトバランス処理のための色温度は、光源の数が元に、すなわち、ｋ番目のフレームの光源の数に戻るまでロックされ得る。したがって、光源の数の変化によって引き起こされるプレビュー画像の色温度の飛びが回避され、ユーザ体験が改善される。
具体的には、図１５に示されるように、コンピュータ機器１００（例えば携帯電話）が画像を撮影する場合、画像には３つの光源があり、それらは、それぞれ、光源Ｒ、光源Ｇおよび光源Ｂである。ユーザがぶれると、光源Ｒが画像から外れ、画像Ａは画像Ｂに変化する。そのような場合、画像Ｂの色調が飛ぶ可能性がある。光源の変化によって引き起こされる画像トーンジャンプを防止するために、携帯電話の画像処理装置１０は、２つの連続したフレーム画像の光源の数の差を検出し、光源の数の差が０と等しくなく、後の画像フレームの光源の数が変化したことを指示する場合、前の画像フレームの色温度を使用して後の画像フレームに対してホワイトバランス調整を行う。この場合、画像の色調が飛ばず、代わりに前の画像フレームの色調と実質的に一致したままである。さらに、ホワイトバランス時に、後の画像フレームの光源の数は前の画像フレームの光源の数に設定されるので、後の画像フレームの次の画像フレームの光源の数が後の画像フレームの光源の数と同じである場合に誤った判断により後の画像フレームの次の画像フレームの色調が飛ぶ状態が回避される。
いくつかの実施形態では、光源の数は、ユーザによってより高品質の画像を取得するために増減されるように手動で調整され、変更前の光源の数に戻らない。この条件では、所定のフレーム数ｈを設定でき、（ｋ＋ｈ）番目の画像フレームの光源の数とｋ番目の画像フレームの光源の数との差が０と不等に保たれる場合、（ｋ＋１）番目の画像フレームの色温度に従ってホワイトバランス調整が行われる。例えば、ｋ番目のフレームと（ｋ＋ｈ）番目のフレームとの間のある（例えば（ｋ＋ｘ）番目の）画像フレームに関しては、（ｋ＋ｈ）番目の画像フレームの光源の数とｋ番目の画像フレームの光源の数との差が０と等しい場合、（ｋ＋ｘ）番目のフレームが再度基準として取られる。（ｋ＋ｘ＋ｈ）番目の画像フレームの光源の数と（ｋ＋ｘ）番目の画像フレームの光源の数との差が０と等しくない場合、（ｋ＋ｘ＋ｈ）番目の画像フレームの色温度に従って（ｋ＋ｘ＋ｈ）番目のフレームの色温度に対してホワイトバランス調整が行われる。すなわち、所定のフレーム数後の画像の光源の数がｋ番目の画像フレームの光源の数と依然として異なる場合、ｋ番目の画像フレームの色温度を使用したホワイトバランス調整が必ず行われるとは限らず、代わりに、現在の画像の色温度に従って現在の画像に対してホワイトバランス調整が自動的に行われる。
そのようにして、光源の数が変化した原因がユーザの能動的調整かそれとも偶発的なぶれかがインテリジェントに判断されるので、光源の数が変化した後で同じ色温度を使用して全画像に対してホワイトバランスが行われ、ユーザが写真撮影するときに変更前の光源の数に戻らないという状態が回避される。すなわち、ユーザの能動的調整により光源の数が変化したが、正確なホワイトバランスを達成できないというケースが回避され得る。光源がランダムに入射および放射することによって引き起こされる頻繁な画像の色調変化の問題が解決されるのみならず、ユーザの正常な撮影体験に及ぼす影響も回避され得る。
いくつかの実施形態では、画像を処理するためにグレーワールド法が用いられる動作は以下の動作を含み得る。
画像の全画素の原色チャンネルの値がカウントされる。
３つの原色チャンネル（Ｒ，Ｇ，Ｂ）の値の平均値が計算される。
チャンネルＲ、ＧおよびＢのホワイトバランス調整値が平均値に従って決定される。
ホワイトバランス調整値に従って画像に対してホワイトバランス調整が行われる。
具体的には、画像の原色チャンネルの画素平均値（Ｒａｖｇ，Ｇａｖｇ，Ｂａｖｇ）が画像の原色チャンネルのデータを計算することによって取得され、次いで、各チャンネルのホワイトバランス調整値Ｋ／Ｐａｖｇ、Ｋ／ＧａｖｇおよびＫ／Ｂａｖｇが平均値に従って計算され、Ｋ＝（Ｒａｖｇ，Ｇａｖｇ，Ｂａｖｇ）／３である。そのようにして、原色チャンネルの値のホワイトバランス調整値に従って画像全体に対してホワイトバランス処理が行われ得る。
したがって、光源なしの条件下では画像に対してホワイトバランス処理が行われ得ない。
いくつかの実施形態では、複数の光源のシナリオパラメータ、それぞれの面積または輝度パラメータの少なくとも１つに従って主光源が決定される。
現在の時刻が位置する特定の期間は、画像撮影時刻に従って区別され得る。ユーザが現在の期間において撮影し得る特定の位置は、ユーザのローカルデータベースに格納された時間割習慣によって決定され得る。例えば、ユーザは通常１２時に食堂で昼食をとり、またユーザは通常午後８時過ぎに居間で本を読む。このようにして、ユーザが位置しているのが屋内環境か、屋外環境か、それとも特定のシナリオかが画像撮影時刻に従って実質的に判断され得る。加えて、屋外のＧＰＳ信号強度は通常、屋内のＧＰＳ信号強度より高い。したがって、ユーザが位置するのが屋内環境かそれとも屋外環境かはＧＰＳ信号強度に従って実質的に区別され得る。屋内光源の色温度は通常５，０００Ｋより低いことが理解できよう。例えば、タングステン電球の色温度は２，７６０〜２，９００Ｋであり、フラッシュライトの色温度は３，８００Ｋである。屋外光源の色温度は通常５，０００Ｋより高い。例えば、真昼の太陽光の色温度は５，０００Ｋであり、青空の色温度は１０，０００Ｋである。したがって、現在の色温度が５，０００Ｋより高いかそれとも５，０００Ｋより低いかが、ユーザが位置しているのが屋内環境かそれとも屋外環境かに従って実質的に判断され得る。図１６に示されるように、例えば、光源Ｒの色温度は４，５００Ｋであり、光源Ｇの色温度は３，５００Ｋであり、光源Ｂの色温度は７，０００Ｋであり、現在の色温度はシナリオパラメータに従って５，０００Ｋのはずであると判断される。光源Ｒがシナリオの現在の色温度に最も近く、よって光源Ｒが主光源であると決定されることが明らかである。したがって、主光源が決定され得る。
主光源が複数の光源のそれぞれの面積に従って決定される場合、複数の光源の面積が比較され、最大面積を有する光源が主光源として選択される。例えば、図１６では、光源Ｒの面積が光源Ｇの面積より大きく、かつ光源Ｂの面積より大きいので、光源Ｒは主光源であると決定される。
主光源が複数の光源のそれぞれの輝度に従って決定される場合、より高い輝度を有する光源が通常、画像全体に対してより大きな影響を及ぼすことが理解できる。図１７に示されるように、光源の面積が同じである場合、光源Ｒの輝度が１５０であり、光源Ｇの輝度が１００であり、光源Ｂの輝度が２００であり、その場合光源Ｂが主光源であると決定される。そのような場合、光源の面積が同じであるとき、最高の輝度を有する光源が主光源であると決定される。
本開示の実施形態の画像処理方法によれば、主光源は、複数の光源の画像撮影時刻とＧＰＳ信号強度との組み合わせに従って決定され得るか、または主光源は、複数の光源の面積に従って決定され得るか、または主光源は、複数の光源のそれぞれの輝度と画像の平均輝度との組み合わせに従って決定され得るか、または主光源は、複数の光源の面積と、複数の光源の画像撮影時刻とＧＰＳ信号強度との組み合わせとに従って決定され得るか、または主光源は、複数の光源の画像撮影時刻とＧＰＳ信号強度との組み合わせと、複数の光源のそれぞれの輝度と画像の平均輝度との組み合わせとに従って決定され得るか、または主光源は、複数の光源の面積と、複数の光源のそれぞれの輝度と画像の平均輝度との組み合わせとに従って決定され得るか、または主光源は、複数の光源の画像撮影時刻とＧＰＳ信号強度との組み合わせと、面積と、複数の光源のそれぞれの輝度と画像の平均輝度との組み合わせとに従って決定され得る。
少なくとも１つの実施形態では、本画像処理方法によれば、主光源は、複数の光源の画像撮影時刻とＧＰＳ信号強度との組み合わせと、面積と、それぞれの輝度と画像の平均輝度との組み合わせとに従って決定され得る。複数の光源の画像撮影時刻とＧＰＳ信号強度との組み合わせと、面積と、それぞれの輝度と画像の平均輝度との組み合わせとに、それぞれ、異なる重みが設定され得る。そのようにして、主光源は正確に選択され、画像に対してホワイトバランス処理が行われるときにユーザによって期待されるホワイトバランス効果がより適切に達成され得る。
図１８を参照すると、いくつかの実施形態では、本画像処理方法は、ブロックｓ１８の動作をさらに含む。
ブロックＳ１８で、差が０と等しい場合、ｍ番目の画像フレームの色温度に従ってｍ番目の画像フレームに対してホワイトバランス処理が行われ、ｍ番目の画像フレームはｋ番目の画像フレームおよび（ｋ＋１）番目の画像フレームを含む。
実施形態では、ｍは正の整数、ｍ≧ｋであり得る。
図１９を参照すると、いくつかの実施形態では、本画像処理装置は、第３の処理モジュール１８をさらに含む。第３の処理モジュールは、差が０と等しい場合、ｍ番目の画像フレームの色温度に従ってｍ番目の画像フレームに対してホワイトバランス処理を行い、ｍ番目の画像フレームがｋ番目の画像フレームおよび（ｋ＋１）番目の画像フレームを含む、ように構成され得る。
すなわち、ブロックＳ１８の動作は第３の処理モジュール１８によって実施され得る。
そのようにして、光源の数の変化を判断することによって、写真撮影中に画像トーンジャンプが発生している間に光源の数が正常に戻った後で画像の色温度に従ってホワイトバランス処理が行われることが回避され得る。したがって、ホワイトバランスの正確さが改善されると同時に画像トーンジャンプが回避され得る。
具体的には、図１５および図２０に示されるように、画像処理装置１０によって取得された画像は、画像Ａから画像Ｂに変更され、次いで画像Ｂから画像Ｃに変更され、光源Ｒは画像Ａから消え、画像Ｃで現れる。画像Ｂの光源の数は画像Ａの光源の数の割り当てによって取得され、画像Ａの光源の数は画像Ｃの光源の数と同じであるので、画像Ｂの光源の数は画像Ｃの光源の数と同じである。光源の数が変化するときに画像Ｂの色調に対して画像Ｃの色調にはトーンジャンプの問題が生じないことが理解できよう。そのような場合、現在の画像フレーム（画像Ｃ）の色温度に従って現在の画像フレームに対してホワイトバランス処理が行われ得るので、ユーザ体験を保証する条件の下でより正確なホワイトバランス画像が取得され得る。
図２１を参照すると、いくつかの実施形態では、ブロックＳ１８の動作は、以下のブロックＳ１８２〜ブロックＳ１８８の動作を含む。
ブロックＳ１８２で、光源の数が１以上であるかどうかが判断される。
ブロックＳ１８４で、光源の数が１未満である場合、画像に対してホワイトバランス処理を行うためにグレーワールド法が用いられる。
ブロックＳ１８６で、光源の数が１と等しい場合、光源の色温度に従って画像に対してホワイトバランス処理が行われる。
ブロックＳ１８８で、光源の数が１より大きい場合、光源のシナリオパラメータ、面積または輝度パラメータの少なくとも１つに従って主光源が決定され、主光源の色温度に従って画像に対してホワイトバランス処理が行われる。この例では、シナリオパラメータは画像撮影時刻およびＧＰＳ信号強度を含み、輝度パラメータは複数の光源の輝度を含む。
図２２を参照すると、いくつかの実施形態では、第３の処理モジュール１８は、第４の判断部１８２と、第４の処理部１８４と、第５の処理部１８６と、第６の処理部１８８とを含む。第４の判断部１８２は、光源の数が１以上であるかどうかを判断するように構成され得る。第４の処理部１８４は、光源の数が１未満である場合、画像に対してホワイトバランス処理を行うためにグレーワールド法を用いるように構成され得る。第５の処理部１８６は、光源の数が１と等しい場合、光源の色温度に従って画像に対してホワイトバランス処理を行うように構成され得る。第６の処理部１８８は、光源の数が１より大きい場合、光源のシナリオパラメータ、面積または輝度パラメータの少なくとも１つに従って主光源を決定し、主光源の色温度に従って画像に対してホワイトバランス処理を行い、シナリオパラメータが画像撮影時刻およびＧＰＳ信号強度を含み、輝度パラメータが複数の光源の輝度を含む、ように構成され得る。
すなわち、ブロックＳ１８２の動作は第４の判断部１８２によって実施され得る。ブロックＳ１８４の動作は第４の処理部１８４によって実施され得る。ブロックＳ１８６の動作は第５の処理部１８６によって実施され、ブロックＳ１８８の動作は第６の処理部１８８によって実施され得る。
そのようにして、光源の数の差が０と等しい場合、光源の数が１以上であるかどうかが判断される。光源がない（すなわち、光源の数が１未満である）場合、ホワイトバランス処理を行うためにグレーワールド法が用いられる。光源の数が１と等しい場合、ｍ番目の画像フレームの光源の色温度に従ってホワイトバランス処理が行われる。光源の数が１より大きい場合、まず、ｍ番目のフレーム画像の光源のシナリオパラメータ、それぞれの面積および輝度パラメータの少なくとも１つに従って主光源が決定され、次いで、主光源の色温度に従ってホワイトバランス処理が行われる。主光源が正確に選択され得るので、良好なホワイトバランス処理効果が達成される。
本開示の一実施形態は、コンピュータ可読記憶媒体をさらに提供する。１つまたは複数の不揮発性コンピュータ可読記憶媒体がコンピュータ実行可能命令を含み、コンピュータ実行可能命令は、１つまたは複数のプロセッサによって、プロセッサが以下のブロックＳ１２からブロックＳ１６の動作を実行できるようにするために実行される。
ブロックＳ１２で、複数の連続した画像フレーム内の各画像フレームが各画像フレームの光源の数を決定するために処理される。
ブロックＳ１４で、ｋ番目の画像フレームの光源の数と（ｋ＋１）番目の画像フレームの光源の数との差が０と等しいかどうかが判断される。
ブロックＳ１６で、差が０と等しくないと判断したことに応答して、（ｋ＋１）番目の画像フレームの色温度がｋ番目の画像フレームの色温度であると決定され、（ｋ＋１）番目の画像フレームが（ｋ＋１）番目の画像フレームの色温度に従って処理される。
図２３は、本開示の一実施形態によるコンピュータ機器の内部構造図である。図２３に示されるように、コンピュータ機器１００は、プロセッサ５２と、メモリ５３（例えば、不揮発性記憶媒体）と、内部メモリ５４と、表示画面５５と、入力装置５６とを含み、これらはすべてシステムバス５１を介して接続されている。コンピュータ機器１００のメモリ５３は、オペレーティングシステムとコンピュータ可読命令とを格納し得る。コンピュータ可読命令は、プロセッサ５２によって、本開示の実施形態の画像処理方法を実施するために実行され得る。プロセッサ５２は、コンピュータ機器１００全体の動作をサポートする計算および制御能力を提供するように構成され得る。コンピュータ機器１００の内部メモリ５３は、メモリ５２内のコンピュータ可読命令の動作のための環境を提供し得る。コンピュータ機器１００の表示画面５５は、液晶表示画面、電子インク表示画面などであり得る。入力装置５６は表示画面５５を覆うタッチ層であってもよく、また、コンピュータ機器１００のハウジング上に配置されたキー、トラックボールまたはタッチパッドであってもよく、さらに外部キーボード、タッチパッド、マウスなどであってもよい。コンピュータ機器１００は、携帯電話、タブレットコンピュータ、ノートブックコンピュータ、パーソナル・デジタル・アシスタント、ウェアラブルデバイス（例えば、スマートバンド、スマートウォッチ、スマートヘルメット、スマートグラス）などであり得る。図２３に示される構造が本開示の解決策に関連した構造の一部の概略図にすぎず、本開示の解決策が適用されるコンピュータ機器１００を限定するためのものではないことを当業者は理解できよう。コンピュータ機器１００は具体的には、図に示されている構成要素より多いかもしくは少ない構成要素を含んでいてもよく、または一部の構成要素が組み合わされるか、または異なる構成要素配置が用いられる。
図２４を参照すると、本開示の実施形態のコンピュータ機器１００は、画像処理回路８０を含む。画像処理回路８０は、ハードウェアおよび／またはソフトウェアコンポーネントを使用して実施されてもよく、画像信号処理（ＩＳＰ）パイプラインを規定する様々な処理装置を含み得る。図２４は、本開示の一実施形態による画像処理回路８００の概略図である。図２４に示されるように、説明の便宜上、本開示の実施形態に関連した画像処理技術の態様が示されているにすぎない。
図２４に示されるように、画像処理回路８０は、ＩＳＰ装置８１（ＩＳＰ装置８１はプロセッサ５２またはプロセッサ５２の一部であり得る）と、制御論理装置８２とを含み得る。カメラ８３によって取り込まれた画像データはまず、ＩＳＰ装置８１によって処理され、ＩＳＰ装置８１は、画像データを解析して、カメラ８３の１つまたは複数の制御パラメータを決定するために利用可能な画像統計情報を取り込み得る。カメラ８３は、１つまたは複数のレンズ８３２とイメージセンサ８３４とを含み得る。イメージセンサ８３４は、カラー・フィルタ・アレイ（例えばベイヤフィルタ）を含むことができ、イメージセンサ８３４は、各撮像画素によって取り込まれた光強度と波長情報とを取得し、ＩＳＰ装置８１によって処理される元の画像データセットを提供し得る。センサ８４（例えばジャイロスコープ）は、センサ８４のインターフェースタイプに基づいてＩＳＰ装置８１に取得された画像処理パラメータ（例えば、手ぶれ補正パラメータ）を提供し得る。センサ８４のインターフェースは、標準モバイル・イメージング・アーキテクチャ（ＳＭＩＡ）・インターフェース、別のシリアルもしくはパラレルカメラインターフェース、またはそれらのインターフェースの組み合わせであり得る。
加えて、イメージセンサ８３４は、センサ８４に元の画像データも送信し得る。センサ８４は、センサ８４のインターフェースタイプに基づいてＩＳＰ装置８１に元の画像データを提供し得るか、またはセンサ８４は元の画像データを画像メモリ８５に格納する。
ＩＳＰ装置８１は、複数のフォーマットに従って画素ごとに元の画像データを処理し得る。例えば、各画素は、８、１０、１２、または１４ビットのビット深度を有し得る。ＩＳＰ装置８１は、元の画像データに対して１つまたは複数の画像処理操作を実行し、画像データに関する画像統計情報を収集し得る。画像処理操作は、同じかまたは異なるビット深度精度に従って実行され得る。
ＩＳＰ装置８１は、画像メモリ８５から画像データをさらに受け取り得る。例えば、センサ８４のインターフェースが画像メモリ８５に元の画像データを送り、画像メモリ８５内の元の画像データが処理のためにＩＳＰ装置８１に提供され得る。画像メモリ８５は、電子機器内のメモリ５３、メモリ５３の一部、記憶装置または独立した専用メモリであってもよく、ダイレクト・メモリ・アクセス（ＤＭＡ）機構を含み得る。
イメージセンサ８３４のインターフェースから、またはイメージセンサ８４のインターフェースから、または画像メモリ８５から元の画像データを受け取ると、ＩＳＰ装置８１は、１つまたは複数の画像処理操作、例えば、時間領域フィルタリングを実行し得る。処理された画像データは表示する前に他の処理のために画像メモリ８５に送られ得る。ＩＳＰ装置８１は、画像メモリ８５から処理されたデータを受け取り、処理されたデータに対して元の領域と色空間ＲＧＢおよびＹＣｂＣｒとで画像データ処理を行い得る。ＩＳＰ装置８１によって処理された画像データは、ユーザが見るために、かつ／またはグラフィックス処理装置（ＧＰＵ）によるさらなる処理のためにディスプレイ８７（ディスプレイ８７は表示画面５５を含み得る）に出力され得る。加えて、ＩＳＰ装置８１の出力が画像メモリ８５にさらに送られてもよく、ディスプレイ８７は画像メモリ８５から画像データを読み取り得る。本開示の一実施形態では、画像メモリ８５は、１つまたは複数のフレームバッファを実装するように構成され得る。さらに、ＩＳＰ装置８１の出力は、画像データを符号化／復号化するために符号器／復号器８６に送られ得る。符号化された画像データは格納され、ディスプレイ８７に表示される前に解凍され得る。符号器／復号器８６は、中央処理装置（ＣＰＵ）またはＧＰＵまたはコプロセッサによって実施され得る。
ＩＳＰ装置８１によって決定された統計情報は、制御論理装置８２に送られ得る。例えば、統計情報は、イメージセンサ８３４の自動露出、自動ホワイトバランス、自動焦点、フラッシュ検出、黒レベル補正、レンズ８３２の影補正などの統計情報を含み得る。制御論理装置８２は、１つまたは複数のルーチン（例えば、ファームウェア）を実行する処理要素および／またはマイクロコントローラを含んでいてもよく、１つまたは複数のルーチンは、受け取られた統計データに従ってカメラ８３の制御パラメータおよびＩＳＰ装置８１の制御パラメータを決定し得る。例えば、カメラ８３の制御パラメータには、センサ８４の制御パラメータ（例えば、利得、露出制御のための積分時間および手ぶれ補正パラメータ）、カメラフラッシュ制御パラメータ、レンズ８３２の制御パラメータ（例えば、合焦やズーミングのための焦点距離）またはこれらのパラメータの組み合わせが含まれ得る。ＩＳＰ装置の制御パラメータには、自動ホワイトバランスおよび色調整のための利得レベルおよび色補正マトリックス（例えば、ＲＧＢ処理時）と、レンズ８３２の影補正パラメータが含まれ得る。
画像処理方法は、以下のブロックＳ１２からブロックＳ１６の動作によって図２４の画像処理技術を使用して実施される。
ブロックＳ１２で、複数の連続した画像フレーム内の各画像フレームが各画像フレームの光源の数を決定するために処理される。
ブロックＳ１４で、ｋ番目の画像フレームの光源の数と（ｋ＋１）番目の画像フレームの光源の数との差が０と等しいかどうかが判断される。
ブロックＳ１６で、差が０と等しくないと判断したことに応答して、（ｋ＋１）番目の画像フレームの色温度がｋ番目の画像フレームの色温度であると決定され、（ｋ＋１）番目の画像フレームが（ｋ＋１）番目の画像フレームの色温度に従って処理される。
上記の実施形態の方法におけるフローの全部または一部がコンピュータプログラムによって命令される関連ハードウェアによって完了されてもよく、プログラムは不揮発性コンピュータ可読記憶媒体に格納され得ることを当業者は理解するはずである。プログラムが実行されるとき、各方法実施形態のフローが含まれ得る。記憶媒体は、磁気ディスク、光ディスク、読取り専用メモリ（ＲＯＭ）などであり得る。
上記の実施形態は、本開示の一部の実施態様を説明しているにすぎず、特に詳細に記載されているが、本開示の範囲に対する限定と理解されるべきではない。当業者であれば、本開示の概念から逸脱することなく複数の偏見および改変をさらに加えることができ、それらはすべて本開示の保護範囲内に含まれるものであることを指摘したい。したがって、本開示の特許保護の範囲は添付の特許請求の範囲に従うべきである。

Claims (13)

  1. 画像処理方法であって、前記方法が、
    複数の連続した画像フレーム内の各画像フレームを、各画像フレームの光源の数を決定するために処理すること（Ｓ１２）と、
    ｋ番目の画像フレームの光源の数と（ｋ＋１）番目の画像フレームの光源の数との差が０と等しいかどうかを判断すること（Ｓ１４）であって、ｋが正の整数である、ことと、
    前記差が０と等しくないと判断したことに応答して、前記（ｋ＋１）番目の画像フレームの色温度が前記ｋ番目の画像フレームの色温度であると決定し、前記（ｋ＋１）番目の画像フレームを前記（ｋ＋１）番目の画像フレームの前記色温度に従って処理すること（Ｓ１６）と
    を含むことを特徴とする、画像処理方法。
  2. 前記複数の連続した画像フレーム内の各画像フレームを、各画像フレームの前記光源の前記数を決定するために処理する前記動作（Ｓ１２）が、
    各画像フレームを複数の領域に分割すること（Ｓ１２２）と、
    前記複数の領域の各々について、前記領域が光源を含むターゲット領域であるかどうかを前記領域のヒストグラムに従って判断すること（Ｓ１２４）と、
    前記領域が光源を含む前記ターゲット領域であると判断したことに応答して、前記領域に隣接した複数のターゲット領域があるかどうかを判断すること（Ｓ１２６）と、
    前記領域に隣接した複数のターゲット領域があると判断したことに応答して、前記複数のターゲット領域を１つの光源にスプライスすること（Ｓ１２８）と、
    前記領域に隣接したターゲット領域がないと判断したことに応答して、前記ターゲット領域を光源であると決定すること（Ｓ１２１）と、
    前記光源をカウントすること（Ｓ１２３）と
    を含む、請求項１に記載の画像処理方法。
  3. 前記領域が光源を含むターゲット領域であるかどうかを前記領域のヒストグラムに従って判断すること（Ｓ１２４）が、
    前記領域内の所定の値を超える画素値を有する画素数の割合が所定の値を超えるかどうかを前記領域の前記ヒストグラムに従って判断することと、
    前記画素数の前記割合が前記所定の値を超えると判断したことに応答して、前記領域を、光源を含む前記ターゲット領域であると決定することと
    を含む、請求項２に記載の画像処理方法。
  4. 前記複数の連続した画像フレーム内の各画像フレームを、各画像フレームの前記光源の前記数を決定するために処理する前記動作（Ｓ１２）が、
    高輝度領域および中輝度領域を、前記光源の放射方向に沿って前記光源の中心から外方に延在する輝度分布に従って決定すること（Ｓ１２５）と、
    前記光源の色を、前記高輝度領域の原色チャンネルの画素平均値から前記中輝度領域の原色チャンネルの画素平均値を差し引くことによって決定すること（Ｓ１２７）と
    をさらに含む、請求項１に記載の画像処理方法。
  5. 前記高輝度領域が、前記光源の中心から放射方向外方に延在するその輝度値が第１の輝度範囲内である画素によって形成され、前記中輝度領域が、前記光源の前記中心から放射方向外方に延在するその輝度値が第２の輝度範囲内である画素によって形成される、請求項４に記載の画像処理方法。
  6. 前記光源の前記色を決定した後、
    前記光源の取得色温度と前記光源の色温度との間の事前設定対応関係に基づいて前記光源の前記決定された色に対応する前記光源の色温度を取得すること
    をさらに含む、請求項４に記載の画像処理方法。
  7. 前記差が０と等しくないと判断したことに応答して、前記（ｋ＋１）番目の画像フレームの前記色温度が前記ｋ番目の画像フレームの前記色温度であると決定し、前記（ｋ＋１）番目の画像フレームを前記（ｋ＋１）番目の画像フレームの前記色温度に従って処理する前記動作（Ｓ１６）が、
    前記ｋ番目の画像フレームの前記光源の前記数が１以上であるかどうかを判断すること（Ｓ１６２）と、
    前記ｋ番目の画像フレームの前記光源の前記数が１未満であると判断したことに応答して、前記ｋ番目の画像フレームおよび前記（ｋ＋１）番目の画像フレームに対してホワイトバランス処理を行うためにグレーワールド法を用いること（Ｓ１６４）と、
    前記ｋ番目の画像フレームの前記光源の前記数が１と等しいと判断したことに応答して、前記ｋ番目の画像フレームの前記光源の前記色温度および前記数に従って前記（ｋ＋１）番目の画像フレームの前記光源の前記色温度および前記数を決定し、前記（ｋ＋１）番目の画像フレームの前記色温度に従って前記（ｋ＋１）番目の画像フレームに対してホワイトバランス処理を行うこと（Ｓ１６６）と、
    前記ｋ番目の画像フレームの前記光源の前記数が１より大きいと判断したことに応答して、前記ｋ番目の画像フレームの前記光源のシナリオパラメータ、面積または輝度パラメータの少なくとも１つに従って主光源を決定し、前記主光源の色温度に従って前記（ｋ＋１）番目の画像フレームの前記色温度を決定し、（ｋ＋１）番目の画像フレームの前記色温度に従って前記（ｋ＋１）番目の画像フレームに対してホワイトバランス処理を行い、前記（ｋ＋１）番目の画像フレームの前記光源の前記数が前記ｋ番目の画像フレームの前記光源の前記数であると決定すること（Ｓ１６８）と
    を含む、請求項１〜６のいずれか一項に記載の画像処理方法。
  8. 前記シナリオパラメータが画像撮影時刻および全地球測位システム（ＧＰＳ）の信号強度を含み、前記輝度パラメータが複数の光源の輝度を含む、請求項７に記載の画像処理方法。
  9. 前記差が０と等しいと判断したことに応答して、前記ｍ番目の画像フレームの色温度に従ってｍ番目の画像フレームに対してホワイトバランス処理を行うことであって、前記ｍ番目の画像フレームが前記ｋ番目の画像フレームおよび前記（ｋ＋１）番目の画像フレームを含み、ｍが正の整数であり、ｍ≧ｋである、こと（Ｓ１８）
    をさらに含む、請求項１に記載の画像処理方法。
  10. 前記差が０と等しいと判断したことに応答して、前記ｍ番目の画像フレームの前記色温度に従って前記ｍ番目の画像フレームに対してホワイトバランス処理を行う前記動作（Ｓ１８）が、
    前記光源の前記数が１以上であるかどうかを判断すること（Ｓ１８２）と、
    前記光源の前記数が１未満であると判断したことに応答して、前記ｍ番目の画像フレームに対してホワイトバランス処理を行うためにグレーワールド法を用いること（Ｓ１８４）と、
    前記光源の前記数が１と等しいと判断したことに応答して、前記光源の色温度に従って前記ｍ番目の画像フレームに対してホワイトバランス処理を行うこと（Ｓ１８６）と、
    前記光源の前記数が１より大きいと判断したことに応答して、前記光源のシナリオパラメータ、面積または輝度パラメータの少なくとも１つに従って主光源を決定し、前記主光源の色温度に従って前記ｍ番目の画像フレームに対してホワイトバランス処理を行うことであって、前記シナリオパラメータが画像撮影時刻およびＧＰＳの信号強度を含み、前記輝度パラメータが複数の光源の輝度を含む、こと（Ｓ１８８）と
    を含む、請求項９に記載の画像処理方法。
  11. （ｋ＋ｈ）番目の画像フレームの光源の数と前記ｋ番目の画像フレームの前記光源の前記数との差が０と不等に保たれる場合、前記（ｋ＋１）番目の画像フレームの色温度に従って前記（ｋ＋１）番目の画像フレームに対してホワイトバランス処理を行うことであって、ｈが事前設定値である、こと
    をさらに含む、請求項１〜１０のいずれか一項に記載の画像処理方法。
  12. 画像処理装置であって、
    １つまたは複数のコンピュータプログラムを格納するメモリと、
    プロセッサが請求項１〜１１のいずれか一項に記載の方法を実行できるようにするために前記メモリに格納された前記１つまたは複数のコンピュータプログラムを実行するように構成される、プロセッサと
    を含む、画像処理装置。
  13. １つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに請求項１〜１１のいずれか一項に記載の方法を実行させるコンピュータ実行可能命令を含む、コンピュータ可読記憶媒体。
JP2020529643A 2017-12-25 2018-09-17 画像処理方法および画像処理装置、コンピュータ可読記憶媒体ならびにコンピュータ機器 Active JP6946564B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201711420294.3A CN107872663B (zh) 2017-12-25 2017-12-25 图像处理方法及装置、计算机可读存储介质和计算机设备
CN201711420294.3 2017-12-25
PCT/CN2018/106057 WO2019128322A1 (en) 2017-12-25 2018-09-17 Image processing method and device, computer-readable storage medium and computer device

Publications (2)

Publication Number Publication Date
JP2021505086A true JP2021505086A (ja) 2021-02-15
JP6946564B2 JP6946564B2 (ja) 2021-10-06

Family

ID=61756077

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020529643A Active JP6946564B2 (ja) 2017-12-25 2018-09-17 画像処理方法および画像処理装置、コンピュータ可読記憶媒体ならびにコンピュータ機器

Country Status (7)

Country Link
US (2) US10491874B2 (ja)
EP (1) EP3503545B1 (ja)
JP (1) JP6946564B2 (ja)
KR (1) KR102350515B1 (ja)
CN (1) CN107872663B (ja)
ES (1) ES2790852T3 (ja)
WO (1) WO2019128322A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277480B (zh) * 2017-07-10 2019-03-29 Oppo广东移动通信有限公司 白平衡同步方法、装置和终端设备
CN107872663B (zh) * 2017-12-25 2019-05-24 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备
TWI660633B (zh) * 2018-04-13 2019-05-21 瑞昱半導體股份有限公司 基於膚色資訊的白平衡校正方法及其影像處理裝置
CN109327691B (zh) * 2018-10-23 2021-05-04 Oppo广东移动通信有限公司 图像拍摄方法、装置、存储介质及移动终端
CN115529448B (zh) * 2022-03-10 2023-07-11 荣耀终端有限公司 图像处理方法及相关装置
TWI812516B (zh) * 2022-10-20 2023-08-11 緯創資通股份有限公司 影像處理裝置及影像處理方法

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5283635A (en) * 1988-06-03 1994-02-01 Canon Kabushiki Kaisha White balance adjusting device with plural thresholds for range control
US5442408A (en) * 1989-11-17 1995-08-15 Sanyo Electric Co., Ltd. White balance adjusting apparatus for automatically adjusting white balance in response to luminance information signal and color information signal obtained from image sensing device
GB2372391A (en) * 2001-02-16 2002-08-21 Hewlett Packard Co Removal of specular reflection
US7265781B2 (en) * 2001-08-22 2007-09-04 Fujifilm Corporation Method and apparatus for determining a color correction matrix by minimizing a color difference maximum or average value
JP3950715B2 (ja) * 2002-03-05 2007-08-01 富士フイルム株式会社 固体撮像素子およびこれを用いた撮像装置
KR100459902B1 (ko) * 2002-07-04 2004-12-03 삼성전자주식회사 압축 영상의 색온도 변환 방법 및 그 시스템
US20050122409A1 (en) * 2003-12-08 2005-06-09 Nikon Corporation Electronic camera having color adjustment function and program therefor
US7423674B2 (en) * 2003-12-08 2008-09-09 Nikon Corporation Electronic camera having color adjustment function and program therefor
JP4362479B2 (ja) * 2003-12-12 2009-11-11 富士通株式会社 カラーバランス補正プログラム、カラーバランス補正装置およびカラーバランス補正方法
US7423779B2 (en) * 2004-03-30 2008-09-09 Omnivision Technologies, Inc. Method and apparatus for automatic white balance
JP4677226B2 (ja) * 2004-12-17 2011-04-27 キヤノン株式会社 画像処理装置及び方法
US7505069B2 (en) * 2005-10-26 2009-03-17 Hewlett-Packard Development Company, L.P. Method and apparatus for maintaining consistent white balance in successive digital images
US8564687B2 (en) * 2007-05-07 2013-10-22 Nvidia Corporation Efficient determination of an illuminant of a scene
US9330630B2 (en) * 2008-08-30 2016-05-03 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with rate change control
JP2010191402A (ja) * 2009-01-26 2010-09-02 Toshiba Corp プロジェクタ装置及び映像表示方法ならびに携帯電話装置
JP5610762B2 (ja) * 2009-12-21 2014-10-22 キヤノン株式会社 撮像装置及び制御方法
WO2011148799A1 (ja) * 2010-05-28 2011-12-01 富士フイルム株式会社 撮像装置及びホワイトバランスゲイン算出方法
JP2012109900A (ja) * 2010-11-19 2012-06-07 Aof Imaging Technology Ltd 撮影装置、撮影方法、およびプログラム
CN102209246B (zh) * 2011-05-23 2013-01-09 北京工业大学 一种实时视频白平衡处理系统
KR101896386B1 (ko) * 2011-11-22 2018-09-11 삼성전자주식회사 화이트 밸런스 조절장치 및 방법
JP5814799B2 (ja) * 2012-01-06 2015-11-17 キヤノン株式会社 画像処理装置及び画像処理方法
TWI532385B (zh) * 2012-03-19 2016-05-01 華晶科技股份有限公司 白平衡處理方法及其處理裝置
TWI538555B (zh) * 2012-12-24 2016-06-11 鴻海精密工業股份有限公司 色溫調節方法及使用該方法的照明裝置
KR102126487B1 (ko) * 2013-10-24 2020-06-24 삼성전자주식회사 이미지 촬영 장치의 자동 화이트 밸런스 조절 방법 및 이를 이용하는 이미지 촬영 장치
KR102170686B1 (ko) * 2014-03-18 2020-10-27 한화테크윈 주식회사 화이트 밸런스 보정 장치 및 방법
KR102211862B1 (ko) * 2014-04-09 2021-02-03 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 센서 시스템
JP6525503B2 (ja) * 2014-04-14 2019-06-05 キヤノン株式会社 画像処理装置および撮像装置
JP6494181B2 (ja) * 2014-05-30 2019-04-03 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP6508890B2 (ja) * 2014-07-07 2019-05-08 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
US9386230B1 (en) * 2015-06-12 2016-07-05 Google Inc. Day and night detection based on one or more of illuminant detection, lux level detection, and tiling
CN105578166B (zh) * 2016-01-08 2018-06-05 浙江宇视科技有限公司 一种色温确定方法及装置
CN105959661B (zh) * 2016-05-06 2019-07-26 联想(北京)有限公司 一种色温估计方法及电子设备
CN106162135B (zh) * 2016-07-29 2017-08-01 广东欧珀移动通信有限公司 白平衡调整方法以及装置
CN106973242A (zh) 2017-05-16 2017-07-21 信利光电股份有限公司 一种摄像头模组的光源补偿方法
US10154256B1 (en) * 2017-06-13 2018-12-11 Qualcomm Incorporated Flash color calibration
CN107798664B (zh) * 2017-10-27 2021-08-06 北京小米移动软件有限公司 闪光灯的色温校准方法及装置
CN107635123B (zh) * 2017-10-30 2019-07-19 Oppo广东移动通信有限公司 白平衡处理方法及装置、电子装置和计算机可读存储介质
CN107801012B (zh) * 2017-10-30 2019-05-17 Oppo广东移动通信有限公司 白平衡处理方法及装置、电子装置和计算机可读存储介质
CN107801013B (zh) * 2017-10-30 2019-05-17 Oppo广东移动通信有限公司 白平衡处理方法及装置、电子装置和计算机可读存储介质
CN107872663B (zh) * 2017-12-25 2019-05-24 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备
CN108234971B (zh) * 2018-02-09 2019-11-05 上海小蚁科技有限公司 白平衡参数确定方法、白平衡调整方法及装置、存储介质、终端
US20190335150A1 (en) * 2018-04-26 2019-10-31 Qualcomm Incorporated Systems and methods for color balancing

Also Published As

Publication number Publication date
US10798358B2 (en) 2020-10-06
KR20200078619A (ko) 2020-07-01
CN107872663A (zh) 2018-04-03
CN107872663B (zh) 2019-05-24
WO2019128322A1 (en) 2019-07-04
US10491874B2 (en) 2019-11-26
JP6946564B2 (ja) 2021-10-06
US20190289270A1 (en) 2019-09-19
EP3503545B1 (en) 2020-03-11
KR102350515B1 (ko) 2022-01-11
EP3503545A1 (en) 2019-06-26
ES2790852T3 (es) 2020-10-29
US20190199990A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
JP6946564B2 (ja) 画像処理方法および画像処理装置、コンピュータ可読記憶媒体ならびにコンピュータ機器
US10757312B2 (en) Method for image-processing and mobile terminal using dual cameras
JP6911192B2 (ja) 画像処理方法、装置および機器
JP6903816B2 (ja) 画像処理方法および装置
CN110602467B (zh) 图像降噪方法、装置、存储介质及电子设备
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
US11606543B2 (en) Image processing apparatus, image capture apparatus, and image processing method
CN108174173B (zh) 拍摄方法及装置、计算机可读存储介质和计算机设备
WO2019124289A1 (ja) 装置、制御方法および記憶媒体
CN108063934B (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
CN108259754B (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
US9762805B2 (en) Image processing apparatus performing tone correction process and method, and image capturing apparatus performing tone correction process
WO2021258300A1 (zh) 一种屏下拍摄控制方法、终端设备及存储介质
US20190073751A1 (en) Image processing apparatus, image processing method, and storage medium
JP2013168723A (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
CN110276730B (zh) 图像处理方法、装置、电子设备
CN111340736B (zh) 图像处理方法、装置、存储介质及电子设备
CN108111831B (zh) 拍摄方法、成像装置、计算机可读存储介质和计算机设备
JP6157274B2 (ja) 撮像装置、情報処理方法及びプログラム
US20190052803A1 (en) Image processing system, imaging apparatus, image processing apparatus, control method, and storage medium
CN107277370B (zh) 对焦方法、装置、计算机可读存储介质和移动终端
JP6616674B2 (ja) 画像処理装置および方法、および撮像装置
JP2011160204A (ja) 画像処理装置、画像処理方法およびプログラム
JP2011188087A (ja) 画像処理装置、撮像装置、コンピュータ読み取り可能なプログラム
JP2013081235A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210824

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210915

R150 Certificate of patent or registration of utility model

Ref document number: 6946564

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150