JP2020502689A - 画像処理方法および装置、ならびに非一時的コンピュータ可読記憶媒体 - Google Patents

Abstract

画像処理方法は、（ａ）第１の写真撮影パラメータに対応する第１の画像を取得することと、（ｂ）第２の写真撮影パラメータに対応する、第１の画像と同一シーンを有する第２の画像を取得することと、（ｃ）第１の画像をぼかし、ぼけた第１の画像を取得することと、（ｄ）第１の画像の露出過大部分に対応する、ぼけた第１の画像の置換対象部分を定義することと、（ｅ）置換対象部分に対応する第２の画像の置換部分を取得することと、（ｆ）ぼけた第１の画像の置換対象部分を第２の画像の置換部分と置換してマージ画像を取得することとを含む。

Description

本開示は、画像処理技術に関し、特に、画像処理方法、画像処理装置、および非一時的コンピュータ可読記憶媒体に関する。

ポートレート写真の背景をぼかすなどの既存のぼかしアルゴリズムでは、ぼかしソフトウェアアルゴリズムは、通常、写真上の光源をぼかす際にファジーアルゴリズムを使用する。ファジーアルゴリズムは、光源の画素の輝度を平均化する計算である。光源は、写真上で暗く見え、悪影響を及ぼすことがある。

本開示の実施形態は、関連技術に存在する技術的課題の少なくとも１つを少なくともある程度解決することを目指している。したがって、本開示の実施形態は、画像処理方法、画像処理装置、および非一時的コンピュータ可読記憶媒体を提供することが求められる。

本開示は、以下のステップを含む画像処理方法を提供する：
（ａ）第１の写真撮影パラメータに対応する第１の画像を取得する；
（ｂ）第２の写真撮影パラメータに対応する、第１の画像と同一シーンを有する第２の画像を取得する；
（ｃ）第１の画像をぼかし、ぼけた第１の画像を取得する；
（ｄ）第１の画像の露出過大部分に対応する、ぼけた第１の画像の置換対象部分を定義する；
（ｅ）置換対象部分に対応する第２の画像の置換部分を取得する；および
（ｆ）ぼけた第１の画像の置換対象部分を第２の画像の置換部分と置換してマージ画像を取得する。

本開示は、以下を含む画像処理装置を提供する：
プロセッサと、
プロセッサに接続されたメモリであって、方法を実行するように構成されたプロセッサによって実行可能な複数のプログラム命令を含むメモリと、を含み、方法が、
（ａ）第１の写真撮影パラメータに対応する第１の画像を取得すること；
（ｂ）第２の写真撮影パラメータに対応する、第１の画像と同一シーンを有する第２の画像を取得すること；
（ｃ）第１の画像をぼかし、ぼけた第１の画像を取得すること；
（ｄ）第１の画像の露出過大部分に対応する、ぼけた第１の画像の置換対象部分を定義すること；
（ｅ）置換対象部分に対応する第２の画像の置換部分を取得すること；および
（ｆ）ぼけた第１の画像の置換対象部分を第２の画像の置換部分と置換してマージ画像を取得すること
を含む。

本開示は、電子機器がプロセッサを使用して命令を実行したときに前述の画像処理方法にかかる画像処理方法が実行される命令を記憶した非一時的コンピュータ可読記憶媒体を提供する。

本開示にかかる画像処理方法および装置の態様では、２つの画像が撮影され、一方は合焦画像であり、他方は非合焦画像であり、合焦画像の露出過大部分に対応する非合焦画像の素材部分が抽出され、そして、ぼけた合焦画像にマージされ、実際のフレア効果を有するマージ画像を取得する。フレア効果が優れている。

本開示にかかる画像処理方法および装置の他の態様では、２つの画像が撮影され、一方は等露出画像であり、他方は露出過小画像であり、２つの画像は、双方ともぼけており、そして、ぼけた露出過大部分の輝度が増加され、対応する偽の露出過大部分が抽出され、ぼけた等露出画像のぼけた露出過大部分が偽の露出過大部分に置換され、実際のフレア効果を有するぼけた画像にマージする。フレア効果が優れている。

本開示のさらなる態様および利点は、以下のように部分的に説明されるか、以下の説明から部分的に明らかになるか、または本開示を実装することから得られる。

本開示の上記および／またはさらなる態様および利点は、図面と併せて、以下の実施形態の説明において明らかになり且つ容易に理解されるであろう。

図１は、本開示の画像処理方法のフローチャートである。 図２は、本開示の第１の実施形態の画像処理方法のフローチャートである。 図３は、本開示の第１の実施形態の画像処理装置を示すブロック図である。 図４は、本開示の第１の実施形態の制御方法のフローチャートである。 図５は、本開示の第１の実施形態の制御装置を示すブロック図である。 図６は、本開示の第１の実施形態の撮像装置を示すブロック図である。 図７は、本開示の第１の実施形態の電子機器を示すブロック図である。 図８は、図７に示す電子機器の物理的物品を示す概略図である。 図９は、本開示の電子機器のワークフローを示す概略図である。 図１０は、本開示の第２の実施形態の画像処理方法のフローチャートである。 図１１は、本開示の第２の実施形態の画像処理装置を示すブロック図である。 図１２は、本開示にかかる合焦画像のヒストグラムである。 図１３は、本開示の第２の実施形態の制御方法のフローチャートである。 図１４は、本開示の第２の実施形態の制御装置を示すブロック図である。 図１５は、本開示の第２の実施形態の撮像装置を示すブロック図である。 図１６は、本開示の第２の実施形態の電子機器を示すブロック図である。 図１７は、本開示の第３の実施形態の画像処理方法のフローチャートである。 図１８は、本開示の第３の実施形態の画像処理装置を示すブロック図である。 図１９は、本開示の第３の実施形態の制御方法のフローチャートである。 図２０は、本開示の第３の実施形態の制御装置を示すブロック図である。 図２１は、本開示の第３の実施形態の撮像装置を示すブロック図である。 図２２は、本開示の第３の実施形態の電子機器を示すブロック図である。 図２３は、本開示の第４の実施形態の画像処理方法のフローチャートである。 図２４は、本開示の第４の実施形態の画像処理装置を示すブロック図である。 図２５は、本開示の第４の実施形態の制御方法のフローチャートである。 図２６は、本開示の第４の実施形態の制御装置を示すブロック図である。 図２７は、本開示の第４の実施形態の撮像装置を示すブロック図である。 図２８は、本開示の第４の実施形態の電子機器を示すブロック図である。 図２９は、本開示のいくつかの実施形態にかかる、撮像装置を制御して同一シーンの合焦画像および非合焦画像を出力するフローチャートである。 図３０は、本開示のいくつかの実施形態にかかる制御モジュールを示すブロック図である。 図３１は、本開示の第５の実施形態の画像処理方法のフローチャートである。 図３２は、本開示の第５の実施形態の画像処理装置を示すブロック図である。 図３３は、本開示の第５の実施形態の制御方法のフローチャートである。 図３４は、本開示の第５の実施形態の制御装置を示すブロック図である。 図３５は、本開示の第５の実施の形態の撮像装置を示すブロック図である。 図３６は、本開示の第５の実施形態の電子機器を示すブロック図である。 図３７は、本開示の電子機器のワークフローを示す概略図である。 図３８は、本開示の第６の実施形態の画像処理方法のフローチャートである。 図３９は、本開示の第６の実施形態の画像処理装置を示すブロック図である。 図４０は、本開示の第６の実施形態の制御方法のフローチャートである。 図４１は、本開示の第６の実施形態の制御装置を示すブロック図である。 図４２は、本開示の第６の実施形態の撮像装置を示すブロック図である。 図４３は、本開示の第６の実施形態の電子機器を示すブロック図である。 図４４は、本開示の第７の実施形態の画像処理方法のフローチャートである。 図４５は、本開示の第７の実施形態の画像処理装置を示すブロック図である。 図４６は、本開示の第７の実施形態の制御方法のフローチャートである。 図４７は、本開示の第７の実施形態の制御装置を示すブロック図である。 図４８は、本開示の第７の実施形態の撮像装置を示すブロック図である。 図４９は、本開示の第７の実施形態の電子機器を示すブロック図である。 図５０は、本開示の第８の実施形態の画像処理方法のフローチャートである。 図５１は、本開示の第８の実施形態の画像処理装置を示すブロック図である。 図５２は、本開示の第８の実施形態の制御方法のフローチャートである。 図５３は、本開示の第８の実施形態の制御装置を示すブロック図である。 図５４は、本開示の第８の実施形態の撮像装置を示すブロック図である。 図５５は、本開示の第８の実施形態の電子機器を示すブロック図である。 図５６は、本開示のいくつかの実施形態にかかる、撮像装置を制御して同一シーンの等露出画像および露出過小画像を出力するフローチャートである。 図５７は、本開示のいくつかの実施形態にかかる制御モジュールを示すブロック図である。 図５８は、本開示のいくつかの実施形態にかかる、撮像装置を制御して同一シーンの等露出画像および露出過小画像を出力するフローチャートである。 図５９は、本開示のいくつかの実施形態にかかる制御モジュールを示すブロック図である。

以下、本発明の実施形態について詳細に説明する。実施形態は、添付の図面に示されており、同一または同様の参照符号は、全体にわたって、同一または同様の構成要素、あるいは同一または同様の機能を有する構成要素として示されている。添付の図面を参照して以下に記載される実施形態は、例示的であり、単に本開示を例示するために使用され、本開示の限定として解釈されるべきではない。

本開示の説明において、「第１（ｆｉｒｓｔ）」および「第２（ｓｅｃｏｎｄ）」などの用語は、説明の目的のために本明細書で使用され、相対的な重要性もしくは重大性を示すもしくは暗示する、または示された技術的特徴の数を暗示することを意図するものではない。したがって、「第１」および「第２」によって定義された特徴は、この特徴のうちの１つ以上を含むことができる。本開示の説明において、「複数」とは、特に断りのない限り、２以上を意味する。

本開示の説明において、特に断りまたは制限のない限り、「取り付けられた（ｍｏｕｎｔｅｄ）」、「接続された（ｃｏｎｎｅｃｔｅｄ）」、「結合された（ｃｏｕｐｌｅｄ）」、「固定された（ｆｉｘｅｄ）」などの用語が広く使用されており、例えば、特定の状況に応じて当業者によって理解することができる、固定接続、取り外し可能な接続、または一体接続とすることができ、機械的または電気的接続とすることもでき、直接接続または介在構造を介した間接接続とすることもでき、２つの要素の内部連通とすることもできることに留意されたい。

以下の開示は、本開示の異なる構造を実装するための多くの異なる実施形態または例を提供する。本開示を単純化するために、特定の例の構成要素および構成が以下に記載される。明らかに、それらは単なる例示であり、本開示を限定することを意図するものではない。さらに、参照符号および／または文字は、説明した実施形態および／または構成の間の関係を示すことなく、単純化および明確化の目的のために、本開示の異なる例において繰り返すことができる。さらに、本開示は、様々な特定のプロセスおよび材料の例を提供するが、当業者は、他のプロセスの利用可能性および／または他の材料の使用法を理解することができる。

本開示は、画像処理方法の複数の実施形態、制御方法の複数の実施形態、画像処理装置の複数の実施形態、制御装置の複数の実施形態、撮像装置の複数の実施形態、および電子機器の複数の実施形態を提供する。画像処理方法の複数の実施形態は、シーケンス番号、ならびに制御方法の複数の実施形態、画像処理装置の複数の実施形態、制御装置の複数の実施形態、撮像装置の複数の実施形態、および電子機器の複数の実施形態によって以下に説明される。画像処理方法の各実施形態は、制御方法の実施形態、画像処理装置の実施形態、制御装置の実施形態、撮像装置の実施形態、および電子機器の実施形態に対応する。例えば、画像処理方法の第１の実施形態は、制御方法の第１の実施形態、画像処理装置の第１の実施形態、制御装置の第１の実施形態、撮像装置の第１の実施形態、および電子機器の第１の実施形態に対応し、画像処理方法の第２の実施形態は、制御方法の第２の実施形態、画像処理装置の第２の実施形態、制御装置の第２の実施形態、撮像装置の第２の実施形態、および電子機器の第２の実施形態に対応する。

本開示は、画像処理方法に関する。画像処理方法は、以下のステップを含む：（ａ）第１の写真撮影パラメータに対応する第１の画像を取得する；（ｂ）第２の写真撮影パラメータに対応する、第１の画像と同一シーンを有する第２の画像を取得する；（ｃ）第１の画像をぼかし、ぼけた第１の画像を取得する；（ｄ）第１の画像の露出過大部分に対応する、ぼけた第１の画像の置換対象部分を定義する；（ｅ）置換対象部分に対応する第２の画像の置換部分を取得する；および（ｆ）ぼけた第１の画像の置換対象部分を第２の画像の置換部分と置換してマージ画像を取得する。

本開示は、制御方法に関する。制御方法は、撮像装置を制御するために利用される。制御方法は、撮像装置を制御して同一シーンの合焦画像および非合焦画像を出力することと、前述した画像処理方法を利用して合焦画像および非合焦画像を処理することとを含む。

本開示は、画像処理装置に関する。画像処理装置は、プロセッサと、プロセッサと接続され、方法を実行するように構成されたプロセッサによって実行可能な複数のプログラム命令を含むメモリとを含む。本方法は、（ａ）第１の写真撮影パラメータに対応する第１の画像を取得すること；（ｂ）第２の写真撮影パラメータに対応する、第１の画像と同一シーンを有する第２の画像を取得すること；（ｃ）第１の画像をぼかし、ぼけた第１の画像を取得すること；（ｄ）第１の画像の露出過大部分に対応する、ぼけた第１の画像の置換対象部分を定義すること；（ｅ）置換対象部分に対応する第２の画像の置換部分を取得すること；および（ｆ）ぼけた第１の画像の置換対象部分を第２の画像の置換部分と置換してマージ画像を取得することを含む。

本開示は、制御装置に関する。制御装置は、撮像装置を制御するために利用される。制御装置は、撮像装置を制御して同一シーンの合焦画像および非合焦画像を出力するように構成された制御モジュールと、前記制御モジュールと電気的に接続する前述した画像処理装置とを含む。

本開示は、撮像装置に関する。撮像装置は、カメラレンズと、カメラレンズと電気的に接続し、カメラレンズを制御して同一シーンの合焦画像および非合焦画像を出力するように構成された制御モジュールと、前記制御モジュールと電気的に接続する前述した画像処理装置とを含む。

本開示は、電子機器に関する。電子機器は、前述した撮像装置を含む。

本開示は、電子機器に関する。電子装置は、プロセッサと、記憶装置とを含む。記憶装置は、実行可能プログラムコードを記憶するように構成される。プロセッサは、記憶装置に記憶されている実行可能プログラムコードを読み出すことにより、実行可能プログラムコードに対応するプログラムを実行し、上述した画像処理方法または上述した制御方法を実行する。

本開示は、電子機器がプロセッサを使用して命令を実行したときに、前述した画像処理方法または前述した制御方法が実行される命令を記憶した非一時的コンピュータ可読記憶媒体に関する。

図１を参照すると、本開示の画像処理方法は、ブロックにおいて以下の動作を含む。

ブロックＳ１において、第１の写真撮影パラメータに対応する第１の画像が取得される。

ブロックＳ２において、第１の画像と同一シーンを有する第２の画像が取得される。第２の画像は、第２の写真撮影パラメータに対応する。

ブロックＳ３において、第１の画像がぼかされ、ぼけた第１の画像が取得される。

ブロックＳ４において、ぼけた第１の画像内に置換対象部分が定義される。置換対象部分は、第１の画像の露出過大部分に対応する。

ブロックＳ５において、第２の画像の置換部分が取得される。置換部分は、置換対象部分に対応する。

ブロックＳ６において、ぼけた第１の画像の置換対象部分が第２の画像の置換部分と置換され、マージ画像を取得する。

既存の技術では、写真の背景（例えば、ポートレート写真の背景）をぼかすために、ぼかしソフトウェアアルゴリズムが使用される。背景に光源が存在すると、ぼけた写真の光源は、暗く見える。本開示の画像処理方法は、ぼけた写真上の光源を実際のフレア効果に置換することができる。実用的には、ぼけた第１の画像は、ぼけた背景を有する画像とすることができる。ぼけた第１の画像の光源（露出過大部分に対応する）は、第２の画像の置換部分と置換される。第２の画像は、光源に対してより良い光効果を有するように処理される。したがって、マージ画像は、実際のフレア効果を伴って改善される。

本開示の態様では、第１の写真撮影パラメータおよび第２の写真撮影パラメータは、焦点または非焦点に関するパラメータとすることができる。すなわち、第１の画像は、合焦画像とすることができ、第２の画像は、非合焦画像とすることができる。本開示の他の態様において、第１の写真撮影パラメータおよび第２の写真撮影パラメータは、露出に関するパラメータとすることができる。すなわち、第１の画像は、明環境に適合する第１の露出値を使用して取得される等露出画像とすることができ、第２の画像は、第１の露出値よりも小さい第２の露出値を使用して取得される露出過小画像とすることができる。２つの態様は、以下でさらに詳細に説明される。当業者は、本開示の概念が２つの態様に限定されないことを理解する。

前述したブロックの動作により、本開示の画像処理方法は、実際のフレア効果を有するマージ画像を取得することができる。フレア効果が優れている。

第１の画像が合焦画像であり、第２の画像が非合焦画像である状況において、図２を参照すると、本開示の画像処理方法の第１の実施形態は、ブロックにおいて以下の動作を含む。

ブロックＳ１１において、合焦画像が合焦状態で露出過大部分を有するかどうかが識別される。

ブロックＳ１２において、合焦画像がぼかされ、ぼけた合焦画像を取得する。ぼけた合焦画像は、露出過大部分に対応するぼけた露出過大部分を含む。

ブロックＳ１３において、合焦画像が露出過大部分を有することに応じて、合焦画像と同一シーンの非合焦画像が取得され、非合焦画像は、合焦画像の露出過大部分に対応する素材部分を取得するように処理される。

ブロックＳ１４において、ぼけた合焦画像内の露出過大部分に対応するぼけた露出過大部分が素材部分に置き換えられ、マージ画像を取得する。

合焦画像をぼかしてぼけた合焦画像を取得することは、ガウスぼかしアルゴリズムによって実行することができる。合焦画像は、全焦点深度を使用して合焦状態で撮影される。素材部分をぼかす度合いは、露出過大部分をぼかす度合いと略同一である。

図３を参照すると、画像処理方法の第１の実施形態は、本開示の画像処理装置１１１の第１の実施形態によって実施することができる。本開示の画像処理装置１１１の第１の実施形態は、ブロックＳ１１からＳ１４の動作をそれぞれ実行するように構成された、識別モジュール１１１１、ぼかしモジュール１１１２、処理モジュール１１１３、およびマージモジュール１１１４を含む。すなわち、識別モジュール１１１１は、合焦画像が合焦状態で露出過大部分を有するかどうかを識別するように構成される。ぼかしモジュール１１１２は、合焦画像をぼかし、露出過大部分に対応するぼけた露出過大部分を含むぼけた合焦画像を取得するように構成される。処理モジュール１１１３は、合焦画像と同一シーンを有する非合焦画像を取得し、合焦画像が露出過大部分を有することに応じて、非合焦画像を処理して合焦画像の露出過大部分に対応する素材部分を取得するように構成される。マージモジュール１１１４は、ぼけた合焦画像内の露出過大部分に対応するぼけた露出過大部分を素材部分と置換し、マージ画像を取得するように構成される。

ぼかしモジュール１１１２は、合焦画像をぼかしてぼけた合焦画像を取得するためにガウスぼかしアルゴリズムを利用する。合焦画像は、全焦点深度を使用して合焦状態で撮影される。素材部分をぼかす度合いは、露出過大部分をぼかす度合いと略同一である。

図４および図６−図８を参照すると、本開示の制御方法の第１の実施形態が撮像装置１０を制御するために利用される。制御方法は、ブロックにおいて以下の動作を含む。

ブロックＳ１６において、撮像装置１０は、同一シーンの合焦画像および非合焦画像を出力するように制御される。

ブロックＳ１１において、合焦画像が合焦状態で露出過大部分を有するかどうかが識別される。

ブロックＳ１２において、合焦画像がぼかされ、ぼけた合焦画像を取得する。ぼけた合焦画像は、露出過大部分に対応するぼけた露出過大部分を含む。

ブロックＳ１３において、合焦画像が露出過大部分を有することに応じて、合焦画像と同一シーンの非合焦画像が取得され、非合焦画像は、合焦画像の露出過大部分に対応する素材部分を取得するように処理される。

ブロックＳ１４において、ぼけた合焦画像内の露出過大部分に対応するぼけた露出過大部分が素材部分に置き換えられ、マージ画像を取得する。

合焦画像をぼかしてぼけた合焦画像を取得することは、ガウスぼかしアルゴリズムによって実行することができる。合焦画像は、全焦点深度を使用して合焦状態で撮影される。素材部分をぼかす度合いは、露出過大部分をぼかす度合いと略同一である。

図５を参照すると、制御方法の第１の実施形態は、本開示の制御装置１１の第１の実施形態によって実施することができる。本開示の制御装置１１の第１の実施形態では、制御装置１１は、画像処理装置１１１の第１の実施形態にかかる画像処理装置１１１と、画像処理装置１１１と電気的に接続する制御モジュール１１２とを含む。画像処理装置１１１は、ブロックＳ１１からＳ１４の動作を実行するように構成される。制御モジュール１１２は、ブロックＳ１６を実行するように構成される。画像処理装置１１１の構成は、前述した第１の実施形態で説明したので、ここでは詳述しない。制御モジュール１１２は、撮像装置１０（図６から図８に示す）を制御して同一シーンの合焦画像および非合焦画像を出力するように構成される。

図６を参照すると、本開示の撮像装置１０の第１の実施形態は、制御装置１１の第１の実施形態にかかる制御装置１１と、制御装置１１に電気的に接続されたカメラレンズ１２とを含む。換言すれば、本実施形態の撮像装置１０は、画像処理装置１１１の第１の実施形態にかかる画像処理装置１１１と、制御モジュール１１２と、カメラレンズ１２とを含む。制御モジュール１１２、カメラレンズ１２、および画像処理装置１１１は、全て互いに電気的に接続されている。

図７および図８を参照すると、本開示の電子機器１００の第１の実施形態は、撮像装置１０の第１の実施形態にかかる撮像装置１０を含む。電子機器１００は、携帯電話、タブレット、ノートブックコンピュータ、スマートウォッチ、スマートリング、スマートヘルメット、スマートメガネ、他のＶＲ（仮想現実）ウェアラブル機器、他のＡＲ（拡張現実）ウェアラブル機器など、撮影機能を有する任意の種類の端末によって実行することができる。撮像装置１０の台数が１台の場合、撮像装置１０は、前面カメラまたは背面カメラとすることができる。撮像装置１０の台数が２台の場合、２台の撮像装置１０は、それぞれ、前面カメラおよび背面カメラとすることができるか、あるいは、２台の撮像装置１０の双方とも、前面カメラであるか、あるいは、２台の撮像装置１０の双方とも、背面カメラである。撮像装置１０の台数が２台よりも多い場合、撮像装置１０は、前面カメラおよび背面カメラを除く、トップカメラ、ボトムカメラ、ラテラルカメラなど、任意の位置に配置されたカメラとすることができる。

例えば、図９に付随して、カメラレンズ１２は、同一シーンの合焦画像（図９の左上部に示す）と非合焦画像（図９の右上部に示す）とを撮影する。合焦画像は、全焦点深度を使用して合焦状態で撮影される。識別後、合焦画像が露出過大部分、すなわち上部コーナーに細長管を有すると判定することができる。合焦画像はぼかされ、ぼけた合焦画像（図９の左下部に示す）を取得する。この例では、合焦画像の背景がぼかされている。合焦画像の露出過大部分（細長管）がぼかされ、ぼけた露出過大部分（細長管）を取得する。合焦画像が露出過大部分を有する場合は、非合焦画像が処理され、露出過大部分に対応する素材部分（細長管）を取得する。この例では、非合焦画像は、非合焦シーンを撮影することによって取得される。ぼけた合焦画像内の露出過大部分に対応するぼけた露出過大部分は、素材部分と置換され、マージ画像（図９の右下部）を取得する。

本開示の第１の実施形態にかかる画像処理方法、画像処理装置１１１、制御方法、制御装置１１、撮像装置１０、および電子機器１００では、２つの画像が撮影され、一方は合焦画像であり、他方は非合焦画像であり、合焦画像の露出過大部分に対応する非合焦画像の素材部分が抽出された後にぼけた合焦画像にマージされ、実際のフレア効果を有するマージ画像を取得する。フレア効果が優れている。

図１０を参照すると、本開示の画像処理方法の第２の実施形態は、画像処理方法の第１の実施形態と略同一であるが、合焦画像が合焦状態で露出過大部分を有するかどうかの識別は、さらに、ブロックにおいて以下の動作を含む。

ブロックＳ１１１において、合焦画像の露出過大画素数が第１の所定数以上であるかどうかが合焦画像のヒストグラムに応じて判定される。露出過大画素の画素値は、所定の画素値以上である。

ブロックＳ１１２において、露出過大画素数が第１の所定数以上であることに応じて、合焦画像が露出過大部分を有すると判定される。

図１１を参照すると、画像処理方法の第２の実施形態は、本開示の画像処理装置１１１の第２の実施形態によって実施することができる。本開示の画像処理装置１１１の第２の実施形態にかかる画像処理装置１１１は、画像処理装置１１１の第１の実施形態と略同一の構成を有するが、それらの差異は、第２の実施形態の画像処理装置１１１の識別モジュール１１１１がブロックＳ１１１およびＳ１１２の動作を実行するように構成された第１の判定サブモジュール１１１１１および第２の判定サブモジュール１１１１２を含むということである。すなわち、第１の判断サブモジュール１１１１は、合焦画像のヒストグラムに応じて、合焦画像内の露出過大画素数が第１の所定数以上であるかどうかを判定するように構成される。露出過大画素の画素値は、所定の画素値以上である。第１の判定サブモジュール１１１１２は、露出過大画素数が第１の所定数以上であることに応じて、合焦画像が露出過大部分を有すると判定するように構成される。

図１２を参照すると、一般的にいえば、画素値（グレー値）は、合焦画像のヒストグラムの横軸に沿って左から右へと増加し、所定の画素値（グレー値）の画素数は、合焦画像のヒストグラムの縦軸に沿って下から上へと増加する。画素値（グレー値）の範囲は、０から２５５の間、すなわち黒から白である。ピークが高いほど、所与の画素値（グレー値）の画素数は多くなる。

第１の所定数は、ヒストグラムの右境界に近い画素数、すなわち露出過大画素数であるべきである。第１の所定数は、総画素数の３分の１に設定することができるが、これは例示に過ぎず、本開示は、これに限定されるものではない。

図１３を参照すると、本開示の制御方法の第２の実施形態は、制御方法の第１の実施形態と略同一であるが、合焦画像が合焦状態で露出過大部分を有するかどうかの識別は、さらに、ブロックにおいて以下の動作を含む。

ブロックＳ１１１において、合焦画像の露出過大画素数が第１の所定数以上であるかどうかが合焦画像のヒストグラムに応じて判定される。露出過大画素の画素値は、所定の画素値以上である。

ブロックＳ１１２において、露出過大画素数が第１の所定数以上であることに応じて、合焦画像が露出過大部分を有すると判定される。

図１４を参照すると、制御方法の第２の実施形態は、本開示の制御装置１１の第２の実施形態によって実施することができる。本開示の制御装置１１の第２の実施形態にかかる制御装置１１は、制御装置１１の第１の実施形態と略同一の構造を有するが、それらの差異は、第２の実施形態の制御装置１１の識別モジュール１１１１がブロックＳ１１１およびＳ１１２の動作を実行するように構成された第１の判定サブモジュール１１１１１および第２の判定サブモジュール１１１１２を含むということである。すなわち、第１の判断サブモジュール１１１１は、合焦画像のヒストグラムに応じて、合焦画像内の露出過大画素数が第１の所定数以上であるかどうかを判定するように構成される。露出過大画素の画素値は、所定の画素値以上である。第１の判定サブモジュール１１１１２は、露出過大画素数が第１の所定数以上であることに応じて、合焦画像が露出過大部分を有すると判定するように構成される。

図１２を参照すると、一般的にいえば、画素値（グレー値）は、合焦画像のヒストグラムの横軸に沿って左から右へと増加し、所定の画素値（グレー値）の画素数は、合焦画像のヒストグラムの縦軸に沿って下から上へと増加する。画素値（グレー値）の範囲は、０から２５５の間、すなわち黒から白である。ピークが高いほど、所与の画素値（グレー値）の画素数は多くなる。

第１の所定数は、ヒストグラムの右境界に近い画素数、すなわち露出過大画素数であるべきである。第１の所定数は、総画素数の３分の１に設定することができるが、これは例示に過ぎず、本開示は、これに限定されるものではない。

図１５を参照すると、本開示の撮像装置１０の第２の実施形態は、制御装置１１の第２の実施形態にかかる制御装置１１と、制御装置１１に電気的に接続されたカメラレンズ１２とを含む。換言すれば、本実施形態の撮像装置１０は、画像処理装置１１１の第１の実施形態にかかる画像処理装置１１１と、制御モジュール１１２と、カメラレンズ１２とを含む。制御モジュール１１２、カメラレンズ１２、および画像処理装置１１１は、全て互いに電気的に接続されている。

図１６を参照すると、本開示の電子機器１００の第２の実施形態は、撮像装置１０の第２の実施形態にかかる撮像装置１０を含む。電子機器１００は、携帯電話、タブレット、ノートブックコンピュータ、スマートウォッチ、スマートリング、スマートヘルメット、スマートメガネ、他のＶＲ（仮想現実）ウェアラブル機器、他のＡＲ（拡張現実）ウェアラブル機器など、撮影機能を有する任意の種類の端末によって実行することができる。撮像装置１０の台数が１台の場合、撮像装置１０は、前面カメラまたは背面カメラとすることができる。撮像装置１０の台数が２台の場合、２台の撮像装置１０は、それぞれ、前面カメラおよび背面カメラとすることができるか、あるいは、２台の撮像装置１０の双方とも、前面カメラであるか、あるいは、２台の撮像装置１０の双方とも、背面カメラである。撮像装置１０の台数が２台よりも多い場合、撮像装置１０は、前面カメラおよび背面カメラを除く、トップカメラ、ボトムカメラ、ラテラルカメラなど、任意の位置に配置されたカメラとすることができる。

本開示の第２の実施形態にかかる画像処理方法、画像処理装置１１１、制御方法、制御装置１１、撮像装置１０、および電子機器１００では、２つの画像が撮影され、一方は合焦画像であり、他方は非合焦画像であり、合焦画像の露出過大部分に対応する非合焦画像の素材部分が抽出された後にぼけた合焦画像にマージされ、実際のフレア効果を有するマージ画像を取得する。フレア効果が優れている。

図１７を参照すると、本開示の画像処理方法の第３の実施形態は、画像処理方法の第１の実施形態と略同一であるが、合焦画像が合焦状態で露出過大部分を有するかどうかの識別は、さらに、ブロックにおいて以下の動作を含む。

ブロックＳ１１１において、合焦画像の露出過大画素数が第１の所定数以上であるかどうかが合焦画像のヒストグラムに応じて判定される。露出過大画素の画素値は、所定の画素値以上である。

ブロックＳ１１２において、露出過大画素数が第１の所定数以上であることに応じて、合焦画像が露出過大部分を有すると判定される。

ブロックＳ１１３において、隣接した露出過大画素数が第２の所定数以上であるかどうかを判定することにより、合焦画像内に隣接した露出過大画素があるかどうかが判定される。

ブロックＳ１１４において、合焦画像内に隣接した露出過大画素があると判定したことに応じて、隣接した露出過大画素が露出過大部分に属すると判定される。

図１８を参照すると、画像処理方法の第３の実施形態は、本開示の画像処理装置１１１の第３の実施形態によって実施することができる。本開示の画像処理装置１１１の第３の実施形態にかかる画像処理装置１１１は、画像処理装置１１１の第１の実施形態と略同一の構成を有するが、それらの差異は、第３の実施形態の画像処理装置１１１の識別モジュール１１１１が、ブロックＳ１１１、Ｓ１１２、Ｓ１１３、およびＳ１１４の動作を実行するように構成された第１の判断サブモジュール１１１１１、第１の判定サブモジュール１１１１２、第２の判断サブモジュール１１１１３、および第２の判定サブモジュール１１１１４を含むということである。すなわち、第１の判断サブモジュール１１１１は、合焦画像のヒストグラムに応じて、合焦画像内の露出過大画素数が第１の所定数以上であるかどうかを判定するように構成される。露出過大画素の画素値は、所定の画素値以上である。第１の判定サブモジュール１１１１２は、露出過大画素数が第１の所定数以上であることに応じて、合焦画像が露出過大部分を有すると判定するように構成される。第２の判断サブモジュール１１１１３は、隣接した露出過大画素数が第２の所定数以上であるかどうかを判定することにより、合焦画像内に隣接した露出過大画素があるかどうかを判定するように構成される。第２の判定サブモジュール１１１１４は、合焦画像内に隣接した露出過大画素があると判定することに応じて、隣接した露出過大画素が露出過大部分に属すると判定するように構成される。

第１の所定数は、ノイズポイントを含むことがあるため、または合焦画像でさえも複数の隣接した露出過大画素を含むことがあるため、第２の所定数は、第１の所定数よりも小さくすべきであり、例えば、ともに露出過大部分に寄与する発散光線を有する複数の光源が存在する。

図１２を参照すると、一般的にいえば、画素値（グレー値）は、合焦画像のヒストグラムの横軸に沿って左から右へと増加し、所定の画素値（グレー値）の画素数は、合焦画像のヒストグラムの縦軸に沿って下から上へと増加する。画素値（グレー値）の範囲は、０から２５５の間、すなわち黒から白である。ピークが高いほど、所与の画素値（グレー値）の画素数は多くなる。

第１の所定数および第２の所定数は、ヒストグラムの右境界に近い画素数、すなわち露出過大画素数であるべきである。第１の所定数は、総画素数の３分の１に設定することができ、第２の所定数は、総画素数の４分の１に設定することができるが、これは例示に過ぎず、本開示は、これに限定されるものではない。

図１９を参照すると、本開示の制御方法の第３の実施形態は、制御方法の第１の実施形態と略同一であるが、合焦画像が合焦状態で露出過大部分を有するかどうかの識別は、さらに、ブロックにおいて以下の動作を含む。

ブロックＳ１１１において、合焦画像の露出過大画素数が第１の所定数以上であるかどうかが合焦画像のヒストグラムに応じて判定される。露出過大画素の画素値は、所定の画素値以上である。

ブロックＳ１１２において、露出過大画素数が第１の所定数以上であることに応じて、合焦画像が露出過大部分を有すると判定される。

ブロックＳ１１３において、隣接した露出過大画素数が第２の所定数以上であるかどうかを判定することにより、合焦画像内に隣接した露出過大画素があるかどうかが判定される。

ブロックＳ１１４において、合焦画像内に隣接した露出過大画素があると判定したことに応じて、隣接した露出過大画素が露出過大部分に属すると判定される。

図２０を参照すると、制御方法の第３の実施形態は、本開示の制御装置１１の第３の実施形態によって実施することができる。本開示の制御装置１１の第３の実施形態にかかる制御装置１１は、制御装置１１の第１の実施形態と略同一の構造を有するが、それらの差異は、第３の実施形態の制御装置１１の識別モジュール１１１１が、ブロックＳ１１１、Ｓ１１２、Ｓ１１３、およびＳ１１４の動作を実行するように構成された第１の判断サブモジュール１１１１１、第１の判定サブモジュール１１１１２、第２の判断サブモジュール１１１１３、および第２の判定サブモジュール１１１１４を含むということである。すなわち、第１の判断サブモジュール１１１１は、合焦画像のヒストグラムに応じて、合焦画像内の露出過大画素数が第１の所定数以上であるかどうかを判定するように構成される。露出過大画素の画素値は、所定の画素値以上である。第１の判定サブモジュール１１１１２は、露出過大画素数が第１の所定数以上であることに応じて、合焦画像が露出過大部分を有すると判定するように構成される。第２の判断サブモジュール１１１１３は、隣接した露出過大画素数が第２の所定数以上であるかどうかを判定することにより、合焦画像内に隣接した露出過大画素があるかどうかを判定するように構成される。第２の判定サブモジュール１１１１４は、合焦画像内に隣接した露出過大画素があると判定することに応じて、隣接した露出過大画素が露出過大部分に属すると判定するように構成される。

第１の所定数は、ノイズポイントを含むことがあるため、または合焦画像でさえも複数の隣接した露出過大画素を含むことがあるため、第２の所定数は、第１の所定数よりも小さくすべきであり、例えば、ともに露出過大部分に寄与する発散光線を有する複数の光源が存在する。

図１２を参照すると、一般的にいえば、画素値（グレー値）は、合焦画像のヒストグラムの横軸に沿って左から右へと増加し、所定の画素値（グレー値）の画素数は、合焦画像のヒストグラムの縦軸に沿って下から上へと増加する。画素値（グレー値）の範囲は、０から２５５の間、すなわち黒から白である。ピークが高いほど、所与の画素値（グレー値）の画素数は多くなる。

第１の所定数および第２の所定数は、ヒストグラムの右境界に近い画素数、すなわち露出過大画素数であるべきである。第１の所定数は、総画素数の３分の１に設定することができ、第２の所定数は、総画素数の４分の１に設定することができるが、これは例示に過ぎず、本開示は、これに限定されるものではない。

図２１を参照すると、本開示の撮像装置１０の第３の実施形態は、制御装置１１の第３の実施形態にかかる制御装置１１と、制御装置１１に電気的に接続されたカメラレンズ１２とを含む。換言すれば、本実施形態の撮像装置１０は、画像処理装置１１１の第３の実施形態にかかる画像処理装置１１１と、制御モジュール１１２と、カメラレンズ１２とを含む。制御モジュール１１２、カメラレンズ１２、および画像処理装置１１１は、全て互いに電気的に接続されている。

図２２を参照すると、本開示の電子機器１００の第３の実施形態は、撮像装置１０の第３の実施形態にかかる撮像装置１０を含む。電子機器１００は、携帯電話、タブレット、ノートブックコンピュータ、スマートウォッチ、スマートリング、スマートヘルメット、スマートメガネ、他のＶＲ（仮想現実）ウェアラブル機器、他のＡＲ（拡張現実）ウェアラブル機器など、撮影機能を有する任意の種類の端末によって実行することができる。撮像装置１０の台数が１台の場合、撮像装置１０は、前面カメラまたは背面カメラとすることができる。撮像装置１０の台数が２台の場合、２台の撮像装置１０は、それぞれ、前面カメラおよび背面カメラとすることができるか、あるいは、２台の撮像装置１０の双方とも、前面カメラであるか、あるいは、２台の撮像装置１０の双方とも、背面カメラである。撮像装置１０の台数が２台よりも多い場合、撮像装置１０は、前面カメラおよび背面カメラを除く、トップカメラ、ボトムカメラ、ラテラルカメラなど、任意の位置に配置されたカメラとすることができる。

本開示の第３の実施形態にかかる画像処理方法、画像処理装置１１１、制御方法、制御装置１１、撮像装置１０、および電子機器１００では、２つの画像が撮影され、一方は合焦画像であり、他方は非合焦画像であり、合焦画像の露出過大部分に対応する非合焦画像の素材部分が抽出された後にぼけた合焦画像にマージされ、実際のフレア効果を有するマージ画像を取得する。フレア効果が優れている。

図２３を参照すると、本開示の画像処理方法の第４の実施形態は、画像処理方法の第１の実施形態と略同一であるが、画像処理方法の第４の実施形態は、さらに、ブロックにおいて以下の動作を含む。

ブロックＳ１７において、合焦画像が露出過大部分を有するとの識別に応じてマージ画像が出力される。

ブロックＳ１８において、合焦画像が露出過大部分を有しないとの識別に応じてぼけた合焦画像が出力される。

図２４を参照すると、画像処理方法の第４の実施形態は、本開示の画像処理装置１１１の第４の実施形態によって実施することができる。本開示の画像処理装置１１１の第４の実施形態にかかる画像処理装置１１１は、画像処理装置１１１の第１の実施形態と略同一の構成を有するが、それらの差異は、第４の実施形態にかかる画像処理装置１１１がブロックＳ１７およびＳ１８の動作を実行するように構成された第１の出力モジュール１１１７および第２の出力モジュール１１１８をさらに含むということである。すなわち、第１の出力モジュール１１１７は、合焦画像が露出過大部分を有するとの識別に応じてマージ画像を出力するように構成される。第２の出力モジュール１１１８は、合焦画像が露出過大部分を有しないとの識別に応じてぼけた合焦画像を出力するように構成される。

図２５を参照すると、本開示の制御方法の第４の実施形態は、制御方法の第１の実施形態と略同一であるが、制御方法の第４の実施形態は、さらに、ブロックにおいて以下の動作を含む。

ブロックＳ１７において、合焦画像が露出過大部分を有するとの識別に応じてマージ画像が出力される。

ブロックＳ１８において、合焦画像が露出過大部分を有しないとの識別に応じてぼけた合焦画像が出力される。

図２６を参照すると、制御方法の第４の実施形態は、本開示の制御装置１１の第４の実施形態によって実施することができる。本開示の制御装置１１の第４の実施形態にかかる制御装置１１は、制御装置１１の第１の実施形態と略同一の構造を有するが、それらの差異は、第４の実施形態の制御装置１１がブロックＳ１７およびＳ１８の動作を実行するように構成された第１の出力モジュール１１１７および第２の出力モジュール１１１８をさらに含むということである。すなわち、第１の出力モジュール１１１７は、合焦画像が露出過大部分を有するとの識別に応じてマージ画像を出力するように構成される。第２の出力モジュール１１１８は、合焦画像が露出過大部分を有しないとの識別に応じてぼけた合焦画像を出力するように構成される。

図２７を参照すると、本開示の撮像装置１０の第４の実施形態は、制御装置１１の第４の実施形態にかかる制御装置１１と、制御装置１１に電気的に接続されたカメラレンズ１２とを含む。換言すれば、本実施形態の撮像装置１０は、画像処理装置１１１の第４の実施形態にかかる画像処理装置１１１と、制御モジュール１１２と、カメラレンズ１２とを含む。制御モジュール１１２、カメラレンズ１２、および画像処理装置１１１は、全て互いに電気的に接続されている。

図２８を参照すると、本開示の電子機器１００の第４の実施形態は、撮像装置１０の第４の実施形態にかかる撮像装置１０を含む。電子機器１００は、携帯電話、タブレット、ノートブックコンピュータ、スマートウォッチ、スマートリング、スマートヘルメット、スマートメガネ、他のＶＲ（仮想現実）ウェアラブル機器、他のＡＲ（拡張現実）ウェアラブル機器など、撮影機能を有する任意の種類の端末によって実行することができる。撮像装置１０の台数が１台の場合、撮像装置１０は、前面カメラまたは背面カメラとすることができる。撮像装置１０の台数が２台の場合、２台の撮像装置１０は、それぞれ、前面カメラおよび背面カメラとすることができるか、あるいは、２台の撮像装置１０の双方とも、前面カメラであるか、あるいは、２台の撮像装置１０の双方とも、背面カメラである。撮像装置１０の台数が２台よりも多い場合、撮像装置１０は、前面カメラおよび背面カメラを除く、トップカメラ、ボトムカメラ、ラテラルカメラなど、任意の位置に配置されたカメラとすることができる。

本開示の第４の実施形態にかかる画像処理方法、画像処理装置１１１、制御方法、制御装置１１、撮像装置１０、および電子機器１００では、２つの画像が撮影され、一方は合焦画像であり、他方は非合焦画像であり、合焦画像の露出過大部分に対応する非合焦画像の素材部分が抽出された後にぼけた合焦画像にマージされ、実際のフレア効果を有するマージ画像を取得する。フレア効果が優れている。

ブロックＳ１７およびＳ１８はまた、画像処理方法の第２の実施形態および制御方法の第２の実施形態にも適用可能であることが理解することができる。対応して、第１の出力モジュール１１１７および第２の出力モジュール１１１８はまた、画像処理装置の第２の実施形態、制御装置の第２の実施形態、画像処理装置の第２の実施形態、および電子機器の第２の実施形態にも適用可能である。ブロックＳ１７およびＳ１８はまた、画像処理方法の第３の実施形態および制御方法の第３の実施形態にも適用可能である。対応して、第１の出力モジュール１１１７および第２の出力モジュール１１１８はまた、画像処理装置の第３の実施形態、制御装置の第３の実施形態、画像処理装置の第３の実施形態、および電子機器の第３の実施形態にも適用可能である。

図２９を参照すると、前述した第１から第４の実施形態にかかる制御方法において、同一シーンの合焦画像および非合焦画像を出力するように撮像装置１０を制御すること（ブロックＳ１６）は、ブロックにおいて以下の動作を含むことができる。

ブロックＳ１６１において、撮像装置は、合焦画像を取得するために合焦するように制御される。

ブロックＳ１６２において、撮像装置は、対応するぼかし度合いを取得するために、合焦状態とは異なる再合焦状態で撮像装置によって出力されたバッファ画像を再合焦して処理するように制御される。

ブロックＳ１６３において、合焦画像のぼかし度合いと略同一のぼかし度合いを有するバッファ画像が非合焦画像として保存される。

対応して、図３０を参照すると、第１から第４の実施形態にかかる制御装置１１の制御モジュール１１２は、ブロックＳ１６１、Ｓ１６２、およびＳ１６３の動作を実行するように構成された合焦サブモジュール１１２１、再合焦サブモジュール１１２２、および保存サブモジュール１１２３を含む。すなわち、合焦サブモジュール１１２１は、合焦画像を取得するために合焦させるように撮像装置を制御するように構成される。再合焦サブモジュール１１２２は、対応するぼかし度合いを取得するために合焦状態とは異なる再合焦状態で撮像装置によって出力されたバッファ画像を再合焦させて処理するように撮像装置を制御するように構成される。保存サブモジュール１１２３は、非合焦画像として、合焦画像をぼかす度合いと略同一のぼやけ度合いを有するバッファ画像を保存するように構成される。

対応して、第１から第４の実施形態にかかる撮像装置１０および電子機器１００の制御モジュール１１２もまた、合焦サブモジュール１１２１、再合焦サブモジュール１１２２、および保存サブモジュール１１２３を含むことができ、その構造および機能は、上記と同一であり、ここでは詳述しない。

第１の画像が等露出画像であり、第２の画像が露出過小画像である状況において、図３１を参照すると、本開示の画像処理方法の第５の実施形態は、ブロックにおいて以下の動作を含む。

ブロックＳ２１において、明環境と一致する第１の露出値を使用して露出することによって等露出画像が取得され、等露出画像が露出過大部分を有するかどうかが識別される。

ブロックＳ２２において、等露出画像がぼかされ、ぼけた等露出画像を取得する。ぼけた等露出画像は、露出過大部分に対応するぼけた露出過大部分を含む。

ブロックＳ２３において、等露出画像が露出過大部分を有することに応じて、第２の露出量を使用して露出することによって等露出画像と同一シーンを有する露出過小画像が取得され、露出過小画像がぼかされてぼけた露出河床画像を取得し、露出過小画像は、露出過大部分に対応する素材部分を含み、ぼけた露出過小画像は、露出過大部分に対応するぼけた素材部分を含み、第２の露出値は、第１の露出値よりも小さい。

ブロックＳ２４において、ぼけた素材部分の輝度が増やされて偽の露出過大部分を取得する。

ブロックＳ２５において、ぼけた等露出画像のぼけた露出過大部分が偽の露出過大部分と置換され、マージ画像を取得する。

等露出画像をぼかし、ぼけた等露出画像を取得することは、ガウスぼかしアルゴリズムによって実行することができ、および／または露出過小画像をぼかし、ぼけた露出過小画像を取得することは、ガウスぼかしアルゴリズムによって実行することができる。偽の露出過大部分を取得するためにぼけた素材部分の輝度を増やすことは、偽の露出過大部分を取得するためにＮ倍にぼけた露出過小画像の輝度を増やすことによって実施することができ、Ｎは、第２の露出値に対する第１の露出値の比である。

図３２を参照すると、画像処理方法の第５の実施形態は、本開示の画像処理装置１１１の第５の実施形態によって実施することができる。本開示の画像処理装置１１１の第５の実施形態は、それぞれ、ブロックＳ２１からＳ２５を実行するように構成された識別モジュール１１１１、第１のぼかしモジュール１１１２１、第２のぼかしモジュール１１１２２、輝度増加モジュール１１１６、およびマージモジュール１１１５を含む。すなわち、識別モジュール１１１１は、明環境に一致する第１の露出値を使用して露出することによって等露出画像を取得し、等露出画像が露出過大部分を有するかどうかを識別するように構成される。第１のぼかしモジュール１１１２１は、等露出画像をぼかし、露出過大部分に対応するぼけた露出過大部分を含むぼけた等露出画像を取得するように構成される。等露出画像が露出過剰部分を有することに応じて、第２のぼかしモジュール１１１２２は、第２の露出値を使用して露出することによって等露出画像と同一シーンを有する露出過小画像を取得し、露出過小画像をぼかしてぼけた露出過小画像を取得するように構成され、露出過小画像は、露出過大部分に対応する素材部分を含み、ぼけた露出過小画像は、露出過大部分に対応するぼけた素材部分を含み、第２の露出値は、第１の露出値よりも小さい。輝度増加モジュール１１１６は、ぼけた素材部分の輝度を増やして偽の露出過大部分を取得するように構成される。マージモジュール１１１５は、ぼけた等露出画像のぼけた露出過大部分を偽の露出過大部分と置換してマージ画像を取得するように構成される。

第１のぼかしモジュール１１１２１は、ガウスぼかしアルゴリズムを採用して、等露出画像をぼかし、ぼけた等露出画像を取得し、および／または第２のぼかしモジュール１１１２２は、ガウスぼかしアルゴリズムを採用して、露出過小画像をぼかし、ぼけた露出過小画像を取得する。ぼけた素材部分の輝度を増加させて偽の露出過大部分を取得する際に、輝度増加モジュール１１１６は、ぼけた露出過小画像の輝度をＮ倍に増やして偽の露出過大部分を取得することができ、Ｎは、第２の露出値に対する第１の露出値の比である。

図３３および図３５−図３７を参照すると、本開示の制御方法の第５の実施形態が撮像装置１０を制御するために利用される。制御方法は、ブロックにおいて以下の動作を含む。

ブロックＳ２６において、撮像装置１０は、同一シーンの等露出画像および露出過小画像を出力するように制御される。

ブロックＳ２１において、明環境と一致する第１の露出値を使用して露出することによって等露出画像が取得され、等露出画像が露出過大部分を有するかどうかが識別される。

ブロックＳ２２において、等露出画像がぼかされ、ぼけた等露出画像を取得する。ぼけた等露出画像は、露出過大部分に対応するぼけた露出過大部分を含む。

ブロックＳ２３において、等露出画像が露出過大部分を有することに応じて、第２の露出量を使用して露出することによって等露出画像と同一シーンを有する露出過小画像が取得され、露出過小画像がぼかされてぼけた露出河床画像を取得し、露出過小画像は、露出過大部分に対応する素材部分を含み、ぼけた露出過小画像は、露出過大部分に対応するぼけた素材部分を含み、第２の露出値は、第１の露出値よりも小さい。

ブロックＳ２４において、ぼけた素材部分の輝度が増やされて偽の露出過大部分を取得する。

ブロックＳ２５において、ぼけた等露出画像のぼけた露出過大部分が偽の露出過大部分と置換され、マージ画像を取得する。

等露出画像をぼかし、ぼけた等露出画像を取得することは、ガウスぼかしアルゴリズムによって実行することができ、および／または露出過小画像をぼかし、ぼけた露出過小画像を取得することは、ガウスぼかしアルゴリズムによって実行することができる。偽の露出過大部分を取得するためにぼけた素材部分の輝度を増やすことは、偽の露出過大部分を取得するためにＮ倍にぼけた露出過小画像の輝度を増やすことによって実施することができ、Ｎは、第２の露出値に対する第１の露出値の比である。

図３４を参照すると、制御方法の第５の実施形態は、本開示の制御装置１１の第５の実施形態によって実施することができる。本開示の制御装置１１の第５の実施形態では、制御装置１１は、画像処理装置１１１の第５の実施形態にかかる画像処理装置１１１と、画像処理装置１１１と電気的に接続する制御モジュール１１２とを含む。画像処理装置１１１は、ブロックＳ２１からＳ２５を実行するように構成される。制御モジュール１１２は、ブロックＳ２６を実行するように構成される。画像処理装置１１１の構成は、前述した第５の実施形態で説明したので、ここでは詳述しない。制御モジュール１１２は、撮像装置１０（図３５から図３７に示す）を制御して同一シーンの等露出画像および露出過小画像を出力するように構成される。

図３５を参照すると、本開示の撮像装置１０の第５の実施形態は、制御装置１１の第５の実施形態にかかる制御装置１１と、制御装置１１に電気的に接続されたカメラレンズ１２とを含む。換言すれば、本実施形態の撮像装置１０は、画像処理装置１１１の第５の実施形態にかかる画像処理装置１１１と、制御モジュール１１２と、カメラレンズ１２とを含む。制御モジュール１１２、カメラレンズ１２、および画像処理装置１１１は、全て互いに電気的に接続されている。

図３６および図８を参照すると、本開示の電子機器１００の第５の実施形態は、撮像装置１０の第５の実施形態にかかる撮像装置１０を含む。電子機器１００は、携帯電話、タブレット、ノートブックコンピュータ、スマートウォッチ、スマートリング、スマートヘルメット、スマートメガネ、他のＶＲ（仮想現実）ウェアラブル機器、他のＡＲ（拡張現実）ウェアラブル機器など、撮影機能を有する任意の種類の端末によって実行することができる。撮像装置１０の台数が１台の場合、撮像装置１０は、前面カメラまたは背面カメラとすることができる。撮像装置１０の台数が２台の場合、２台の撮像装置１０は、それぞれ、前面カメラおよび背面カメラとすることができるか、あるいは、２台の撮像装置１０の双方とも、前面カメラであるか、あるいは、２台の撮像装置１０の双方とも、背面カメラである。撮像装置１０の台数が２台よりも多い場合、撮像装置１０は、前面カメラおよび背面カメラを除く、トップカメラ、ボトムカメラ、ラテラルカメラなど、任意の位置に配置されたカメラとすることができる。

例えば、図３７に付随して、カメラレンズ１２は、同一シーン内で等露出画像および露出過小画像を撮影するために使用される。説明のために、実際に撮影された２つの画像が図３７に示されている。２つの画像のシーンは、完全に同一ではない。しかしながら、本開示の実装において、等露出画像および露出過小画像を撮影するのにかかる時間は非常に短く、同一シーンが完全に実行することができる。等露出画像は、明環境に一致する第１の露出値を使用して露出することによって取得される。露出過小画像は、第１の露出値よりも小さい第２の露出値を使用した露出値によって取得される。識別後、等露出画像が露出過大部分、すなわち右側に円形光源を有すると決定することができる。露出過小画像は、露出過大部分（円形光源）に対応する素材部分（円形光源）を含む。次に、等露出画像がぼかされ、ぼけた等露出画像を取得する。この例では、等露出画像の背景がぼかされている。図３７に示されているのは、主に背景部分であり、画像全体ではない。露出過小画像がぼかされ、ぼけた露出過小画像を取得する。この例では、露出過小画像をぼかすために採用される手法は、等露出画像をぼかすために採用される手法と同一または同様とすることができる。ぼけた等露出画像の露出過大部分（円形光源）がぼかされ、ぼけた露出過大部分（円形光源）を取得する。ぼけた露出過小画像の素材部分（円形光源）がぼかされ、ぼけた素材部分（円形光源）を取得する。ぼけた素材部分の輝度が増やされて偽の露出過大部分を取得する。実施形態では、ぼけた露出過小画像の輝度は、全体的に増やすことができ、その間にぼけた素材部分の輝度も同様に増やされる。あるいは、それは、ぼけた素材部分の輝度を増やすのみで実行することができる。最後に、ぼけた等露出画像のぼけた露出過大部分が偽の露出過大部分と置換され、マージ画像を取得する。

本開示にかかる画像処理方法、画像処理装置１１１、制御方法、制御装置１１、撮像装置１０、および電子機器１００では、２つの画像が撮影され、一方は等露出画像であり、他方は露出過小画像であり、２つの画像は、双方ともぼけており、そして、ぼけた露出過大部分の輝度が増加され、対応する偽の露出過大部分が抽出され、ぼけた等露出画像のぼけた露出過大部分が偽の露出過大部分に置換され、実際のフレア効果を有するぼけた画像にマージする。フレア効果が優れている。

図３８を参照すると、本開示の画像処理方法の第６の実施形態は、画像処理方法の第５の実施形態と略同一であるが、等露出画像が露出過大部分を有するかどうかの識別は、さらに、ブロックにおいて以下の動作を含む。

ブロックＳ２１１において、等露出画像内の露出過大画素数が第１の所定数以上であるかどうかが等露出画像のヒストグラムに応じて判定される。露出過大画素の画素値は、所定の画素値以上である。

ブロックＳ２１２において、露出過大画素数が第１の所定数以上であることに応じて、等露出画像が露出過大部分を有すると判定される。

図３９を参照すると、画像処理方法の第６の実施形態は、本開示の画像処理装置１１１の第６の実施形態によって実施することができる。本開示の画像処理装置１１１の第６の実施形態にかかる画像処理装置１１１は、画像処理装置１１１の第５の実施形態と略同一の構成を有するが、それらの差異は、第６の実施形態の画像処理装置１１１の識別モジュール１１１１がブロックＳ２１１およびＳ２１２を実行するように構成された第１の判定サブモジュール１１１１１および第２の判定サブモジュール１１１１２を含むということである。すなわち、第１の判定サブモジュール１１１１は、等露出画像のヒストグラムに応じて、等露出画像内の露出過大画素数が第１の所定数以上であるかどうかを判定するように構成される。露出過大画素の画素値は、所定の画素値以上である。第１の判定サブモジュール１１１１２は、露出過大画素数が第１の所定数以上であることに応じて、等露出画像が露出過大部分を有すると判定するように構成される。

図１２を参照すると、一般的にいえば、画素値（グレー値）は、等露出画像のヒストグラムの横軸に沿って左から右へと増加し、所定の画素値（グレー値）の画素数は、等露出画像のヒストグラムの縦軸に沿って下から上へと増加する。画素値（グレー値）の範囲は、０から２５５の間、すなわち黒から白である。ピークが高いほど、所与の画素値（グレー値）の画素数は多くなる。

第１の所定数は、ヒストグラムの右境界に近い画素数、すなわち露出過大画素数であるべきである。第１の所定数は、総画素数の３分の１に設定することができるが、これは例示に過ぎず、本開示は、これに限定されるものではない。

図４０を参照すると、本開示の制御方法の第６の実施形態は、制御方法の第５の実施形態と略同一であるが、等露出画像が露出過大部分を有するかどうかの識別は、さらに、ブロックにおいて以下の動作を含む。

ブロックＳ２１１において、等露出画像内の露出過大画素数が第１の所定数以上であるかどうかが等露出画像のヒストグラムに応じて判定される。露出過大画素の画素値は、所定の画素値以上である。

ブロックＳ２１２において、露出過大画素数が第１の所定数以上であることに応じて、等露出画像が露出過大部分を有すると判定される。

図４１を参照すると、制御方法の第６の実施形態は、本開示の制御装置１１の第６の実施形態によって実施することができる。本開示の制御装置１１の第６の実施形態にかかる制御装置１１は、制御装置１１の第５の実施形態と略同一の構造を有するが、それらの差異は、第６の実施形態の制御装置１１の識別モジュール１１１１がブロックＳ２１１およびＳ２１２を実行するように構成された第１の判定サブモジュール１１１１１および第２の判定サブモジュール１１１１２を含むということである。すなわち、第１の判定サブモジュール１１１１は、等露出画像のヒストグラムに応じて、等露出画像内の露出過大画素数が第１の所定数以上であるかどうかを判定するように構成される。露出過大画素の画素値は、所定の画素値以上である。第１の判定サブモジュール１１１１２は、露出過大画素数が第１の所定数以上であることに応じて、等露出画像が露出過大部分を有すると判定するように構成される。

図１２を参照すると、一般的にいえば、画素値（グレー値）は、等露出画像のヒストグラムの横軸に沿って左から右へと増加し、所定の画素値（グレー値）の画素数は、等露出画像のヒストグラムの縦軸に沿って下から上へと増加する。画素値（グレー値）の範囲は、０から２５５の間、すなわち黒から白である。ピークが高いほど、所与の画素値（グレー値）の画素数は多くなる。

第１の所定数は、ヒストグラムの右境界に近い画素数、すなわち露出過大画素数であるべきである。第１の所定数は、総画素数の３分の１に設定することができるが、これは例示に過ぎず、本開示は、これに限定されるものではない。

図４２を参照すると、本開示の撮像装置１０の第６の実施形態は、制御装置１１の第６の実施形態にかかる制御装置１１と、制御装置１１に電気的に接続されたカメラレンズ１２とを含む。換言すれば、本実施形態の撮像装置１０は、画像処理装置１１１の第５の実施形態にかかる画像処理装置１１１と、制御モジュール１１２と、カメラレンズ１２とを含む。制御モジュール１１２、カメラレンズ１２、および画像処理装置１１１は、全て互いに電気的に接続されている。

図４３を参照すると、本開示の電子機器１００の第６の実施形態は、撮像装置１０の第６の実施形態にかかる撮像装置１０を含む。電子機器１００は、携帯電話、タブレット、ノートブックコンピュータ、スマートウォッチ、スマートリング、スマートヘルメット、スマートメガネ、他のＶＲ（仮想現実）ウェアラブル機器、他のＡＲ（拡張現実）ウェアラブル機器など、撮影機能を有する任意の種類の端末によって実行することができる。本実施形態では、撮像装置１０の台数が１台の場合、撮像装置１０は、前面カメラまたは背面カメラとすることができる。撮像装置１０の台数が２台の場合、２台の撮像装置１０は、それぞれ、前面カメラおよび背面カメラとすることができるか、あるいは、２台の撮像装置１０の双方とも、前面カメラであるか、あるいは、２台の撮像装置１０の双方とも、背面カメラである。撮像装置１０の台数が２台よりも多い場合、撮像装置１０は、前面カメラおよび背面カメラを除く、トップカメラ、ボトムカメラ、ラテラルカメラなど、任意の位置に配置されたカメラとすることができる。

本開示の第６の実施形態にかかる画像処理方法、画像処理装置１１１、制御方法、制御装置１１、撮像装置１０、および電子機器１００では、２つの画像が撮影され、一方は等露出画像であり、他方は露出過小画像であり、２つの画像は、双方ともぼけており、そして、ぼけた露出過大部分の輝度が増加され、対応する偽の露出過大部分が抽出され、ぼけた等露出画像のぼけた露出過大部分が偽の露出過大部分に置換され、実際のフレア効果を有するぼけた画像にマージする。フレア効果が優れている。

図４４を参照すると、本開示の画像処理方法の第７の実施形態は、画像処理方法の第５の実施形態と略同一であるが、等露出画像が露出過大部分を有するかどうかの識別は、さらに、ブロックにおいて以下の動作を含む。

ブロックＳ２１１において、等露出画像内の露出過大画素数が第１の所定数以上であるかどうかが等露出画像のヒストグラムに応じて判定される。露出過大画素の画素値は、所定の画素値以上である。

ブロックＳ２１２において、露出過大画素数が第１の所定数以上であることに応じて、等露出画像が露出過大部分を有すると判定される。

ブロックＳ２１３において、隣接した露出過大画素数が第２の所定数以上であるかどうかを判定することにより、等露出画像内に隣接した露出過大画素があるかどうかが判定される。

ブロックＳ２１４において、等露出画像内に隣接した露出過大画素があると判定したことに応じて、隣接した露出過大画素が露出過大部分に属すると判定される。

図４５を参照すると、画像処理方法の第７の実施形態は、本開示の画像処理装置１１１の第７の実施形態によって実施することができる。本開示の画像処理装置１１１の第７の実施形態にかかる画像処理装置１１１は、画像処理装置１１１の第５の実施形態と略同一の構成を有するが、それらの差異は、第７の実施形態の画像処理装置１１１の識別モジュール１１１１が、ブロックＳ２１１、Ｓ２１２、Ｓ２１３、およびＳ２１４を実行するように構成された第１の判断サブモジュール１１１１１、第１の判定サブモジュール１１１１２、第２の判断サブモジュール１１１１３、および第２の判定サブモジュール１１１１４を含むということである。すなわち、第１の判定サブモジュール１１１１は、等露出画像のヒストグラムに応じて、等露出画像内の露出過大画素数が第１の所定数以上であるかどうかを判定するように構成される。露出過大画素の画素値は、所定の画素値以上である。第１の判定サブモジュール１１１１２は、露出過大画素数が第１の所定数以上であることに応じて、等露出画像が露出過大部分を有すると判定するように構成される。第２の判断サブモジュール１１１１３は、隣接した露出過大画素数が第２の所定数以上であるかどうかを判定することにより、等露出画像内に隣接した露出過大画素があるかどうかを判定するように構成される。第２の判定サブモジュール１１１１４は、等露出画像内に隣接した露出過大画素があると判定することに応じて、隣接した露出過大画素が露出過大部分に属すると判定するように構成される。

第１の所定数は、ノイズポイントを含むことがあるため、または等露出画像でさえも複数の隣接した露出過大画素を含むことがあるため、第２の所定数は、第１の所定数よりも小さくすべきであり、例えば、ともに露出過大部分に寄与する発散光線を有する複数の光源が存在する。

図１２を参照すると、一般的にいえば、画素値（グレー値）は、等露出画像のヒストグラムの横軸に沿って左から右へと増加し、所定の画素値（グレー値）の画素数は、等露出画像のヒストグラムの縦軸に沿って下から上へと増加する。画素値（グレー値）の範囲は、０から２５５の間、すなわち黒から白である。ピークが高いほど、所与の画素値（グレー値）の画素数は多くなる。

第１の所定数および第２の所定数は、ヒストグラムの右境界に近い画素数、すなわち露出過大画素数であるべきである。第１の所定数は、総画素数の３分の１に設定することができ、第２の所定数は、総画素数の４分の１に設定することができるが、これは例示に過ぎず、本開示は、これに限定されるものではない。

図４６を参照すると、本開示の制御方法の第７の実施形態は、制御方法の第５の実施形態と略同一であるが、等露出画像が露出過大部分を有するかどうかの識別は、さらに、ブロックにおいて以下の動作を含む。

ブロックＳ２１１において、等露出画像内の露出過大画素数が第１の所定数以上であるかどうかが等露出画像のヒストグラムに応じて判定される。露出過大画素の画素値は、所定の画素値以上である。

ブロックＳ２１２において、露出過大画素数が第１の所定数以上であることに応じて、等露出画像が露出過大部分を有すると判定される。

ブロックＳ２１３において、隣接した露出過大画素数が第２の所定数以上であるかどうかを判定することにより、等露出画像内に隣接した露出過大画素があるかどうかが判定される。

ブロックＳ２１４において、等露出画像内に隣接した露出過大画素があると判定したことに応じて、隣接した露出過大画素が露出過大部分に属すると判定される。

図４７を参照すると、制御方法の第７の実施形態は、本開示の制御装置１１の第７の実施形態によって実施することができる。本開示の制御装置１１の第７の実施形態にかかる制御装置１１は、制御装置１１の第５の実施形態と略同一の構造を有するが、それらの差異は、第７の実施形態の制御装置１１の識別モジュール１１１１が、ブロックＳ２１１、Ｓ２１２、Ｓ２１３、およびＳ２１４を実行するように構成された第１の判断サブモジュール１１１１１、第１の判定サブモジュール１１１１２、第２の判断サブモジュール１１１１３、および第２の判定サブモジュール１１１１４を含むということである。すなわち、第１の判定サブモジュール１１１１は、等露出画像のヒストグラムに応じて、等露出画像内の露出過大画素数が第１の所定数以上であるかどうかを判定するように構成される。露出過大画素の画素値は、所定の画素値以上である。第１の判定サブモジュール１１１１２は、露出過大画素数が第１の所定数以上であることに応じて、等露出画像が露出過大部分を有すると判定するように構成される。第２の判断サブモジュール１１１１３は、隣接した露出過大画素数が第２の所定数以上であるかどうかを判定することにより、等露出画像内に隣接した露出過大画素があるかどうかを判定するように構成される。第２の判定サブモジュール１１１１４は、等露出画像内に隣接した露出過大画素があると判定することに応じて、隣接した露出過大画素が露出過大部分に属すると判定するように構成される。

第１の所定数は、ノイズポイントを含むことがあるため、または等露出画像でさえも複数の隣接した露出過大画素を含むことがあるため、第２の所定数は、第１の所定数よりも小さくすべきであり、例えば、ともに露出過大部分に寄与する発散光線を有する複数の光源が存在する。

図１２を参照すると、一般的にいえば、画素値（グレー値）は、等露出画像のヒストグラムの横軸に沿って左から右へと増加し、所定の画素値（グレー値）の画素数は、等露出画像のヒストグラムの縦軸に沿って下から上へと増加する。画素値（グレー値）の範囲は、０から２５５の間、すなわち黒から白である。ピークが高いほど、所与の画素値（グレー値）の画素数は多くなる。

第１の所定数および第２の所定数は、ヒストグラムの右境界に近い画素数、すなわち露出過大画素数であるべきである。第１の所定数は、総画素数の３分の１に設定することができ、第２の所定数は、総画素数の４分の１に設定することができるが、これは例示に過ぎず、本開示は、これに限定されるものではない。

図４８を参照すると、本開示の撮像装置１０の第７の実施形態は、制御装置１１の第７の実施形態にかかる制御装置１１と、制御装置１１に電気的に接続されたカメラレンズ１２とを含む。換言すれば、本実施形態の撮像装置１０は、画像処理装置１１１の第７の実施形態にかかる画像処理装置１１１と、制御モジュール１１２と、カメラレンズ１２とを含む。制御モジュール１１２、カメラレンズ１２、および画像処理装置１１１は、全て互いに電気的に接続されている。

図４９を参照すると、本開示の電子機器１００の第７の実施形態は、撮像装置１０の第７の実施形態にかかる撮像装置１０を含む。電子機器１００は、携帯電話、タブレット、ノートブックコンピュータ、スマートウォッチ、スマートリング、スマートヘルメット、スマートメガネ、他のＶＲ（仮想現実）ウェアラブル機器、他のＡＲ（拡張現実）ウェアラブル機器など、撮影機能を有する任意の種類の端末によって実行することができる。本実施形態では、撮像装置１０の台数が１台の場合、撮像装置１０は、前面カメラまたは背面カメラとすることができる。撮像装置１０の台数が２台の場合、２台の撮像装置１０は、それぞれ、前面カメラおよび背面カメラとすることができるか、あるいは、２台の撮像装置１０の双方とも、前面カメラであるか、あるいは、２台の撮像装置１０の双方とも、背面カメラである。撮像装置１０の台数が２台よりも多い場合、撮像装置１０は、前面カメラおよび背面カメラを除く、トップカメラ、ボトムカメラ、ラテラルカメラなど、任意の位置に配置されたカメラとすることができる。

本開示の第７の実施形態にかかる画像処理方法、画像処理装置１１１、制御方法、制御装置１１、撮像装置１０、および電子機器１００では、２つの画像が撮影され、一方は等露出画像であり、他方は露出過小画像であり、２つの画像は、双方ともぼけており、そして、ぼけた露出過大部分の輝度が増加され、対応する偽の露出過大部分が抽出され、ぼけた等露出画像のぼけた露出過大部分が偽の露出過大部分に置換され、実際のフレア効果を有するぼけた画像にマージする。フレア効果が優れている。

図５０を参照すると、本開示の画像処理方法の第８の実施形態は、画像処理方法の第５の実施形態と略同一であるが、画像処理方法の第８の実施形態は、さらに、ブロックにおいて以下の動作を含む。

ブロックＳ２７において、等露出画像が露出過大部分を有するとの識別に応じてマージ画像が出力される。

ブロックＳ２８において、等露出画像が露出過大部分を有しないとの識別に応じてぼけた等露出画像が出力される。

図５１を参照すると、画像処理方法の第８の実施形態は、本開示の画像処理装置１１１の第８の実施形態によって実施することができる。本開示の画像処理装置１１１の第８の実施形態にかかる画像処理装置１１１は、画像処理装置１１１の第５の実施形態と略同一の構成を有するが、それらの差異は、第８の実施形態にかかる画像処理装置１１１がブロックＳ２７およびＳ２８を実行するように構成された第１の出力モジュール１１１７および第２の出力モジュール１１１８をさらに含むということである。すなわち、第１の出力モジュール１１１７は、等露出画像が露出過大部分を有するとの識別に応じてマージ画像を出力するように構成される。第２の出力モジュール１１１８は、等露出画像が露出過大部分を有しないとの識別に応じてぼけた等露出画像を出力するように構成される。

図５２を参照すると、本開示の制御方法の第８の実施形態は、制御方法の第５の実施形態と略同一であるが、制御方法の第８の実施形態は、さらに、ブロックにおいて以下の動作を含む。

ブロックＳ２７において、等露出画像が露出過大部分を有するとの識別に応じてマージ画像が出力される。

ブロックＳ２８において、等露出画像が露出過大部分を有しないとの識別に応じてぼけた等露出画像が出力される。

図５３を参照すると、制御方法の第８の実施形態は、本開示の制御装置１１の第８の実施形態によって実施することができる。本開示の制御装置１１の第８の実施形態にかかる制御装置１１は、制御装置１１の第５の実施形態と略同一の構造を有するが、それらの差異は、第８の実施形態の制御装置１１がブロックＳ７およびＳ８を実行するように構成された第１の出力モジュール１１１７および第２の出力モジュール１１１８をさらに含むということである。すなわち、第１の出力モジュール１１１７は、等露出画像が露出過大部分を有するとの識別に応じてマージ画像を出力するように構成される。第２の出力モジュール１１１８は、等露出画像が露出過大部分を有しないとの識別に応じてぼけた等露出画像を出力するように構成される。

図５４を参照すると、本開示の撮像装置１０の第８の実施形態は、制御装置１１の第８の実施形態にかかる制御装置１１と、制御装置１１に電気的に接続されたカメラレンズ１２とを含む。換言すれば、本実施形態の撮像装置１０は、画像処理装置１１１の第８の実施形態にかかる画像処理装置１１１と、制御モジュール１１２と、カメラレンズ１２とを含む。制御モジュール１１２、カメラレンズ１２、および画像処理装置１１１は、全て互いに電気的に接続されている。

図５５を参照すると、本開示の電子機器１００の第８の実施形態は、撮像装置１０の第８の実施形態にかかる撮像装置１０を含む。電子機器１００は、携帯電話、タブレット、ノートブックコンピュータ、スマートウォッチ、スマートリング、スマートヘルメット、スマートメガネ、他のＶＲ（仮想現実）ウェアラブル機器、他のＡＲ（拡張現実）ウェアラブル機器など、撮影機能を有する任意の種類の端末によって実行することができる。本実施形態では、撮像装置１０の台数が１台の場合、撮像装置１０は、前面カメラまたは背面カメラとすることができる。撮像装置１０の台数が２台の場合、２台の撮像装置１０は、それぞれ、前面カメラおよび背面カメラとすることができるか、あるいは、２台の撮像装置１０の双方とも、前面カメラであるか、あるいは、２台の撮像装置１０の双方とも、背面カメラである。撮像装置１０の台数が２台よりも多い場合、撮像装置１０は、前面カメラおよび背面カメラを除く、トップカメラ、ボトムカメラ、ラテラルカメラなど、任意の位置に配置されたカメラとすることができる。

本開示の第８の実施形態にかかる画像処理方法、画像処理装置１１１、制御方法、制御装置１１、撮像装置１０、および電子機器１００では、２つの画像が撮影され、一方は等露出画像であり、他方は露出過小画像であり、２つの画像は、双方ともぼけており、そして、ぼけた露出過大部分の輝度が増加され、対応する偽の露出過大部分が抽出され、ぼけた等露出画像のぼけた露出過大部分が偽の露出過大部分に置換され、実際のフレア効果を有するぼけた画像にマージする。フレア効果が優れている。

ブロックＳ２７およびＳ２８はまた、画像処理方法の第６の実施形態および制御方法の第６の実施形態にも適用可能であることが理解することができる。対応して、第１の出力モジュール１１１７および第２の出力モジュール１１１８はまた、画像処理装置の第６の実施形態、制御装置の第６の実施形態、画像処理装置の第６の実施形態、および電子機器の第６の実施形態にも適用可能である。ブロックＳ２７およびＳ２８はまた、画像処理方法の第７の実施形態および制御方法の第７の実施形態にも適用可能である。対応して、第１の出力モジュール１１１７および第２の出力モジュール１１１８はまた、画像処理装置の第７の実施形態、制御装置の第７の実施形態、画像処理装置の第７の実施形態、および電子機器の第７の実施形態にも適用可能である。

図５６を参照して、上述した第５から第８の実施形態にかかる制御方法において、制御方法を使用して制御される撮像装置がカメラレンズを含む場合、撮像装置を制御して同一シーンの等露出画像および露出過小画像を出力すること（ブロックＳ２６）は、ブロックにおいて以下の動作を含むことができる。

ブロックＳ２６１において、第１の露出値が明環境に基づいて判定される。

ブロックＳ２６２において、第２の露出値が露出過大部分に基づいて判定される。

ブロックＳ２６３において、カメラレンズが制御され、第１の露出値および第２の露出値を使用して順次露出を行い、等露出画像および露出過小画像を取得する。

対応して、図５７を参照すると、第５から第８の実施形態にかかる制御装置１１の制御モジュール１１２は、ブロックＳ２６１、Ｓ２６２、およびＳ２６３を実行するように構成された第１の露出判定ユニット１１３１、第２の露出判定ユニット１１３２、および第１の制御ユニット１１３３を含む。すなわち、第１の露出判定ユニット１１３１は、明環境に基づいて第１の露出量を判定するように構成される。第２の露出判定ユニット１１３２は、露出過大部分に基づいて第２の露出値を判定するように構成される。第１の制御ユニット１１３３は、カメラレンズを制御して、第１の露出値および第２の露出値を使用して順次露出を行い、等露出画像および露出過小画像を取得するように構成される。

対応して、第５から第８の実施形態にかかる撮像装置１０および電子機器１００の制御モジュール１１２もまた、第１の露出判定ユニット１１３１、第２の露出判定ユニット１１３２、および第１の制御ユニット１１３３を含むことができ、その構造および機能は、上記と同一であり、ここでは詳述しない。

図５８を参照して、上述した第５から第８の実施形態にかかる制御方法において、制御方法を使用して制御される撮像装置が第１のカメラレンズおよび第２のカメラレンズを含む場合、撮像装置を制御して同一シーンの等露出画像および露出過小画像を出力すること（ブロックＳ２６）は、ブロックにおいて以下の動作を含むことができる。

ブロックＳ２６１において、第１の露出値が明環境に基づいて判定される。

ブロックＳ２６２において、第２の露出値が露出過大部分に基づいて判定される。

ブロックＳ２６４において、第１のカメラレンズおよび第２のカメラレンズは、それぞれ、第１の露出値および第２の露出値を使用して露出を行うように制御され、等露出画像および露出過小画像を取得する。

対応して、図５９を参照すると、第５から第８の実施形態にかかる制御装置１１の制御モジュール１１２は、ブロックＳ２６１、Ｓ２６２、およびＳ２６４を実行するように構成された第１の露出判定ユニット１１３１、第２の露出判定ユニット１１３２、および第２の制御ユニット１１３４を含む。すなわち、第１の露出判定ユニット１１３１は、明環境に基づいて第１の露出量を判定するように構成される。第２の露出判定ユニット１１３２は、露出過大部分に基づいて第２の露出値を判定するように構成される。第２の制御ユニット１１３４は、第１のカメラレンズおよび第２のカメラレンズをそれぞれ制御して、第１の露出値および第２の露出値を使用して露出を行い、等露出画像および露出過小画像を取得するように構成される。

対応して、第５から第８の実施形態にかかる撮像装置１０および電子機器１００の制御モジュール１１２もまた、第１の露出判定ユニット１１３１、第２の露出判定ユニット１１３２、および第２の制御ユニット１１３４を含むことができ、その構造および機能は、上記と同一であり、ここでは詳述しない。

本開示のいくつかの実施形態は、電子機器を提供する。電子機器は、ハウジング、プロセッサ、記憶装置、回路基板、および電源回路を含む。回路基板は、ハウジングによって画定された空間内に配置されている。プロセッサおよび記憶装置は、回路基板上に配置されている。電源回路は、電子機器の各回路または装置に電力を供給するように構成される。記憶装置は、実行可能プログラムコードを記憶するように構成される。プロセッサは、記憶装置に記憶された実行可能プログラムコードを読み出すことにより、実行可能プログラムコードに対応するプログラムを実行し、前述した実施形態のいずれかの画像処理方法または前述した実施形態のいずれかの制御方法を実行する。電子機器は、携帯電話、タブレット、ノートブックコンピュータ、スマートウォッチ、スマートリング、スマートヘルメット、およびスマートグラスのいずれかによって実施することができる。

本開示の実施形態はまた、命令を記憶したコンピュータ可読記憶媒体を提供する。電子機器のプロセッサによって命令が実行されると、電子機器は、前述した実施形態のいずれかの画像処理方法または前述した実施形態のいずれかの制御方法を実行する。

本明細書を通して、「実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」、「いくつかの実施形態（ｓｏｍｅ ｅｍｂｏｄｉｍｅｎｔｓ）」、「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」、「他の例（ａｎｏｔｈｅｒ ｅｘａｍｐｌｅ）」、「例（ａｎ ｅｘａｍｐｌｅ）」、「特定の例（ａ ｓｐｅｃｉｆｉｃ ｅｘａｍｐｌｅ）」、または「いくつかの例（ｓｏｍｅ ｅｘａｍｐｌｅｓ）」という言及は、実施形態または例に関連して説明された特定の特徴、構造、材料、または特性が本開示の少なくとも１つの実施形態または例に含まれることを意味する。したがって、本明細書を通して様々な場所における「いくつかの実施形態では（ｉｎ ｓｏｍｅ ｅｍｂｏｄｉｍｅｎｔｓ）」、「一実施形態では（ｉｎ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」、「実施形態では（ｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ）」、「他の例では（ｉｎ ａｎｏｔｈｅｒ ｅｘａｍｐｌｅ）」、「例では（ｉｎ ａｎ ｅｘａｍｐｌｅ）」、「特定の例では（ｉｎ ａ ｓｐｅｃｉｆｉｃ ｅｘａｍｐｌｅ）」、または「いくつかの例では（ｉｎ ｓｏｍｅ ｅｘａｍｐｌｅｓ）」などのフレーズの出現は、必ずしも本開示の同じ実施形態または例を指していない。さらにまた、特定の特徴、構造、材料、または特性は、１つ以上の実施形態または例において任意の適切な方法で組み合わせることができる。

フローチャートに記載されたまたは他の方法で本明細書に記載された任意のプロセスまたは方法は、プロセスにおける特定の論理機能またはステップを達成するための実行可能命令の１つ以上のモジュール、セグメントまたはコードの一部を含むように理解することができ、本開示の好ましい実施形態の範囲は、必ずしもここに示されて説明された順序におけるものではなく、おそらく関係する機能のほぼ同じまたは逆の順序を含む他の実装を含み、それは当業者によって理解されるべきである。

例えば、論理機能を実現するための実行可能命令の特定のシーケンステーブルなど、本明細書において他の方法で説明されるかまたはフローチャートに示される論理および／またはステップは、命令実行システム、装置もしくは機器（コンピュータベースのシステム、プロセッサを含むシステム、もしくは命令実行システム、装置および機器から命令を取得してその命令を実行することができる他のシステムなど）によって使用されることになる、またはその命令実行システム、装置および機器と組み合わせて使用されることになる任意のコンピュータ可読媒体において具体的に達成することができる。本明細書に関して、「コンピュータ可読媒体」は、命令実行システム、装置または機器によってまたはそれらと組み合わせて使用されることになるプログラムを含むため、記憶するため、通信するため、伝播するためまたは転送するために適応する任意の装置とすることができる。コンピュータ可読媒体のより具体的な例は、それらに限定されるものではないが、１つ以上のワイヤを有する電子接続（電子機器）、携帯用コンピュータエンクロージャ（磁気デバイス）、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ装置および携帯用コンパクトディスク読み出し専用メモリ（ＣＤＲＯＭ）を含む。さらに、コンピュータ可読媒体は、さらに、プログラムを印刷することができる紙または他の適切な媒体とすることができる。これは、例えば、プログラムを電気的に取得する必要がある場合に、紙または他の適切な媒体が光学的にスキャンされてから編集、復号または他の適切な方法で処理され、そのプログラムがコンピュータメモリに記憶することができるためである。

本開示の各部分は、ハードウェア、ソフトウェア、ファームウェアまたはそれらの組み合わせによって実現することができると理解されるべきである。上記の実施形態において、複数のステップまたは方法は、メモリに記憶され且つ適切な命令実行システムによって実行されるソフトウェアまたはファームウェアによって実現されてもよい。例えば、他の実施形態と同様にハードウェアによって実現される場合、ステップまたは方法は、当該技術分野において知られている以下の技術のうちの１つまたは組み合わせによって実現することができる：データ信号の論理機能を実現する論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する特定用途向け集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など。

当業者は、本開示の上記の例示的な方法におけるステップの全部または一部が、プログラムによって関連するハードウェアに命令することによって達成することができることを理解するであろう。プログラムは、コンピュータ可読記憶媒体に記憶することができ、プログラムは、コンピュータ上で実行されたときに本開示の方法の実施形態におけるステップのうちの１つまたは組み合わせを含む。

さらに、本開示の実施形態の各機能セルは、処理モジュールに統合されてもよく、またはこれらのセルは、別々の物理的存在であってもよく、または２つ以上のセルが処理モジュールに統合されてもよい。統合モジュールは、ハードウェアの形態またはソフトウェア機能モジュールの形態で実現することができる。統合モジュールがソフトウェア機能モジュールの形態で実現され、スタンドアロン製品として販売または使用されるとき、統合モジュールは、コンピュータ可読記憶媒体に記憶されてもよい。

上述した記憶媒体は、読み出し専用メモリ、磁気ディスク、またはＣＤなどとすることができる。例示的な実施形態が示されて説明されたが、上記の実施形態は、本開示を限定するものと解釈されることはできず、本開示の範囲から逸脱することなく、実施形態において変形、代替、および変更が行われることができることが当業者によって理解されるであろう。

Claims (15)

1. 画像処理方法であって、
   （ａ）第１の写真撮影パラメータに対応する第１の画像を取得するステップと、
   （ｂ）第２の写真撮影パラメータに対応する、前記第１の画像と同一シーンを有する第２の画像を取得するステップと、
   （ｃ）前記第１の画像をぼかし、ぼけた第１の画像を取得するステップと、
   （ｄ）前記第１の画像の露出過大部分に対応する、前記ぼけた第１の画像の置換対象部分を定義するステップと、
   （ｅ）前記置換対象部分に対応する、前記第２の画像の置換部分を取得するステップと、
   （ｆ）前記ぼけた第１の画像の前記置換対象部分を前記第２の画像の前記置換部分と置換してマージ画像を取得するステップと
   を含むことを特徴とする画像処理方法。
2. 前記第１の画像が合焦画像を含み、前記第２の画像が非合焦画像を含み、前記ステップ（ａ）から（ｆ）が、
   前記合焦画像が合焦状態で前記露出過大部分を有するかどうかを識別するステップと、
   前記合焦画像をぼかし、前記露出過大部分に対応するぼけた露出過大部分を含むぼけた合焦画像を取得するステップと、
   前記合焦画像が前記露出過大部分を有することに応じて、前記合焦画像と同一シーンを有する非合焦画像を取得し、前記非合焦画像を処理して前記合焦画像の前記露出過大部分に対応する素材部分を取得するステップと、
   前記ぼけた合焦画像内の前記露出過大部分に対応する前記ぼけた露出過大部分を前記素材部分と置換して前記マージ画像を取得するステップと
   によって実行されることを特徴とする請求項１に記載の画像処理方法。
3. 前記合焦画像が前記合焦状態で前記露出過大部分を有するかどうかを識別することが、
   前記合焦画像のヒストグラムに応じて、前記合焦画像内の露出過大画素数が第１の所定数以上であるかどうかを判定することであって、前記露出過大画素の画素値が所定の画素値以上であることと、
   前記露出過大画素数が前記第１の所定数以上であることに応じて、前記合焦画像が前記露出過大部分を有すると判定することと
   を含むことを特徴とする請求項２に記載の画像処理方法。
4. 前記合焦画像が前記合焦状態で前記露出過大部分を有するかどうかを識別することが、
   隣接した露出過大画素数が第２の所定数以上であるかどうかを判定することにより、前記合焦画像内に隣接した露出過大画素があるかどうかを判定することと、
   前記合焦画像内に前記隣接した露出過大画素があると判定したことに応じて、前記隣接した露出過大画素が前記露出過大部分に属すると判定することと
   をさらに含むことを特徴とする請求項３に記載の画像処理方法。
5. 前記合焦画像をぼかして前記ぼけた合焦画像を取得することが、ガウスぼかしアルゴリズムによって実施されることを特徴とする請求項２から４のいずれか一項に記載の画像処理方法。
6. 前記素材部分のぼかし度合いが、前記露出過大部分のぼかし度合いと略同一であることを特徴とする請求項２から５のいずれか一項に記載の画像処理方法。
7. 前記方法が、
   前記合焦画像が前記露出過大部分を有することを識別するのに応じて前記マージ画像を出力することと、
   前記合焦画像が前記露出過大部分を有しないことを識別するのに応じて前記ぼけた合焦画像を出力することと
   をさらに含むことを特徴とする請求項２から６のいずれか一項に記載の画像処理方法。
8. 前記第１の画像が等露出画像を含み、前記第２の画像が露出過小画像を含み、前記ステップ（ａ）から（ｆ）が、
   明環境に一致する第１の露出値を使用して露出することによって前記等露出画像を取得し、前期等露出画像が前記露出過大部分を有するかどうかを識別するステップと、
   前記等露出画像をぼかし、前記露出過大部分に対応するぼけた露出過大部分を含むぼけた等露出画像を取得するステップと、
   前記等露出画像が前記露出過大部分を有することに応じて、第２の露出値を使用して露出することにより、前記等露出画像と同一シーンを有する前記露出過小画像を取得し、前記露出過小画像をぼかし、ぼけた露出過小画像を取得し、前記露出過小画像が前記露出過大部分に対応する素材部分を含み、前記ぼけた露出過小画像が前記露出過大部分に対応するぼけた素材部分を含み、前記第２の露出値が前記第１の露出値よりも小さいステップと、
   前記ぼけた素材部分の輝度を増やして偽の露出過大部分を取得するステップと、
   前記ぼけた等露出画像の前記ぼけた露出過大部分を前記偽の露出過大部分に置換して前記マージ画像を取得するステップと
   によって実施されることを特徴とする請求項１に記載の画像処理方法。
9. 前記等露出画像が前記露出過大部分を有するかどうかを識別することが、
   前記等露出画像のヒストグラムに応じて、
   前記等露出画像内の露出過大画素数が第１の所定数以上であるかどうかを判定し、前記露出過大画素の画素値が所定の画素値以上であることと、
   前記露出過大画素数が前記第１の所定数以上である場合、前記等露出画像が前記露出過大部分を有すると判定することと
   を含むことを特徴とする請求項８に記載の画像処理方法。
10. 前記等露出画像が前記露出過大部分を有するかどうかを識別することが、
    隣接した露出過大画素数が第２の所定数以上であるかどうかを判定することにより、前記等露出画像内に隣接した露出過大画素があるかどうかを判定することと、
    前記等露出画像内に前記隣接した露出過大画素があると判定したことに応じて、前記隣接した露出過大画素が前記露出過大部分に属すると判定することと
    をさらに含むことを特徴とする請求項９に記載の画像処理方法。
11. 前記等露出画像をぼかして前記ぼけた等露出画像を取得することが、ガウスぼかしアルゴリズムによって実施され、および／または、
    前記露出過小画像をぼかして前記ぼけた露出過小画像を取得することが、ガウスぼかしアルゴリズムによって実施される
    ことを特徴とする請求項８から１０のいずれか一項に記載の画像処理方法。
12. 前記ぼけた素材部分の輝度を増やして前記偽の露出過大部分を取得することが、
    前記ぼけた露出過小画像の輝度をＮ倍に増やして前記偽の露出過大部分を取得することを含み、Ｎが前記第２の露出値に対する前記第１の露出値の比である
    ことを特徴とする請求項８から１１のいずれか一項に記載の画像処理方法。
13. 前記方法が、
    前記等露出画像が前記露出過大部分を有することを識別するのに応じて前記マージ画像を出力することと、
    前記等露出画像が前記露出過大部分を有しないことを識別するのに応じて前記ぼけた等露出画像を出力することと
    をさらに含むことを特徴とする請求項８から１２のいずれか一項に記載の画像処理方法。
14. 画像処理装置であって、
    プロセッサと、
    前記プロセッサに接続されたメモリであって、方法を実行するように構成された前記プロセッサによって実行可能な複数のプログラム命令を含むメモリとを備え、前記方法が、
    （ａ）第１の写真撮影パラメータに対応する第１の画像を取得するステップと、
    （ｂ）第２の写真撮影パラメータに対応する、前記第１の画像と同一シーンを有する第２の画像を取得するステップと、
    （ｃ）前記第１の画像をぼかし、ぼけた第１の画像を取得するステップと、
    （ｄ）前記第１の画像の露出過大部分に対応する、前記ぼけた第１の画像の置換対象部分を定義するステップと、
    （ｅ）前記置換対象部分に対応する、前記第２の画像の置換部分を取得するステップと、
    （ｆ）前記ぼけた第１の画像の前記置換対象部分を前記第２の画像の前記置換部分と置換してマージ画像を取得するステップと
    を含む、画像処理装置。
15. 電子機器がプロセッサを使用して命令を実行したとき、請求項１に記載の画像処理方法が実行されることを特徴とする命令を記憶した非一時的コンピュータ可読記憶媒体。