JP2020536457A - 画像処理方法および装置、電子機器、ならびにコンピュータ可読記憶媒体 - Google Patents

Abstract

画像処理方法および装置、電子機器、ならびにコンピュータ可読記憶媒体が提供される。本方法は、処理対象画像に対して顔認識を実行するステップと、処理対象画像がポートレートを含んでいるという検出に応答して、ポートレートの撮影距離を取得するステップと、撮影距離が事前設定された距離条件を満たしているという判定に応答して、満たされた距離条件と合致するパラメータ関係を取得するステップと、パラメータ関係に従って、撮影距離に対応する美化パラメータを選択するステップと、美化パラメータに従って、ポートレートに美化処理を実行するステップとを含む。

Description

本開示は、画像処理技術の分野に関し、特に、画像処理方法および装置、電子機器、ならびにコンピュータ可読記憶媒体に関する。

電子機器がカメラなどを介してポートレートを取得した後に、美化技術によって、取得したポートレートに美化処理が実行される場合がある。美化処理は、白色化、フィルタリング、目元拡大、フェイスリフト、スリム化などを含む場合がある。従来の美化処理では固定の美化パラメータが事前設定され、取得した各ポートレートは、統一的な方法で固定の美化パラメータによって処理される。

本開示の実施形態は、画像処理方法および装置、電子機器、ならびにコンピュータ可読記憶媒体を提供し、これによって美化効果を向上させ、画像上でより良好な視覚的表示効果を達成するために、撮影距離に応じて美化パラメータを適応的に選択し得る。

第１の態様によれば、本開示の実施形態は画像処理方法を提供する。画像処理方法は以下の動作を含み得る。処理対象画像に顔認識が実行される。処理対象画像がポートレートを含んでいるという検出に応答して、ポートレートの撮影距離が取得される。撮影距離が事前設定された距離条件を満たしているという判定に応答して、満たされた距離条件に合致するパラメータ関係が取得される。パラメータ関係に従って撮影距離に対応する美化パラメータが選択され、美化パラメータに従ってポートレートに美化処理が実行される。

第２の態様によれば、本開示の実施形態は、電子機器を提供する。電子機器は、メモリとプロセッサとを含んでもよい。メモリは、プロセッサによって実行されると、第１の態様で説明した方法をプロセッサに実施させるコンピュータプログラムを記憶する。

第３の態様によれば、本開示の実施形態は非一時的なコンピュータ可読記憶媒体を提供し、これにはコンピュータプログラムが記憶されてもよい。コンピュータプログラムは、第１の態様で説明した方法を実施するためにプロセッサによって実行され得る。

本開示の実施形態による、電子機器のブロック図である。 本開示の実施形態による、画像処理方法の構造図である。 本開示の実施形態による、画像処理方法のフローチャートである。 本開示の実施形態による、ポートレートの撮影距離を取得する工程のフローチャートである。 本開示の実施形態による、顔領域の比率に従ってポートレートの撮影距離を取得する工程の概略図である。 本開示の別の実施形態による、ポートレートの撮影距離を取得する工程のフローチャートである。 本開示の実施形態による、距離情報を計算する工程の概略図である。 本開示の実施形態による、パラメータ関係を取得する工程のフローチャートである。 本開示の実施形態による、撮影距離が第１の距離閾値よりも短いときの、美化パラメータと撮影距離との間のパラメータ関係の概略図である。 本開示の実施形態による、撮影距離が第２の距離閾値よりも長いときの、美化パラメータと撮影距離との間のパラメータ関係の概略図である。 本開示の実施形態による、画像処理装置のブロック図である。 本開示の実施形態による、画像処理回路の概略図である。

本開示の目的、技術的解決策、および利点をより明確にするために、本開示は図面および実施形態と併せて以下でさらに詳細に説明される。本明細書で説明する特定の実施形態は単に本開示を説明するために使用され、本開示を限定する意図はないことを理解されたい。

本開示で使用される「第１の」、「第２の」などの用語は、さまざまな構成要素を説明するために使用され、これらの構成要素を限定する意図はないことが理解されよう。このような用語は、第１の構成要素を別の構成要素と区別するためにのみ使用される。例えば、本開示の範囲から逸脱することなく、第１のクライアントは第２のクライアントと呼ばれてもよく、同様に、第２のクライアントが第１のクライアントと呼ばれてもよい。第１のクライアントおよび第２のクライアントは両者ともクライアントであるが、同じクライアントではない。

画像処理方法および装置によれば、本開示の実施形態によって提供される電子機器およびコンピュータ可読記憶媒体では、処理対象画像がポートレートを含んでいるという検出に応答してポートレートの撮影距離が取得され、撮影パラメータが事前設定された距離条件を満たしているときは、満たされた距離条件と合致するパラメータ関係が取得され、パラメータ関係に従って撮影距離に対応する美化パラメータが選択され、美化パラメータに従ってポートレートに美化処理が実行される。したがって、美化パラメータを撮影距離に応じて適応的に選択でき、その結果、美化効果が向上し、画像上でより良好な視覚的表示効果が達成され得る。

図１は、本開示の実施形態による、電子機器のブロック図である。図１に示すように、電子機器は、プロセッサと、メモリと、表示画面と、入力装置とを含み、そのすべてがシステムバスによって接続される。例では、メモリは、不揮発性記憶媒体、およびプロセッサを含んでもよい。電子機器の不揮発性記憶媒体は、オペレーティングシステムおよびコンピュータプログラムを記憶してもよく、コンピュータプログラムは、本開示の実施形態によって提供される画像処理方法を実施するために、プロセッサによって実行されてもよい。プロセッサは、電子機器全体の動作を支援するために、計算機能および制御機能を提供するように構成されてもよい。電子機器の内部メモリは、不揮発性記憶媒体内でコンピュータプログラムを実行する環境を提供し得る。電子機器の表示画面は、液晶表示画面、電子インク表示画面などであってもよい。入力装置は、表示画面を覆うタッチ層であってもよく、電子機器の外被に配置されたボタン、トラックボール、またはタッチパッドであってもよく、さらに、外付けのキーボード、タッチパッド、マウスなどであってもよい。電子機器は、携帯電話、タブレットコンピュータ、携帯情報端末、装着可能な機器などの端末であってもよい。図１に示す構造は、本開示の解決策に関連する構造の一部の単なるブロック図であり、本開示の解決策が適用される電子機器を限定する意図はないことが当業者には理解されよう。電子機器は、具体的には図面に示されているよりも多い、もしくは少ない部品を含んでもよく、あるいはいくつかの部品が組み合わされたり、異なる部品配置が使用されたりする。

図２は、本開示の実施形態による、画像処理方法の構造図である。図２に示すように、電子機器に含まれる美化処理は３層の構造、すなわち特徴層、適応層、および処理層を含んでもよい。特徴層は、入力画像の顔の特徴情報を抽出するように構成されてもよく、顔の特徴情報は、これに限定されないが、肌色特徴、肌種特徴、年齢特徴、性別特徴、メイク特徴などを含んでもよい。

適応層は、抽出された顔の特徴情報、取得された物理的な撮影パラメータなどに従って、美化パラメータを適応的に選択するように構成されてもよい。例では、物理的な撮影パラメータは、これに限定されないが、撮影距離、周囲の明るさ、色温度、露出などを含んでもよい。少なくとも１つの実施形態において、パラメータ選択モデルを適応層に事前に記憶させてもよく、顔の特徴情報、取得した物理的な撮影パラメータなどは、顔の特徴情報、および物理的な撮影パラメータに対応する美化パラメータを選択するために、パラメータ選択モデルによって分析されてもよい。パラメータ選択モデルは、深層機械学習によって構築されてもよい。適応層によって選択される美化パラメータは、これに限定されないが、白色化パラメータ、フィルタリングパラメータ、目元拡大パラメータ、フェイスリフトパラメータなどを含んでもよい。

処理層は、入力画像に対して美化処理を実行するために、適応層によって選択された美化パラメータに従って、対応する美化成分を呼び出すように構成されてもよい。美化成分は、これに限定されないが、フィルタリング成分、白色化成分、目元拡大成分、フェイスリフト成分、口元修正成分などを含んでもよい。美化パラメータに従って、異なる美化成分が対応する処理を実行してもよい。例えば、フィルタリングパラメータに従って、フィルタリング成分が入力画像に対してフィルタリング処理を実行してもよく、白色化パラメータに従って、白色化成分が入力画像に対して白色化処理を実行してもよい。美化成分は、相互に独立していてもよい。実施形態では、処理層は、各美化成分に対応するフラグビットを取得し得る。例では、フラグビットが第１のフラグビットである美化成分は、入力画像に対して美化処理を実行することを要求されてもよく、フラグビットが第２のフラグビットである美化成分は、入力画像に対して美化処理を実行しなくてもよく、第１のフラグビットおよび第２のフラグビットは、要件に従って設定されてもよい。例えば、第１のフラグビットは１、第２のフラグビットは０とされるが、これに限定されることはない。美化成分が入力画像に対して美化処理を実行することを要求されると、美化成分は対応する種類の美化パラメータを取得し、美化パラメータに従って、入力画像に対して美化処理を実行してもよい。適応層によって選択された美化パラメータに従って入力画像に美化処理を実行した後に、処理層は、処理画像を出力して処理画像を表示画面に表示してもよい。

図３に示すように、本開示の実施形態では画像処理方法が提供される。画像処理方法は、ブロック３１０から３５０までの以下の動作を含む。

ブロック３１０において、処理対象画像に顔認識が実行される。

電子機器は、処理対象画像を取得し得る。処理対象画像は、表示画面でプレビューされ得るプレビュー画像であってもよく、プレビュー画像は、カメラなどの撮像装置を介して電子機器によって取得されてもよい。処理対象画像は、生成されて記憶されている画像であってもよい。電子機器は、処理対象画像がポートレートを含んでいるかどうかを判定するために、処理対象画像に対して顔認識を実行し得る。電子機器は、処理対象画像の画像特徴を抽出して、処理対象画像が顔を含んでいるかどうかを判定するために、事前設定された顔認識モデルによって画像特徴を分析してもよい。処理対象画像が顔を含んでいると判定されると、電子機器は、処理対象画像がポートレートを含んでいると判定し得る。画像特徴は、形状特徴、空間特徴、エッジ特徴などを含んでもよい。例において、形状特徴は処理対象画像の一部の形状を指し、空間特徴は処理された画像内で分割された複数の領域同士の間の空間位置、または相対的な方向関係を指し、エッジ特徴は処理対象画像における２つの領域同士の間の境界画素などを指す。

実施形態では、顔認識モデルは、機械学習を通して事前に構築された意思決定モデルであってもよい。顔認識モデルが構築されると、多数のサンプル画像が取得されてもよく、サンプル画像は、顔画像およびポートレートのない画像を含む。サンプル画像は、各サンプル画像が顔を含んでいるかどうかの判定に応じてマークされてもよい。マークされたサンプル画像は顔認識モデルの入力として使用され、顔認識モデルを取得するために機械学習によるトレーニングが行われる。

ブロック３２０において、処理対象画像がポートレートを含んでいるという検出に応答して、ポートレートの撮影距離が取得される。

電子機器が、処理対象画像がポートレートを含んでいることを検出すると、処理対象画像に含まれるポートレートの撮影距離が取得され得る。撮影距離は、処理対象画像が取得されたときのポートレートとカメラの撮像面との間の距離を指してもよく、かつ撮影距離は、処理対象画像が取得されたときのポートレートと電子機器との間の距離であってもよい。

実施形態では、処理対象画像はカメラを介して電子機器によって取得されたプレビュー画像であってもよく、プレビュー画像は表示画面に表示されてもよい。画像が取得されると、電子機器は距離センサによってポートレートの撮影距離をリアルタイムに取得し得る。少なくとも１つの実施形態において、距離センサは外部に光を放射してもよく、光がポートレートによって反射される時間を測定して、時間に応じてポートレートの撮影距離を決定し得る。電子機器は、処理対象画像内のポートレートの撮影距離を取得するために別の方法を使用してもよく、本明細書で方法が限定されることはない。

ブロック３３０において、撮影距離が事前設定された距離条件を満たしているという判定に応答して、満たされた距離条件に合致するパラメータ関係が取得される。

電子機器は、処理対象画像内のポートレートの撮影距離が、事前設定された距離条件を満たしているかどうかを判定し得る。距離条件とは、取得した画像が不鮮明になる可能性がある距離範囲を指す。距離条件は、要件に従って事前設定されてもよい。１つ以上の距離条件があってもよく、各距離条件が特定の距離範囲に対応してもよい。電子機器は、処理対象画像内のポートレートの撮影距離を、各距離条件に対応する距離範囲と比較して、ポートレートの撮影距離が距離範囲内に収まっているかどうかを判定し得る。ポートレートの撮影距離が距離範囲内と判定されると、電子機器は、対応する距離条件が満たされていると判定してもよい。例えば、３０センチメートルより短い、および６０センチメートルより長いという２つの距離条件が事前設定されてもよい。処理対象画像内のポートレートの撮影距離が２０センチメートルのときは、３０センチメートルより短いという距離条件が満たされる。

実施形態では、画像を取得するために電子機器がカメラをオンにすると、最初は現行の場面における複数フレームの画像が取得されてもよく、取得した複数フレームの画像における、各被写体の撮影距離が取得され得る。次に、取得した複数フレームの画像における各被写体の鮮鋭度が検出されてもよく、鮮鋭度に従って距離条件が決定される。電子機器は、現行の場面の既定値よりも鮮鋭度が低い被写体を取得して、被写体の撮影距離に従って距離条件を決定してもよい。例えば、現行の場面で電子機器によって取得された被写体の鮮鋭度が既定値よりも低く、被写体の撮影距離が２５センチメートルのときは、電子機器は、距離条件を２５センチメートルよりも短いものと直接決定してもよい。電子機器は、被写体の鮮鋭度に応じて浮動値をさらに設定してから、浮動値および被写体の撮影距離に従って距離条件を決定してもよい。鮮鋭度が低い場合は、浮動値が大きくなり得る。鮮鋭度が高く、既定値により近い場合は、浮動値はより小さくなり得る。例えば、現行の場面において電子機器によって取得された被写体の鮮鋭度が既定値よりも低く、被写体の撮影距離が２５センチメートルのときは、電子機器は、被写体の鮮鋭度に応じて浮動値が５センチメートルになるように設定して、距離条件が、例えば３０センチメートルよりも短くなるように決定してもよい。

異なる距離条件が異なるパラメータ関係と合致してもよく、パラメータ関係は、距離条件と美化パラメータとの間の対応関係を表すように構成され得る。撮影距離が事前設定された距離条件を満たしているときは、ポートレートの撮影距離の変化とともに美化パラメータが変化してもよく、美化パラメータが変化する過程は、満たされた距離条件と合致するパラメータ関係に適合し得る。処理対象画像内のポートレートの撮影距離が事前設定された距離条件を満たしているときは、電子機器は満たされた距離条件に合致するパラメータ関係を取得して、合致したパラメータ関係に従って、撮影距離に対応する美化パラメータを選択し得る。

ブロック３４０において、パラメータ関係に従って撮影距離に対応する美化パラメータが選択される。

電子機器は、満たされた距離条件と合致したパラメータ関係に従って、ポートレートの撮影距離に対応する美化パラメータを選択し得る。例では、美化パラメータは、これに限定されないが、白色化パラメータ、フィルタリングパラメータ、目元拡大パラメータ、フェイスリフトパラメータなどを含んでもよい。実施形態では、異なる距離条件では、ポートレートの撮影距離が異なる種類の美化パラメータに影響する場合があり、撮影距離の影響を受けた美化パラメータは、撮影距離の変化とともに変化する場合がある。例えば、３０センチメートルより短い、および６０センチメートルより長いという２つの距離条件が事前設定されてもよい。３０センチメートルよりも短い距離条件は、白色化パラメータ、フィルタリングパラメータ、および目元拡大パラメータに影響を及ぼす場合があり、６０センチメートルよりも長い距離条件は、白色化パラメータおよびフィルタリングパラメータに影響を及ぼす場合がある。しかしながら、本明細書において限定するものではない。

事前設定された距離条件において、各種の美化パラメータは、撮影距離と異なるパラメータ関係を形成してもよい。ポートレートの撮影距離が事前設定された距離条件を満たしているときは、電子機器は、満たされた距離条件に対応する美化パラメータ種別を最初に取得してから、美化パラメータ種別と合致したパラメータ関係を取得し、取得した各パラメータ関係に従って、対応する種類の美化パラメータを選択してもよい。例えば、処理対象画像内のポートレートの撮影距離は、３０センチメートルよりも短いという距離条件を満たし、この距離条件下では、撮影距離は白色化パラメータ、フィルタリングパラメータ、および目元拡大パラメータに影響を及ぼす場合がある。したがって、電子機器は、白色化パラメータ、フィルタリングパラメータ、および目元拡大パラメータとのパラメータ関係をそれぞれ取得し、取得したパラメータ関係に従って、撮影距離に対応する美化パラメータをそれぞれ選択し得る。

ブロック３５０において、美化パラメータに従ってポートレートに美化処理が実行される。

電子機器は、選択した美化パラメータに従って、処理対象画像内のポートレートに美化処理を実行し得る。美化処理は、これに限定されないが、白色化処理、フィルタリング処理、目元拡大処理などを含んでもよい。例では、白色化処理とは、白色化パラメータに従って、ポートレートの肌領域における各画素の色の値を調節することを指してもよく、色の値は、赤、緑、および青（ＲＧＢ）、色相、彩度、および明度（ＨＳＶ）、輝度および色差（ＹＵＶ）などの色空間における画素の値であってもよく、フィルタリング処理とは、対象ウィンドウを選択して、対象ウィンドウに応じてポートレートの肌領域にフィルタリング処理を実行することを指してもよく、目元拡大処理とは、顔の目元領域に部分的な拡大処理を実行することを指してもよい。しかしながら、本明細書において限定するものではない。

実施形態では、処理対象画像がポートレートを含んでいるという検出に応答してポートレートの撮影距離が取得され、撮影パラメータが事前設定された距離条件を満たしているときは、満たされた距離条件と合致するパラメータ関係が取得される。次に、パラメータ関係に従って、撮影距離に対応する美化パラメータが選択され、美化パラメータに従ってポートレートに美化処理が実行される。したがって、美化パラメータを撮影距離に応じて適応的に選択でき、その結果、美化効果が向上し、画像上でより良好な視覚的表示効果が達成される。

図４に示すように、実施形態では、ポートレートの撮影距離が取得される動作は、ブロック４０２および４０４における後続の動作を含む。

ブロック４０２において、ポートレートの顔領域が取得され、処理対象画像内の顔領域の比率が計算される。

電子機器は、処理対象画像に対して顔認識を実行し、処理対象画像が顔を含んでいるという検出に応答して顔領域を決定し得る。少なくとも１つの実施形態において、顔領域は正方形または長方形であってもよい。電子機器は、顔領域の面積を計算し、かつ処理対象画像の面積に対する、顔領域の面積の一部を計算してもよい。比率を得るために、顔領域の面積を処理対象画像の面積で割ってもよい。

ブロック４０４において、事前設定された対応関係に従って比率に対応する撮影距離が取得される。

処理対象画像内の顔領域の比率が異なれば、異なる撮影距離に対応し得る。電子機器は、事前設定された対応関係に従って、計算された比率に対応する撮影距離を取得し得る。実施形態では、事前設定された対応関係が表１に示されている。

処理対象画像の面積における顔領域の面積の比率と、撮影距離との間の対応関係は、表１に限定されないことは理解されよう。別の対応関係があってもよく、それについて本明細書において限定するものではない。

図５は、本開示の実施形態による、顔領域の比率に基づいてポートレートの撮影距離を取得する工程の概略図である。図５に示すように、画像Ａ、画像Ｂ、および画像Ｃは、電子機器がカメラを介して、異なる撮影距離で同じポートレートを撮影する動作によって取得され得る。電子機器は画像Ａを取得し、画像Ａで顔認識を実行し、顔領域５０２を決定し、顔領域５０２の面積を計算し、画像Ａの面積における顔領域５０２の面積の比率を計算し得る。実施形態において、画像Ａの面積に対する、画像Ａにおける顔領域５０２の面積の比率は８０％であり、対応する撮影距離は２０センチメートルとして取得され得る。電子機器は画像Ｂを取得し、画像Ｂで顔認識を実行し、顔領域５０４を決定し、顔領域５０４の面積を計算し、画像Ｂの面積における顔領域５０４の面積の比率を計算し得る。実施形態において、画像Ｂの面積に対する、画像Ｂにおける顔領域５０４の面積の比率は４０％であり、対応する撮影距離は７０センチメートルとして取得され得る。電子機器は画像Ｃを取得し、画像Ｃで顔認識を実行し、顔領域５０６を決定し、顔領域５０６の面積を計算し、画像Ｃの面積における顔領域５０６の面積の比率を計算し得る。実施形態において、画像Ｃの面積に対する、画像Ｃにおける顔領域５０６の面積の比率は１５％であり、対応する撮影距離は１．５メートルとして取得され得る。

実施形態では、処理対象画像内の顔領域の比率を計算した後に、電子機器は、処理対象画像を取得するカメラの焦点距離情報を取得し、焦点距離情報と合致する対応関係を取得し、その後、合致した対応関係に従って、比率に対応する撮影距離を取得してもよい。焦点距離は、光学系における光の集中または拡散を測定するための測定方法であり、レンズの光学中心から、平行光の入射中に光が集中する焦点までの距離を指す。カメラの焦点距離情報の違いは、撮影視野角の範囲の違いを表す。焦点距離情報が異なる場合は、処理対象画像の面積に対する顔領域の面積の比率と撮影距離との間に、異なる対応関係があってもよい。処理対象画像内の顔領域の比率が同じである場合、焦点距離が長いと対応する撮影距離は長くなる。例えば、処理対象画像内の顔領域の比率は８０％である。カメラの焦点距離情報が１６ミリメートルの場合、対応する撮影距離は２０センチメートルになり得る。カメラの焦点距離情報が２４ミリメートルの場合、対応する撮影距離は４５センチメートルになり得る。

実施形態では、ポートレートの撮影距離は、処理対象画像内の顔領域の比率に応じて取得でき、その結果、後で撮影距離に応じて美化パラメータを適応的に選択するのを容易にするために、撮影距離が正確に取得され得る。したがって美化効果が向上し、画像上でより良好な視覚的表示効果が達成され得る。

図６に示すように、実施形態では、ポートレートの撮影距離が取得される動作は、ブロック６０２から６０６までの後続の動作を含む。

ブロック６０２において、処理対象画像の距離情報が取得される。

電子機器は、処理対象画像内の各画素の距離情報を取得し得る。実施形態では、距離情報は、処理対象画像内の各被写体と、電子機器との間の距離を示し得る。実施形態では、第１のカメラと第２のカメラとを含む２つのカメラが、電子機器の裏面に配置されてもよい。第１のカメラおよび第２のカメラは、水平な左右配置を形成するように同じ水平線上に配置されてもよく、垂直な上下配置を形成するように同じ垂線上に配置されてもよい。実施形態では、第１のカメラおよび第２のカメラは、解像度が異なるカメラであってもよい。第１のカメラは、比較的解像度が高く、主に撮像用に構成されたカメラであってもよく、第２のカメラは、比較的解像度が低く、取得した画像の距離情報を得るために構成された補助的なカメラであってもよい。

さらに、電子機器は、第１のカメラによってある場面の第１の画像を取得し、第２のカメラによって同じ場面の第２の画像を同時に取得して、第１の画像と第２の画像とを補正し較正してもよい。次に、電子機器は、処理対象画像を取得するために、補正され較正された第１の画像と第２の画像とを合成してもよい。電子機器は、補正され較正された第１の画像および第２の画像に従って視差画像を生成し、その後、処理対象画像の距離マップを生成し得る。距離マップは、処理対象画像内の各画素の距離情報を含み得る。距離マップでは、近似した距離情報を有する領域は同じ色で塗りつぶされてもよく、色の変化は距離の変化を反映し得る。実施形態では、電子機器は、第１のカメラおよび第２のカメラの光学中心間の距離、水平線上における光学中心の高さの相違、２つのカメラのレンズ高さの相違などに応じて補正パラメータを計算し、補正パラメータに応じて第１の画像および第２の画像を補正し較正し得る。

電子機器は、第１の画像および第２の画像内の同じ被写体の視差を計算し、視差に応じて処理対象画像内の被写体の距離情報を取得する。例では、視差は、同じ対象物が２箇所で観察されたときに形成される方向差を指す。図７は、実施形態による、距離情報を計算する工程の概略図である。図７に示すように、第１のカメラおよび第２のカメラは同一の水平線上に左右方向に配置され、２つのカメラの主光軸（ｐｒｉｍａｒｙ ｏｐｔｉｃａｌ ａｘｅｓ）は平行で、第１のカメラおよび第２のカメラの光学中心はそれぞれＯＬおよびＯＲであり、光学中心と、対応する画像面との間の最短距離が焦点距離ｆである。Ｐを世界座標系の点とすると、左位相面および右位相面上におけるその撮像点がＰＬおよびＰＲであり、ＰＬおよびＰＲから各画像面の左端までの距離が、それぞれＸＬおよびＸＲである。したがって、Ｐの視差はＸＬ−ＸＲまたはＸＲ−ＸＬである。第１のカメラの光学中心ＯＬと、第２のカメラの光学中心ＯＲとの間の距離はｂであり、ＯＬとＯＲとの間の距離ｂに応じて点Ｐの距離Ｚを計算でき、焦点距離ｆ、および視差ＸＬ−ＸＲまたはＸＲ−ＸＬ、ならびにその計算方法は以下の数式（１）で表される。

電子機器は、第１の画像および第２の画像で特徴点マッチングを実行し、第１の画像の特徴点を抽出して、対応する第２の画像の列から最適なマッチ点を見つけ得る。第１の画像の特徴点と、対応する第２の画像との最適なマッチ点は、第１の画像と第２の画像とのそれぞれの中にある同一の点の撮像点と考えてもよい。次に、視差画像を生成するために、第１の画像の特徴点と、第２の画像の対応する最適なマッチ点との間の視差が計算されてもよく、処理対象画像内の各画素の距離情報は、数式（１）に従って計算され得る。

別の実施形態では、処理対象画像の距離情報が、別の方法でさらに取得されてもよい。例えば、処理対象画像の距離情報は、これに限定されないが、光飛行時間測定（ＴＯＦ）などの構造化光の方式で計算されてもよい。

ブロック６０４において、距離情報に従ってポートレートの顔領域の平均距離が計算される。

処理対象画像の顔領域を決定した後に、電子機器は、顔領域の各画素の距離情報（すなわち距離値ｚ）を取得して、顔領域の平均距離を計算してもよい。例では、顔領域の全画素の距離値が平均化され、平均化された値が顔領域の平均距離として決定され得る。

ブロック６０６において、平均距離に従ってポートレートの撮影距離が決定される。

電子機器は、顔領域の平均距離を、直接ポートレートの撮影距離としてもよい。電子機器は、顔領域の平均距離と、ポートレートの撮影距離との間に対応関係をさらに確立し、対応関係に従って顔領域の平均距離に対応する撮影距離を取得し得る。例えば、処理対象画像内の顔領域の平均距離が５０センチメートルであれば、ポートレートの撮影距離は５０センチメートルとそのまま決定されてもよい。代替的な実施形態では、顔領域の平均距離とポートレートの撮影距離との間の対応関係は事前に確立されており、顔領域の平均距離５０センチメートルに対応する撮影距離は、対応関係に従って６０センチメートルになり得る。しかしながら、本明細書において限定するものではない。

実施形態では、ポートレートの撮影距離は処理対象画像の距離情報に従って決定されてもよく、その結果、後で撮影距離に応じて、美化パラメータを適応的に選択するのが容易になる。したがって美化効果が向上し、画像上でより良好な視覚的表示効果が達成され得る。

図８に示すように、実施形態では、撮影距離が事前設定された距離条件を満たしているという判定に応答して、満たされた距離条件と合致するパラメータ関係が取得されるブロック３３０の動作は、ブロック８０２および８０４の後続の動作をさらに含む。

ブロック８０２において、撮影距離が第１の距離閾値よりも短いときは、撮影距離と美化パラメータとの間に正の相関関係を含むパラメータ関係が取得される。

電子機器は距離条件を事前設定してもよく、各距離条件は特定の距離範囲に対応し得る。距離範囲は距離閾値を含んでもよく、距離閾値は、処理対象画像内のポートレートの撮影距離が距離条件を満たしているかどうかを判定するように構成され得る。実施形態では、電子機器は２つの距離条件を設定してもよく、第１の距離条件は第１の距離閾値よりも短くてもよく、第２の距離条件は第２の距離閾値よりも長くてもよい。

処理対象画像内のポートレートの撮影距離が第１の距離閾値よりも短いときは、撮影距離は第１の距離条件を満たし、第１の距離条件のパラメータ関係が取得され、パラメータ関係は、撮影距離と美化パラメータとの間の正の相関関係になり得る。処理対象画像内のポートレートの撮影距離が第１の距離閾値よりも短いときは、撮影距離が短いほど取得した処理対象画像がより不鮮明になる場合があり、撮影距離が短くなるにつれて美化パラメータが低下し得る。

ブロック８０４において、撮影距離が第２の距離閾値よりも長いときは、撮影距離と美化パラメータとの間に負の相関関係を含むパラメータ関係が取得される。

処理対象画像内のポートレートの撮影距離が第２の距離閾値よりも長いときは、撮影距離は第２の距離条件を満たし、第２の距離条件のパラメータ関係が取得され、パラメータ関係は、撮影距離と美化パラメータとの間の負の相関関係になり得る。処理対象画像内のポートレートの撮影距離が第２の距離閾値よりも長いときは、撮影距離が長いほど取得した処理対象画像がより不鮮明になる場合があり、撮影距離が長くなるにつれて美化パラメータが低下し得る。さらに、第１の距離閾値および第２の距離閾値に対応するパラメータ関係は、直線関係になり得る。

図９ａは、本開示の実施形態による、撮影距離が第１の距離閾値よりも短いときの、美化パラメータと撮影距離との間のパラメータ関係の概略図である。図９（ａ）に示すように、撮影距離が第１の距離閾値よりも短いときは、撮影距離は第１の距離条件を満たし、撮影距離は、美化パラメータと正の相関関係を形成し、撮影距離が短くなるにつれて美化パラメータは低下し得る。さらに、正の相関関係は直線関係になり得る。

図９ｂは、本開示の実施形態による、撮影距離が第２の距離閾値よりも大きいときの、美化パラメータと撮影距離との間のパラメータ関係の概略図である。図９（ｂ）に示すように、撮影距離が第２の距離閾値よりも長いときは、撮影距離は第２の距離条件を満たし、撮影距離は、美化パラメータと負の相関関係を形成し、撮影距離が長くなるにつれて美化パラメータは低下し得る。さらに、負の相関関係は直線関係になり得る。美化パラメータと撮影距離との間のパラメータ関係は、図９（ａ）および図９（ｂ）に図示されている関係に限定されず、別の関係になり得ることは理解されよう。

実施形態では、電子機器は、処理対象画像を取得するカメラの焦点距離情報を取得して、焦点距離情報に応じて第１の距離閾値および第２の距離閾値を決定してもよい。焦点距離が異なるカメラの場合、撮影距離が異なっている場合があり、撮影の鮮鋭度を保証できる距離範囲も異なっている。焦点距離が比較的長いときは、比較的近いところにある被写体が取得時に不鮮明になりやすく、対応する第１の距離閾値および第２の距離閾値は比較的大きくなり得る。焦点距離が比較的短いときは、比較的遠いところにある被写体が取得時に不鮮明になりやすく、対応する第１の距離閾値および第２の距離閾値は比較的小さくなり得る。第１の距離閾値および第２の距離閾値は、画像を取得するカメラの焦点距離情報に従って決定され、その結果、選択した美化パラメータがより正確になり、美化効果が向上し得る。

実施形態では、撮影距離が、事前設定された距離条件を満たしていないときのカメラの鮮鋭な撮像範囲に属し、取得した処理対象画像内のポートレートの鮮鋭度が比較的高く、撮影距離が美化パラメータに影響を及ぼさないようにし得る。撮影距離が第１の距離閾値よりも長い、またはこれと等しく、かつ第２の距離閾値よりも短い、またはこれと等しいときは、電子機器は、処理対象画像の顔領域を取得した後に、顔領域における顔の特徴情報を抽出してもよい。次に、電子機器は顔の特徴情報に従って美化パラメータを選択し、美化パラメータに従って、処理対象画像内の顔領域に美化処理を実行してもよい。顔の特徴情報は、これに限定されないが、肌色特徴、肌種特徴、顔型特徴、５つの感覚器官の特徴などを含んでもよい。例では、肌色特徴は、顔の肌領域における各画素の色の値、明るさの値などの情報を含み得る。肌種特徴は、顔の肌領域の質感情報、エッジ情報、エッジ強度などを含み得る。顔型特徴は、顔の輪郭などを形成する特徴点の情報を含み得る。５つの感覚器官の特徴は、５つの感覚器官の形状および位置などを表す特徴点の情報を含み得る。

実施形態では、撮影距離が第１の距離閾値よりも長い、またはこれと等しく、かつ第２の距離閾値よりも短い、またはこれと等しいときは、電子機器は、処理対象画像の顔領域を取得して、顔領域の肌領域を決定し得る。次に電子機器は肌領域の肌種特徴を抽出し、肌種レベルを取得するために、事前設定された分類モデルによって肌種特徴を分析してもよい。電子機器は、肌種レベルに対応するフィルタリングパラメータを取得し、フィルタリングパラメータに応じて、肌領域でフィルタリング処理を実行してもよい。分類モデルは、機械学習によって事前に構築されてもよい。実施形態では、電子機器は事前に分類モデルを構築し、かつサンプル画像を多数取得でき、各サンプル画像で肌種レベルがマークされる。少なくとも１つの実施形態では、肌種レベルは要件に応じて分類されてもよい。サンプル画像における顔の肌は、顔の肌が比較的滑らかできれいな場合は、比較的低い肌種レベルに相当し得る。サンプル画像における顔の肌は、顔の肌がしみ、吹き出物、またはしわを含み欠点が多い場合は、比較的高い肌種レベルに相当し得る。電子機器は、サンプル画像を分類モデルの入力として使用し、分類モデルを構築するために、機械学習などの方式でトレーニングを実行してもよい。

電子機器は、肌種レベルに対応するフィルタリングパラメータを取得し得る。異なる肌種レベルは異なるフィルタリングパラメータに対応してもよく、フィルタリングパラメータは、ウィンドウ半径などのパラメータを含んでもよい。電子機器は、肌種レベルに対応するウィンドウ半径を取得し、ウィンドウ半径に対応する対象ウィンドウを選択し、対象ウィンドウに応じて、肌領域でフィルタリング処理を実行し得る。フィルタリング処理は、エッジ保存平滑化フィルタリング、双方向フィルタリング、ガウスフィルタリングなどであってもよい。フィルタリングパラメータが比較的大きいときは、対応するフィルタリングの程度は比較的高く、電子機器は、フィルタリング処理をするために、比較的大きいウィンドウ半径を有する対象ウィンドウを選択してもよい。この場合、比較的良好な平滑化効果が達成されるが、情報損失が比較的大きくなる場合がある。フィルタリングパラメータが比較的小さいときは、対応するフィルタリングの程度は比較的低く、電子機器は、フィルタリング処理をするために、比較的小さいウィンドウ半径を有する対象ウィンドウを選択してもよい。この場合、情報はより多く保持されるが、平滑化効果が比較的悪くなる場合がある。フィルタリングパラメータは、肌領域の肌種レベルに応じて適応的に選択され、対応するフィルタリングの程度は、肌領域の実際の条件に応じて選択されてもよく、これによって、フィルタリングの程度が過剰に低いことによって生じる平滑化効果の不良状態、フィルタリングの程度が過剰に高いことによって生じる肌の細部の損失などが減少する。

実施形態では、撮影距離に対応する美化パラメータは、満たされた距離条件と合致するパラメータ関係に応じて選択されてもよく、その結果、美化パラメータは撮影距離に応じて適応的に選択され得る。したがって美化効果が向上し、画像上でより良好な視覚的表示効果が達成され得る。

実施形態では、画像処理方法は以下の動作をさらに含む。撮影距離が事前設定された距離条件を満たしているときは、距離条件に対応する強調係数が取得され、強調係数に従ってポートレートに鮮鋭化処理が実行される。

処理対象画像内のポートレートの撮影距離が事前設定された距離条件を満たしているときは、電子機器は撮影距離に対応する強調係数を取得し、強調係数に従ってポートレートを鮮鋭化してもよく、その結果、ポートレートのエッジ詳細が向上し、ポートレートがより鮮鋭化される。さらに、電子機器は強調係数に従ってポートレートの顔領域を鮮鋭化してもよい。撮影距離が第１の距離閾値よりも短いときは、強調係数は撮影距離との間に負の相関関係を形成し得る。撮影距離が短いときは、対応する強調係数が大きくなり得る。撮影距離が第２の距離閾値よりも長いときは、強調係数は撮影距離との間に正の相関関係を形成し得る。撮影距離が長いときは、対応する強調係数が大きくなり得る。

実施形態では、撮影距離が事前設定された距離条件を満たしているときは、電子機器はポートレートの鮮鋭度を取得し得る。次に電子機器は、鮮鋭度に応じて強調係数を選択し、強調係数に従ってポートレートに鮮鋭化処理を実行し得る。

実施形態では、処理対象画像内のポートレートの撮影距離が事前設定された距離条件を満たしているときは、画像内のポートレートを鮮鋭化するためにポートレートに鮮鋭化処理が実行されてもよく、その結果、画像の視覚表示効果が向上され得る。

実施形態では、画像処理方法が提供される。本方法は、以下の動作を含み得る。

動作（１）において、処理対象画像に顔認識が実行される。

動作（２）において、処理対象画像がポートレートを含んでいるという検出に応答して、ポートレートの撮影距離が取得される。

少なくとも１つの実施形態では、ポートレートの撮影距離が取得される動作は、ポートレートの顔領域が取得され、処理対象画像の顔領域の比率が計算され、事前設定された対応関係に従って、比率に対応する撮影距離が取得されることを含む。

少なくとも１つの実施形態では、ポートレートの撮影距離が取得される動作は、距離センサによってポートレートの撮影距離が取得されることを含む。

少なくとも１つの実施形態では、ポートレートの撮影距離が取得される動作は、処理対象画像の距離情報が取得されることと、距離情報に従って、ポートレートの顔領域の平均距離が計算されることと、平均距離に従って、ポートレートの撮影距離が決定されることとを含む。

動作（３）において、撮影距離が事前設定された距離条件を満たしているという判定に応答して、満たされた距離条件に合致するパラメータ関係が取得される。

少なくとも１つの実施形態において、撮影距離が第１の距離閾値よりも短いという判定に応答して、撮影距離と美化パラメータとの間に正の相関関係を含むパラメータ関係が取得され、撮影距離が第２の距離閾値よりも長いという判定に応答して、撮影距離と美化パラメータとの間に負の相関関係を含むパラメータ関係が取得される。

少なくとも１つの実施形態において、動作（３）の前に本方法は、処理対象画像を取得するカメラの焦点距離情報が取得され、焦点距離情報に応じて第１の距離閾値および第２の距離閾値が決定されることを含み得る。

動作（４）において、パラメータ関係に従って、撮影距離に対応する美化パラメータが選択される。

動作（５）において、美化パラメータに従って、ポートレートに美化処理が実行される。

動作（６）において、撮影距離が事前設定された距離条件を満たしているときは、距離条件に対応する強調係数が取得され、強調係数に従ってポートレートに鮮鋭化処理が実行される。

実施形態では、処理対象画像がポートレートを含んでいるという検出に応答して、ポートレートの撮影距離が取得される。撮影距離が事前設定された距離条件を満たしているときは、満たされた距離条件に合致するパラメータ関係が取得され、パラメータ関係に従って、撮影距離に対応する美化パラメータが選択され、美化パラメータに従ってポートレートに美化処理が実行される。したがって、美化パラメータを撮影距離に応じて適応的に選択でき、その結果、美化効果が向上し、画像上でより良好な視覚的表示効果が達成され得る。

図１０に示すように、本開示の実施形態は、画像処理装置１０００を提供する。画像処理装置１０００は、認識モジュール１０１０と、距離取得モジュール１０２０と、関係取得モジュール１０３０と、パラメータ選択モジュール１０４０と、処理モジュール１０５０とを含む。

認識モジュール１０１０は、処理対象画像で顔認識を実行するように構成されてもよい。

距離取得モジュール１０２０は、処理対象画像がポートレートを含んでいるという検出に応答して、ポートレートの撮影距離を取得するように構成されてもよい。

少なくとも１つの実施形態では、距離取得モジュール１０２０は、距離センサによってポートレートの撮影距離を取得するようにさらに構成されてもよい。

関係取得モジュール１０３０は、撮影距離が事前設定された距離条件を満たしているという判定に応答して、満たされた距離条件に合致するパラメータ関係を取得するように構成されてもよい。

パラメータ選択モジュール１０４０は、パラメータ関係に応じて、撮影距離に対応する美化パラメータを選択するように構成されてもよい。

処理モジュール１０５０は、美化パラメータに応じて、ポートレートに美化処理を実行するように構成されてもよい。

実施形態では、処理対象画像がポートレートを含んでいるという検出に応答して、ポートレートの撮影距離が取得される。撮影距離が事前設定された距離条件を満たしているときは、満たされた距離条件に合致するパラメータ関係が取得され、パラメータ関係に従って、撮影距離に対応する美化パラメータが選択され、美化パラメータに従ってポートレートに美化処理が実行される。したがって、美化パラメータを撮影距離に応じて適応的に選択でき、その結果、美化効果が向上し、画像上でより良好な視覚的表示効果が達成され得る。

実施形態では、距離取得モジュール１０２０は、比率計算ユニットと、距離取得ユニットとを含んでもよい。

比率計算ユニットは、ポートレートの顔領域を取得し、処理対象画像内の顔領域の比率を計算するように構成されてもよい。

距離取得ユニットは、事前設定された対応関係に従って、比率に対応する撮影距離を取得するように構成されてもよい。

実施形態では、ポートレートの撮影距離は、処理対象画像内の顔領域の比率に応じて取得でき、その結果、後で撮影距離に応じて美化パラメータを適応的に選択するのを容易にするために、撮影距離が正確に取得され得る。したがって美化効果が向上し、画像上でより良好な視覚的表示効果が達成され得る。

実施形態では、距離取得モジュール１０２０は、距離取得ユニットと、距離計算ユニットと、判定ユニットとを含んでもよい。

距離取得ユニットは、処理対象画像の距離情報を取得するように構成されてもよい。距離情報は、処理対象画像内の各被写体と、電子機器との間の距離を示し得る。

距離計算ユニットは、距離情報に従ってポートレートの顔領域の平均距離を計算するように構成されてもよい。

判定ユニットは、平均距離に応じてポートレートの撮影距離を判定するように構成されてもよい。

実施形態では、ポートレートの撮影距離は処理対象画像の距離情報に従って決定されてもよく、後で撮影距離に応じて、美化パラメータを適応的に選択するのが容易になる。したがって美化効果が向上し、画像上でより良好な視覚的表示効果が達成され得る。

実施形態では、パラメータ選択モジュール１０４０は、撮影距離が第１の距離閾値よりも短いという判定に応答して、撮影距離と美化パラメータとの間に正の相関関係を含むパラメータ関係を取得し、撮影距離が第２の距離閾値よりも長いという判定に応答して、撮影距離と美化パラメータとの間に負の相関関係を含むパラメータ関係を取得するようにさらに構成されてもよい。

少なくとも１つの実施形態において、認識モジュール１０１０、距離取得モジュール１０２０、関係取得モジュール１０３０、パラメータ選択モジュール１０４０、および処理モジュール１０５０に加えて、画像処理装置１０００は閾値決定モジュールをさらに含む。

閾値決定モジュールは、処理対象画像を取得するカメラの焦点距離情報を取得し、焦点距離情報に従って第１の距離閾値および第２の距離閾値を決定するように構成されてもよい。

実施形態では、撮影距離に対応する美化パラメータは、満たされた距離条件と合致するパラメータ関係に応じて選択されてもよく、これによって美化パラメータは撮影距離に応じて適応的に選択され、その結果、美化効果が向上し、画像上でより良好な視覚的表示効果が達成され得る。

実施形態では、認識モジュール１０１０、距離取得モジュール１０２０、関係取得モジュール１０３０、パラメータ選択モジュール１０４０、処理モジュール１０５０、および閾値決定モジュールに加えて、画像処理装置１０００は、撮影距離が事前設定された距離条件を満たしているという判定に応答して、距離条件に対応する強調係数を取得し、強調係数に従ってポートレートに鮮鋭化処理を実行するように構成された、鮮鋭化モジュールをさらに含む。

実施形態では、処理対象画像内のポートレートの撮影距離が事前設定された距離条件を満たしているときは、画像内のポートレートを鮮鋭化するためにポートレートに鮮鋭化処理が実行されてもよく、その結果、画像の視覚表示効果が向上する。

本開示の実施形態は、電子機器をさらに提供する。電子機器は、画像処理回路を含む。画像処理回路は、ハードウェアおよび／またはソフトウェア部品によって実施されてもよく、画像信号処理（ＩＳＰ）パイプラインを画定するさまざまな処理ユニットを含んでもよい。図１１は、本開示の実施形態による、画像処理回路の概略図である。図１１に示すように、本開示の実施形態に関連する画像処理技術の各態様は、単に説明の便宜のために示されている。

図１１に示すように、画像処理回路は、ＩＳＰユニット１１４０と、制御論理ユニット１１５０とを含む。撮像装置１１１０によって捕捉された画像データは、最初にＩＳＰユニット１１４０によって処理され、ＩＳＰユニット１１４０は、画像統計情報を捕捉するために画像データを分析し、画像統計情報は、ＩＳＰユニット１１４０および／または撮像装置１１１０の１つ以上の制御パラメータを決定するために利用可能になる。撮像装置１１１０は、１つ以上のレンズ１１１２と、画像センサ１１１４とを有するカメラを含んでもよい。画像センサ１１１４は、カラーフィルタ（ベイヤーフィルタなど）のアレイを含んでもよい。画像センサ１１１４は、画像センサ１１１４の各撮像画素によって捕捉された、光強度および波長情報を取得して、ＩＳＰユニット１１４０によって処理され得る、一連の原画像データを提供してもよい。センサ１１２０（例えば、ジャイロスコープ）は、センサ１１２０のインターフェース種別に基づいて、取得した画像を処理するためのパラメータ（例えば、安定化パラメータ）をＩＳＰユニット１１４０に提供してもよい。センサ１１２０のインターフェースは、標準携帯機器向け撮像アーキテクチャ（Ｓｔａｎｄａｒｄ Ｍｏｂｉｌｅ Ｉｍａｇｉｎｇ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＳＭＩＡ）インターフェース、他のシリアルまたはパラレルカメラインターフェース、あるいはこれらの組み合わせを使用してもよい。

また、画像センサ１１１４は、センサ１１２０に原画像データを送信してもよい。センサ１１２０は、センサ１１２０のインターフェース種別に基づいてＩＳＰユニット１１４０に原画像データを提供してもよく、あるいはセンサ１１２０は、画像メモリ１１３０に原画像データを記憶する。

ＩＳＰユニット１１４０は、さまざまなフォーマットで画素ごとに原画像データを処理する。例えば、各画像画素は、８、１０、１２、または１４ビットのビット深度を有する場合がある。ＩＳＰユニット１１４０は、原画像データ上で１つ以上の画像処理動作を実行して、画像データに関する統計情報を収集し得る。画像処理動作は、同じ、または異なるビット深度精度に従って実行されてもよい。

ＩＳＰユニット１１４０は、画像メモリ１１３０から画像データをさらに受信してもよい。例えば、センサ１１２０のインターフェースが画像メモリ１１３０に原画像データを送信し、画像メモリ１１３０内の原画像データが、処理用にＩＳＰユニット１１４０に提供される。画像メモリ１１３０は、メモリ装置、記憶装置、または電子機器内の独立した専用メモリの一部であってもよく、ダイレクトメモリアクセス（ＤＭＡ）機能を含んでもよい。

画像センサ１１１４のインターフェースから、またはセンサ１１２０のインターフェースから、または画像メモリ１１３０から原画像データを受信するときに、ＩＳＰユニット１１４０が、時間領域フィルタリングなどの１つ以上の画像処理動作を実行してもよい。処理された画像データは、表示する前に他の処理を実行するために、画像メモリ１１３０に送信されてもよい。ＩＳＰユニット１１４０は、画像メモリ１１３０から処理データをさらに受信して、処理データに対し、元の領域、およびＲＧＢおよびＹＣｂＣｒの色空間で画像データ処理を実行してもよい。処理された画像データは、ユーザが見られるように、かつ／またはグラフィック処理ユニット（ＧＰＵ）による他の処理のために、表示装置１１８０に出力されてもよい。また、ＩＳＰユニット１１４０の出力は、画像メモリ１１３０にさらに送信されてもよく、表示装置１１８０は、画像メモリ１１３０から画像データを読み出してもよい。実施形態では、画像メモリ１１３０は、１つ以上のフレームバッファを実装するように構成されてもよい。さらに、ＩＳＰユニット１１４０の出力は、画像データの符号化／復号のために符号器／復号器１１７０に送信されてもよい。符号化された画像データは記憶されてもよく、表示装置１１８０に表示される前に復元されてもよい。

ＩＳＰ１１４０が画像データを処理する動作は、画像データにビデオフロントエンド（ＶＦＥ）処理、およびカメラ後処理（ＣＰＰ）が実行されることを含む。画像データに対するＶＦＥ処理は、画像データのコントラストまたは明るさの補正、デジタル方式で記録された照光状態データの修正、画像データに対する補償処理（例えば、ホワイトバランス、自動ゲイン制御、およびγ補正）、画像データに対するフィルタリング処理を含み得る。画像データに対するＣＰＰは、画像の拡大縮小、ならびに各パスに対するプレビューフレームおよび記録フレームの提供を含み得る。例では、ＣＰＰは、プレビューフレームおよび記録フレームを異なるコーデックで処理してもよい。

ＩＳＰユニット１１４０によって処理された画像データは、表示される前に画像を美化処理するために、美化モジュール１１６０に送信されてもよい。美化モジュール１１６０が画像データに対して実行する美化処理は、白色化、しみの除去、フィルタリング、フェイスリフト、吹き出物の除去、目元拡大などを含んでもよい。美化モジュール１１６０は、電子機器の中央処理ユニット（ＣＰＵ）、ＧＰＵ、コプロセッサなどであってもよい。美化モジュール１１６０によって処理されたデータは、画像データの符号化／復号のために符号器／復号器１１７０に送信されてもよい。符号化された画像データは記憶されてもよく、表示装置１１８０に表示される前に復元されてもよい。また、美化モジュール１１６０は符号器／復号器１１７０と表示装置１１８０との間に配置されてもよく、つまり、美化モジュールは撮像された画像に美化処理を実行する。符号器／復号器１１７０は、電子機器内のＣＰＵ、ＧＰＵ、コプロセッサなどであってもよい。

ＩＳＰユニット１１４０によって決定された統計データは、制御論理ユニット１１５０に送信されてもよい。例えば、統計データは、画像センサ１１１４の自動露出、自動ホワイトバランス、自動焦点、シンチレーション検出、黒レベル補償、レンズ１１１２のシェーディング補正などに関する統計情報を含み得る。制御論理ユニット１１５０は、１つ以上のルーチン（ファームウェアなど）を実行するプロセッサおよびマイクロコントローラを含んでもよく、１つ以上のルーチンは、受信した統計データに従って、撮像装置１１１０の制御パラメータ、およびＩＳＰユニット１１４０の制御パラメータを決定してもよい。例えば、撮像装置１１１０の制御パラメータは、センサ１１２０の制御パラメータ（例えば、ゲイン制御および露出制御の積分時間）、カメラシンチレーション制御パラメータ、レンズ１１１２の制御パラメータ（例えば、焦点合わせまたは拡大縮小の焦点距離）、あるいはこれらのパラメータの組み合わせを含み得る。ＩＳＰユニットの制御パラメータは、自動ホワイトバランスおよび（例えば、ＲＧＢ処理中の）色調整用の、ゲインレベルおよび色補正マトリクスと、レンズ１１１２のシェーディング補正パラメータとを含み得る。

実施形態では、上述の画像処理方法は、図１１の画像処理技術を使用して実施されてもよい。

実施形態では、電子機器が提供される。電子機器は、メモリとプロセッサとを含む。メモリは、プロセッサによって実行されると、プロセッサに以下の動作を実行させるコンピュータプログラムを記憶する。処理対象画像に顔認識が実行される。処理対象画像がポートレートを含んでいるという検出に応答して、ポートレートの撮影距離が取得される。撮影距離が事前設定された距離条件を満たしているという判定に応答して、満たされた距離条件に合致するパラメータ関係が取得される。パラメータ関係に従って撮影距離に対応する美化パラメータが選択され、美化パラメータに従ってポートレートに美化処理が実行される。

実施形態では、プロセッサによって実行される、ポートレートの撮影距離が取得される動作は、ポートレートの顔領域が取得され、処理対象画像内の顔領域の比率が計算されることと、顔領域の比率と撮影距離との間の事前設定された対応関係に従って、計算された比率に対応する撮影距離が取得されることとを含んでもよい。

実施形態では、プロセッサによって実行される、ポートレートの撮影距離が取得される動作は、距離センサによってポートレートの撮影距離が取得されることを含んでもよい。

実施形態では、プロセッサによって実行される、ポートレートの撮影距離が取得される動作は、処理対象画像の距離情報が取得されることと、距離情報に従って、ポートレートの顔領域の平均距離が計算されることと、平均距離に従ってポートレートの撮影距離が決定されることとを含んでもよい。

実施形態では、プロセッサによって実行される方法は、以下の動作を含んでもよい。撮影距離が事前設定された距離条件を満たしていることに応答して、距離条件に対応する強調係数が取得される。強調係数に従って、ポートレートに鮮鋭化処理が実行される。

実施形態では、プロセッサによって実行される、撮影距離が事前設定された距離条件を満たしているという判定に応答した、満たされた距離条件と合致するパラメータ関係の取得は、撮影距離が第１の距離閾値よりも短いという判定に応答して、撮影距離と美化パラメータとの間に正の相関関係を含むパラメータ関係が取得されることと、撮影距離が第２の距離閾値よりも長いという判定に応答して、撮影距離と美化パラメータとの間に負の相関関係を含むパラメータ関係を取得することとを含んでもよい。第１の距離閾値は、第２の距離閾値未満であってもよい。

実施形態では、プロセッサによって実行される方法は、以下の動作を含んでもよい。撮影距離が事前設定された距離条件を満たしているという判定に応答して、満たされた距離条件と合致するパラメータ関係が取得される前に、処理対象画像を取得するカメラの焦点距離情報が取得され、焦点距離情報に従って、第１の距離閾値および第２の距離閾値が決定される。

実施形態において、プロセッサによって実行される方法では、美化パラメータは、白色化パラメータ、フィルタリングパラメータ、目元拡大パラメータ、またはフェイスリフトパラメータのうちの少なくとも１つを含んでもよい。

実施形態では、プロセッサによって実行される、処理対象画像に対して顔認識を実行する動作は、処理対象画像の画像特徴を抽出することと、処理対象画像が顔を含んでいるかどうかを判定するために、事前設定された顔認識モデルによって画像特徴を分析することと、処理対象画像が顔を含んでいるという判定に応答して、処理対象画像がポートレートを含んでいると判定されることとを含んでもよい。画像特徴は、形状特徴、空間特徴、またはエッジ特徴のうちの少なくとも１つを含んでもよい。

実施形態では、プロセッサによって実行される方法は、以下の動作を含んでもよい。処理対象画像内の顔領域の比率が計算された後に、処理対象画像を取得するカメラの焦点距離情報が取得される。焦点距離情報と合致する対応関係が取得され、合致した対応関係に従って、計算された比率に対応する撮影距離が取得される。

実施形態では、コンピュータ可読記憶媒体が提供され、これにコンピュータプログラムが記憶される。コンピュータプログラムは、前述した画像処理方法を実施するためにプロセッサによって実行される。

実施形態では、コンピュータプログラムを含むコンピュータプログラム製品が提供される。コンピュータプログラム製品は電子機器上で実行され、電子機器に上述した画像処理方法を実施させる。

前述した実施形態の方法におけるフローの全部または一部が、コンピュータプログラムの指示を受けた関連ハードウェアによって完了され得ることが当業者には理解されよう。コンピュータプログラムは不揮発性のコンピュータ可読記憶媒体に記憶されてもよく、プログラムが実行されるときに、各方法の実施形態のプロセスが含まれてもよい。例では、記憶媒体は磁気ディスク、光学ディスク、読み出し専用メモリ（ＲＯＭ）などであってもよい。

本明細書で使用される任意のメモリ、記憶装置、データベースその他の媒体は、不揮発性および／または不揮発性メモリを含んでもよい。適切な不揮発性メモリは、ＲＯＭ、プログラム可能ＲＯＭ（ＰＲＯＭ）、電子的にプログラム可能なＲＯＭ（ＥＰＲＯＭ）、電子的に消去可能なプログラム可能ＲＯＭ（ＥＥＰＲＯＭ）、またはフラッシュメモリを含み得る。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）を含んでもよく、外部高速バッファメモリとして使用される。例示的に、ただし無制限に、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、拡張型ＳＤＲＡＭ（ＥＳＤＲＡＭ）、同期リンクＤＲＡＭ（ＳＬＤＲＡＭ）、ラムバスダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトＲＤＲＡＭ（ＤＲＤＲＡＭ）、およびラムバスダイナミックＲＡＭ（ＲＤＲＡＭ）など、さまざまな形態で取得されてもよい。

前述した実施形態のそれぞれの技術的特徴は、自在に組み合わせられてもよい。説明を簡単にするために、前述した実施形態における技術的特徴の可能な組み合わせのすべてが説明されているわけではない。しかしながら、これらの組み合わせが矛盾しない限りにおいて、これらの技術的特徴の任意の組み合わせが本開示の範囲に含まれる。

前述した実施形態は、単に本開示のいくつかの実施モードについて説明し、かつ具体的に詳しく説明するものであるが、本開示の範囲を制限するものとして理解されてはならない。当業者であれば、本開示の概念から逸脱することなく複数の変形および改善をさらに行ってもよく、そのすべてが本開示の保護の範囲に含まれることを指摘したい。したがって、本特許の開示の保護の範囲は、添付の特許請求の範囲に従うものとする。

Claims (11)

1. 画像処理方法であって、
   処理対象画像に対して顔認識を実行するステップ（３１０）と、
   前記処理対象画像がポートレートを含んでいるという検出に応答して、前記ポートレートの撮影距離を取得するステップ（３２０）と、
   前記撮影距離が事前設定された距離条件を満たしているという判定に応答して、前記満たされた距離条件と合致するパラメータ関係を取得するステップ（３３０）と、
   前記パラメータ関係に従って、前記撮影距離に対応する美化パラメータを選択するステップ（３４０）と、
   前記美化パラメータに従って、前記ポートレートに美化処理を実行するステップ（３５０）とを備えることを特徴とする、方法。
2. 前記ポートレートの前記撮影距離を取得するステップ（３２０）が、
   前記ポートレートの顔領域を取得して、前記処理対象画像の前記顔領域の比率を計算するステップ（４０２）と、
   前記顔領域の比率と撮影距離との間の事前設定された対応関係に従って、前記計算された比率に対応する前記撮影距離を取得するステップ（４０４）とを備える、請求項１に記載の方法。
3. 前記ポートレートの前記撮影距離を取得するステップ（３２０）が、距離センサによって前記ポートレートの前記撮影距離を取得することを備える、請求項１に記載の方法。
4. 前記ポートレートの前記撮影距離を取得するステップ（３２０）が、
   前記処理対象画像の距離情報を取得するステップ（６０２）と、
   前記距離情報に従って、前記ポートレートの前記顔領域の平均距離を計算するステップ（６０４）と、
   前記平均距離に従って、前記ポートレートの前記撮影距離を決定するステップ（６０６）とを備える、請求項１に記載の方法。
5. 前記撮影距離が前記事前設定された距離条件を満たしているという判定に応答して、前記距離条件に対応する強調係数を取得するステップと、
   前記強調係数に従って、前記ポートレートに鮮鋭化処理を実行するステップとをさらに備える、
   請求項１に記載の方法。
6. 前記撮影距離が前記事前設定された距離条件を満たしているという判定に応答して、前記満たされた距離条件と合致する前記パラメータ関係を取得するステップ（３３０）が、
   前記撮影距離が第１の距離閾値よりも短いという判定に応答して、撮影距離と美化パラメータとの間に正の相関関係を備えるパラメータ関係を取得するステップ（８０２）と、
   前記撮影距離が第２の距離閾値よりも長いという判定に応答して、撮影距離と美化パラメータとの間に負の相関関係を備えるパラメータ関係を取得するステップ（８０４）とを備え、
   前記第１の距離閾値が、前記第２の距離閾値未満である、
   請求項１から５のいずれか一項に記載の方法。
7. 前記撮影距離が前記事前設定された距離条件を満たしているという判定に応答して、前記満たされた距離条件と合致する前記パラメータ関係を取得するステップ（３３０）の前に、
   前記処理対象画像を取得するカメラの焦点距離情報を取得して、前記焦点距離情報に従って、前記第１の距離閾値および前記第２の距離閾値を決定するステップをさらに備える、
   請求項６に記載の方法。
8. 前記美化パラメータが、白色化パラメータ、フィルタリングパラメータ、目元拡大パラメータ、またはフェイスリフトパラメータのうちの少なくとも１つを備える、請求項１〜７のいずれか一項に記載の方法。
9. 処理対象画像に対して顔認識を実行するステップ（３１０）が、
   前記処理対象画像の画像特徴を抽出するステップと、
   前記処理対象画像が顔を含んでいるかどうかを判定するために、事前設定された顔認識モデルによって前記画像特徴を分析するステップと、
   前記処理対象画像が顔を含んでいるという判定に応答して、前記処理対象画像が前記ポートレートを含んでいると判定するステップとを備え、
   前記画像特徴が、形状特徴、空間特徴、またはエッジ特徴のうちの少なくとも１つを備える、
   請求項１に記載の方法。
10. １つ以上のコンピュータプログラムを記憶するメモリと、
    プロセッサであって、前記プロセッサが、請求項１から９のいずれか一項に記載の画像処理方法を実行できるように、前記メモリに記憶された前記１つ以上のコンピュータプログラムを実行するように構成された、プロセッサとを備える、
    画像処理装置。
11. コンピュータプログラムを記憶し、請求項１から９のいずれか一項に記載の方法を実施するために、前記コンピュータプログラムがプロセッサによって実行される、コンピュータ可読記憶媒体。