本願の実施形態は、端末分野に、より具体的には、端末分野における撮影方法、撮影装置、及びモバイル端末に関係がある。
撮影技術の継続的な発展及びモバイル端末の広範囲にわたる使用とともに、モバイル端末の撮影機能は、人々によってますます好まれている。既存のモバイル端末は、自動撮影モード又は、ユーザが撮影パラメータを手動で設定することができるモードを提供することができる。
撮影対象の周りの光が比較的に弱いか、あるいは、ユーザが写真を撮影するときに激しい振動が起こる場合に、モバイル端末の自動撮影モードで撮られた写真の効果は、通常は比較的に悪い。図1に示されるように、ユーザの手が撮影中に揺れる場合に、取得された写真は比較的に不鮮明である。図2に示されるように、光が比較的に乏しい場合に、取得された写真は深刻なノイズを有している。既存のモバイル端末は、撮影パラメータを手動で設定するモードも提供するが、一般的なユーザは、撮影技術の理解が不十分であるから、種々のシナリオに基づき様々な撮影パラメータを手動で設定することは、一般的なユーザにとって非常に困難である。従って、既存のモバイル端末の自動撮影モードを使用することによって撮影が行われる場合に、画像の撮影効果は比較的に悪い。
本願は、画像の撮影効果を改善するように、撮影方法、撮影装置、及びモバイル端末を提供する。
第1の態様に従って、本願の実施形態は撮影方法を提供する。方法は、
モバイル端末によって、プレビューされる第1画像を取得することと、
前記モバイル端末によって、現在の撮影モードを決定し、該撮影モードは撮影ステータス及び撮影シーンを含み、前記撮影ステータスは手持ち状態又は三脚状態を含み、前記撮影シーンは光源シーン又は暗シーンを含む、ことと、
前記モバイル端末によって、前記第1画像及び前記撮影モードに基づき露出パラメータシーケンスを決定し、該露出パラメータシーケンスは、撮影時間の昇順でソートされた少なくとも2つの露出パラメータを含み、該露出パラメータは、撮影中に前記モバイル端末に許される光を制御するために使用される、ことと、
前記モバイル端末によって、前記露出パラメータシーケンスに含まれる前記露出パラメータに基づき少なくとも2つのフレームを取得することと、
前記モバイル端末によって、前記撮影モード及び前記少なくとも2つのフレームの一部又は全てに基づき合成処理を実行して、ターゲット画像を取得することと、
前記モバイル端末によって、前記ターゲット画像を出力することと
を含む。
任意に、モバイル端末がプレビューされる第1画像を取得する前に、モバイル端末は、ユーザによって入力される検出されたカメラ起動命令に基づき、カメラによってリアルタイムで取得される画像のプレビューを、表示インターフェイスを使用することによってユーザに対して表示し得る。相応して、ユーザは、モバイル端末のカメラを起動し、そして、モバイル端末の表示インターフェイスを使用することによって、カメラによってリアルタイムで取得される画像をプレビューし得る。
第1画像は、モバイル端末のカメラが起動するときに直接捕捉される画像として理解されてよく、あるいは、ユーザがシャッターを押した後の最初の撮影画像として理解されてもよいことが留意されるべきである。これは、本願のこの実施形態において制限されない。
任意に、モバイル端末は、トリガイベント又は前もってセットされた第2存続期間に基づき、プレビューされる第1画像を取得してもよい。これは、本願のこの実施形態において制限されない。
本願のこの実施形態で、前もってセットされた第2存続期間は、前もってセットされた存続期間して理解されてよいことが理解されるべきである。
可能な実施において、モバイル端末は、ユーザによって入力された検出された撮影指示に従って現在のプレビュー画像を取得し、現在のプレビュー画像を第1画像として決定してよい。
例えば、モバイル端末は、ユーザがシャッター(撮影)ボタンの位置をクリックする動作を検出するときに、現在のプレビュー画像を取得してよい。
他の可能な実施において、モバイル端末は、前もってセットされた第2存続期間の終了時点で現在のプレビュー画像を取得し、現在のプレビュー画像を第1画像として決定してよい。
例えば、モバイル端末は、撮影機能を起動した後にタイマを起動してよい。タイマの長さは5sである。タイマが経過するときに、モバイル端末は現在のプレビュー画像を取得する。
任意に、モバイル端末は、複数の方法で撮影モードを決定してよい。これは、本願のこの実施形態において制限されない。
可能な実施において、モバイル端末は、ユーザによって入力された撮影モード指示を取得してよい。撮影モード指示は、ユーザによって指定された撮影モードを示すために使用される。
他の可能な実施において、モバイル端末は、第1画像に基づき撮影モードを自動で決定してよい。具体的に、モバイル端末は、カメラによって捕捉された第1画像に基づき、現在の撮影についての撮影ステータス及び/又は撮影シーンを決定する。
任意に、モバイル端末は、複数の方法で撮影ステータスを決定してよい。これは、本願のこの実施形態において制限されない。
可能な実施において、モバイル端末は、前もってセットされた第1存続期間内にセンサによって収集される複数のセンサデータに基づき撮影ステータスを決定してよい。センサデータは、モバイル端末と水平方向又は重力方向との間の角度を示すために使用される。
例えば、複数のセンサデータの平均値(又は最大値)が前もってセットされた第1値以上である場合に、モバイル端末は、撮影ステータスが手持ち状態であると決定し、あるいは、複数のセンサデータの平均値(又は最大値)が第1値に満たない場合に、モバイル端末は、撮影ステータスが三脚状態であると決定する。
任意に、センサはジャイロセンサ、角速度センサ、加速度センサ、又はモバイル端末と水平方向又は重力方向との間の角度を示すセンサデータを取得可能な他のセンサであってよい。これは、本願のこの実施形態において制限されない。
任意に、モバイル端末は、複数の方法で撮影モードを決定してよい。これは、本願のこの実施形態において制限されない。
可能な実施において、モバイル端末は、第1画像の輝度値に基づき撮影シーンを決定してよい。
具体的に、モバイル端末は、輝度値が前もってセットされた第2値よりも大きい第1画像内の画素の数に基づき、撮影シーンを決定してよい。
例えば、全ての画素数に対する、輝度値が第2値よりも大きい第1画像内の画素の数の比が、前もってセットされた比率値以上である場合に、モバイル端末は、撮影シーンが光源シーンであると決定し、あるいは、全ての画素数に対する、輝度値が第2値よりも大きい第1画像内の画素の数の比が、比率値に満たない場合に、モバイル端末は、撮影シーンが暗シーンであると決定する。
任意に、モバイル端末は、表示インターフェイスを使用することによってユーザに第1プロンプト情報を表示してよい。第1プロンプト情報は、ユーザに撮影モードをプロンプトするために使用される。
以下は、どのようにしてモバイル端末が種々の撮影モードにおいて第1画像及び撮影モードに基づき露出パラメータシーケンスを決定するかについて記載する。
続く実施形態は、単に、露出パラメータが露出存続期間及び光感度を含むところの例を使用することによって記載されることが、理解されるべきである。
露出パラメータは、開口値のような他のパラメータ値を更に含んでもよいことが留意されるべきである。これは、本願のこの実施形態において制限されない。
撮影モード1:三脚及び光源モード
前記撮影シーンが前記光源シーンである場合に、前記モバイル端末は、前記第1画像内の第1領域の画素平均、前記第1画像内の第2領域の画素平均、及び前記第1画像の露出パラメータに基づき、前記露出基準シーケンスに含まれる第1露出パラメータ及び第2露出パラメータを決定する。
前記第1領域は、前記第1画像において最大である画素値を有する少なくとも2つの画素を含み、前記第2領域は、前記第1画像において最小である画素値を有する少なくとも2つの画素を含む。前記第1露出パラメータを使用することによって取得されるフレーム内で前記第1領域に対応する領域の画素平均は、前もってセットされた第1画素閾値に等しく、前記第1領域の画素平均は、前記第1画素閾値以上である。前記第2露出パラメータを使用することによって取得されるフレーム内で前記第2領域に対応する領域の画素平均は、前もってセットされた第2画素閾値に等しく、前記第2領域の画素平均は、前記第2画素閾値以下である。前記第1画素閾値は、前記第2画素閾値よりも大きい。前記第1露出パラメータに対応する撮影時間は、前記第2露出パラメータに対応する撮影時間よりも早い。
前記撮影ステータスが前記三脚状態である場合に、モバイル端末は、前記露出シーケンスの前記露出パラメータに含まれる光感度が前もってセットされた第1光感度以下であると決定する。
本願のこの実施形態で、第1領域(又は第2領域)の画素平均は、画素の数に対する、第1領域(又は第2領域)内の画素の画素値の和の比として理解され得ることが留意されるべきである。可能な代替の方法では、第1領域(又は第2領域)の画素平均は、第1領域(又は第2領域)内の画素の画素値の和により置き換えられてよい。これは、本願のこの実施形態において制限されない。
第1領域の画素平均が第1画素閾値以上である場合に、第1領域は露出過度領域であり、第1領域の輝度は低減される必要があり、同様に、第2領域の画素平均が第2画素閾値以下である場合に、それは、第2領域が露出不足領域であることを示し、第2領域の輝度は増大される必要があることが更に留意されるべきである。
光源シーンでは、画像内の画素の輝度の分布範囲は比較的に広く、露出過度又は露出不足が起こる可能性がある。従って、モバイル端末は、第1露出パラメータを使用することによって取得されるフレームに基づき露出過度領域(第1領域)の輝度を低減し、且つ、第2露出パラメータを使用することによって取得されるフレームに基づき露出不足領域(第2領域)の輝度を増大させて、合成を通じて高ダイナミックレンジで画像を取得することができ、それによって、画像内の明るくあるべき領域は明るく、画像内の暗くあるべき領域は暗く、画像はより多くのディテールを含む。
画像の画素値は0から255であり、全部で256個の値があることが理解されるべきである。値が大きいほど、輝度は高い。0は、完全黒の最も暗い領域を示し、255は最も高い輝度の完全白色を示し、0から255の間の数は、異なる輝度のグレー色を示す。
例えば、第1画像の露出存続期間は1sであり、第1画像の光感度は100であり、第1画像は、画素値が夫々5、5、60、80、250、及び250である6つの画素を含むとすれば、第1領域は、画素値が最大である2つの画素を含み、すなわち、第1領域の画素平均は250であり、第2領域は、画素値が最小である2つの画素を含み、すなわち、第2領域の画素平均は5である。
露出パラメータが露出存続期間及び光感度を含むとき、露出パラメータに対応する入射光は、露出存続期間と光感度との積として理解され得ることが理解されるべきである。
第1画素閾値が200であるとすれば、第1領域の画素平均は250であり、第1画像の露出パラメータに対応する入射光は100であるから、第1露出パラメータに対応する入射光は、200×100/250=80であることが分かる。
第2画素閾値が30であるならば、第2領域の画素平均は5であり、第1画像の露出パラメータに対応する入射光は100であるから、第2露出パラメータに対応する入射光は、30×100/5=600であることが分かる。
入射光が同じであるとき、より光感度が低い画像は、より小さい画像ノイズ及びより良い撮影効果を有している。モバイル端末は、三脚状態において比較的に安定している。従って、三脚状態では、モバイル端末は、露出パラメータの光感度を、前もってセットされた光感度以下の値に設定する。
すなわち、三脚状態では、モバイル端末は、画像の撮影効果を改善するために、相対的により低い光感度及び比較的に長い露出存続期間に基づき画像を取得する。
可能な実施において、露出パラメータシーケンスにおいて露出パラメータに含まれる露出存続期間は逐次増大し、あるいは、露出パラメータシーケンスにおいて露出パラメータに含まれる光感度は逐次増大する。
例えば、前もってセットされた光感度が200であるすれば、第1露出パラメータの露出存続期間は0.5sであってよく、第1露出パラメータの光感度は160であってよく、第2露出パラメータの露出存続期間は3sであってよく、第2露出パラメータの光感度は200であってよい。
任意に、前記露出パラメータシーケンスは、撮影時間の昇順でソートされた少なくとも1つの第4露出パラメータを更に含んでもよい。該少なくとも1つの第4露出パラメータのいずれか1つに対応する撮影時間は、前記第1露出パラメータに対応する撮影時間よりも遅いが、前記第2露出パラメータに対応する撮影時間よりも早い。
任意に、前記露出パラメータシーケンスに含まれる前記露出パラメータに対応する入射光は、撮影時間の昇順で逐次増大してよい。具体的に言えば、露出シーケンスにおいて、第1露出パラメータに対応する入射光は最小であり、第2露出パラメータに対応する入射光は最大である。少なくとも1つの第4露出パラメータは、第1露出パラメータと第2露出パラメータとの間に設定されてよく、それにより、その後の合成処理プロシージャで2つの連続フレーム間の比較的大きい差から生じるフレーム合成効果に対する影響を回避するために、露出シーケンスに含まれる露出パラメータに対応する入射光は、撮影時間の昇順で逐次増大する。
任意に、露出シーケンスに含まれるいずれか2つの露出パラメータに対応する入射光の間の差は、いずれかの他の2つの露出パラメータに対応する入射光の間の差に等しくても又は等しくなくてもよい。これは、本願のこの実施形態において制限されない。
例えば、1つの第4露出パラメータが第1露出パラメータと第2露出パラメータとの間に含まれ、第1露出パラメータの露出存続期間は0.5sであり、第1露出パラメータの光感度は160であり、第2露出パラメータの露出存続期間は3sであり、第2露出パラメータの光感度は200であるとすれば、第4露出パラメータの露出存続期間は1sに設定されてよく、第4露出パラメータの光感度は180に設定されてよい。
他の例として、2つの第4露出パラメータが第1露出パラメータと第2露出パラメータとの間に含まれ、第1露出パラメータの露出存続期間は0.5sであり、第1露出パラメータの光感度は160であり、第2露出パラメータの露出存続期間は3sであり、第2露出パラメータの光感度は200であるとすれば、第1の第4露出パラメータの露出存続期間は1sに設定されてよく、第1の第4露出パラメータの光感度は180に設定されてよく、第2の第4露出パラメータの露出存続期間は2sに設定されてよく、第2の第4露出パラメータの光感度は180に設定されてよい。
任意に、モバイル端末の最大露出パラメータを使用することによって取得されるフレーム内で第2領域に対応する領域の画素値が、依然として第2画素閾値よりも小さい場合に、すなわち、露出不足領域の輝度が依然として望ましくない場合に、この場合、モバイル端末は、露出不足領域の輝度を増大させるように、第2露出パラメータの後ろに少なくとも1つの第2露出パラメータ(例えば、図6において斜線パターンによって示されている第2露出パラメータ)を加えてよい。
本願のこの実施形態で提供される撮影方法によれば、光源シーンでは、異なる露出レベルでの同じ撮影対象のフレームが、異なる露出パラメータを設定することによって取得される。第1露出パラメータは、フレーム内の明領域の画像ディテールを回復するために使用され、第2露出パラメータは、フレーム内の暗領域の画像ディテールを回復するために使用される。異なる露出パラメータを使用することによって取得されるフレームは合成される。このようにして、画像のダイナミックレンジを改善し、それによって、画像の撮影効果を改善するために、最終的な画像の大域的ディテール及び輝度の両方がバランスを取られる。三脚状態において、入射光が同じである場合に、画像ノイズは、画像の撮影効果を改善するために、比較的に長い露出存続期間及び比較的に低い光感度を設定することによって更に低減可能である。
撮影モード2:手持ち及び光源モード
前記撮影シーンが前記光源シーンである場合に、前記モバイル端末は、前記第1画像内の第1領域の画素平均、前記第1画像内の第2領域の画素平均、及び前記第1画像の露出パラメータに基づき、前記露出基準シーケンスに含まれる第1露出パラメータ及び第2露出パラメータを決定する。
前記第1領域は、前記第1画像において最大である画素値を有する少なくとも2つの画素を含み、前記第2領域は、前記第1画像において最小である画素値を有する少なくとも2つの画素を含む。前記第1露出パラメータを使用することによって取得されるフレーム内で前記第1領域に対応する領域の画素平均は、前もってセットされた第1画素閾値に等しく、前記第1領域の画素平均は、前記第1画素閾値以上である。前記第2露出パラメータを使用することによって取得されるフレーム内で前記第2領域に対応する領域の画素平均は、前もってセットされた第2画素閾値に等しく、前記第2領域の画素平均は、前記第2画素閾値以下である。前記第1画素閾値は前記第2画素閾値よりも大きい。前記第1露出パラメータに対応する撮影時間は、前記第2露出パラメータに対応する撮影時間よりも早い。
前記撮影ステータスが前記手持ち状態である場合に、前記モバイル端末は、前記露出基準シーケンスが基準露出パラメータを含み、且つ、前記露出シーケンスの前記露出パラメータに含まれる露出存続期間が前もってセットされた第1露出存続期間以下であると決定する。前記基準露出パラメータは、前記露出パラメータシーケンスにおいて最も早い撮影時間を有する露出パラメータであり、前記基準露出パラメータに対応する入射光は、前記第1露出パラメータに対応する入射光よりも多いが、前記第2露出パラメータに対応する入射光よりも少ない。
本願のこの実施形態で、第1領域(又は第2領域)の画素平均は、画素の数に対する、第1領域(又は第2領域)内の画素の画素値の和の比として理解され得ることが留意されるべきである。可能な代替の方法では、第1領域(又は第2領域)の画素平均は、第1領域(又は第2領域)内の画素の画素値の和により置き換えられてよい。これは、本願のこの実施形態において制限されない。
第1領域の画素平均が前もってセットされた第1画素閾値以上である場合に、それは、第1領域が露出過度領域であることを示し、第1領域の輝度は低減される必要があり、同様に、第2領域の画素平均が前もってセットされた第2画素閾値以下である場合に、それは、第2領域が露出不足領域であることを示し、第2領域の輝度は増大される必要があることが更に留意されるべきである。
例えば、第1画像の露出存続期間は1sであり、第1画像の光感度は100であり、第1画像は、図5に示されるように、画素値が夫々5、5、60、80、250、及び250である6つの画素を含むとすれば、第1領域は、画素値が最大である2つの画素を含み、すなわち、第1領域の画素平均は250であり、第2領域は、画素値が最小である2つの画素を含み、すなわち、第2領域の画素平均は5である。
露出パラメータが露出存続期間及び光感度を含むとき、露出パラメータに対応する入射光は、露出存続期間と光感度との積として理解され得ることが理解されるべきである。
前もってセットされた第1画素閾値が200であるとすれば、第1領域の画素平均は250であり、第1画像の露出パラメータに対応する入射光は100であるから、第1露出パラメータに対応する入射光は、200×100/250=80であることが分かる。
前もってセットされた第2画素閾値が30であるならば、第2領域の画素平均は5であり、第1画像の露出パラメータに対応する入射光は100であるから、第2露出パラメータに対応する入射光は、30×100/5=600であることが分かる。
手持ちモードでは振動が起こる可能性があるので、モバイル端末は、前もってセットされた露出存続期間以下である値に露出パラメータの露出存続期間を設定する。
すなわち、手持ち状態では、モバイル端末は、画像の撮影効果を改善するために、比較的に短い露出存続期間及び比較的に高い光感度に基づき画像を取得する。
可能な実施において、露出パラメータシーケンスにおいて露出パラメータに含まれる露出存続期間は逐次増大し、且つ/あるいは、露出パラメータシーケンスにおいて露出パラメータに含まれる光感度は逐次増大する。
例えば、前もってセットされた露出存続期間が1sであるとすれば、第1露出パラメータの露出存続期間は0.2sであってよく、第1露出パラメータの光感度は400であってよく、第2露出パラメータの露出存続期間は0.5sであってよく、第2露出パラメータの光感度は1200であってよい。
他の例として、第1露出パラメータの露出存続期間が0.2sであり、第1露出パラメータの光感度が400であり、第2露出パラメータの露出存続期間が0.5sであり、第2露出パラメータの光感度が1200であるすれば、基準露出パラメータは、第1露出パラメータの前に設定されてよい。例えば、基準露出パラメータの露出存続期間は0.3sであってよく、基準露出パラメータの光感度は800であってよい。
任意に、前記露出パラメータシーケンスは、撮影時間の昇順でソートされた少なくとも1つの第4露出パラメータを更に含んでもよい。該少なくとも1つの第4露出パラメータのいずれか1つに対応する撮影時間は、前記第1露出パラメータに対応する撮影時間よりも遅いが、前記第2露出パラメータに対応する撮影時間よりも早い。
任意に、前記露出パラメータシーケンスに含まれる前記露出パラメータに対応する入射光は、撮影時間の昇順で逐次増大してよい。具体的に言えば、露出シーケンスにおいて、第1露出パラメータに対応する入射光は最小であり、第2露出パラメータに対応する入射光は最大である。少なくとも1つの第4露出パラメータは、第1露出パラメータと第2露出パラメータとの間に設定されてよく、それにより、その後の合成処理プロシージャで2つの連続フレーム間の比較的大きい差から生じる画像合成効果に対する影響を回避するために、露出シーケンスに含まれる露出パラメータに対応する入射光は、撮影時間の昇順で逐次増大する。
任意に、モバイル端末の最大露出パラメータを使用することによって取得される画像内で第2領域に対応する領域の画素平均が、依然として前もってセットされた第2画素閾値よりも小さい場合に、すなわち、露出不足領域の輝度が依然として望ましくない場合に、この場合、モバイル端末は、露出不足領域の輝度を増大させるように、第2露出パラメータの後ろに少なくとも1つの第2露出パラメータ(例えば、図7において斜線パターンによって示されている第2露出パラメータ)を加えてよい。
本願のこの実施形態で提供される撮影方法によれば、光源シーンでは、画像内の画素の輝度の変化は比較的に大きく、露出過度又は露出不足が起こる可能性がある。従って、モバイル端末は、第1露出パラメータを使用することによって取得されるフレームに基づき露出過度領域の輝度を低減し、第2露出パラメータを使用することによって取得されるフレームに基づき露出不足領域の輝度を増大して、合成を通じて高ダイナミックレンジで画像を取得することができ、それによって、画像内の明るくあるべき領域は明るく、画像内の暗くあるべき領域は暗く、画像はより多くのディテールを含む。
その上、手持ちモードでは、モバイル端末は、十分に安定しておらず、振動する可能性がある。結果として、撮影された画像は、振動により不鮮明であることがあり、複数の連続した撮影フレームは、振動によりアライメントされない可能性がある。従って、振動による不鮮明な画像を回避するために、露出存続期間は、可能な限り小さい値に設定される必要がある。その上、基準露出パラメータは、露出シーケンスの最前に設定される必要があり、基準露出パラメータを使用することによって取得される画像は、その後に撮影されるフレームをアライメントするために使用される。
任意に、三脚状態において露出パラメータシーケンスに含まれる露出パラメータの数は、手持ち状態において露出パラメータシーケンスに含まれる露出パラメータの数よりも多くなり得る。
撮影モード3:三脚及び暗モード
前記撮影シーンが前記暗シーンである場合に、前記モバイル端末は、前記第1画像の画素平均及び前記第1画像の露出パラメータに基づき、前記露出基準シーケンスに含まれる複数の第3露出パラメータを決定する。
前記第3露出パラメータを使用することによって取得されるフレームの画素平均は、前もってセットされた第3画素閾値に等しく、前記第1画像の画素平均は、前もってセットされた画素閾値以下である。
前記撮影ステータスが前記三脚状態である場合に、前記モバイル端末は、前記露出シーケンスの前記露出パラメータに含まれる光感度が前もってセットされた光感度以下であると決定する。
本願のこの実施形態で、第1画像の画素平均は、画素の数に対する、第1画像内の画素の画素値の和の比として理解され得ることが留意されるべきである。可能な代替の方法では、第1画像の画素平均は、第1画像内の画素の画素値の和により置き換えられてよい。これは、本願のこの実施形態において制限されない。
第1画像の画素平均が前もってセットされた第3画素閾値以下である場合に、それは、第1画像が露出不足画像であることを示し、第1画像の輝度は増大される必要があることが更に留意されるべきである。
例えば、第1画像の露出存続期間は1sであり、第1画像の光感度は100であり、第1画像は、図5に示されるように、画素値が夫々5、5、60、80、250、及び250である6つの画素を含むとすれば、第1画像の画素平均は108である。
露出パラメータが露出存続期間及び光感度を含むとき、露出パラメータに対応する入射光は、露出存続期間と光感度との積として理解され得ることが理解されるべきである。
第3画素閾値が128であるとすれば、第1画像の画素平均は108であり、第1画像の露出パラメータに対応する入射光は100であるから、第3露出パラメータに対応する入射光は、200×100/250=118であることが分かる。
入射光が同じであるとき、より光感度が低い画像は、より小さい画像ノイズ及びより良い撮影効果を有している。モバイル端末は、三脚モードにおいて比較的に安定している。従って、三脚モードでは、モバイル端末は、露出パラメータの光感度を、前もってセットされた第1光感度よりも小さい値に設定し、相対的により低い光感度及び比較的に長い露出存続期間に基づき画像を取得する。
要するに、前もってセットされた第1光感度が100であるとすれば、第3露出パラメータの露出存続期間は、例えば、1.2sであってよく、第3露出パラメータの光感度は、例えば、100であってよい。
本願のこの実施形態で提供される撮影方法によれば、暗シーンでは、光が比較的弱く、画像輝度が比較的に乏しく、露出過度は起こらない。従って、モバイル端末は、画像輝度を増大させるように、複数の第3露出パラメータを使用することによって取得されるフレームに基づき露出不足領域の輝度を増大させてよく、それにより、画像はより多くのディテールを含んで、画像の撮影効果を改善する。三脚状態において、入射光が同じである場合に、画像ノイズは、画像の撮影効果を改善するために、比較的に長い露出存続期間及び比較的に低い光感度を設定することによって更に低減可能である。
撮影モード4:手持ち及び暗モード
前記撮影シーンが前記暗シーンである場合に、前記モバイル端末は、前記第1画像の画素平均及び前記第1画像の露出パラメータに基づき、前記露出基準シーケンスに含まれる複数の第3露出パラメータを決定する。
前記第3露出パラメータを使用することによって取得されるフレームの画素平均は、前もってセットされた第3画素閾値に等しく、前記第1画像の画素平均は、前記第3画素閾値以下である。
前記撮影ステータスが前記手持ち状態である場合に、前記モバイル端末は、前記露出基準シーケンスが基準露出パラメータを含み、且つ、前記露出シーケンスの前記露出パラメータに含まれる露出存続期間が前もってセットされた露出存続期間以下であると決定する。前記基準露出パラメータは、前記露出パラメータシーケンスにおいて最も早い撮影時間を有する露出パラメータであり、前記基準露出パラメータに対応する入射光は、前記第3露出パラメータに対応する入射光に等しい。
本願のこの実施形態で提供される撮影方法によれば、暗シーンでは、光が比較的弱く、画像輝度が比較的に乏しく、露出過度は起こらない。従って、モバイル端末は、画像輝度を増大させるように、複数の第3露出パラメータを使用することによって取得されるフレームに基づき露出不足領域の輝度を増大させてよく、それにより、画像はより多くのディテールを含んで、画像の撮影効果を改善する。
その上、手持ちモードでは、モバイル端末は、十分に安定しておらず、振動する可能性がある。結果として、撮影された画像は、振動により不鮮明であることがあり、複数の連続した撮影フレームは、振動によりアライメントされない可能性がある。従って、振動による不鮮明な画像を回避するために、露出存続期間は、可能な限り小さい値に設定される必要がある。その上、基準露出パラメータは、露出シーケンスの最前に設定される必要があり、基準露出パラメータを使用することによって取得される画像は、その後に撮影されるフレームをアライメントするために使用される。
以下は、どのようにしてモバイル端末が種々の撮影モードにおいて少なくとも2つのフレームの一部又は全てに基づき合成処理を実行してターゲット画像を取得するかについて記載する。
撮影モード1:三脚及び光源モード
前記少なくとも2つのフレームがN個のフレームを含み、Nが1よりも大きい整数であると仮定して、前記合成処理は、撮影モード1において、画素重ね合わせ処理及びフレーム融合処理を含むことが留意されるべきである。
具体的に、モバイル端末は、iの値が2、3、・・・又はNであるとして、前記N個のフレームに含まれるi番目のフレームと、最初のi−1個のフレームの合成処理結果とに対して画素重ね合わせ処理を実行して、最初のi個のフレームの画素重ね合わせ処理結果を取得し、前記端末デバイスは、前記最初のi個のフレームの前記画素重ね合わせ処理結果及び前記i番目のフレームに対してフレーム融合処理を実行して、i番目の候補ターゲット画像を取得し、モバイル端末は、前記表示インターフェイスを使用することによって前記ユーザに前記i番目の候補ターゲット画像及び第2プロンプト情報を表示し、該第2プロンプト情報は、前記合成処理を終了すべきか又は終了しないべきかを前記ユーザにプロンプトするために使用され、前記モバイル端末が、前もってセットされた第1存続期間内に、前記ユーザによって前記第2プロンプト情報に基づき入力される合成処理終了指示を検出する場合に、前記モバイル端末は、前記合成処理を中止し、前記i番目の候補ターゲット画像を前記ターゲット画像として決定する。
iの値が2であるとき、最初の1つの画像の合成処理結果は、第1候補ターゲット画像、又は最初の1つの画像の画素重ね合わせ処理結果、又は第1画像として理解され得ることが留意されるべきである。
可能な実施において、モバイル端末が最初のi−1個のフレームの合成処理結果及びi番目のフレームに対して画素重ね合わせ処理を実行することは、モバイル端末が、最初のi−1個のフレームの合成処理結果の前もってセットされた第1重みと、i番目のフレームの前もってセットされた第2重みとに基づき、最初のi−1個のフレームの合成処理結果及びi番目のフレームに対して画素重ね合わせ処理を実行することとして理解され得る。前もってセットされた第1重みと前もってセットされた第2重みとの和は、1よりも大きいが2よりも小さい。
例えば、前もってセットされた第1重みは1に等しく、前もってセットされた第2重みは0よりも大きいが1よりも小さく、あるいは、前もって設定された第1重み及び前もってセットされた第2重みの両方ともが0よりも大きいが1よりも小さい。
例えば、第1フレーム内の第1画素(行1及び列1にある画素)の画素値が60であり、前もってセットされた第1重みが1であり、第2フレーム内の第1画素の画素値が80であり、前もってセットされた第2重みが0.4であるとすれば、最初の2つのフレームの、画素重ね合わせ処理が第1フレーム及び第2フレームに対して実行された後に取得される画素重ね合わせ処理結果における第1画素の画素値は、60×1+80×0.4=92である。
可能な実施において、モバイル端末は、輝度中心(例えば、画素値が128である画素)により近い画素がより大きい重みを有し、輝度中心からより離れている画素がより小さい重みを有するという、前もってセットされた第1規則に従って、前記最初のi個のフレームの画素重ね合わせ結果内の画素の重みと、前記i番目のフレーム内の画素の重みとを決定し、前記最初のi個のフレームの画素重ね合わせ結果内の画素の重みと、前記i番目のフレーム内の画素の重みに基づき、前記最初のi個のフレームの画素重ね合わせ結果及び前記i番目のフレームに対してフレーム融合処理を実行して、前記i番目の候補ターゲット画像を取得する。
他の例として、最初の2つのフレームの画素重ね合わせ処理結果内の第1画素(行1及び列1にある画素)の画素値が92であり、最初の2つのフレームの画素重ね合わせ処理結果内の第1画素の、前もってセットされた第1規則に従って取得される重みが0.6であり、第2フレーム内の第1画素の画素値が80であり、第2フレーム内の第1画素の、前もってセットされた第1規則に従って取得される重みが0.4であるとすれば、フレーム融合処理が最初の2つのフレームの画素重ね合わせ処理結果及び第2フレームに対して実行されるときに、2つのフレームの重みは最初に正規化され(0.6:0.4=3/5:2/5)、次いで、重ね合わせが実行され、すなわち、第2候補ターゲットフレーム内の第1画素の画素値は、3/5×92+2/5×80=87.2である。
すなわち、モバイル端末は、最初に、画像輝度を改善するために、N個のフレームに含まれるi番目のフレームと、最初のi−1個のフレームの合成処理結果とに対して画素重ね合わせ処理を実行し、次いで、最初のi個のフレームの重ね合わせ処理結果及びi番目のフレームに対してフレーム融合処理を実行して、それにより、画像全体の全ての領域が輝度中心に近づくようにする。最後に、合成後に取得される画像のダイナミックレンジは改善され、画像の撮影効果は改善される。
上記の例では、画素重ね合わせ処理プロシージャ及びフレーム融合処理プロシージャは、第1フレーム及び第2フレームにおいて対応する位置にある画素を使用することによって記載されていることが留意されるべきである。2つのフレームにおいて対応する位置にある画素の処理プロシージャは、上記のプロシージャと同様である。繰り返しを避けるために、詳細はここで再びは記載されない。
任意に、前記モバイル端末が、前記前もってセットされた第1存続期間内に、前記ユーザによって前記第2プロンプト情報に基づき入力される合成処理終了指示を検出しない場合に、前記モバイル端末は、前記N個のフレームに含まれる(i+1)番目のフレームと、最初のi個の画像の合成結果とに対して合成処理を実行して、(i+1)番目の候補ターゲット画像を取得し、そして、前記モバイル端末は、前記表示インターフェイスを使用することによって前記ユーザに前記(i+1)番目の候補ターゲット画像及び前記第2プロンプト情報を表示する。
任意に、前記モバイル端末が、前記表示インターフェイスを使用することによって前記ユーザにN番目の候補ターゲット画像を表示した後に、前記前もってセットされた第1存続期間内に、前記ユーザによって入力される合成処理終了指示を受けない場合に、前記モバイル端末は、前記N番目の候補ターゲット画像を前記ターゲット画像として決定する。
すなわち、モバイル端末によって少なくとも2つのフレームに対して合成処理を続けて実行するプロシージャにおいて、合成が実行されるたびに、合成の合成処理結果が、表示インターフェイスを使用することによってユーザに表示され、ユーザは、合成の合成結果をターゲット画像として出力すべきか又は出力すべきでないかをプロンプトされ、ユーザがプロンプトされた後に、前もってセットされた第1存続期間内に、ユーザからの合成処理終了指示が検出される場合には、このとき取得されている合成結果がターゲット画像として出力され、さもなければ、合成は、最後の合成が完了するまで、次の画像に対して実行され続ける。
任意に、モバイル端末が第1フレーム及び第2フレームに対して合成処理を実行する前に、モバイル端末は、表示インターフェイスを使用することによってユーザに第1フレームを表示してよく、モバイル端末が、前もってセットされた第1存続期間内に、ユーザによって第2プロンプト情報に基づき入力される合成処理終了指示を検出する場合には、モバイル端末は合成処理を中止し、第1フレームをターゲット画像として決定し、あるいは、モバイル端末が前もってセットされた第1存続期間内に合成処理終了指示を検出しない場合には、モバイル端末は、第1フレーム及び第2フレームに対して合成処理を実行する。
撮影モード2:手持ち及び光源モード
前記少なくとも2つのフレームがN個のフレームを含み、Nが1よりも大きい整数であると仮定して、前記合成処理は、撮影モード1において、フレーム位置合わせ処理、画素重ね合わせ処理、及びフレーム画像融合処理を含むことが留意されるべきである。
具体的に、前記モバイル端末は、前記基準露出パラメータを使用することによって取得されるフレームに基づき、前記N個のフレームに含まれるi番目のフレームに対してフレーム位置合わせ処理を実行して、i番目のフレーム位置合わせ処理結果を取得し、前記端末デバイスは、iの値が2、3、・・・又はNであるとして、前記i番目のフレーム位置合わせ処理結果及び最初のi−1個のフレームの合成処理結果に対して画素重ね合わせ処理を実行して、i番目の画素重ね合わせ処理結果を取得し、前記端末デバイスは、前記i番目の画素重ね合わせ処理結果及び前記i番目のフレームに対してフレーム融合処理を実行して、i番目の候補ターゲット画像を取得し、前記モバイル端末は、前記表示インターフェイスを使用することによって前記ユーザに前記i番目の候補ターゲット画像及び第2プロンプト情報を表示し、該第2プロンプト情報は、前記合成処理を終了すべきか又は終了しないべきかを前記ユーザにプロンプトするために使用され、前記モバイル端末が、前もってセットされた第1存続期間内に、前記ユーザによって前記第2プロンプト情報に基づき入力される合成処理終了指示を検出する場合に、前記モバイル端末は、前記合成処理を中止し、前記i番目の候補ターゲット画像を前記ターゲット画像として決定する。
撮影モード2と撮影モード1との間の相違は、次の点にあることが留意されるべきである。撮影モード2では、モバイル端末は手持ち状態にあり、従って、手持ち状態によって引き起こされるフレーム間ジッタを回避するために、各フレームが合成される前に、フレーム位置合わせ処理が、そのフレームと、基準露出パラメータを使用することによって取得される基準フレームとに対して実行される必要があり、すなわち、基準フレームを除く全てのフレームが基準フレームとアライメントされる必要がある。
その上、フレーム位置合わせ処理後に、アライメントされていないエッジ領域が存在することがある。フレーム位置合わせ処理結果は、アライメントされていないエッジ領域を取り除くように、トリミング又は拡大されてよい。
具体的に、フレーム位置合わせは、先行技術におけるフレーム位置合わせ法を使用することによって実行されてよい。これは、本願のこの実施形態において制限されない。
任意に、振動及びブラーが手持ち状態では起こる可能性があるので、各フレームは、画像鮮明度を改善するように、合成処理プロシージャにおいて鮮鋭化されてよい。
撮影モード2における画素重ね合わせ処理プロシージャ及びフレーム融合処理プロシージャは、撮影モード1における画素重ね合わせ処理プロシージャと同じであることが理解されるべきである。詳細な処理については、撮影モード1を参照されたい。繰り返しを回避するために、詳細はここで再びは記載されない。
撮影モード3:三脚及び暗モード
前記少なくとも2つのフレームがN個のフレームを含み、Nが1よりも大きい整数であると仮定して、前記合成処理は、撮影モード1において、画素重ね合わせ処理を含むことが留意されるべきである。
具体的に、前記モバイル端末は、iの値が2、3、・・・又はNであるとして、前記N個のフレームに含まれるi番目のフレームと、最初のi−1個のフレームの合成処理結果とに対して画素重ね合わせ処理を実行して、i番目の候補ターゲット画像を取得し、前記モバイル端末は、前記表示インターフェイスを使用することによって前記ユーザに前記i番目の候補ターゲット画像及び第2プロンプト情報を表示し、該第2プロンプト情報は、前記合成処理を終了すべきか又は終了しないべきかを前記ユーザにプロンプトするために使用され、前記モバイル端末が、前もってセットされた第1存続期間内に、前記ユーザによって前記第2プロンプト情報に基づき入力される合成処理終了指示を検出する場合に、前記モバイル端末は、前記合成処理を中止し、前記i番目の候補ターゲット画像を前記ターゲット画像として決定する。
撮影モード3における画素重ね合わせ処理プロシージャは、撮影モード1における画素重ね合わせ処理プロシージャと同じであることが理解されるべきである。詳細な処理については、撮影モード1を参照されたい。繰り返しを回避するために、詳細はここで再びは記載されない。
撮影モード4:手持ち及び暗モード
前記少なくとも2つのフレームがN個のフレームを含み、Nが1よりも大きい整数であると仮定して、前記合成処理は、撮影モード1において、フレーム位置合わせ処理及び画素重ね合わせ処理を含むことが留意されるべきである。
具体的に、前記端末デバイスは、前記基準露出パラメータを使用することによって取得されるフレームに基づき、前記N個のフレームに含まれるi番目のフレームに対してフレーム位置合わせ処理を実行して、i番目のフレーム位置合わせ処理結果を取得し、前記モバイル端末は、iの値が2、3、・・・又はNであるとして、前記i番目のフレーム位置合わせ処理結果及び最初のi−1個のフレームの合成処理結果とに対して画素重ね合わせ処理を実行して、i番目の候補ターゲット画像を取得し、前記モバイル端末は、前記表示インターフェイスを使用することによって前記ユーザに前記i番目の候補ターゲット画像及び第2プロンプト情報を表示し、該第2プロンプト情報は、前記合成処理を終了すべきか又は終了しないべきかを前記ユーザにプロンプトするために使用され、前記モバイル端末が、前もってセットされた第1存続期間内に、前記ユーザによって前記第2プロンプト情報に基づき入力される合成処理終了指示を検出する場合に、前記モバイル端末は、前記合成処理を中止し、前記i番目の候補ターゲット画像を前記ターゲット画像として決定する。
撮影モード3におけるフレーム位置合わせプロシージャ及び画素重ね合わせ処理プロシージャは、撮影モード1における画素重ね合わせ処理プロシージャと同じであることが理解されるべきである。詳細な処理については、撮影モード1を参照されたい。繰り返しを回避するために、詳細はここで再びは記載されない。
任意に、S210乃至S250の撮影プロシージャにおいて、前記モバイル端末は、前記表示インターフェイスを使用することによって前記ユーザに対して、図10に示される撮影カウントダウンを更に表示してもよい。撮影タイマは、撮影プロシージャにおいて画像を処理する残り時間をユーザに示すために使用される。
可能な実施において、S240の前に、前記モバイル端末は、前記表示インターフェイスを使用することによって前記ユーザに少なくとも2つの画像を表示し、前記ユーザによって前記少なくとも2つの画像に基づき入力される画像選択指示を検出してよく、前記画像選択指示は、前記少なくとも2つの画像から前記ユーザによって選択される複数の画像を示すために使用される。相応して、S240で、前記モバイル端末は、前記ターゲット画像を取得するように、前記検出された画像選択指示に基づき前記複数のフレームに対して合成処理を実行してよい。
任意に、前記モバイル端末が前記ターゲット画像を出力することは、前記モバイル端末が、現在の撮影後に最終的にギャラリー内に格納されるべき画像として前記ターゲット画像を使用し得ることとして理解されてよい。すなわち、モバイル端末は、ターゲット画像をメモリに記憶してよい。
第2の態様に従って、本願は、第1の態様及び第1の態様の実施に従う撮影方法のステップを実行するよう構成されたユニットを含む撮影装置を提供する。
第3の態様に従って、本願は、コンピュータプログラム(コード又は命令とも呼ばれ得る。)を含み、該コンピュータプログラムが実行されるときに、コンピュータが、第1の態様及び第1の態様の実施に従う撮影方法を実行することを可能にするコンピュータプログラム製品を提供する。
第4の態様に従って、本願は、コンピュータプログラム(コード又は命令とも呼ばれ得る。)を記憶し、該コンピュータプログラムがコンピュータで実行されるときに、該コンピュータが、第1の態様及び第1の態様の実施に従う撮影方法を実行することを可能にするコンピュータ可読媒体を提供する。
第5の態様に従って、本願は、メモリ及びプロセッサを含むチップシステムであって、前記メモリがコンピュータプログラムを記憶し、前記プロセッサが前記メモリから前記コンピュータプログラムを呼び出して該コンピュータプログラムを実行し、当該チップシステムがインストールされているデバイスが、第1の態様及び第1の態様の実施に従う撮影方法を実行するようにする前記チップシステムを提供する。
第6の態様に従って、本願は、プロセッサ、メモリ、及び該メモリに記憶されており、前記プロセッサで実行され得るコンピュータプログラムを含み、前記コンピュータプログラムが前記プロセッサによって実行されるとき、第1の態様及び第1の態様の実施に従う撮影方法が実装されるモバイル端末を提供する。
モバイル端末は、センサを使用することによってセンサデータを取得し、且つ、表示画面を使用することによってユーザに表示インターフェイスを提示してよい。
本願の実施形態に従って、振動により生じる不鮮明な画像である。
本願の実施形態に従って、露出不足の画像である。
本願の実施形態に従う撮影方法が適用可能であるモバイル端末の例の概略図である。
本願の実施形態に従う撮影方法の略フローチャートである。
本願の実施形態に従う第1画像内の画素の概略図である。
本願の実施形態に従う撮影モード1での露出パラメータシーケンスの概略図である。
本願の実施形態に従う撮影モード2での露出パラメータシーケンスの概略図である。
本願の実施形態に従う撮影モード3での露出パラメータシーケンスの概略図である。
本願の実施形態に従う撮影モード4での露出パラメータシーケンスの概略図である。
本願の実施形態に従うプレビューインターフェイスの概略図である。
本願の実施形態に従う他のプレビューインターフェイスの概略図である。
本願の実施形態に従う第1プロンプト情報の表示インターフェイスの概略図である。
本願の実施形態に従う撮影プロセスにおける表示インターフェイスの概略図である。
本願の実施形態に従う撮影プロセスにおける他の表示インターフェイスの概略図である。
本願の実施形態に従う撮影プロセスにおける更なる他の表示インターフェイスの概略図である。
本願の実施形態に従う撮影プロセスにおける別の他の表示インターフェイスの概略図である。
本願の実施形態に従う第2プロンプト情報の表示インターフェイスの概略図である。
本願の実施形態に従うシステムアーキテクチャの概略図である。
本願の実施形態に従う撮影装置の略ブロック図である。
以下は、添付の図面を参照して、本願の技術的解決法について記載する。
本願の撮影方法は、モバイル端末に適用され得る。モバイル端末は、端末デバイス、ユーザ設備(UE)、アクセス端末、加入者ユニット、加入者局、移動局、モバイルコンソール、遠隔局、遠隔端末、モバイルデバイス、ユーザ端末、端末、無線通信デバイス、ユーザエージェント、又はユーザ装置とも呼ばれ得る。モバイル端末は、WLANにおけるステーション(ST)であってよく、あるいは、携帯電話機、コードレス電話機、セッション開始プロトコル(SIP)電話機、無線ローカルループ(WLL)局、パーソナル・デジタル・アシスタント(PDA)デバイス、無線通信機能を備えた携帯型デバイス、無線モデムへ接続された計算デバイス若しくは他の処理デバイス、車載型デバイス、インターネット・オブ・ヴィークルス端末、コンピュータ、ラップトップコンピュータ、携帯型通信デバイス、携帯型計算デバイス、衛星電波デバイス、無線モデムカード、テレビ用セット・トップ・ボックス(STB)、顧客構内設備(CPE)、及び/又は、無線システムにおいて通信を実行するよう構成された他のデバイス、あるいは、5Gネットワークのような次世代通信システムにおけるモバイル端末、又は将来の進化した公衆地上移動体ネットワーク(PLMN)などにおけるモバイル端末であってもよい。
一例として、しかし制限なしで、本願の実施形態で、モバイル端末は、代替的に、ウェアラブルデバイスであってもよい。ウェアラブルデバイスは、ウェアラブルインテリジェントデバイスとも呼ばれ得る。ウェアラブルインテリジェントデバイスは、ウェアラブル技術を使用することで日常の衣服に対してインテリジェント設計及び解決を実行することによって得られる、眼鏡、手袋、時計、服、及び靴のようなウェアラブルデバイスの総称である。ウェアラブルデバイスは、人体に直接置かれるか又はユーザの服若しくは装飾品と一体化される携帯型デバイスである。ウェアラブルデバイスは、単にハードウェアデバイスではなく、ソフトウェア支援、データ交換、及びクラウドに基づくインタラクションを通じて強力な機能を更に実装する。広い意味で、ウェアラブルインテリジェントデバイスは、完全な機能を提供し、大規模なサイズを有し、例えば、スマートウォッチ若しくはスマートグラスのように、スマートフォンに依存せずに全部又は一部の機能を実装可能であり、例えば、生体信号監視のために使用される様々なスマートバンド及びスマートジュエリーのように、特定の種類の用途にのみ焦点を置き、スマートフォンのような他のデバイスと組み合わせて使用される必要があるデバイスを含む。
図3は、本願の実施に従うモバイル端末のアーキテクチャの一例を示す。図3に示されるように、モバイル端末100は、次の構成要素を含み得る。
A.RF回路110
RF回路110は、情報受信/送信プロセス又はコールプロセスにおいて信号を受信又は送信し、特に、基地局からダウンリンク情報を受信し、ダウンリンク情報を処理のためにプロセッサ180へ送り、設計されたアップリンクデータを基地局へ送るよう構成され得る。通常、RF回路は、アンテナ、少なくとも1つの増幅器、トランシーバ、カプラ、LNA(Low Noise Amplifier)、デュプレクサ、などを含むが限られない。その上、RF回路110は、無線通信を通じてネットワーク及び他のデバイスと更に通信してもよい。無線ローカル・エリア・ネットワーク(WLAN)、グローバル・システム・フォー・モバイル・コミュニケーションズ(GSM)システム、符号分割多重アクセス(CDMA)システム、広帯域符号分割多重アクセス(WCDMA)システム、汎用パケット無線サービス(GPRS)システム、ロング・ターム・エボリューション(LTE)システム、LTE周波数分割複信(FDD)システム、LTE時分割複信(TDD)システム、ユニバーサル・モバイル・テレコミュニケーションズ・システム(UMTS)、ワールドワイド・インタオペラビリティ・フォー・マイクロウェーブ・アクセス(WiMAX)通信システム、将来の第5世代(5G)システム、ニュー・ラジオ(NR)システム、などを含むがこれらに限られない如何なる通信標準又はプロトコルも、無線通信のために使用されてよい。
B.メモリ120
メモリ120は、ソフトウェアプログラム及びモジュールを記憶するよう構成され得る。プロセッサ180は、メモリ120に記憶されているソフトウェアプログラム及びモジュールを実行して、モバイル端末100の様々な機能アプリケーション及びデータ処理を実行する。メモリ120は、プログラム記憶領域及びデータ記憶領域を主として含み得る。プログラム記憶領域は、オペレーティング・システム、少なくとも1つの機能(例えば、音響再生機能又は画像再生機能)によって必要とされるアプリケーションプログラム、などを記憶し得る。データ記憶領域は、モバイル端末100の使用に基づき生成されるデータ(例えば、オーディオデータ及び電話帳)、などを記憶し得る。その上、メモリ120は、高速ランダム・アクセス・メモリを含んでよく、あるいは、不揮発性メモリ、例えば、少なくとも1つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の揮発性ソリッドステート記憶デバイスを更に含んでもよい。
C.他の入力デバイス130
他の入力デバイス130は、入力された数又は文字情報を受け取り、モバイル端末100のユーザ設定及び機能制御に関係があるキー信号入力を生成するよう構成され得る。具体的に、他の入力デバイス130は、物理キーボード、ファンクションキー(例えば、音量制御キー又はオンオフキー)、トラックボーク、マウス、ジョイスティック、光学式マウス(光学式マウスは、仮想出力を表示しないタッチ検知面であるか、あるいは、タッチスクリーンによって形成されたタッチ検知面の拡張である。)、などのうちの1つ以上を含み得るが限られない。他の入力デバイス130は、I/Oサブシステム170の他入力デバイスコントローラ171へ接続され、他入力デバイスコントローラ171の制御下でプロセッサ180と信号交換を実行する。
D.表示スクリーン140
表示スクリーン140は、ユーザによって入力された情報、又はユーザに提供される情報、及びモバイル端末100の様々なメニューを表示するよう構成され得、更には、ユーザ入力を受け取ってもよい。具体的に、表示スクリーン140は、表示パネル141及びタッチパネル142を含んでよい。表示パネル141は、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)、などの形で構成され得る。タッチパネル142は、タッチスクリーン、タッチ検知スクリーン、などとも呼ばれ、タッチパネル142上又はその周りでのユーザのタッチ又は非タッチ操作(例えば、指又はスタイラスのような任意の適切な物又はアクセサリを使用することによってユーザがタッチパネル142上で又はその周りで行う操作)を収集し、前もってセットされたプログラムを使用することによって、対応する接続装置を駆動し得る。任意に、タッチパネル142は2つの部分、すなわち、タッチ検出装置及びタッチコントローラを含んでよい。タッチ検出装置は、ユーザのタッチ方向及びジェスチャを検出し、タッチ操作により生じる信号を検出し、信号をタッチコントローラへ送信する。タッチコントローラは、タッチ検出装置からタッチ情報を受信し、タッチ情報を、プロセッサ180が処理可能な情報に変換し、変換後の情報をプロセッサ180へ送信する。その上、タッチコントローラは、プロセッサ180によって送信されたコマンドを受信し、次いで、コマンドを実行することができる。その上、タッチパネル142は、抵抗型、容量型、赤外線型、及び表面弾性波型のような複数のタイプで実装されてよく、あるいは、タッチパネル142は、将来開発される任意の技術を使用することによって実装されてもよい。更に、タッチパネル142は、表示パネル141を覆ってよい。ユーザは、表示パネル141に表示されている内容(内容には、ソフトキーボード、仮想マウス、仮想キー、アイコン、などが含まれるが、限られない。)に基づき、表示パネル141を覆っているタッチパネル142上又はその周りで操作を実行し得る。タッチパネル142上又はその周りで操作を検出した後、タッチパネル142は、I/Oサブシステム170を使用することによって、ユーザ入力を決定するためにプロセッサ180に対して操作に関する情報を送信する。次いで、プロセッサ180は、I/Oサブシステム170を使用することによって、ユーザ入力に基づき表示パネル141上で対応する視覚出力を提供する。図1では、タッチパネル142及び表示パネル141は、モバイル端末100の入力及び出力機能を実装する2つの独立した構成要素である。しかし、いくつかの実施形態で、タッチパネル142及び表示パネル141は、モバイル端末100の入力及び出力機能を実装するように一体化されてもよい。
E.センサ150
1以上のタイプのセンサ150が存在してもよい。例えば、センサ150は、光センサ、動きセンサ、又は他のセンサを含み得る。
具体的に、光センサは、周囲光センサ及び近接センサを含んでよい。周囲光センサは、周囲光の明るさに基づき表示パネル141の輝度を調整することができる。モバイル端末が動かされて耳に近づくとき、近接センサは、表示パネル141及び/又はバックライトをオフすることができる。
動きセンサとして、加速度センサは、様々な方向(通常は、3つの軸)における加速度の値を検出することができ、モバイル端末100が静止しているときには重力の値及び方向を検出することができる。加速度センサは、モバイル端末の姿勢を認識する用途(例えば、横向きと縦向きの画面切り替え、関連するゲーム、又は磁力計姿勢較正)、振動認識に関連した機能(例えば、ペドメーター又はキーストローク)、などに使用されてよい。
加えて、モバイル端末100は、重力センサ(重力センサとも呼ばれ得る。)、ジャイロスコープ、気圧計、湿度計、温度計、又は赤外線センサのような、他のセンサを更に装備されてもよい。
F.オーディオ周波数回路160、スピーカ161、及びマイクロホン162
ユーザとモバイル端末との間には、オーディオインターフェイスが設けられてよい。オーディオ周波数回路160は、受け取られたオーディオデータから変換される信号をスピーカ161へ送信することができる。スピーカ161は、信号を音響信号に変換し、音響信号を出力する。その上、マイクロホン162は、収集された音響信号を信号に変換し、オーディオ周波数回路160は、その信号を受信し、信号をオーディオデータに変換し、オーディオデータを、例えば、他のモバイル端末へ送信するために、RF回路108へ出力するか、あるいは、オーディオデータを更なる処理のためにメモリ120へ出力する。
G.I/Oサブシステム170
I/Oサブシステム170は、外付けの入出力デバイスを制御するよう構成され、他入力デバイスコントローラ171、センサコントローラ172、及びディスプレイコントローラ173を含み得る。任意に、1以上の他入力デバイスコントローラ171は、他の入力デバイス130から信号を受信し、且つ/あるいは、他の入力デバイス130へ信号を送信する。他の入力デバイス130は、物理ボタン(例えば、押しボタン若しくはロッカーボタン)、ダイアルパッド、スライダスイッチ、ジョイスティック、クリックホイール、又は光学式マウス(仮想出力を表示しないタッチ検知面であるか、あるいは、タッチスクリーンによって形成されたタッチ検知面の拡張である。)を含み得る。注目すべき点は、他入力デバイスコントローラ171が上記のデバイスの任意の1以上へ接続され得る点である。I/Oサブシステム170のディスプレイコントローラ173は、表示スクリーン140から信号を受信し、且つ/あるいは、表示スクリーン140へ信号を送信する。表示スクリーン140がユーザ入力を検出した後に、ディスプレイコントローラ173は、マン−マシン・インタラクションを実装するために、検出されたユーザ入力を、表示スクリーン140に表示されているユーザインターフェイスオブジェクトとのインタラクションに変換する。センサコントローラ172は、1以上のセンサ150から信号を受信し、且つ/あるいは、1以上のセンサ150へ信号を送信することができる。
H.プロセッサ180
プロセッサ180は、モバイル端末100の制御センターであり、様々なインターフェイス及びラインを使用することによってモバイル端末全体の様々な部分を接続し、そして、モバイル端末に対する全体監視を実行するために、メモリ120に記憶されているソフトウェアプログラム及び/又はモジュールを起動又は実行することと、メモリ120に記憶されているデータを呼び出すこととによって、モバイル端末100の様々な機能及びデータ処理を実行する。任意に、プロセッサ180は、1以上の処理ユニットを含んでよい。望ましくは、プロセッサ180は、アプリケーションプロセッサ及びモデムプロセッサを組み込んでよい。アプリケーションプロセッサは、オペレーティング・システム、ユーザインターフェイス、アプリケーションプログラム、などを主に処理する。モデムプロセッサは、無線通信を主に処理する。代替的には、モデムプロセッサは、プロセッサ180に組み込まれなくてもよいことが理解され得る。
モバイル端末100は、様々な構成要素へ電力を供給する電源190(例えば、バッテリ)を更に含む。望ましくは、電源は、電力管理システムを使用することによって充電管理、放電管理、及び電力消費管理といった機能を実装するように、電力管理システムを使用することによってプロセッサ180へ論理的に接続されてよい。
任意に、モバイル端末100は、カメラを更に含んでもよい。
任意に、カメラは、モバイル端末100の正面又は背面に配置され得る。これは、本願のこの実施形態において制限されない。
任意に、モバイル端末100は、1台のカメラ、2台のカメラ、3台のカメラなどを含んでよい。これは、本願のこの実施形態において制限されない。
例えば、モバイル端末100は、3台のカメラ、すなわち、1つのメインカメラ、1つの広角カメラ、及び1つの長焦点カメラを含んでよい。
任意に、モバイル端末100が複数台のカメラを含む場合に、複数台のカメラは全て正面に配置されてよく、あるいは、全て背面に配置されてよく、あるいは、何台かのカメラは正面に配置されてよく、残りは背面に配置されてよい。これは、本願のこの実施形態において制限されない。
加えて、図示されていないが、モバイル端末100は、ブルートゥースモジュール、などを更に含んでもよい。詳細は、ここでは再び記載されない。
図4は、本願に従う撮影方法200の略フローチャートである。例えば、方法200は、上記のモバイル端末100に適用され得る。
S210.モバイル端末は、プレビューされる第1画像を取得する。
任意に、S210の前に、任意に、モバイル端末は、ユーザによって入力される検出されたカメラ起動命令に基づき、カメラによってリアルタイムで取得される画像のプレビューを、表示インターフェイスを使用することによってユーザに対して表示し得る。相応して、ユーザは、モバイル端末のカメラを起動し、そして、モバイル端末の表示インターフェイスを使用することによって、カメラによってリアルタイムで取得される画像をプレビューし得る。
第1画像は、モバイル端末のカメラが起動するときに直接捕捉される画像として理解されてよく、あるいは、ユーザがシャッターを押した後の最初の撮影画像として理解されてもよいことが留意されるべきである。これは、本願のこの実施形態において制限されない。
任意に、S210で、モバイル端末は、トリガイベント又は前もってセットされた第2存続期間に基づき、プレビューされる第1画像を取得してもよい。これは、本願のこの実施形態において制限されない。
本願のこの実施形態で、前もってセットされた第2存続期間は、前もってセットされた存続期間して理解されてよいことが理解されるべきである。
可能な実施において、モバイル端末は、ユーザによって入力された検出された撮影指示に従って現在のプレビュー画像を取得し、現在のプレビュー画像を第1画像として決定してよい。
例えば、モバイル端末は、ユーザがシャッター(撮影)ボタンの位置をクリックする動作を検出するときに、現在のプレビュー画像を取得してよい。
他の可能な実施において、モバイル端末は、前もってセットされた第2存続期間の終了時点で現在のプレビュー画像を取得し、現在のプレビュー画像を第1画像として決定してよい。
例えば、モバイル端末は、撮影機能を起動した後にタイマを起動してよい。タイマの長さは5sである。タイマが経過するときに、モバイル端末は現在のプレビュー画像を取得する。
S220.モバイル端末は、現在の撮影モードを決定し、撮影モードは撮影ステータス又は撮影シーンを含み、撮影ステータスは手持ち状態又は三脚状態を含み、撮影シーンは光源シーン又は暗シーンを含む。
任意に、モバイル端末は、複数の方法で撮影モードを決定してよい。これは、本願のこの実施形態において制限されない。
可能な実施において、モバイル端末は、ユーザによって入力された撮影モード指示を取得してよい。撮影モード指示は、ユーザによって指定された撮影モードを示すために使用される。
他の可能な実施において、モバイル端末は、第1画像に基づき撮影モードを自動で決定してよい。具体的に、モバイル端末は、カメラによって捕捉された第1画像に基づき、現在の撮影についての撮影ステータス及び/又は撮影シーンを決定する。
任意に、モバイル端末は、複数の方法で撮影ステータスを決定してよい。これは、本願のこの実施形態において制限されない。
可能な実施において、モバイル端末は、前もってセットされた第1存続期間内にセンサによって収集される複数のセンサデータに基づき撮影ステータスを決定してよい。センサデータは、モバイル端末と水平方向又は重力方向との間の角度を示すために使用される。
例えば、複数のセンサデータの平均値(又は最大値)が前もってセットされた第1値以上である場合に、モバイル端末は、撮影ステータスが手持ち状態であると決定し、あるいは、複数のセンサデータの平均値(又は最大値)が第1値に満たない場合に、モバイル端末は、撮影ステータスが三脚状態であると決定する。
任意に、センサはジャイロセンサ、角速度センサ、加速度センサ、又はモバイル端末と水平方向又は重力方向との間の角度を示すセンサデータを取得可能な他のセンサであってよい。これは、本願のこの実施形態において制限されない。
任意に、モバイル端末は、複数の方法で撮影モードを決定してよい。これは、本願のこの実施形態において制限されない。
可能な実施において、モバイル端末は、第1画像の輝度値に基づき撮影シーンを決定してよい。
具体的に、モバイル端末は、輝度値が前もってセットされた第2値よりも大きい第1画像内の画素の数に基づき、撮影シーンを決定してよい。
例えば、全ての画素数に対する、輝度値が第2値よりも大きい第1画像内の画素の数の比が、前もってセットされた比率値以上である場合に、モバイル端末は、撮影シーンが光源シーンであると決定し、あるいは、全ての画素数に対する、輝度値が第2値よりも大きい第1画像内の画素の数の比が、比率値に満たない場合に、モバイル端末は、撮影シーンが暗シーンであると決定する。
任意に、モバイル端末は、表示インターフェイスを使用することによってユーザに第1プロンプト情報を表示してよい。第1プロンプト情報は、ユーザに撮影モードをプロンプトするために使用される。
S230.モバイル端末は、第1画像及び撮影モードに基づき露出パラメータシーケンスを決定し、露出パラメータシーケンスは、撮影時間の昇順でソートされた少なくとも2つの露出パラメータを含み、露出パラメータは、撮影中にモバイル端末に入射する光を制御するために使用される。
以下は、どのようにしてモバイル端末が種々の撮影モードにおいて第1画像及び撮影モードに基づき露出パラメータシーケンスを決定するかについて記載する。
続く実施形態は、単に、露出パラメータが露出存続期間及び光感度を含むところの例を使用することによって記載されることが、理解されるべきである。
露出パラメータは、開口値のような他のパラメータ値を更に含んでもよいことが留意されるべきである。これは、本願のこの実施形態において制限されない。
撮影モード1:三脚及び光源モード
撮影シーンが光源シーンである場合に、モバイル端末は、第1画像内の第1領域の画素平均、第1画像内の第2領域の画素平均、及び第1画像の露出パラメータに基づき、露出基準シーケンスに含まれる第1露出パラメータ及び第2露出パラメータを決定する。
第1領域は、第1画像において最大である画素値を有する少なくとも2つの画素を含み、第2領域は、第1画像において最小である画素値を有する少なくとも2つの画素を含む。第1露出パラメータを使用することによって取得されるフレーム内で第1領域に対応する領域の画素平均は、前もってセットされた第1画素閾値に等しく、第1領域の画素平均は、第1画素閾値以上である。第2露出パラメータを使用することによって取得されるフレーム内で第2領域に対応する領域の画素平均は、前もってセットされた第2画素閾値に等しく、第2領域の画素平均は、第2画素閾値以下である。第1画素閾値は、第2画素閾値よりも大きい。第1露出パラメータに対応する撮影時間は、第2露出パラメータに対応する撮影時間よりも早い。
撮影ステータスが三脚状態である場合に、モバイル端末は、露出シーケンスの露出パラメータに含まれる光感度が前もってセットされた第1光感度以下であると決定する。
本願のこの実施形態で、第1領域(又は第2領域)の画素平均は、画素の数に対する、第1領域(又は第2領域)内の画素の画素値の和の比として理解され得ることが留意されるべきである。可能な代替の方法では、第1領域(又は第2領域)の画素平均は、第1領域(又は第2領域)内の画素の画素値の和により置き換えられてよい。これは、本願のこの実施形態において制限されない。
第1領域の画素平均が第1画素閾値以上である場合に、それは、第1領域が露出過度領域であることを示し、第1領域の輝度は低減される必要があり、同様に、第2領域の画素平均が第2画素閾値以下である場合に、それは、第2領域が露出不足領域であることを示し、第2領域の輝度は増大される必要があることが更に留意されるべきである。
光源シーンでは、画像内の画素の輝度の分布範囲は比較的に広く、露出過度又は露出不足が起こる可能性がある。従って、モバイル端末は、第1露出パラメータを使用することによって取得されるフレームに基づき露出過度領域(第1領域)の輝度を低減し、且つ、第2露出パラメータを使用することによって取得されるフレームに基づき露出不足領域(第2領域)の輝度を増大させて、合成を通じて高ダイナミックレンジで画像を取得することができ、それによって、画像内の明るくあるべき領域は明るく、画像内の暗くあるべき領域は暗く、画像はより多くのディテールを含む。
画像の画素値は0から255であり、全部で256個の値があることが理解されるべきである。値が大きいほど、輝度は高い。0は、完全黒の最も暗い領域を示し、255は最も高い輝度の完全白色を示し、0から255の間の数は、異なる輝度のグレー色を示す。
例えば、第1画像の露出存続期間は1sであり、第1画像の光感度は100であり、第1画像は、図5に示されるように、画素値が夫々5、5、60、80、250、及び250である6つの画素を含むとすれば、第1領域は、画素値が最大である2つの画素を含み、すなわち、第1領域の画素平均は250であり、第2領域は、画素値が最小である2つの画素を含み、すなわち、第2領域の画素平均は5である。
露出パラメータが露出存続期間及び光感度を含むとき、露出パラメータに対応する入射光は、露出存続期間と光感度との積として理解され得ることが理解されるべきである。
第1画素閾値が200であるとすれば、第1領域の画素平均は250であり、第1画像の露出パラメータに対応する入射光は100であるから、第1露出パラメータに対応する入射光は、200×100/250=80であることが分かる。
第2画素閾値が30であるならば、第2領域の画素平均は5であり、第1画像の露出パラメータに対応する入射光は100であるから、第2露出パラメータに対応する入射光は、30×100/5=600であることが分かる。
入射光が同じであるとき、より光感度が低い画像は、より小さい画像ノイズ及びより良い撮影効果を有している。モバイル端末は、三脚状態において比較的に安定している。従って、三脚状態では、モバイル端末は、露出パラメータの光感度を、前もってセットされた光感度以下の値に設定する。
すなわち、三脚状態では、モバイル端末は、画像の撮影効果を改善するために、相対的により低い光感度及び比較的に長い露出存続期間に基づき画像を取得する。
可能な実施において、露出パラメータシーケンスにおいて露出パラメータに含まれる露出存続期間は逐次増大し、あるいは、露出パラメータシーケンスにおいて露出パラメータに含まれる光感度は逐次増大する。
例えば、前もってセットされた光感度が200であるすれば、第1露出パラメータの露出存続期間は0.5sであってよく、第1露出パラメータの光感度は160であってよく、第2露出パラメータの露出存続期間は3sであってよく、第2露出パラメータの光感度は200であってよい。
任意に、露出パラメータシーケンスは、撮影時間の昇順でソートされた少なくとも1つの第4露出パラメータを更に含んでもよい。少なくとも1つの第4露出パラメータのいずれか1つに対応する撮影時間は、第1露出パラメータに対応する撮影時間よりも遅いが、第2露出パラメータに対応する撮影時間よりも早い。
任意に、露出パラメータシーケンスに含まれる露出パラメータに対応する入射光は、撮影時間の昇順で逐次増大してよい。具体的に言えば、露出シーケンスにおいて、第1露出パラメータに対応する入射光は最小であり、第2露出パラメータに対応する入射光は最大である。少なくとも1つの第4露出パラメータは、第1露出パラメータと第2露出パラメータとの間に設定されてよく、それにより、その後の合成処理プロシージャで2つの連続した画像間の比較的大きい差から生じる画像合成効果に対する影響を回避するために、露出シーケンスに含まれる露出パラメータに対応する入射光は、撮影時間の昇順で逐次増大する。
任意に、露出シーケンスに含まれるいずれか2つの露出パラメータに対応する入射光の間の差は、いずれかの他の2つの露出パラメータに対応する入射光の間の差に等しくても又は等しくなくてもよい。これは、本願のこの実施形態において制限されない。
例えば、1つの第4露出パラメータが第1露出パラメータと第2露出パラメータとの間に含まれ、第1露出パラメータの露出存続期間は0.5sであり、第1露出パラメータの光感度は160であり、第2露出パラメータの露出存続期間は3sであり、第2露出パラメータの光感度は200であるとすれば、第4露出パラメータの露出存続期間は1sに設定されてよく、第4露出パラメータの光感度は180に設定されてよい。
他の例として、2つの第4露出パラメータが第1露出パラメータと第2露出パラメータとの間に含まれ、第1露出パラメータの露出存続期間は0.5sであり、第1露出パラメータの光感度は160であり、第2露出パラメータの露出存続期間は3sであり、第2露出パラメータの光感度は200であるとすれば、第1の第4露出パラメータの露出存続期間は1sに設定されてよく、第1の第4露出パラメータの光感度は180に設定されてよく、第2の第4露出パラメータの露出存続期間は2sに設定されてよく、第2の第4露出パラメータの光感度は180に設定されてよい。
図6は、撮影モード1での露出パラメータシーケンスの可能な実施を示す。図6において黒影で示されているように、水平方向は、露出パラメータに対応する撮影時間を表し、垂直方向は、露出パラメータに対応する入射光を表す。本願はこれらに限られない。
任意に、モバイル端末の最大露出パラメータを使用することによって取得されるフレーム内で第2領域に対応する領域の画素値が、依然として第2画素閾値よりも小さい場合に、すなわち、露出不足領域の輝度が依然として望ましくない場合に、この場合、モバイル端末は、露出不足領域の輝度を増大させるように、第2露出パラメータの後ろに少なくとも1つの第2露出パラメータ(例えば、図6において斜線パターンによって示されている第2露出パラメータ)を加えてよい。
本願のこの実施形態で提供される撮影方法によれば、光源シーンでは、異なる露出レベルでの同じ撮影対象のフレームが、異なる露出パラメータを設定することによって取得される。第1露出パラメータは、フレーム内の明領域の画像ディテールを回復するために使用され、第2露出パラメータは、フレーム内の暗領域の画像ディテールを回復するために使用される。異なる露出パラメータを使用することによって取得されるフレームは合成される。このようにして、画像のダイナミックレンジを改善し、それによって、画像の撮影効果を改善するために、最終的な画像の大域的ディテール及び輝度の両方がバランスを取られる。三脚状態において、入射光が同じである場合に、画像ノイズは、画像の撮影効果を改善するために、比較的に長い露出存続期間及び比較的に低い光感度を設定することによって更に低減可能である。
撮影モード2:手持ち及び光源モード
撮影シーンが光源シーンである場合に、モバイル端末は、第1画像内の第1領域の画素平均、第1画像内の第2領域の画素平均、及び第1画像の露出パラメータに基づき、露出基準シーケンスに含まれる第1露出パラメータ及び第2露出パラメータを決定する。
第1領域は、第1画像において最大である画素値を有する少なくとも2つの画素を含み、第2領域は、第1画像において最小である画素値を有する少なくとも2つの画素を含む。第1露出パラメータを使用することによって取得されるフレーム内で第1領域に対応する領域の画素平均は、前もってセットされた第1画素閾値に等しく、第1領域の画素平均は、第1画素閾値以上である。第2露出パラメータを使用することによって取得されるフレーム内で第2領域に対応する領域の画素平均は、前もってセットされた第2画素閾値に等しく、第2領域の画素平均は、第2画素閾値以下である。第1画素閾値は第2画素閾値よりも大きい。第1露出パラメータに対応する撮影時間は、第2露出パラメータに対応する撮影時間よりも早い。
撮影ステータスが手持ち状態である場合に、モバイル端末は、露出基準シーケンスが基準露出パラメータを含み、且つ、露出シーケンスの露出パラメータに含まれる露出存続期間が前もってセットされた第1露出存続期間以下であると決定する。基準露出パラメータは、露出パラメータシーケンスにおいて最も早い撮影時間を有する露出パラメータであり、基準露出パラメータに対応する入射光は、第1露出パラメータに対応する入射光よりも多いが、第2露出パラメータに対応する入射光よりも少ない。
本願のこの実施形態で、第1領域(又は第2領域)の画素平均は、画素の数に対する、第1領域(又は第2領域)内の画素の画素値の和の比として理解され得ることが留意されるべきである。可能な代替の方法では、第1領域(又は第2領域)の画素平均は、第1領域(又は第2領域)内の画素の画素値の和により置き換えられてよい。これは、本願のこの実施形態において制限されない。
第1領域の画素平均が前もってセットされた第1画素閾値以上である場合に、それは、第1領域が露出過度領域であることを示し、第1領域の輝度は低減される必要があり、同様に、第2領域の画素平均が前もってセットされた第2画素閾値以下である場合に、それは、第2領域が露出不足領域であることを示し、第2領域の輝度は増大される必要があることが更に留意されるべきである。
例えば、第1画像の露出存続期間は1sであり、第1画像の光感度は100であり、第1画像は、図5に示されるように、画素値が夫々5、5、60、80、250、及び250である6つの画素を含むとすれば、第1領域は、画素値が最大である2つの画素を含み、すなわち、第1領域の画素平均は250であり、第2領域は、画素値が最小である2つの画素を含み、すなわち、第2領域の画素平均は5である。
露出パラメータが露出存続期間及び光感度を含むとき、露出パラメータに対応する入射光は、露出存続期間と光感度との積として理解され得ることが理解されるべきである。
前もってセットされた第1画素閾値が200であるとすれば、第1領域の画素平均は250であり、第1画像の露出パラメータに対応する入射光は100であるから、第1露出パラメータに対応する入射光は、200×100/250=80であることが分かる。
前もってセットされた第2画素閾値が30であるならば、第2領域の画素平均は5であり、第1画像の露出パラメータに対応する入射光は100であるから、第2露出パラメータに対応する入射光は、30×100/5=600であることが分かる。
手持ちモードでは振動が起こる可能性があるので、モバイル端末は、前もってセットされた露出存続期間以下である値に露出パラメータの露出存続期間を設定する。
すなわち、手持ち状態では、モバイル端末は、画像の撮影効果を改善するために、比較的に短い露出存続期間及び比較的に高い光感度に基づき画像を取得する。
可能な実施において、露出パラメータシーケンスにおいて露出パラメータに含まれる露出存続期間は逐次増大し、且つ/あるいは、露出パラメータシーケンスにおいて露出パラメータに含まれる光感度は逐次増大する。
例えば、前もってセットされた露出存続期間が1sであるとすれば、第1露出パラメータの露出存続期間は0.2sであってよく、第1露出パラメータの光感度は400であってよく、第2露出パラメータの露出存続期間は0.5sであってよく、第2露出パラメータの光感度は1200であってよい。
他の例として、第1露出パラメータの露出存続期間が0.2sであり、第1露出パラメータの光感度が400であり、第2露出パラメータの露出存続期間が0.5sであり、第2露出パラメータの光感度が1200であるすれば、基準露出パラメータは、第1露出パラメータの前に設定されてよい。例えば、基準露出パラメータの露出存続期間は0.3sであってよく、基準露出パラメータの光感度は800であってよい。
任意に、露出パラメータシーケンスは、撮影時間の昇順でソートされた少なくとも1つの第4露出パラメータを更に含んでもよい。少なくとも1つの第4露出パラメータのいずれか1つに対応する撮影時間は、第1露出パラメータに対応する撮影時間よりも遅いが、第2露出パラメータに対応する撮影時間よりも早い。
任意に、露出パラメータシーケンスに含まれる露出パラメータに対応する入射光は、撮影時間の昇順で逐次増大してよい。具体的に言えば、露出シーケンスにおいて、第1露出パラメータに対応する入射光は最小であり、第2露出パラメータに対応する入射光は最大である。少なくとも1つの第4露出パラメータは、第1露出パラメータと第2露出パラメータとの間に設定されてよく、それにより、その後の合成処理プロシージャで2つの連続フレーム間の比較的大きい差から生じる画像合成効果に対する影響を回避するために、露出シーケンスに含まれる露出パラメータに対応する入射光は、撮影時間の昇順で逐次増大する。
図7は、撮影モード2での露出パラメータシーケンスの可能な実施を示す。図7において黒影で示されているように、水平方向は、露出パラメータに対応する撮影時間を表し、垂直方向は、露出パラメータに対応する入射光を表す。本願はこれらに限られない。
任意に、モバイル端末の最大露出パラメータを使用することによって取得される画像内で第2領域に対応する領域の画素平均が、依然として前もってセットされた第2画素閾値よりも小さい場合に、すなわち、露出不足領域の輝度が依然として望ましくない場合に、この場合、モバイル端末は、露出不足領域の輝度を増大させるように、第2露出パラメータの後ろに少なくとも1つの第2露出パラメータ(例えば、図7において斜線パターンによって示されている第2露出パラメータ)を加えてよい。
本願のこの実施形態で提供される撮影方法によれば、光源シーンでは、画像内の画素の輝度の変化は比較的に大きく、露出過度又は露出不足が起こる可能性がある。従って、モバイル端末は、第1露出パラメータを使用することによって取得される画像に基づき露出過度領域の輝度を低減し、第2露出パラメータを使用することによって取得される画像に基づき露出不足領域の輝度を増大して、合成を通じて高ダイナミックレンジで画像を取得することができ、それによって、画像内の明るくあるべき領域は明るく、画像内の暗くあるべき領域は暗く、画像はより多くのディテールを含む。
その上、手持ちモードでは、モバイル端末は、十分に安定しておらず、振動する可能性がある。結果として、撮影された画像は、振動により不鮮明であることがあり、複数の連続した撮影画像は、振動によりアライメントされない可能性がある。従って、振動による不鮮明な画像を回避するために、露出存続期間は、可能な限り小さい値に設定される必要がある。その上、基準露出パラメータは、露出シーケンスの最前に設定される必要があり、基準露出パラメータを使用することによって取得される画像は、その後に撮影される画像をアライメントするために使用される。
任意に、三脚状態において露出パラメータシーケンスに含まれる露出パラメータの数は、手持ち状態において露出パラメータシーケンスに含まれる露出パラメータの数よりも多くなり得る。
撮影モード3:三脚及び暗モード
撮影シーンが暗シーンである場合に、モバイル端末は、第1画像の画素平均及び第1画像の露出パラメータに基づき、露出基準シーケンスに含まれる複数の第3露出パラメータを決定する。
第3露出パラメータを使用することによって取得される画像の画素平均は、前もってセットされた第3画素閾値に等しく、第1画像の画素平均は、前もってセットされた画素閾値以下である。
撮影ステータスが三脚状態である場合に、モバイル端末は、露出シーケンスの露出パラメータに含まれる光感度が前もってセットされた光感度以下であると決定する。
本願のこの実施形態で、第1画像の画素平均は、画素の数に対する、第1画像内の画素の画素値の和の比として理解され得ることが留意されるべきである。可能な代替の方法では、第1画像の画素平均は、第1画像内の画素の画素値の和により置き換えられてよい。これは、本願のこの実施形態において制限されない。
第1画像の画素平均が前もってセットされた第3画素閾値以下である場合に、それは、第1画像が露出不足画像であることを示し、第1画像の輝度は増大される必要があることが更に留意されるべきである。
例えば、第1画像の露出存続期間は1sであり、第1画像の光感度は100であり、第1画像は、図5に示されるように、画素値が夫々5、5、60、80、250、及び250である6つの画素を含むとすれば、第1画像の画素平均は108である。
露出パラメータが露出存続期間及び光感度を含むとき、露出パラメータに対応する入射光は、露出存続期間と光感度との積として理解され得ることが理解されるべきである。
第3画素閾値が128であるとすれば、第1画像の画素平均は108であり、第1画像の露出パラメータに対応する入射光は100であるから、第3露出パラメータに対応する入射光は、200×100/250=118であることが分かる。
入射光が同じであるとき、より光感度が低い画像は、より小さい画像ノイズ及びより良い撮影効果を有している。モバイル端末は、三脚モードにおいて比較的に安定している。従って、三脚モードでは、モバイル端末は、露出パラメータの光感度を、前もってセットされた第1光感度よりも小さい値に設定し、相対的により低い光感度及び比較的に長い露出存続期間に基づき画像を取得する。
要するに、前もってセットされた第1光感度が100であるとすれば、第3露出パラメータの露出存続期間は、例えば、1.2sであってよく、第3露出パラメータの光感度は、例えば、100であってよい。
図8は、撮影モード3での露出パラメータシーケンスの可能な実施を示す。図8に示されているように、水平方向は、露出パラメータに対応する撮影時間を表し、垂直方向は、露出パラメータに対応する入射光を表す。本願はこれらに限られない。
本願のこの実施形態で提供される撮影方法によれば、暗シーンでは、光が比較的弱く、画像輝度が比較的に乏しく、露出過度は起こらない。従って、モバイル端末は、画像輝度を増大させるように、複数の第3露出パラメータを使用することによって取得される画像に基づき露出不足領域の輝度を増大させてよく、それにより、画像はより多くのディテールを含んで、画像の撮影効果を改善する。三脚状態において、入射光が同じである場合に、画像ノイズは、画像の撮影効果を改善するために、比較的に長い露出存続期間及び比較的に低い光感度を設定することによって更に低減可能である。
撮影モード4:手持ち及び暗モード
撮影シーンが暗シーンである場合に、モバイル端末は、第1画像の画素平均及び第1画像の露出パラメータに基づき、露出基準シーケンスに含まれる複数の第3露出パラメータを決定する。
第3露出パラメータを使用することによって取得される画像の画素平均は、前もってセットされた第3画素閾値に等しく、第1画像の画素平均は、第3画素閾値以下である。
撮影ステータスが手持ち状態である場合に、モバイル端末は、露出基準シーケンスが基準露出パラメータを含み、且つ、露出シーケンスの露出パラメータに含まれる露出存続期間が前もってセットされた露出存続期間以下であると決定する。基準露出パラメータは、露出パラメータシーケンスにおいて最も早い撮影時間を有する露出パラメータであり、基準露出パラメータに対応する入射光は、第3露出パラメータに対応する入射光に等しい。
図9は、撮影モード4での露出パラメータシーケンスの可能な実施を示す。図9に示されているように、水平方向は、露出パラメータに対応する撮影時間を表し、垂直方向は、露出パラメータに対応する入射光を表す。本願はこれらに限られない。
本願のこの実施形態で提供される撮影方法によれば、暗シーンでは、光が比較的弱く、画像輝度が比較的に乏しく、露出過度は起こらない。従って、モバイル端末は、画像輝度を増大させるように、複数の第3露出パラメータを使用することによって取得される画像に基づき露出不足領域の輝度を増大させてよく、それにより、画像はより多くのディテールを含んで、画像の撮影効果を改善する。
その上、手持ちモードでは、モバイル端末は、十分に安定しておらず、振動する可能性がある。結果として、撮影された画像は、振動により不鮮明であることがあり、複数の連続した撮影画像は、振動によりアライメントされない可能性がある。従って、振動による不鮮明な画像を回避するために、露出存続期間は、可能な限り小さい値に設定される必要がある。その上、基準露出パラメータは、露出シーケンスの最前に設定される必要があり、基準露出パラメータを使用することによって取得される画像は、その後に撮影される画像をアライメントするために使用される。
S240.モバイル端末は、少なくとも2つの画像を取得するように、露出パラメータシーケンスに含まれる露出パラメータを使用することによって、続けざまに画像を取得する。
少なくとも2つの画像は、露出パラメータシーケンスに含まれる露出パラメータに基づきモバイル端末によって続けざまに取得され、露出シーケンスに含まれる露出パラメータは、撮影時間の昇順でソートされているので、少なくとも2つの画像も撮影時間の昇順でソートされることが留意されるべきである。
S240で取得される少なくとも2つの画像は、S210の第1画像が取得された直後に取得される少なくとも2つの画像であってよいことが更に留意されるべきである。
すなわち、ユーザによって入力された撮影指示を検出した後、モバイル端末は、S210での第1画像と、S240での少なくとも2つの画像とを続けざまに取得し得る。S210で取得された第1画像は、S240で取得される少なくとも2つの画像によって使用される露出パラメータシーケンスを決定するために使用される。
S250.モバイル端末は、ターゲット画像を取得するように、撮影モード及び少なくとも2つの画像の一部又は全てに基づき合成処理を実行する。
以下は、どのようにしてモバイル端末が種々の撮影モードにおいて少なくとも2つのフレームの一部又は全てに基づき合成処理を実行してターゲット画像を取得するかについて記載する。
撮影モード1:三脚及び光源モード
少なくとも2つのフレームがN個のフレームを含み、Nが1よりも大きい整数であると仮定して、合成処理は、撮影モード1において、画素重ね合わせ処理及びフレーム融合処理を含むことが留意されるべきである。
具体的に、モバイル端末は、iの値が2、3、・・・又はNであるとして、N個のフレームに含まれるi番目のフレームと、最初のi−1個のフレームの合成処理結果とに対して画素重ね合わせ処理を実行して、最初のi個のフレームの画素重ね合わせ処理結果を取得し、端末デバイスは、最初のi個のフレームの画素重ね合わせ処理結果及びi番目のフレームに対してフレーム融合処理を実行して、i番目の候補ターゲット画像を取得し、モバイル端末は、表示インターフェイスを使用することによってユーザにi番目の候補ターゲット画像及び第2プロンプト情報を表示し、第2プロンプト情報は、合成処理を終了すべきか又は終了しないべきかをユーザにプロンプトするために使用され、モバイル端末が、前もってセットされた第1存続期間内に、ユーザによって第2プロンプト情報に基づき入力される合成処理終了指示を検出する場合に、モバイル端末は、前記合成処理を中止し、i番目の候補ターゲット画像をターゲット画像として決定する。
iの値が2であるとき、最初の1つの画像の合成処理結果は、第1候補ターゲット画像、又は最初の1つの画像の画素重ね合わせ処理結果、又は第1画像として理解され得ることが留意されるべきである。
可能な実施において、モバイル端末が最初のi−1個のフレームの合成処理結果及びi番目のフレームに対して画素重ね合わせ処理を実行することは、モバイル端末が、最初のi−1個のフレームの合成処理結果の前もってセットされた第1重みと、i番目のフレームの前もってセットされた第2重みとに基づき、最初のi−1個のフレームの合成処理結果及びi番目のフレームに対して画素重ね合わせ処理を実行することとして理解され得る。前もってセットされた第1重みと前もってセットされた第2重みとの和は、1よりも大きいが2よりも小さい。
例えば、前もってセットされた第1重みは1に等しく、前もってセットされた第2重みは0よりも大きいが1よりも小さく、あるいは、前もって設定された第1重み及び前もってセットされた第2重みの両方ともが0よりも大きいが1よりも小さい。
例えば、第1フレーム内の第1画素(行1及び列1にある画素)の画素値が60であり、前もってセットされた第1重みが1であり、第2フレーム内の第1画素の画素値が80であり、前もってセットされた第2重みが0.4であるとすれば、最初の2つのフレームの、画素重ね合わせ処理が第1フレーム及び第2フレームに対して実行された後に取得される画素重ね合わせ処理結果における第1画素の画素値は、60×1+80×0.4=92である。
可能な実施において、モバイル端末は、輝度中心(例えば、画素値が128である画素)により近い画素がより大きい重みを有し、輝度中心からより離れている画素がより小さい重みを有するという、前もってセットされた第1規則に従って、最初のi個のフレームの画素重ね合わせ結果内の画素の重みと、i番目のフレーム内の画素の重みとを決定し、最初のi個のフレームの画素重ね合わせ結果内の画素の重みと、i番目のフレーム内の画素の重みに基づき、最初のi個のフレームの画素重ね合わせ結果及びi番目のフレームに対してフレーム融合処理を実行して、i番目の候補ターゲット画像を取得する。
他の例として、最初の2つのフレームの画素重ね合わせ処理結果内の第1画素(行1及び列1にある画素)の画素値が92であり、最初の2つのフレームの画素重ね合わせ処理結果内の第1画素の、前もってセットされた第1規則に従って取得される重みが0.6であり、第2フレーム内の第1画素の画素値が80であり、第2フレーム内の第1画素の、前もってセットされた第1規則に従って取得される重みが0.4であるとすれば、フレーム融合処理が最初の2つのフレームの画素重ね合わせ処理結果及び第2フレームに対して実行されるときに、2つのフレームの重みは最初に正規化され(0.6:0.4=3/5:2/5)、次いで、重ね合わせが実行され、すなわち、第2候補ターゲットフレーム内の第1画素の画素値は、3/5×92+2/5×80=87.2である。
すなわち、モバイル端末は、最初に、画像輝度を改善するために、N個のフレームに含まれるi番目のフレームと、最初のi−1個のフレームの合成処理結果とに対して画素重ね合わせ処理を実行し、次いで、最初のi個のフレームの重ね合わせ処理結果及びi番目のフレームに対してフレーム融合処理を実行して、それにより、画像全体の全ての領域が輝度中心に近づくようにする。最後に、合成後に取得される画像のダイナミックレンジは改善され、画像の撮影効果は改善される。
上記の例では、画素重ね合わせ処理プロシージャ及びフレーム融合処理プロシージャは、第1フレーム及び第2フレームにおいて対応する位置にある画素を使用することによって記載されていることが留意されるべきである。2つのフレームにおいて対応する位置にある画素の処理プロシージャは、上記のプロシージャと同様である。繰り返しを避けるために、詳細はここで再びは記載されない。
任意に、モバイル端末が、前もってセットされた第1存続期間内に、ユーザによって第2プロンプト情報に基づき入力される合成処理終了指示を検出しない場合に、モバイル端末は、N個のフレームに含まれる(i+1)番目のフレームと、最初のi個の画像の合成結果とに対して合成処理を実行して、(i+1)番目の候補ターゲット画像を取得し、そして、モバイル端末は、表示インターフェイスを使用することによってユーザに(i+1)番目の候補ターゲット画像及び第2プロンプト情報を表示する。
任意に、モバイル端末が、表示インターフェイスを使用することによってユーザにN番目の候補ターゲット画像を表示した後に、前もってセットされた第1存続期間内に、ユーザによって入力される合成処理終了指示を受けない場合に、モバイル端末は、N番目の候補ターゲット画像をターゲット画像として決定する。
すなわち、モバイル端末によって少なくとも2つのフレームに対して合成処理を続けて実行するプロシージャにおいて、合成が実行されるたびに、合成の合成処理結果が、表示インターフェイスを使用することによってユーザに表示され、ユーザは、合成の合成結果をターゲット画像として出力すべきか又は出力すべきでないかをプロンプトされ、ユーザがプロンプトされた後に、前もってセットされた第1存続期間内に、ユーザからの合成処理終了指示が検出される場合には、このとき取得されている合成結果がターゲット画像として出力され、さもなければ、合成は、最後の合成が完了するまで、次の画像に対して実行され続ける。
任意に、モバイル端末が第1フレーム及び第2フレームに対して合成処理を実行する前に、モバイル端末は、表示インターフェイスを使用することによってユーザに第1フレームを表示してよく、モバイル端末が、前もってセットされた第1存続期間内に、ユーザによって第2プロンプト情報に基づき入力される合成処理終了指示を検出する場合には、モバイル端末は合成処理を中止し、第1フレームをターゲット画像として決定し、あるいは、モバイル端末が前もってセットされた第1存続期間内に合成処理終了指示を検出しない場合には、モバイル端末は、第1フレーム及び第2フレームに対して合成処理を実行する。
撮影モード2:手持ち及び光源モード
少なくとも2つのフレームがN個のフレームを含み、Nが1よりも大きい整数であると仮定して、合成処理は、撮影モード1において、フレーム位置合わせ処理、画素重ね合わせ処理、及びフレーム画像融合処理を含むことが留意されるべきである。
具体的に、モバイル端末は、基準露出パラメータを使用することによって取得されるフレームに基づき、N個のフレームに含まれるi番目のフレームに対してフレーム位置合わせ処理を実行して、i番目のフレーム位置合わせ処理結果を取得し、モバイル端末は、iの値が2、3、・・・又はNであるとして、i番目のフレーム位置合わせ処理結果及び最初のi−1個のフレームの合成処理結果に対して画素重ね合わせ処理を実行して、i番目の画素重ね合わせ処理結果を取得し、端末デバイスは、i番目の画素重ね合わせ処理結果及びi番目のフレームに対してフレーム融合処理を実行して、i番目の候補ターゲット画像を取得し、モバイル端末は、表示インターフェイスを使用することによってユーザにi番目の候補ターゲット画像及び第2プロンプト情報を表示し、第2プロンプト情報は、合成処理を終了すべきか又は終了しないべきかをユーザにプロンプトするために使用され、モバイル端末が、前もってセットされた第1存続期間内に、ユーザによって第2プロンプト情報に基づき入力される合成処理終了指示を検出する場合に、モバイル端末は、合成処理を中止し、i番目の候補ターゲット画像をターゲット画像として決定する。
撮影モード2と撮影モード1との間の相違は、次の点にあることが留意されるべきである。撮影モード2では、モバイル端末は手持ち状態にあり、従って、手持ち状態によって引き起こされるフレーム間ジッタを回避するために、各フレームが合成される前に、フレーム位置合わせ処理が、そのフレームと、基準露出パラメータを使用することによって取得される基準フレームとに対して実行される必要があり、すなわち、基準フレームを除く全てのフレームが基準フレームとアライメントされる必要がある。
その上、フレーム位置合わせ処理後に、アライメントされていないエッジ領域が存在することがある。フレーム位置合わせ処理結果は、アライメントされていないエッジ領域を取り除くように、トリミング又は拡大されてよい。
具体的に、フレーム位置合わせは、先行技術におけるフレーム位置合わせ法を使用することによって実行されてよい。これは、本願のこの実施形態において制限されない。
任意に、振動及びブラーが手持ち状態では起こる可能性があるので、各フレームは、画像鮮明度を改善するように、合成処理プロシージャにおいて鮮鋭化されてよい。
撮影モード2における画素重ね合わせ処理プロシージャ及びフレーム融合処理プロシージャは、撮影モード1における画素重ね合わせ処理プロシージャと同じであることが理解されるべきである。詳細な処理については、撮影モード1を参照されたい。繰り返しを回避するために、詳細はここで再びは記載されない。
撮影モード3:三脚及び暗モード
少なくとも2つのフレームがN個のフレームを含み、Nが1よりも大きい整数であると仮定して、合成処理は、撮影モード1において、画素重ね合わせ処理を含むことが留意されるべきである。
具体的に、モバイル端末は、iの値が2、3、・・・又はNであるとして、N個のフレームに含まれるi番目のフレームと、最初のi−1個のフレームの合成処理結果とに対して画素重ね合わせ処理を実行して、i番目の候補ターゲット画像を取得し、モバイル端末は、表示インターフェイスを使用することによってユーザにi番目の候補ターゲット画像及び第2プロンプト情報を表示し、第2プロンプト情報は、合成処理を終了すべきか又は終了しないべきかをユーザにプロンプトするために使用され、モバイル端末が、前もってセットされた第1存続期間内に、ユーザによって第2プロンプト情報に基づき入力される合成処理終了指示を検出する場合に、モバイル端末は、合成処理を中止し、i番目の候補ターゲット画像をターゲット画像として決定する。
撮影モード3における画素重ね合わせ処理プロシージャは、撮影モード1における画素重ね合わせ処理プロシージャと同じであることが理解されるべきである。詳細な処理については、撮影モード1を参照されたい。繰り返しを回避するために、詳細はここで再びは記載されない。
撮影モード4:手持ち及び暗モード
少なくとも2つのフレームがN個のフレームを含み、Nが1よりも大きい整数であると仮定して、合成処理は、撮影モード1において、フレーム位置合わせ処理及び画素重ね合わせ処理を含むことが留意されるべきである。
具体的に、端末デバイスは、基準露出パラメータを使用することによって取得されるフレームに基づき、N個のフレームに含まれるi番目のフレームに対してフレーム位置合わせ処理を実行して、i番目のフレーム位置合わせ処理結果を取得し、モバイル端末は、iの値が2、3、・・・又はNであるとして、i番目のフレーム位置合わせ処理結果及び最初のi−1個のフレームの合成処理結果とに対して画素重ね合わせ処理を実行して、i番目の候補ターゲット画像を取得し、モバイル端末は、表示インターフェイスを使用することによってユーザにi番目の候補ターゲット画像及び第2プロンプト情報を表示し、第2プロンプト情報は、合成処理を終了すべきか又は終了しないべきかをユーザにプロンプトするために使用され、モバイル端末が、前もってセットされた第1存続期間内に、ユーザによって第2プロンプト情報に基づき入力される合成処理終了指示を検出する場合に、モバイル端末は、合成処理を中止し、i番目の候補ターゲット画像をターゲット画像として決定する。
撮影モード3におけるフレーム位置合わせプロシージャ及び画素重ね合わせ処理プロシージャは、撮影モード1における画素重ね合わせ処理プロシージャと同じであることが理解されるべきである。詳細な処理については、撮影モード1を参照されたい。繰り返しを回避するために、詳細はここで再びは記載されない。
S260.モバイル端末は、ターゲット画像を出力する。
具体的に言えば、モバイル端末は、ターゲット画像を、現在の撮影後にギャラリーに最終的に格納される画像として使用してよい。
すなわち、モバイル端末は、ターゲット画像をメモリに記憶してよい。
以下は、図10乃至図17を参照して、本願のこの実施形態で提供される撮影方法を実行する工程においてどのようにモバイル端末の表示インターフェイスが提示されるかについて詳細に記載する。
例えば、ユーザが写真を撮る必要があるとき、ユーザは、カメラを起動するように電子デバイスに指示してよい。例えば、ユーザは、カメラアイコンをタップすることによって、電子デバイスに対してカメラを起動するように指示してよく、あるいは、ユーザは、音声によって、電子デバイスに対してカメラを起動するように指示してよく、あるいは、ユーザは、スクリーンオフ状態でスクリーン上で“C”字形の軌跡を描くことによって、電子デバイスに対してカメラを起動するように指示してよい。電子デバイスにカメラを起動させる方法は、本願のこの実施形態において制限されない。
ユーザがカメラを起動した後に、モバイル端末は、図10に示される表示インターフェイスを表示する。表示インターフェイスは、現在のプレビュー画像、撮影ステータスプロンプト情報、撮影シーンプロンプト情報、シャッターアイコン、露出パラメータプロンプト情報、などを含む。これは、本願のこの実施形態において制限されない。
可能な実施において、図10に示される表示インターフェイス上で、撮影ステータスプロンプト情報は、テキスト形式、アイコン形式、又は他の形式、例えば、現在の撮影ステータスをユーザにプロンプトすることができる音声プロンプトであってよい。これは、本願のこの実施形態において制限されない。
例えば、表示インターフェイスは、「三脚を使用して撮影して下さい(use a tripod to shoot)」、「機器を安定させて下さい(please steady your device)」、などを表示してよい。
他の例として、表示インターフェイスは、“三脚”アイコン及び“無振動”アイコンを表示してよい。
可能な実施において、図10に示される表示インターフェイス上で、撮影シーンプロンプト情報は、テキスト形式、アイコン形式、又は他の形式、例えば、現在の撮影シーンをユーザにプロンプトすることができる音声プロンプトであってよい。これは、本願のこの実施形態において制限されない。
例えば、表示インターフェイスは、「夜間撮影(night shot)」、「高輝度撮影」、「暗時撮影」、又は「明時撮影」を表示してよい。
他の例として、表示インターフェイスは、光源があることを示すために「太陽」アイコンを表示し、「太陽」アイコン内の太陽光線の量を使用することによって現在の光源の強さを示すか、あるいは、夜間撮影を示すために「月」アイコンを表示してよい。
可能な実施において、図10に示される表示インターフェイス上で、露出パラメータプロンプト情報は、テキスト形式、アイコン形式、又は他の形式、例えば、現在の露出パラメータをユーザにプロンプトすることができる音声プロンプトであってよい。これは、本願のこの実施形態において制限されない。
例えば、表示インターフェイスは、「露出存続期間T:**秒(ミリ秒)」、「光感度ISO:**」、又は「開口値F:***」を表示してよい。
他の例として、表示インターフェイスは、「自動露出存続期間設定(auto)モード」アイコン、「自動ISO設定モード」アイコン、又は「自動開口値設定モード」アイコンを表示してよい。
任意に、露出パラメータは、自動設定モードにあってよく、あるいは、手動ユーザ設定モードにあってよく、あるいは、半自動半手動モードにあってよい。これは、本願のこの実施形態において制限されない。
例えば、図11に示されるように、表示インターフェイスは「ISO」アイコンを表示してよい。アイコンをタップした後に、ユーザは手動でISOを設定し得る。
図11は、単に、カメラが起動した後に表示される表示インターフェイスの一例を示すことが理解されるべきである。図11の表示インターフェイスは、アルバムプレビュー画面、ホームキー、戻りキー、又はメニューキーのような既存の表示インターフェイス上の他の部分を更に含んでもよい。本願のこの実施形態はこれに制限されるべきではない。
ユーザが写真を撮る必要があるときに、ユーザはシャッターをタップする。この場合に、モバイル端末は、ユーザによって入力された検出された撮影指示に基づき、デバイスを安定させるようにユーザに促し、プレビューされる画像を取得し、現在の撮影モードを決定し、プレビューされる画像及び撮影モードに基づき露出パラメータシーケンスを決定し、露出パラメータシーケンスに対応する少なくとも2つのフレームを取得する。
モバイル端末が現在の撮影モードを決定した後に、モバイル端末は、表示インターフェイスを使用することによって現在の撮影モードをユーザにプロンプトしてよい。
例えば、図12に示されるように、表示インターフェイスは、現在の撮影モードが三脚及び光源モードであることをユーザにプロンプトする。
例えば、少なくとも2つのフレームがフレーム1、フレーム2、フレーム3、及びフレーム4である場合に、図13乃至図16は、モバイル端末によって露出パラメータに基づき少なくとも2つのフレームを取得した後に該少なくとも2つのフレームに基づき合成処理を実行する工程において、表示インターフェイスの可能な表示様態を示す。しかし、本願のこの実施形態はこれに制限されるべきではない。
図13は、第1の候補ターゲット画像(フレーム1)を示す。図14は、第2の候補ターゲット画像(フレームとフレーム2との合成結果である。)を示す。図15は、第3の候補ターゲット画像(第2の候補ターゲット画像とフレーム3との合成結果である。)を示す。図16は、第4の候補ターゲット画像(第3の候補ターゲット画像とフレーム4との合成結果である。)、すなわち、最終のターゲット画像を示す。
任意に、表示インターフェイスは、撮影(shooting)又は処理が進行中であることをユーザに更にプロンプトしてもよい。
任意に、表示インターフェイスは、合成処理カウントダウンのカウントを更に含み、カウントダウン進行バーをユーザに表示してもよい。
任意に、表示インターフェイスは、現在の合成処理で既に使用されている存続期間を更に表示してもよい。
任意に、表示インターフェイスは、合成が実行中である特定の画像をユーザに更にプロンプトしてもよい。
任意に、表示インターフェイスは、現在取得されている候補ターゲット画像と、取得された候補ターゲット画像の数とをユーザに更にプロンプトしてもよい。
他の例として、図17は、第2プロンプト情報の可能な表示インターフェイスの例を示す。モバイル端末は、表示インターフェイスを使用することによって、満足な効果で現在の撮影を終了するようにユーザに促し、終了アイコンを提供してよい。第2プロンプト情報は、ユーザにプロンプトするように図13乃至図16の表示インターフェイスのうちの任意の1つで表示されてよい。ユーザが終了ボタンを押すときに、フレーム合成処理は終了し、現在の表示インターフェイス上で表示される候補ターゲット画像は、最終のターゲット画像としてユーザに表示され、ギャラリーに格納される。
任意に、図13及び図17は、単に、モバイル端末の撮影プロセスにおける表示インターフェイスの変化の例を示す。撮影プロセスにおいて、モバイル端末の表示インターフェイスは、撮影及び合成処理に関連した他の変化プロセスを更に表示してもよい。本願のこの実施形態はこれに制限されるべきではない。
図18を参照して、以下は、本願の実施形態で提供されるシステムアーキテクチャ400の概略図について記載する。システム構造は、方法400で提供される方法を実装するために使用される。
カメラアプリケーション(Application,APP)410は、ユーザによって入力されたカメラ起動命令を取得し、撮影機能をユーザに提供するよう構成される。
制御センター420は、ユーザによって入力された撮影指示を検出し、撮影指示を検出した後で、処理センター430に初期露出パラメータを要求し、センサ440にセンサパラメータを要求するよう構成される。
可能な実施において、制御センター420は、例えば、モバイル端末のオペレーティング・システムであってよい。
処理センター430は、制御センター420の要求に従って初期露出パラメータを制御センター420へ転送するよう構成される。
可能な実施において、処理センター430は、例えば、カメラとともに使用されるバックグラウンド処理モジュールであってよい。
制御センター420は、受信された初期露出パラメータに基づき画像信号プロセッサ(image signal processor,ISP)450へ初期露出パラメータを転送し、ISP450に対して初期露出パラメータに基づきプレビュー画像を捕捉するように指示するよう構成される。
ISP450は、初期パラメータに基づきプレビュー画像を取得するようにカメラ460を制御し、プレビュー画像を処理センター430へ送信するよう構成される。
可能な実施において、ISP450は、例えば、カメラパラメータ設定を実行し、カメラによって出力された画像に対してフォーマット処理のような処理を実行するよう構成されたハードウェアであってよい。
センサ440は、制御センター420の要求に従ってセンサデータを制御センター420へ送信するよう構成される。
制御センター420は更に、センサ440から取得されるセンサデータと、ISP450から取得されるプレビュー画像とを処理センター430へ送信するよう構成される。
処理センター430は更に、(1)画像符号化ユニット470に対して、制御センター420から取得されるプレビュー画像を符号化のために送信し、(2)現在の撮影モードを決定し、表示スクリーンに対して現在の撮影モードを表示するように指示し、(3)取得されたプレビュー画像及び取得されたセンサデータに基づき露出パラメータシーケンスを決定し、露出パラメータシーケンスを制御センター420へ送信するよう構成される。
処理(1)において、画像符号化ユニット470は、制御センター430によって送信されたプレビュー画像を符号化し、次いで、符号化されたプレビュー画像を表示スクリーン480へ送信するよう構成される。表示スクリーン480は、ユーザに対して、画像符号化ユニット470によって送信されたプレビュー画像を表示するよう構成される。
処理(2)において、表示スクリーン480は更に、現在の撮影モードをユーザに表示するよう構成される。
処理(3)において、制御センター420は更に、取得された露出パラメータシーケンスをISP450へ転送するよう構成される。
ISP450は更に、露出パラメータシーケンスに基づき、露出パラメータシーケンスに対応する少なくとも2つのフレームを捕捉するようにカメラを制御するよう構成され、且つ、捕捉された少なくとも2つのフレームを処理センター430へ送信するよう構成される。
処理センター430は更に、取得された少なくとも2つのフレーム及び撮影モードに基づきフレーム合成処理を実行し、フレームが合成を通じて取得されるたびに、そのフレームをフレーム符号化ユニット470へ送信し、表示スクリーン480を使用することによってフレームを表示し、最終のターゲット画像が決定された後に、ターゲット画像をギャラリー490に格納するよう構成される。
図19は、本願の実施形態に従う撮影装置500の略ブロック図である。撮影装置500は、方法200で記載された端末デバイスに対応してよく、撮影装置500におけるモジュール又はユニットは、方法200で端末デバイスによって実行された動作及び処理プロシージャを実行するよう構成される。ここで、繰り返しを避けるために、その詳細な記載は省略される。
当業者であれば、本明細書中で開示される実施形態で記載される例を参照して、ユニット及びアルゴリズムステップが、電子ハードウェア又はコンピュータソフトウェアと電子ハードウェアとの組み合わせによって実装され得ると気付き得る。機能がハードウェア又はソフトウェアによって実行されるかどうかは、技術的解決法の具体的な適用及び設計制約条件に依存する。当業者であれば、特定の用途ごとに、種々の方法を使用して、記載される機能を実装し得るが、実施が本願の適用範囲を超えることは、考えられるべきではない。
当業者によって明らかに理解され得るように、記載の便宜上及び簡潔さのために、上記のシステム、装置、及びユニットの詳細な作動プロセスについては、上記の方法実施形態における対応するプロセスが参照されてよく、詳細はここで再び記載されない。
本願で提供されるいくつかの実施形態で、開示されるシステム、装置、及び方法は、他の様態で実装されてもよいことが理解されるべきである。例えば、記載される装置実施形態は、一例にすぎない。例えば、ユニット分割は、単に、論理的な機能分割であり、実際の実施では他の分割であってもよい。例えば、複数のユニット又はコンポーネントが他のシステムに結合又は一体化されてよく、あるいは、いくつかの特徴は、無視されても又は実行されなくてもよい。その上、図示又は議論される相互結合又は直接的な結合若しくは通信接続は、いくつかのインターフェイスを使用することによって実装されてもよい。装置又はユニット間の間接的な結合又は通信接続は、電気的な、機械的な、又は他の形式で実装されてよい。
分離した部分として記載されるユニットは、物理的に分離していてもしていなくてもよく、ユニットとして示される部分は、物理的なユニットであってもなくてもよく、一箇所に位置しても、又は複数のネットワークユニット上に分配されてもよい。ユニットの一部又は全ては、実施形態の解決法の目的を達成するために実際の要件に応じて選択されてよい。
その上、本願の実施形態における機能ユニットは、1つの処理ユニットに一体化されてよく、あるいは、ユニットの夫々が物理的に単独で存在してもよく、あるいは、2以上のユニットが1つのユニットに一体化されてもよい。
機能がソフトウェア機能ユニットの形で実装され、独立した製品として販売又は使用されるとき、機能は、コンピュータ可読記憶媒体に記憶されてよい。そのような理解に基づき、本願の技術的解決法は本質的に、あるいは、先行技術を構成する部分、又は技術的解決法の一部は、ソフトウェア製品の形で実装されてよい。コンピュータソフトウェア製品は、記憶媒体に記憶され、本願の実施形態で記載される方法のステップの全て又は一部を実行するようにコンピュータデバイス(パーソナルコンピュータ、サーバ、ネットワークデバイス、などであってよい。)に指示するいくつかの命令を含む。記憶媒体には、USBフラッシュドライブ、リムーバブル・ハード・ディスク、リード・オンリー・メモリ(Read-Only Memory,ROM)、ランダム・アクセス・メモリ(Random Access Memory,RAM)、磁気ディスク、又は光ディスクのような、プログラムコードを記憶することができる如何なる媒体も含まれてよい。
以上の記載は、本願の具体的な実施にすぎず、本願の保護範囲を制限する意図はない。本願で開示される技術的範囲内で当業者によって容易に想到される如何なる変形又は置換も、本願の保護範囲内に入るはずである。従って、本願の保護範囲は、特許請求の範囲の保護範囲に従うべきである。
本願の実施形態は、端末分野に、より具体的には、端末分野における撮影方法、撮影装置、及びモバイル端末に関係がある。
撮影技術の継続的な発展及びモバイル端末の広範囲にわたる使用とともに、モバイル端末の撮影機能は、人々によってますます好まれている。既存のモバイル端末は、自動撮影モード又は、ユーザが撮影パラメータを手動で設定することができるモードを提供することができる。
撮影対象の周りの光が比較的に弱いか、あるいは、ユーザが写真を撮影するときに激しい振動が起こる場合に、モバイル端末の自動撮影モードで撮られた写真の効果は、通常は比較的に悪い。図1に示されるように、ユーザの手が撮影中に揺れる場合に、取得された写真は比較的に不鮮明である。図2に示されるように、光が比較的に乏しい場合に、取得された写真は深刻なノイズを有している。既存のモバイル端末は、撮影パラメータを手動で設定するモードも提供するが、一般的なユーザは、撮影技術の理解が不十分であるから、種々のシナリオに基づき様々な撮影パラメータを手動で設定することは、一般的なユーザにとって非常に困難である。従って、既存のモバイル端末の自動撮影モードを使用することによって撮影が行われる場合に、画像の撮影効果は比較的に悪い。
本願は、画像の撮影効果を改善するように、撮影方法、撮影装置、及びモバイル端末を提供する。
第1の態様に従って、本願の実施形態は撮影方法を提供する。方法は、
モバイル端末によって、プレビューされる第1画像を取得することと、
前記モバイル端末によって、現在の撮影モードを決定し、該撮影モードは撮影ステータス及び撮影シーンを含み、前記撮影ステータスは手持ち状態又は三脚状態を含み、前記撮影シーンは光源シーン又は暗シーンを含む、ことと、
前記モバイル端末によって、前記第1画像及び前記撮影モードに基づき露出パラメータシーケンスを決定し、該露出パラメータシーケンスは、撮影時間の昇順でソートされた少なくとも2つの露出パラメータを含み、該露出パラメータは、撮影中に前記モバイル端末に許される光を制御するために使用される、ことと、
前記モバイル端末によって、前記露出パラメータシーケンスに含まれる前記露出パラメータに基づき少なくとも2つのフレームを取得することと、
前記モバイル端末によって、前記撮影モード及び前記少なくとも2つのフレームの一部又は全てに基づき合成処理を実行して、ターゲット画像を取得することと、
前記モバイル端末によって、前記ターゲット画像を出力することと
を含む。
任意に、モバイル端末がプレビューされる第1画像を取得する前に、モバイル端末は、ユーザによって入力される検出されたカメラ起動命令に基づき、カメラによってリアルタイムで取得される画像のプレビューを、表示インターフェイスを使用することによってユーザに対して表示し得る。相応して、ユーザは、モバイル端末のカメラを起動し、そして、モバイル端末の表示インターフェイスを使用することによって、カメラによってリアルタイムで取得される画像をプレビューし得る。
第1画像は、モバイル端末のカメラが起動するときに直接捕捉される画像として理解されてよく、あるいは、ユーザがシャッターを押した後の最初の撮影画像として理解されてもよいことが留意されるべきである。これは、本願のこの実施形態において制限されない。
任意に、モバイル端末は、トリガイベント又は前もってセットされた第2存続期間に基づき、プレビューされる第1画像を取得してもよい。これは、本願のこの実施形態において制限されない。
本願のこの実施形態で、前もってセットされた第2存続期間は、前もってセットされた存続期間して理解されてよいことが理解されるべきである。
可能な実施において、モバイル端末は、ユーザによって入力された検出された撮影指示に従って現在のプレビュー画像を取得し、現在のプレビュー画像を第1画像として決定してよい。
例えば、モバイル端末は、ユーザがシャッター(撮影)ボタンの位置をクリックする動作を検出するときに、現在のプレビュー画像を取得してよい。
他の可能な実施において、モバイル端末は、前もってセットされた第2存続期間の終了時点で現在のプレビュー画像を取得し、現在のプレビュー画像を第1画像として決定してよい。
例えば、モバイル端末は、撮影機能を起動した後にタイマを起動してよい。タイマの長さは5sである。タイマが経過するときに、モバイル端末は現在のプレビュー画像を取得する。
任意に、モバイル端末は、複数の方法で撮影モードを決定してよい。これは、本願のこの実施形態において制限されない。
可能な実施において、モバイル端末は、ユーザによって入力された撮影モード指示を取得してよい。撮影モード指示は、ユーザによって指定された撮影モードを示すために使用される。
他の可能な実施において、モバイル端末は、第1画像に基づき撮影モードを自動で決定してよい。具体的に、モバイル端末は、カメラによって捕捉された第1画像に基づき、現在の撮影についての撮影ステータス及び/又は撮影シーンを決定する。
任意に、モバイル端末は、複数の方法で撮影ステータスを決定してよい。これは、本願のこの実施形態において制限されない。
可能な実施において、モバイル端末は、前もってセットされた第1存続期間内にセンサによって収集される複数のセンサデータに基づき撮影ステータスを決定してよい。センサデータは、モバイル端末と水平方向又は重力方向との間の角度を示すために使用される。
例えば、複数のセンサデータの平均値(又は最大値)が前もってセットされた第1値以上である場合に、モバイル端末は、撮影ステータスが手持ち状態であると決定し、あるいは、複数のセンサデータの平均値(又は最大値)が第1値に満たない場合に、モバイル端末は、撮影ステータスが三脚状態であると決定する。
任意に、センサはジャイロセンサ、角速度センサ、加速度センサ、又はモバイル端末と水平方向又は重力方向との間の角度を示すセンサデータを取得可能な他のセンサであってよい。これは、本願のこの実施形態において制限されない。
任意に、モバイル端末は、複数の方法で撮影モードを決定してよい。これは、本願のこの実施形態において制限されない。
可能な実施において、モバイル端末は、第1画像の輝度値に基づき撮影シーンを決定してよい。
具体的に、モバイル端末は、輝度値が前もってセットされた第2値よりも大きい第1画像内の画素の数に基づき、撮影シーンを決定してよい。
例えば、全ての画素数に対する、輝度値が第2値よりも大きい第1画像内の画素の数の比が、前もってセットされた比率値以上である場合に、モバイル端末は、撮影シーンが光源シーンであると決定し、あるいは、全ての画素数に対する、輝度値が第2値よりも大きい第1画像内の画素の数の比が、比率値に満たない場合に、モバイル端末は、撮影シーンが暗シーンであると決定する。
任意に、モバイル端末は、表示インターフェイスを使用することによってユーザに第1プロンプト情報を表示してよい。第1プロンプト情報は、ユーザに撮影モードをプロンプトするために使用される。
以下は、どのようにしてモバイル端末が種々の撮影モードにおいて第1画像及び撮影モードに基づき露出パラメータシーケンスを決定するかについて記載する。
続く実施形態は、単に、露出パラメータが露出存続期間及び光感度を含むところの例を使用することによって記載されることが、理解されるべきである。
露出パラメータは、開口値のような他のパラメータ値を更に含んでもよいことが留意されるべきである。これは、本願のこの実施形態において制限されない。
撮影モード1:三脚及び光源モード
前記撮影シーンが前記光源シーンである場合に、前記モバイル端末は、前記第1画像内の第1領域の画素平均、前記第1画像内の第2領域の画素平均、及び前記第1画像の露出パラメータに基づき、前記露出パラメータシーケンスに含まれる第1露出パラメータ及び第2露出パラメータを決定する。
前記第1領域は、前記第1画像において最大である画素値を有する少なくとも2つの画素を含み、前記第2領域は、前記第1画像において最小である画素値を有する少なくとも2つの画素を含む。前記第1露出パラメータを使用することによって取得されるフレーム内で前記第1領域に対応する領域の画素平均は、前もってセットされた第1画素閾値に等しく、前記第1領域の画素平均は、前記第1画素閾値以上である。前記第2露出パラメータを使用することによって取得されるフレーム内で前記第2領域に対応する領域の画素平均は、前もってセットされた第2画素閾値に等しく、前記第2領域の画素平均は、前記第2画素閾値以下である。前記第1画素閾値は、前記第2画素閾値よりも大きい。前記第1露出パラメータに対応する撮影時間は、前記第2露出パラメータに対応する撮影時間よりも早い。
前記撮影ステータスが前記三脚状態である場合に、モバイル端末は、前記露出パラメータシーケンスの前記露出パラメータに含まれる光感度が前もってセットされた第1光感度以下であると決定する。
本願のこの実施形態で、第1領域(又は第2領域)の画素平均は、画素の数に対する、第1領域(又は第2領域)内の画素の画素値の和の比として理解され得ることが留意されるべきである。可能な代替の方法では、第1領域(又は第2領域)の画素平均は、第1領域(又は第2領域)内の画素の画素値の和により置き換えられてよい。これは、本願のこの実施形態において制限されない。
第1領域の画素平均が第1画素閾値以上である場合に、第1領域は露出過度領域であり、第1領域の輝度は低減される必要があり、同様に、第2領域の画素平均が第2画素閾値以下である場合に、それは、第2領域が露出不足領域であることを示し、第2領域の輝度は増大される必要があることが更に留意されるべきである。
光源シーンでは、画像内の画素の輝度の分布範囲は比較的に広く、露出過度又は露出不足が起こる可能性がある。従って、モバイル端末は、第1露出パラメータを使用することによって取得されるフレームに基づき露出過度領域(第1領域)の輝度を低減し、且つ、第2露出パラメータを使用することによって取得されるフレームに基づき露出不足領域(第2領域)の輝度を増大させて、合成を通じて高ダイナミックレンジで画像を取得することができ、それによって、画像内の明るくあるべき領域は明るく、画像内の暗くあるべき領域は暗く、画像はより多くのディテールを含む。
画像の画素値は0から255であり、全部で256個の値があることが理解されるべきである。値が大きいほど、輝度は高い。0は、完全黒の最も暗い領域を示し、255は最も高い輝度の完全白色を示し、0から255の間の数は、異なる輝度のグレー色を示す。
例えば、第1画像の露出存続期間は1sであり、第1画像の光感度は100であり、第1画像は、画素値が夫々5、5、60、80、250、及び250である6つの画素を含むとすれば、第1領域は、画素値が最大である2つの画素を含み、すなわち、第1領域の画素平均は250であり、第2領域は、画素値が最小である2つの画素を含み、すなわち、第2領域の画素平均は5である。
露出パラメータが露出存続期間及び光感度を含むとき、露出パラメータに対応する入射光は、露出存続期間と光感度との積として理解され得ることが理解されるべきである。
第1画素閾値が200であるとすれば、第1領域の画素平均は250であり、第1画像の露出パラメータに対応する入射光は100であるから、第1露出パラメータに対応する入射光は、200×100/250=80であることが分かる。
第2画素閾値が30であるならば、第2領域の画素平均は5であり、第1画像の露出パラメータに対応する入射光は100であるから、第2露出パラメータに対応する入射光は、30×100/5=600であることが分かる。
入射光が同じであるとき、より光感度が低い画像は、より小さい画像ノイズ及びより良い撮影効果を有している。モバイル端末は、三脚状態において比較的に安定している。従って、三脚状態では、モバイル端末は、露出パラメータの光感度を、前もってセットされた光感度以下の値に設定する。
すなわち、三脚状態では、モバイル端末は、画像の撮影効果を改善するために、相対的により低い光感度及び比較的に長い露出存続期間に基づき画像を取得する。
可能な実施において、露出パラメータシーケンスにおいて露出パラメータに含まれる露出存続期間は逐次増大し、あるいは、露出パラメータシーケンスにおいて露出パラメータに含まれる光感度は逐次増大する。
例えば、前もってセットされた光感度が200であるすれば、第1露出パラメータの露出存続期間は0.5sであってよく、第1露出パラメータの光感度は160であってよく、第2露出パラメータの露出存続期間は3sであってよく、第2露出パラメータの光感度は200であってよい。
任意に、前記露出パラメータシーケンスは、撮影時間の昇順でソートされた少なくとも1つの第4露出パラメータを更に含んでもよい。該少なくとも1つの第4露出パラメータのいずれか1つに対応する撮影時間は、前記第1露出パラメータに対応する撮影時間よりも遅いが、前記第2露出パラメータに対応する撮影時間よりも早い。
任意に、前記露出パラメータシーケンスに含まれる前記露出パラメータに対応する入射光は、撮影時間の昇順で逐次増大してよい。具体的に言えば、露出パラメータシーケンスにおいて、第1露出パラメータに対応する入射光は最小であり、第2露出パラメータに対応する入射光は最大である。少なくとも1つの第4露出パラメータは、第1露出パラメータと第2露出パラメータとの間に設定されてよく、それにより、その後の合成処理プロシージャで2つの連続フレーム間の比較的大きい差から生じるフレーム合成効果に対する影響を回避するために、露出パラメータシーケンスに含まれる露出パラメータに対応する入射光は、撮影時間の昇順で逐次増大する。
任意に、露出パラメータシーケンスに含まれるいずれか2つの露出パラメータに対応する入射光の間の差は、いずれかの他の2つの露出パラメータに対応する入射光の間の差に等しくても又は等しくなくてもよい。これは、本願のこの実施形態において制限されない。
例えば、1つの第4露出パラメータが第1露出パラメータと第2露出パラメータとの間に含まれ、第1露出パラメータの露出存続期間は0.5sであり、第1露出パラメータの光感度は160であり、第2露出パラメータの露出存続期間は3sであり、第2露出パラメータの光感度は200であるとすれば、第4露出パラメータの露出存続期間は1sに設定されてよく、第4露出パラメータの光感度は180に設定されてよい。
他の例として、2つの第4露出パラメータが第1露出パラメータと第2露出パラメータとの間に含まれ、第1露出パラメータの露出存続期間は0.5sであり、第1露出パラメータの光感度は160であり、第2露出パラメータの露出存続期間は3sであり、第2露出パラメータの光感度は200であるとすれば、第1の第4露出パラメータの露出存続期間は1sに設定されてよく、第1の第4露出パラメータの光感度は180に設定されてよく、第2の第4露出パラメータの露出存続期間は2sに設定されてよく、第2の第4露出パラメータの光感度は180に設定されてよい。
任意に、モバイル端末の最大露出パラメータを使用することによって取得されるフレーム内で第2領域に対応する領域の画素値が、依然として第2画素閾値よりも小さい場合に、すなわち、露出不足領域の輝度が依然として望ましくない場合に、この場合、モバイル端末は、露出不足領域の輝度を増大させるように、第2露出パラメータの後ろに少なくとも1つの第2露出パラメータ(例えば、図6において斜線パターンによって示されている第2露出パラメータ)を加えてよい。
本願のこの実施形態で提供される撮影方法によれば、光源シーンでは、異なる露出レベルでの同じ撮影対象のフレームが、異なる露出パラメータを設定することによって取得される。第1露出パラメータは、フレーム内の明領域の画像ディテールを回復するために使用され、第2露出パラメータは、フレーム内の暗領域の画像ディテールを回復するために使用される。異なる露出パラメータを使用することによって取得されるフレームは合成される。このようにして、画像のダイナミックレンジを改善し、それによって、画像の撮影効果を改善するために、最終的な画像の大域的ディテール及び輝度の両方がバランスを取られる。三脚状態において、入射光が同じである場合に、画像ノイズは、画像の撮影効果を改善するために、比較的に長い露出存続期間及び比較的に低い光感度を設定することによって更に低減可能である。
撮影モード2:手持ち及び光源モード
前記撮影シーンが前記光源シーンである場合に、前記モバイル端末は、前記第1画像内の第1領域の画素平均、前記第1画像内の第2領域の画素平均、及び前記第1画像の露出パラメータに基づき、前記露出パラメータシーケンスに含まれる第1露出パラメータ及び第2露出パラメータを決定する。
前記第1領域は、前記第1画像において最大である画素値を有する少なくとも2つの画素を含み、前記第2領域は、前記第1画像において最小である画素値を有する少なくとも2つの画素を含む。前記第1露出パラメータを使用することによって取得されるフレーム内で前記第1領域に対応する領域の画素平均は、前もってセットされた第1画素閾値に等しく、前記第1領域の画素平均は、前記第1画素閾値以上である。前記第2露出パラメータを使用することによって取得されるフレーム内で前記第2領域に対応する領域の画素平均は、前もってセットされた第2画素閾値に等しく、前記第2領域の画素平均は、前記第2画素閾値以下である。前記第1画素閾値は前記第2画素閾値よりも大きい。前記第1露出パラメータに対応する撮影時間は、前記第2露出パラメータに対応する撮影時間よりも早い。
前記撮影ステータスが前記手持ち状態である場合に、前記モバイル端末は、前記露出パラメータシーケンスが基準露出パラメータを含み、且つ、前記露出パラメータシーケンスの前記露出パラメータに含まれる露出存続期間が前もってセットされた第1露出存続期間以下であると決定する。前記基準露出パラメータは、前記露出パラメータシーケンスにおいて最も早い撮影時間を有する露出パラメータであり、前記基準露出パラメータに対応する入射光は、前記第1露出パラメータに対応する入射光よりも多いが、前記第2露出パラメータに対応する入射光よりも少ない。
本願のこの実施形態で、第1領域(又は第2領域)の画素平均は、画素の数に対する、第1領域(又は第2領域)内の画素の画素値の和の比として理解され得ることが留意されるべきである。可能な代替の方法では、第1領域(又は第2領域)の画素平均は、第1領域(又は第2領域)内の画素の画素値の和により置き換えられてよい。これは、本願のこの実施形態において制限されない。
第1領域の画素平均が前もってセットされた第1画素閾値以上である場合に、それは、第1領域が露出過度領域であることを示し、第1領域の輝度は低減される必要があり、同様に、第2領域の画素平均が前もってセットされた第2画素閾値以下である場合に、それは、第2領域が露出不足領域であることを示し、第2領域の輝度は増大される必要があることが更に留意されるべきである。
例えば、第1画像の露出存続期間は1sであり、第1画像の光感度は100であり、第1画像は、図5に示されるように、画素値が夫々5、5、60、80、250、及び250である6つの画素を含むとすれば、第1領域は、画素値が最大である2つの画素を含み、すなわち、第1領域の画素平均は250であり、第2領域は、画素値が最小である2つの画素を含み、すなわち、第2領域の画素平均は5である。
露出パラメータが露出存続期間及び光感度を含むとき、露出パラメータに対応する入射光は、露出存続期間と光感度との積として理解され得ることが理解されるべきである。
前もってセットされた第1画素閾値が200であるとすれば、第1領域の画素平均は250であり、第1画像の露出パラメータに対応する入射光は100であるから、第1露出パラメータに対応する入射光は、200×100/250=80であることが分かる。
前もってセットされた第2画素閾値が30であるならば、第2領域の画素平均は5であり、第1画像の露出パラメータに対応する入射光は100であるから、第2露出パラメータに対応する入射光は、30×100/5=600であることが分かる。
手持ちモードでは振動が起こる可能性があるので、モバイル端末は、前もってセットされた露出存続期間以下である値に露出パラメータの露出存続期間を設定する。
すなわち、手持ち状態では、モバイル端末は、画像の撮影効果を改善するために、比較的に短い露出存続期間及び比較的に高い光感度に基づき画像を取得する。
可能な実施において、露出パラメータシーケンスにおいて露出パラメータに含まれる露出存続期間は逐次増大し、且つ/あるいは、露出パラメータシーケンスにおいて露出パラメータに含まれる光感度は逐次増大する。
例えば、前もってセットされた露出存続期間が1sであるとすれば、第1露出パラメータの露出存続期間は0.2sであってよく、第1露出パラメータの光感度は400であってよく、第2露出パラメータの露出存続期間は0.5sであってよく、第2露出パラメータの光感度は1200であってよい。
他の例として、第1露出パラメータの露出存続期間が0.2sであり、第1露出パラメータの光感度が400であり、第2露出パラメータの露出存続期間が0.5sであり、第2露出パラメータの光感度が1200であるすれば、基準露出パラメータは、第1露出パラメータの前に設定されてよい。例えば、基準露出パラメータの露出存続期間は0.3sであってよく、基準露出パラメータの光感度は800であってよい。
任意に、前記露出パラメータシーケンスは、撮影時間の昇順でソートされた少なくとも1つの第4露出パラメータを更に含んでもよい。該少なくとも1つの第4露出パラメータのいずれか1つに対応する撮影時間は、前記第1露出パラメータに対応する撮影時間よりも遅いが、前記第2露出パラメータに対応する撮影時間よりも早い。
任意に、前記露出パラメータシーケンスに含まれる前記露出パラメータに対応する入射光は、撮影時間の昇順で逐次増大してよい。具体的に言えば、露出パラメータシーケンスにおいて、第1露出パラメータに対応する入射光は最小であり、第2露出パラメータに対応する入射光は最大である。少なくとも1つの第4露出パラメータは、第1露出パラメータと第2露出パラメータとの間に設定されてよく、それにより、その後の合成処理プロシージャで2つの連続フレーム間の比較的大きい差から生じる画像合成効果に対する影響を回避するために、露出パラメータシーケンスに含まれる露出パラメータに対応する入射光は、撮影時間の昇順で逐次増大する。
任意に、モバイル端末の最大露出パラメータを使用することによって取得される画像内で第2領域に対応する領域の画素平均が、依然として前もってセットされた第2画素閾値よりも小さい場合に、すなわち、露出不足領域の輝度が依然として望ましくない場合に、この場合、モバイル端末は、露出不足領域の輝度を増大させるように、第2露出パラメータの後ろに少なくとも1つの第2露出パラメータ(例えば、図7において斜線パターンによって示されている第2露出パラメータ)を加えてよい。
本願のこの実施形態で提供される撮影方法によれば、光源シーンでは、画像内の画素の輝度の変化は比較的に大きく、露出過度又は露出不足が起こる可能性がある。従って、モバイル端末は、第1露出パラメータを使用することによって取得されるフレームに基づき露出過度領域の輝度を低減し、第2露出パラメータを使用することによって取得されるフレームに基づき露出不足領域の輝度を増大して、合成を通じて高ダイナミックレンジで画像を取得することができ、それによって、画像内の明るくあるべき領域は明るく、画像内の暗くあるべき領域は暗く、画像はより多くのディテールを含む。
その上、手持ちモードでは、モバイル端末は、十分に安定しておらず、振動する可能性がある。結果として、撮影された画像は、振動により不鮮明であることがあり、複数の連続した撮影フレームは、振動によりアライメントされない可能性がある。従って、振動による不鮮明な画像を回避するために、露出存続期間は、可能な限り小さい値に設定される必要がある。その上、基準露出パラメータは、露出パラメータシーケンスの最前に設定される必要があり、基準露出パラメータを使用することによって取得される画像は、その後に撮影されるフレームをアライメントするために使用される。
任意に、三脚状態において露出パラメータシーケンスに含まれる露出パラメータの数は、手持ち状態において露出パラメータシーケンスに含まれる露出パラメータの数よりも多くなり得る。
撮影モード3:三脚及び暗モード
前記撮影シーンが前記暗シーンである場合に、前記モバイル端末は、前記第1画像の画素平均及び前記第1画像の露出パラメータに基づき、前記露出パラメータシーケンスに含まれる複数の第3露出パラメータを決定する。
前記第3露出パラメータを使用することによって取得されるフレームの画素平均は、前もってセットされた第3画素閾値に等しく、前記第1画像の画素平均は、前もってセットされた第3画素閾値以下である。
前記撮影ステータスが前記三脚状態である場合に、前記モバイル端末は、前記露出パラメータシーケンスの前記露出パラメータに含まれる光感度が前もってセットされた光感度以下であると決定する。
本願のこの実施形態で、第1画像の画素平均は、画素の数に対する、第1画像内の画素の画素値の和の比として理解され得ることが留意されるべきである。可能な代替の方法では、第1画像の画素平均は、第1画像内の画素の画素値の和により置き換えられてよい。これは、本願のこの実施形態において制限されない。
第1画像の画素平均が前もってセットされた第3画素閾値以下である場合に、それは、第1画像が露出不足画像であることを示し、第1画像の輝度は増大される必要があることが更に留意されるべきである。
例えば、第1画像の露出存続期間は1sであり、第1画像の光感度は100であり、第1画像は、図5に示されるように、画素値が夫々5、5、60、80、250、及び250である6つの画素を含むとすれば、第1画像の画素平均は108である。
露出パラメータが露出存続期間及び光感度を含むとき、露出パラメータに対応する入射光は、露出存続期間と光感度との積として理解され得ることが理解されるべきである。
第3画素閾値が128であるとすれば、第1画像の画素平均は108であり、第1画像の露出パラメータに対応する入射光は100であるから、第3露出パラメータに対応する入射光は、128×100/108=118であることが分かる。
入射光が同じであるとき、より光感度が低い画像は、より小さい画像ノイズ及びより良い撮影効果を有している。モバイル端末は、三脚モードにおいて比較的に安定している。従って、三脚モードでは、モバイル端末は、露出パラメータの光感度を、前もってセットされた第1光感度よりも小さい値に設定し、相対的により低い光感度及び比較的に長い露出存続期間に基づき画像を取得する。
要するに、前もってセットされた第1光感度が100であるとすれば、第3露出パラメータの露出存続期間は、例えば、1.2sであってよく、第3露出パラメータの光感度は、例えば、100であってよい。
本願のこの実施形態で提供される撮影方法によれば、暗シーンでは、光が比較的弱く、画像輝度が比較的に乏しく、露出過度は起こらない。従って、モバイル端末は、画像輝度を増大させるように、複数の第3露出パラメータを使用することによって取得されるフレームに基づき露出不足領域の輝度を増大させてよく、それにより、画像はより多くのディテールを含んで、画像の撮影効果を改善する。三脚状態において、入射光が同じである場合に、画像ノイズは、画像の撮影効果を改善するために、比較的に長い露出存続期間及び比較的に低い光感度を設定することによって更に低減可能である。
撮影モード4:手持ち及び暗モード
前記撮影シーンが前記暗シーンである場合に、前記モバイル端末は、前記第1画像の画素平均及び前記第1画像の露出パラメータに基づき、前記露出パラメータシーケンスに含まれる複数の第3露出パラメータを決定する。
前記第3露出パラメータを使用することによって取得されるフレームの画素平均は、前もってセットされた第3画素閾値に等しく、前記第1画像の画素平均は、前記第3画素閾値以下である。
前記撮影ステータスが前記手持ち状態である場合に、前記モバイル端末は、前記露出パラメータシーケンスが基準露出パラメータを含み、且つ、前記露出パラメータシーケンスの前記露出パラメータに含まれる露出存続期間が前もってセットされた露出存続期間以下であると決定する。前記基準露出パラメータは、前記露出パラメータシーケンスにおいて最も早い撮影時間を有する露出パラメータであり、前記基準露出パラメータに対応する入射光は、前記第3露出パラメータに対応する入射光に等しい。
本願のこの実施形態で提供される撮影方法によれば、暗シーンでは、光が比較的弱く、画像輝度が比較的に乏しく、露出過度は起こらない。従って、モバイル端末は、画像輝度を増大させるように、複数の第3露出パラメータを使用することによって取得されるフレームに基づき露出不足領域の輝度を増大させてよく、それにより、画像はより多くのディテールを含んで、画像の撮影効果を改善する。
その上、手持ちモードでは、モバイル端末は、十分に安定しておらず、振動する可能性がある。結果として、撮影された画像は、振動により不鮮明であることがあり、複数の連続した撮影フレームは、振動によりアライメントされない可能性がある。従って、振動による不鮮明な画像を回避するために、露出存続期間は、可能な限り小さい値に設定される必要がある。その上、基準露出パラメータは、露出パラメータシーケンスの最前に設定される必要があり、基準露出パラメータを使用することによって取得される画像は、その後に撮影されるフレームをアライメントするために使用される。
以下は、どのようにしてモバイル端末が種々の撮影モードにおいて少なくとも2つのフレームの一部又は全てに基づき合成処理を実行してターゲット画像を取得するかについて記載する。
撮影モード1:三脚及び光源モード
前記少なくとも2つのフレームがN個のフレームを含み、Nが1よりも大きい整数であると仮定して、前記合成処理は、撮影モード1において、画素重ね合わせ処理及びフレーム融合処理を含むことが留意されるべきである。
具体的に、モバイル端末は、iの値が2、3、・・・又はNであるとして、前記N個のフレームに含まれるi番目のフレームと、最初のi−1個のフレームの合成処理結果とに対して画素重ね合わせ処理を実行して、最初のi個のフレームの画素重ね合わせ処理結果を取得し、前記モバイル端末は、前記最初のi個のフレームの前記画素重ね合わせ処理結果及び前記i番目のフレームに対してフレーム融合処理を実行して、i番目の候補ターゲット画像を取得し、モバイル端末は、前記表示インターフェイスを使用することによって前記ユーザに前記i番目の候補ターゲット画像及び第2プロンプト情報を表示し、該第2プロンプト情報は、前記合成処理を終了すべきか又は終了しないべきかを前記ユーザにプロンプトするために使用され、前記モバイル端末が、前もってセットされた第1存続期間内に、前記ユーザによって前記第2プロンプト情報に基づき入力される合成処理終了指示を検出する場合に、前記モバイル端末は、前記合成処理を中止し、前記i番目の候補ターゲット画像を前記ターゲット画像として決定する。
iの値が2であるとき、最初の1つの画像の合成処理結果は、第1候補ターゲット画像、又は最初の1つの画像の画素重ね合わせ処理結果、又は第1画像として理解され得ることが留意されるべきである。
可能な実施において、モバイル端末が最初のi−1個のフレームの合成処理結果及びi番目のフレームに対して画素重ね合わせ処理を実行することは、モバイル端末が、最初のi−1個のフレームの合成処理結果の前もってセットされた第1重みと、i番目のフレームの前もってセットされた第2重みとに基づき、最初のi−1個のフレームの合成処理結果及びi番目のフレームに対して画素重ね合わせ処理を実行することとして理解され得る。前もってセットされた第1重みと前もってセットされた第2重みとの和は、1よりも大きいが2よりも小さい。
例えば、前もってセットされた第1重みは1に等しく、前もってセットされた第2重みは0よりも大きいが1よりも小さく、あるいは、前もって設定された第1重み及び前もってセットされた第2重みの両方ともが0よりも大きいが1よりも小さい。
例えば、第1フレーム内の第1画素(行1及び列1にある画素)の画素値が60であり、前もってセットされた第1重みが1であり、第2フレーム内の第1画素の画素値が80であり、前もってセットされた第2重みが0.4であるとすれば、最初の2つのフレームの、画素重ね合わせ処理が第1フレーム及び第2フレームに対して実行された後に取得される画素重ね合わせ処理結果における第1画素の画素値は、60×1+80×0.4=92である。
可能な実施において、モバイル端末は、輝度中心(例えば、画素値が128である画素)により近い画素がより大きい重みを有し、輝度中心からより離れている画素がより小さい重みを有するという、前もってセットされた第1規則に従って、前記最初のi個のフレームの画素重ね合わせ結果内の画素の重みと、前記i番目のフレーム内の画素の重みとを決定し、前記最初のi個のフレームの画素重ね合わせ結果内の画素の重みと、前記i番目のフレーム内の画素の重みに基づき、前記最初のi個のフレームの画素重ね合わせ結果及び前記i番目のフレームに対してフレーム融合処理を実行して、前記i番目の候補ターゲット画像を取得する。
他の例として、最初の2つのフレームの画素重ね合わせ処理結果内の第1画素(行1及び列1にある画素)の画素値が92であり、最初の2つのフレームの画素重ね合わせ処理結果内の第1画素の、前もってセットされた第1規則に従って取得される重みが0.6であり、第2フレーム内の第1画素の画素値が80であり、第2フレーム内の第1画素の、前もってセットされた第1規則に従って取得される重みが0.4であるとすれば、フレーム融合処理が最初の2つのフレームの画素重ね合わせ処理結果及び第2フレームに対して実行されるときに、2つのフレームの重みは最初に正規化され(0.6:0.4=3/5:2/5)、次いで、重ね合わせが実行され、すなわち、第2候補ターゲットフレーム内の第1画素の画素値は、3/5×92+2/5×80=87.2である。
すなわち、モバイル端末は、最初に、画像輝度を改善するために、N個のフレームに含まれるi番目のフレームと、最初のi−1個のフレームの合成処理結果とに対して画素重ね合わせ処理を実行し、次いで、最初のi個のフレームの重ね合わせ処理結果及びi番目のフレームに対してフレーム融合処理を実行して、それにより、画像全体の全ての領域が輝度中心に近づくようにする。最後に、合成後に取得される画像のダイナミックレンジは改善され、画像の撮影効果は改善される。
上記の例では、画素重ね合わせ処理プロシージャ及びフレーム融合処理プロシージャは、第1フレーム及び第2フレームにおいて対応する位置にある画素を使用することによって記載されていることが留意されるべきである。2つのフレームにおいて対応する位置にある画素の処理プロシージャは、上記のプロシージャと同様である。繰り返しを避けるために、詳細はここで再びは記載されない。
任意に、前記モバイル端末が、前記前もってセットされた第1存続期間内に、前記ユーザによって前記第2プロンプト情報に基づき入力される合成処理終了指示を検出しない場合に、前記モバイル端末は、前記N個のフレームに含まれる(i+1)番目のフレームと、最初のi個の画像の合成結果とに対して合成処理を実行して、(i+1)番目の候補ターゲット画像を取得し、そして、前記モバイル端末は、前記表示インターフェイスを使用することによって前記ユーザに前記(i+1)番目の候補ターゲット画像及び前記第2プロンプト情報を表示する。
任意に、前記モバイル端末が、前記表示インターフェイスを使用することによって前記ユーザにN番目の候補ターゲット画像を表示した後に、前記前もってセットされた第1存続期間内に、前記ユーザによって入力される合成処理終了指示を受けない場合に、前記モバイル端末は、前記N番目の候補ターゲット画像を前記ターゲット画像として決定する。
すなわち、モバイル端末によって少なくとも2つのフレームに対して合成処理を続けて実行するプロシージャにおいて、合成が実行されるたびに、合成の合成処理結果が、表示インターフェイスを使用することによってユーザに表示され、ユーザは、合成の合成結果をターゲット画像として出力すべきか又は出力すべきでないかをプロンプトされ、ユーザがプロンプトされた後に、前もってセットされた第1存続期間内に、ユーザからの合成処理終了指示が検出される場合には、このとき取得されている合成結果がターゲット画像として出力され、さもなければ、合成は、最後の合成が完了するまで、次の画像に対して実行され続ける。
任意に、モバイル端末が第1フレーム及び第2フレームに対して合成処理を実行する前に、モバイル端末は、表示インターフェイスを使用することによってユーザに第1フレームを表示してよく、モバイル端末が、前もってセットされた第1存続期間内に、ユーザによって第2プロンプト情報に基づき入力される合成処理終了指示を検出する場合には、モバイル端末は合成処理を中止し、第1フレームをターゲット画像として決定し、あるいは、モバイル端末が前もってセットされた第1存続期間内に合成処理終了指示を検出しない場合には、モバイル端末は、第1フレーム及び第2フレームに対して合成処理を実行する。
撮影モード2:手持ち及び光源モード
前記少なくとも2つのフレームがN個のフレームを含み、Nが1よりも大きい整数であると仮定して、前記合成処理は、撮影モード2において、フレーム位置合わせ処理、画素重ね合わせ処理、及びフレーム画像融合処理を含むことが留意されるべきである。
具体的に、前記モバイル端末は、iの値が2、3、・・・又はNであるとして、前記基準露出パラメータを使用することによって取得されるフレームに基づき、前記N個のフレームに含まれるi番目のフレームに対してフレーム位置合わせ処理を実行して、i番目のフレーム位置合わせ処理結果を取得し、前記モバイル端末は、前記i番目のフレーム位置合わせ処理結果及び最初のi−1個のフレームの合成処理結果に対して画素重ね合わせ処理を実行して、i番目の画素重ね合わせ処理結果を取得し、前記モバイル端末は、前記i番目の画素重ね合わせ処理結果及び前記i番目のフレームに対してフレーム融合処理を実行して、i番目の候補ターゲット画像を取得し、前記モバイル端末は、前記表示インターフェイスを使用することによって前記ユーザに前記i番目の候補ターゲット画像及び第2プロンプト情報を表示し、該第2プロンプト情報は、前記合成処理を終了すべきか又は終了しないべきかを前記ユーザにプロンプトするために使用され、前記モバイル端末が、前もってセットされた第1存続期間内に、前記ユーザによって前記第2プロンプト情報に基づき入力される合成処理終了指示を検出する場合に、前記モバイル端末は、前記合成処理を中止し、前記i番目の候補ターゲット画像を前記ターゲット画像として決定する。
撮影モード2と撮影モード1との間の相違は、次の点にあることが留意されるべきである。撮影モード2では、モバイル端末は手持ち状態にあり、従って、手持ち状態によって引き起こされるフレーム間ジッタを回避するために、各フレームが合成される前に、フレーム位置合わせ処理が、そのフレームと、基準露出パラメータを使用することによって取得される基準フレームとに対して実行される必要があり、すなわち、基準フレームを除く全てのフレームが基準フレームとアライメントされる必要がある。
その上、フレーム位置合わせ処理後に、アライメントされていないエッジ領域が存在することがある。フレーム位置合わせ処理結果は、アライメントされていないエッジ領域を取り除くように、トリミング又は拡大されてよい。
具体的に、フレーム位置合わせは、先行技術におけるフレーム位置合わせ法を使用することによって実行されてよい。これは、本願のこの実施形態において制限されない。
任意に、振動及びブラーが手持ち状態では起こる可能性があるので、各フレームは、画像鮮明度を改善するように、合成処理プロシージャにおいて鮮鋭化されてよい。
撮影モード2における画素重ね合わせ処理プロシージャ及びフレーム融合処理プロシージャは、撮影モード1における画素重ね合わせ処理プロシージャ及びフレーム融合処理プロシージャと同じであることが理解されるべきである。詳細な処理については、撮影モード1を参照されたい。繰り返しを回避するために、詳細はここで再びは記載されない。
撮影モード3:三脚及び暗モード
前記少なくとも2つのフレームがN個のフレームを含み、Nが1よりも大きい整数であると仮定して、前記合成処理は、撮影モード3において、画素重ね合わせ処理を含むことが留意されるべきである。
具体的に、前記モバイル端末は、iの値が2、3、・・・又はNであるとして、前記N個のフレームに含まれるi番目のフレームと、最初のi−1個のフレームの合成処理結果とに対して画素重ね合わせ処理を実行して、i番目の候補ターゲット画像を取得し、前記モバイル端末は、前記表示インターフェイスを使用することによって前記ユーザに前記i番目の候補ターゲット画像及び第2プロンプト情報を表示し、該第2プロンプト情報は、前記合成処理を終了すべきか又は終了しないべきかを前記ユーザにプロンプトするために使用され、前記モバイル端末が、前もってセットされた第1存続期間内に、前記ユーザによって前記第2プロンプト情報に基づき入力される合成処理終了指示を検出する場合に、前記モバイル端末は、前記合成処理を中止し、前記i番目の候補ターゲット画像を前記ターゲット画像として決定する。
撮影モード3における画素重ね合わせ処理プロシージャは、撮影モード1における画素重ね合わせ処理プロシージャと同じであることが理解されるべきである。詳細な処理については、撮影モード1を参照されたい。繰り返しを回避するために、詳細はここで再びは記載されない。
撮影モード4:手持ち及び暗モード
前記少なくとも2つのフレームがN個のフレームを含み、Nが1よりも大きい整数であると仮定して、前記合成処理は、撮影モード4において、フレーム位置合わせ処理及び画素重ね合わせ処理を含むことが留意されるべきである。
具体的に、前記モバイル端末は、iの値が2、3、・・・又はNであるとして、前記基準露出パラメータを使用することによって取得されるフレームに基づき、前記N個のフレームに含まれるi番目のフレームに対してフレーム位置合わせ処理を実行して、i番目のフレーム位置合わせ処理結果を取得し、前記モバイル端末は、前記i番目のフレーム位置合わせ処理結果及び最初のi−1個のフレームの合成処理結果とに対して画素重ね合わせ処理を実行して、i番目の候補ターゲット画像を取得し、前記モバイル端末は、前記表示インターフェイスを使用することによって前記ユーザに前記i番目の候補ターゲット画像及び第2プロンプト情報を表示し、該第2プロンプト情報は、前記合成処理を終了すべきか又は終了しないべきかを前記ユーザにプロンプトするために使用され、前記モバイル端末が、前もってセットされた第1存続期間内に、前記ユーザによって前記第2プロンプト情報に基づき入力される合成処理終了指示を検出する場合に、前記モバイル端末は、前記合成処理を中止し、前記i番目の候補ターゲット画像を前記ターゲット画像として決定する。
撮影モード4におけるフレーム位置合わせプロシージャ及び画素重ね合わせ処理プロシージャは、撮影モード2におけるフレーム位置合わせプロシージャ及び画素重ね合わせ処理プロシージャと同じであることが理解されるべきである。詳細な処理については、撮影モード2を参照されたい。繰り返しを回避するために、詳細はここで再びは記載されない。
任意に、S210乃至S250の撮影プロシージャにおいて、前記モバイル端末は、前記表示インターフェイスを使用することによって前記ユーザに対して、図10に示される撮影カウントダウンを更に表示してもよい。撮影タイマは、撮影プロシージャにおいて画像を処理する残り時間をユーザに示すために使用される。
可能な実施において、S240の前に、前記モバイル端末は、前記表示インターフェイスを使用することによって前記ユーザに少なくとも2つの画像を表示し、前記ユーザによって前記少なくとも2つの画像に基づき入力される画像選択指示を検出してよく、前記画像選択指示は、前記少なくとも2つの画像から前記ユーザによって選択される複数の画像を示すために使用される。相応して、S240で、前記モバイル端末は、前記ターゲット画像を取得するように、前記検出された画像選択指示に基づき前記複数の画像に対して合成処理を実行してよい。
任意に、前記モバイル端末が前記ターゲット画像を出力することは、前記モバイル端末が、現在の撮影後に最終的にギャラリー内に格納されるべき画像として前記ターゲット画像を使用し得ることとして理解されてよい。すなわち、モバイル端末は、ターゲット画像をメモリに記憶してよい。
第2の態様に従って、本願は、第1の態様及び第1の態様の実施に従う撮影方法のステップを実行するよう構成されたユニットを含む撮影装置を提供する。
第3の態様に従って、本願は、コンピュータプログラム(コード又は命令とも呼ばれ得る。)を含み、該コンピュータプログラムが実行されるときに、コンピュータが、第1の態様及び第1の態様の実施に従う撮影方法を実行することを可能にするコンピュータプログラム製品を提供する。
第4の態様に従って、本願は、コンピュータプログラム(コード又は命令とも呼ばれ得る。)を記憶し、該コンピュータプログラムがコンピュータで実行されるときに、該コンピュータが、第1の態様及び第1の態様の実施に従う撮影方法を実行することを可能にするコンピュータ可読媒体を提供する。
第5の態様に従って、本願は、メモリ及びプロセッサを含むチップシステムであって、前記メモリがコンピュータプログラムを記憶し、前記プロセッサが前記メモリから前記コンピュータプログラムを呼び出して該コンピュータプログラムを実行し、当該チップシステムがインストールされているデバイスが、第1の態様及び第1の態様の実施に従う撮影方法を実行するようにする前記チップシステムを提供する。
第6の態様に従って、本願は、プロセッサ、メモリ、及び該メモリに記憶されており、前記プロセッサで実行され得るコンピュータプログラムを含み、前記コンピュータプログラムが前記プロセッサによって実行されるとき、第1の態様及び第1の態様の実施に従う撮影方法が実装されるモバイル端末を提供する。
モバイル端末は、センサを使用することによってセンサデータを取得し、且つ、表示画面を使用することによってユーザに表示インターフェイスを提示してよい。
本願の実施形態に従って、振動により生じる不鮮明な画像である。
本願の実施形態に従って、露出不足の画像である。
本願の実施形態に従う撮影方法が適用可能であるモバイル端末の例の概略図である。
本願の実施形態に従う撮影方法の略フローチャートである。
本願の実施形態に従う第1画像内の画素の概略図である。
本願の実施形態に従う撮影モード1での露出パラメータシーケンスの概略図である。
本願の実施形態に従う撮影モード2での露出パラメータシーケンスの概略図である。
本願の実施形態に従う撮影モード3での露出パラメータシーケンスの概略図である。
本願の実施形態に従う撮影モード4での露出パラメータシーケンスの概略図である。
本願の実施形態に従うプレビューインターフェイスの概略図である。
本願の実施形態に従う他のプレビューインターフェイスの概略図である。
本願の実施形態に従う第1プロンプト情報の表示インターフェイスの概略図である。
本願の実施形態に従う撮影プロセスにおける表示インターフェイスの概略図である。
本願の実施形態に従う撮影プロセスにおける他の表示インターフェイスの概略図である。
本願の実施形態に従う撮影プロセスにおける更なる他の表示インターフェイスの概略図である。
本願の実施形態に従う撮影プロセスにおける別の他の表示インターフェイスの概略図である。
本願の実施形態に従う第2プロンプト情報の表示インターフェイスの概略図である。
本願の実施形態に従うシステムアーキテクチャの概略図である。
本願の実施形態に従う撮影装置の略ブロック図である。
以下は、添付の図面を参照して、本願の技術的解決法について記載する。
本願の撮影方法は、モバイル端末に適用され得る。モバイル端末は、端末デバイス、ユーザ設備(UE)、アクセス端末、加入者ユニット、加入者局、移動局、モバイルコンソール、遠隔局、遠隔端末、モバイルデバイス、ユーザ端末、端末、無線通信デバイス、ユーザエージェント、又はユーザ装置とも呼ばれ得る。モバイル端末は、WLANにおけるステーション(ST)であってよく、あるいは、携帯電話機、コードレス電話機、セッション開始プロトコル(SIP)電話機、無線ローカルループ(WLL)局、パーソナル・デジタル・アシスタント(PDA)デバイス、無線通信機能を備えた携帯型デバイス、無線モデムへ接続された計算デバイス若しくは他の処理デバイス、車載型デバイス、インターネット・オブ・ヴィークルス端末、コンピュータ、ラップトップコンピュータ、携帯型通信デバイス、携帯型計算デバイス、衛星電波デバイス、無線モデムカード、テレビ用セット・トップ・ボックス(STB)、顧客構内設備(CPE)、及び/又は、無線システムにおいて通信を実行するよう構成された他のデバイス、あるいは、5Gネットワークのような次世代通信システムにおけるモバイル端末、又は将来の進化した公衆地上移動体ネットワーク(PLMN)などにおけるモバイル端末であってもよい。
一例として、しかし制限なしで、本願の実施形態で、モバイル端末は、代替的に、ウェアラブルデバイスであってもよい。ウェアラブルデバイスは、ウェアラブルインテリジェントデバイスとも呼ばれ得る。ウェアラブルインテリジェントデバイスは、ウェアラブル技術を使用することで日常の衣服に対してインテリジェント設計及び解決を実行することによって得られる、眼鏡、手袋、時計、服、及び靴のようなウェアラブルデバイスの総称である。ウェアラブルデバイスは、人体に直接置かれるか又はユーザの服若しくは装飾品と一体化される携帯型デバイスである。ウェアラブルデバイスは、単にハードウェアデバイスではなく、ソフトウェア支援、データ交換、及びクラウドに基づくインタラクションを通じて強力な機能を更に実装する。広い意味で、ウェアラブルインテリジェントデバイスは、完全な機能を提供し、大規模なサイズを有し、例えば、スマートウォッチ若しくはスマートグラスのように、スマートフォンに依存せずに全部又は一部の機能を実装可能であり、例えば、生体信号監視のために使用される様々なスマートバンド及びスマートジュエリーのように、特定の種類の用途にのみ焦点を置き、スマートフォンのような他のデバイスと組み合わせて使用される必要があるデバイスを含む。
図3は、本願の実施に従うモバイル端末のアーキテクチャの一例を示す。図3に示されるように、モバイル端末100は、次の構成要素を含み得る。
A.RF回路110
RF回路110は、情報受信/送信プロセス又はコールプロセスにおいて信号を受信又は送信し、特に、基地局からダウンリンク情報を受信し、ダウンリンク情報を処理のためにプロセッサ180へ送り、設計されたアップリンクデータを基地局へ送るよう構成され得る。通常、RF回路は、アンテナ、少なくとも1つの増幅器、トランシーバ、カプラ、LNA(Low Noise Amplifier)、デュプレクサ、などを含むが限られない。その上、RF回路110は、無線通信を通じてネットワーク及び他のデバイスと更に通信してもよい。無線ローカル・エリア・ネットワーク(WLAN)、グローバル・システム・フォー・モバイル・コミュニケーションズ(GSM)システム、符号分割多重アクセス(CDMA)システム、広帯域符号分割多重アクセス(WCDMA)システム、汎用パケット無線サービス(GPRS)システム、ロング・ターム・エボリューション(LTE)システム、LTE周波数分割複信(FDD)システム、LTE時分割複信(TDD)システム、ユニバーサル・モバイル・テレコミュニケーションズ・システム(UMTS)、ワールドワイド・インタオペラビリティ・フォー・マイクロウェーブ・アクセス(WiMAX)通信システム、将来の第5世代(5G)システム、ニュー・ラジオ(NR)システム、などを含むがこれらに限られない如何なる通信標準又はプロトコルも、無線通信のために使用されてよい。
B.メモリ120
メモリ120は、ソフトウェアプログラム及びモジュールを記憶するよう構成され得る。プロセッサ180は、メモリ120に記憶されているソフトウェアプログラム及びモジュールを実行して、モバイル端末100の様々な機能アプリケーション及びデータ処理を実行する。メモリ120は、プログラム記憶領域及びデータ記憶領域を主として含み得る。プログラム記憶領域は、オペレーティング・システム、少なくとも1つの機能(例えば、音響再生機能又は画像再生機能)によって必要とされるアプリケーションプログラム、などを記憶し得る。データ記憶領域は、モバイル端末100の使用に基づき生成されるデータ(例えば、オーディオデータ及び電話帳)、などを記憶し得る。その上、メモリ120は、高速ランダム・アクセス・メモリを含んでよく、あるいは、不揮発性メモリ、例えば、少なくとも1つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の揮発性ソリッドステート記憶デバイスを更に含んでもよい。
C.他の入力デバイス130
他の入力デバイス130は、入力された数又は文字情報を受け取り、モバイル端末100のユーザ設定及び機能制御に関係があるキー信号入力を生成するよう構成され得る。具体的に、他の入力デバイス130は、物理キーボード、ファンクションキー(例えば、音量制御キー又はオンオフキー)、トラックボーク、マウス、ジョイスティック、光学式マウス(光学式マウスは、仮想出力を表示しないタッチ検知面であるか、あるいは、タッチスクリーンによって形成されたタッチ検知面の拡張である。)、などのうちの1つ以上を含み得るが限られない。他の入力デバイス130は、I/Oサブシステム170の他入力デバイスコントローラ171へ接続され、他入力デバイスコントローラ171の制御下でプロセッサ180と信号交換を実行する。
D.表示スクリーン140
表示スクリーン140は、ユーザによって入力された情報、又はユーザに提供される情報、及びモバイル端末100の様々なメニューを表示するよう構成され得、更には、ユーザ入力を受け取ってもよい。具体的に、表示スクリーン140は、表示パネル141及びタッチパネル142を含んでよい。表示パネル141は、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)、などの形で構成され得る。タッチパネル142は、タッチスクリーン、タッチ検知スクリーン、などとも呼ばれ、タッチパネル142上又はその周りでのユーザのタッチ又は非タッチ操作(例えば、指又はスタイラスのような任意の適切な物又はアクセサリを使用することによってユーザがタッチパネル142上で又はその周りで行う操作)を収集し、前もってセットされたプログラムを使用することによって、対応する接続装置を駆動し得る。任意に、タッチパネル142は2つの部分、すなわち、タッチ検出装置及びタッチコントローラを含んでよい。タッチ検出装置は、ユーザのタッチ方向及びジェスチャを検出し、タッチ操作により生じる信号を検出し、信号をタッチコントローラへ送信する。タッチコントローラは、タッチ検出装置からタッチ情報を受信し、タッチ情報を、プロセッサ180が処理可能な情報に変換し、変換後の情報をプロセッサ180へ送信する。その上、タッチコントローラは、プロセッサ180によって送信されたコマンドを受信し、次いで、コマンドを実行することができる。その上、タッチパネル142は、抵抗型、容量型、赤外線型、及び表面弾性波型のような複数のタイプで実装されてよく、あるいは、タッチパネル142は、将来開発される任意の技術を使用することによって実装されてもよい。更に、タッチパネル142は、表示パネル141を覆ってよい。ユーザは、表示パネル141に表示されている内容(内容には、ソフトキーボード、仮想マウス、仮想キー、アイコン、などが含まれるが、限られない。)に基づき、表示パネル141を覆っているタッチパネル142上又はその周りで操作を実行し得る。タッチパネル142上又はその周りで操作を検出した後、タッチパネル142は、I/Oサブシステム170を使用することによって、ユーザ入力を決定するためにプロセッサ180に対して操作に関する情報を送信する。次いで、プロセッサ180は、I/Oサブシステム170を使用することによって、ユーザ入力に基づき表示パネル141上で対応する視覚出力を提供する。図3では、タッチパネル142及び表示パネル141は、モバイル端末100の入力及び出力機能を実装する2つの独立した構成要素である。しかし、いくつかの実施形態で、タッチパネル142及び表示パネル141は、モバイル端末100の入力及び出力機能を実装するように一体化されてもよい。
E.センサ150
1以上のタイプのセンサ150が存在してもよい。例えば、センサ150は、光センサ、動きセンサ、又は他のセンサを含み得る。
具体的に、光センサは、周囲光センサ及び近接センサを含んでよい。周囲光センサは、周囲光の明るさに基づき表示パネル141の輝度を調整することができる。モバイル端末が動かされて耳に近づくとき、近接センサは、表示パネル141及び/又はバックライトをオフすることができる。
動きセンサとして、加速度センサは、様々な方向(通常は、3つの軸)における加速度の値を検出することができ、モバイル端末100が静止しているときには重力の値及び方向を検出することができる。加速度センサは、モバイル端末の姿勢を認識する用途(例えば、横向きと縦向きの画面切り替え、関連するゲーム、又は磁力計姿勢較正)、振動認識に関連した機能(例えば、ペドメーター又はキーストローク)、などに使用されてよい。
加えて、モバイル端末100は、重力センサ(重力センサとも呼ばれ得る。)、ジャイロスコープ、気圧計、湿度計、温度計、又は赤外線センサのような、他のセンサを更に装備されてもよい。
F.オーディオ周波数回路160、スピーカ161、及びマイクロホン162
ユーザとモバイル端末との間には、オーディオインターフェイスが設けられてよい。オーディオ周波数回路160は、受け取られたオーディオデータから変換される信号をスピーカ161へ送信することができる。スピーカ161は、信号を音響信号に変換し、音響信号を出力する。その上、マイクロホン162は、収集された音響信号を信号に変換し、オーディオ周波数回路160は、その信号を受信し、信号をオーディオデータに変換し、オーディオデータを、例えば、他のモバイル端末へ送信するために、RF回路110へ出力するか、あるいは、オーディオデータを更なる処理のためにメモリ120へ出力する。
G.I/Oサブシステム170
I/Oサブシステム170は、外付けの入出力デバイスを制御するよう構成され、他入力デバイスコントローラ171、センサコントローラ172、及びディスプレイコントローラ173を含み得る。任意に、1以上の他入力デバイスコントローラ171は、他の入力デバイス130から信号を受信し、且つ/あるいは、他の入力デバイス130へ信号を送信する。他の入力デバイス130は、物理ボタン(例えば、押しボタン若しくはロッカーボタン)、ダイアルパッド、スライダスイッチ、ジョイスティック、クリックホイール、又は光学式マウス(仮想出力を表示しないタッチ検知面であるか、あるいは、タッチスクリーンによって形成されたタッチ検知面の拡張である。)を含み得る。注目すべき点は、他入力デバイスコントローラ171が上記のデバイスの任意の1以上へ接続され得る点である。I/Oサブシステム170のディスプレイコントローラ173は、表示スクリーン140から信号を受信し、且つ/あるいは、表示スクリーン140へ信号を送信する。表示スクリーン140がユーザ入力を検出した後に、ディスプレイコントローラ173は、マン−マシン・インタラクションを実装するために、検出されたユーザ入力を、表示スクリーン140に表示されているユーザインターフェイスオブジェクトとのインタラクションに変換する。センサコントローラ172は、1以上のセンサ150から信号を受信し、且つ/あるいは、1以上のセンサ150へ信号を送信することができる。
H.プロセッサ180
プロセッサ180は、モバイル端末100の制御センターであり、様々なインターフェイス及びラインを使用することによってモバイル端末全体の様々な部分を接続し、そして、モバイル端末に対する全体監視を実行するために、メモリ120に記憶されているソフトウェアプログラム及び/又はモジュールを起動又は実行することと、メモリ120に記憶されているデータを呼び出すこととによって、モバイル端末100の様々な機能及びデータ処理を実行する。任意に、プロセッサ180は、1以上の処理ユニットを含んでよい。望ましくは、プロセッサ180は、アプリケーションプロセッサ及びモデムプロセッサを組み込んでよい。アプリケーションプロセッサは、オペレーティング・システム、ユーザインターフェイス、アプリケーションプログラム、などを主に処理する。モデムプロセッサは、無線通信を主に処理する。代替的には、モデムプロセッサは、プロセッサ180に組み込まれなくてもよいことが理解され得る。
モバイル端末100は、様々な構成要素へ電力を供給する電源190(例えば、バッテリ)を更に含む。望ましくは、電源は、電力管理システムを使用することによって充電管理、放電管理、及び電力消費管理といった機能を実装するように、電力管理システムを使用することによってプロセッサ180へ論理的に接続されてよい。
任意に、モバイル端末100は、カメラを更に含んでもよい。
任意に、カメラは、モバイル端末100の正面又は背面に配置され得る。これは、本願のこの実施形態において制限されない。
任意に、モバイル端末100は、1台のカメラ、2台のカメラ、3台のカメラなどを含んでよい。これは、本願のこの実施形態において制限されない。
例えば、モバイル端末100は、3台のカメラ、すなわち、1つのメインカメラ、1つの広角カメラ、及び1つの長焦点カメラを含んでよい。
任意に、モバイル端末100が複数台のカメラを含む場合に、複数台のカメラは全て正面に配置されてよく、あるいは、全て背面に配置されてよく、あるいは、何台かのカメラは正面に配置されてよく、残りは背面に配置されてよい。これは、本願のこの実施形態において制限されない。
加えて、図示されていないが、モバイル端末100は、ブルートゥースモジュール、などを更に含んでもよい。詳細は、ここでは再び記載されない。
図4は、本願に従う撮影方法200の略フローチャートである。例えば、方法200は、上記のモバイル端末100に適用され得る。
S210.モバイル端末は、プレビューされる第1画像を取得する。
任意に、S210の前に、任意に、モバイル端末は、ユーザによって入力される検出されたカメラ起動命令に基づき、カメラによってリアルタイムで取得される画像のプレビューを、表示インターフェイスを使用することによってユーザに対して表示し得る。相応して、ユーザは、モバイル端末のカメラを起動し、そして、モバイル端末の表示インターフェイスを使用することによって、カメラによってリアルタイムで取得される画像をプレビューし得る。
第1画像は、モバイル端末のカメラが起動するときに直接捕捉される画像として理解されてよく、あるいは、ユーザがシャッターを押した後の最初の撮影画像として理解されてもよいことが留意されるべきである。これは、本願のこの実施形態において制限されない。
任意に、S210で、モバイル端末は、トリガイベント又は前もってセットされた第2存続期間に基づき、プレビューされる第1画像を取得してもよい。これは、本願のこの実施形態において制限されない。
本願のこの実施形態で、前もってセットされた第2存続期間は、前もってセットされた存続期間して理解されてよいことが理解されるべきである。
可能な実施において、モバイル端末は、ユーザによって入力された検出された撮影指示に従って現在のプレビュー画像を取得し、現在のプレビュー画像を第1画像として決定してよい。
例えば、モバイル端末は、ユーザがシャッター(撮影)ボタンの位置をクリックする動作を検出するときに、現在のプレビュー画像を取得してよい。
他の可能な実施において、モバイル端末は、前もってセットされた第2存続期間の終了時点で現在のプレビュー画像を取得し、現在のプレビュー画像を第1画像として決定してよい。
例えば、モバイル端末は、撮影機能を起動した後にタイマを起動してよい。タイマの長さは5sである。タイマが経過するときに、モバイル端末は現在のプレビュー画像を取得する。
S220.モバイル端末は、現在の撮影モードを決定し、撮影モードは撮影ステータス及び撮影シーンを含み、撮影ステータスは手持ち状態又は三脚状態を含み、撮影シーンは光源シーン又は暗シーンを含む。
任意に、モバイル端末は、複数の方法で撮影モードを決定してよい。これは、本願のこの実施形態において制限されない。
可能な実施において、モバイル端末は、ユーザによって入力された撮影モード指示を取得してよい。撮影モード指示は、ユーザによって指定された撮影モードを示すために使用される。
他の可能な実施において、モバイル端末は、第1画像に基づき撮影モードを自動で決定してよい。具体的に、モバイル端末は、カメラによって捕捉された第1画像に基づき、現在の撮影についての撮影ステータス及び/又は撮影シーンを決定する。
任意に、モバイル端末は、複数の方法で撮影ステータスを決定してよい。これは、本願のこの実施形態において制限されない。
可能な実施において、モバイル端末は、前もってセットされた第1存続期間内にセンサによって収集される複数のセンサデータに基づき撮影ステータスを決定してよい。センサデータは、モバイル端末と水平方向又は重力方向との間の角度を示すために使用される。
例えば、複数のセンサデータの平均値(又は最大値)が前もってセットされた第1値以上である場合に、モバイル端末は、撮影ステータスが手持ち状態であると決定し、あるいは、複数のセンサデータの平均値(又は最大値)が第1値に満たない場合に、モバイル端末は、撮影ステータスが三脚状態であると決定する。
任意に、センサはジャイロセンサ、角速度センサ、加速度センサ、又はモバイル端末と水平方向又は重力方向との間の角度を示すセンサデータを取得可能な他のセンサであってよい。これは、本願のこの実施形態において制限されない。
任意に、モバイル端末は、複数の方法で撮影モードを決定してよい。これは、本願のこの実施形態において制限されない。
可能な実施において、モバイル端末は、第1画像の輝度値に基づき撮影シーンを決定してよい。
具体的に、モバイル端末は、輝度値が前もってセットされた第2値よりも大きい第1画像内の画素の数に基づき、撮影シーンを決定してよい。
例えば、全ての画素数に対する、輝度値が第2値よりも大きい第1画像内の画素の数の比が、前もってセットされた比率値以上である場合に、モバイル端末は、撮影シーンが光源シーンであると決定し、あるいは、全ての画素数に対する、輝度値が第2値よりも大きい第1画像内の画素の数の比が、比率値に満たない場合に、モバイル端末は、撮影シーンが暗シーンであると決定する。
任意に、モバイル端末は、表示インターフェイスを使用することによってユーザに第1プロンプト情報を表示してよい。第1プロンプト情報は、ユーザに撮影モードをプロンプトするために使用される。
S230.モバイル端末は、第1画像及び撮影モードに基づき露出パラメータシーケンスを決定し、露出パラメータシーケンスは、撮影時間の昇順でソートされた少なくとも2つの露出パラメータを含み、露出パラメータは、撮影中にモバイル端末に入射する光を制御するために使用される。
以下は、どのようにしてモバイル端末が種々の撮影モードにおいて第1画像及び撮影モードに基づき露出パラメータシーケンスを決定するかについて記載する。
続く実施形態は、単に、露出パラメータが露出存続期間及び光感度を含むところの例を使用することによって記載されることが、理解されるべきである。
露出パラメータは、開口値のような他のパラメータ値を更に含んでもよいことが留意されるべきである。これは、本願のこの実施形態において制限されない。
撮影モード1:三脚及び光源モード
撮影シーンが光源シーンである場合に、モバイル端末は、第1画像内の第1領域の画素平均、第1画像内の第2領域の画素平均、及び第1画像の露出パラメータに基づき、露出パラメータシーケンスに含まれる第1露出パラメータ及び第2露出パラメータを決定する。
第1領域は、第1画像において最大である画素値を有する少なくとも2つの画素を含み、第2領域は、第1画像において最小である画素値を有する少なくとも2つの画素を含む。第1露出パラメータを使用することによって取得されるフレーム内で第1領域に対応する領域の画素平均は、前もってセットされた第1画素閾値に等しく、第1領域の画素平均は、第1画素閾値以上である。第2露出パラメータを使用することによって取得されるフレーム内で第2領域に対応する領域の画素平均は、前もってセットされた第2画素閾値に等しく、第2領域の画素平均は、第2画素閾値以下である。第1画素閾値は、第2画素閾値よりも大きい。第1露出パラメータに対応する撮影時間は、第2露出パラメータに対応する撮影時間よりも早い。
撮影ステータスが三脚状態である場合に、モバイル端末は、露出パラメータシーケンスの露出パラメータに含まれる光感度が前もってセットされた第1光感度以下であると決定する。
本願のこの実施形態で、第1領域(又は第2領域)の画素平均は、画素の数に対する、第1領域(又は第2領域)内の画素の画素値の和の比として理解され得ることが留意されるべきである。可能な代替の方法では、第1領域(又は第2領域)の画素平均は、第1領域(又は第2領域)内の画素の画素値の和により置き換えられてよい。これは、本願のこの実施形態において制限されない。
第1領域の画素平均が第1画素閾値以上である場合に、それは、第1領域が露出過度領域であることを示し、第1領域の輝度は低減される必要があり、同様に、第2領域の画素平均が第2画素閾値以下である場合に、それは、第2領域が露出不足領域であることを示し、第2領域の輝度は増大される必要があることが更に留意されるべきである。
光源シーンでは、画像内の画素の輝度の分布範囲は比較的に広く、露出過度又は露出不足が起こる可能性がある。従って、モバイル端末は、第1露出パラメータを使用することによって取得されるフレームに基づき露出過度領域(第1領域)の輝度を低減し、且つ、第2露出パラメータを使用することによって取得されるフレームに基づき露出不足領域(第2領域)の輝度を増大させて、合成を通じて高ダイナミックレンジで画像を取得することができ、それによって、画像内の明るくあるべき領域は明るく、画像内の暗くあるべき領域は暗く、画像はより多くのディテールを含む。
画像の画素値は0から255であり、全部で256個の値があることが理解されるべきである。値が大きいほど、輝度は高い。0は、完全黒の最も暗い領域を示し、255は最も高い輝度の完全白色を示し、0から255の間の数は、異なる輝度のグレー色を示す。
例えば、第1画像の露出存続期間は1sであり、第1画像の光感度は100であり、第1画像は、図5に示されるように、画素値が夫々5、5、60、80、250、及び250である6つの画素を含むとすれば、第1領域は、画素値が最大である2つの画素を含み、すなわち、第1領域の画素平均は250であり、第2領域は、画素値が最小である2つの画素を含み、すなわち、第2領域の画素平均は5である。
露出パラメータが露出存続期間及び光感度を含むとき、露出パラメータに対応する入射光は、露出存続期間と光感度との積として理解され得ることが理解されるべきである。
第1画素閾値が200であるとすれば、第1領域の画素平均は250であり、第1画像の露出パラメータに対応する入射光は100であるから、第1露出パラメータに対応する入射光は、200×100/250=80であることが分かる。
第2画素閾値が30であるならば、第2領域の画素平均は5であり、第1画像の露出パラメータに対応する入射光は100であるから、第2露出パラメータに対応する入射光は、30×100/5=600であることが分かる。
入射光が同じであるとき、より光感度が低い画像は、より小さい画像ノイズ及びより良い撮影効果を有している。モバイル端末は、三脚状態において比較的に安定している。従って、三脚状態では、モバイル端末は、露出パラメータの光感度を、前もってセットされた光感度以下の値に設定する。
すなわち、三脚状態では、モバイル端末は、画像の撮影効果を改善するために、相対的により低い光感度及び比較的に長い露出存続期間に基づき画像を取得する。
可能な実施において、露出パラメータシーケンスにおいて露出パラメータに含まれる露出存続期間は逐次増大し、あるいは、露出パラメータシーケンスにおいて露出パラメータに含まれる光感度は逐次増大する。
例えば、前もってセットされた光感度が200であるすれば、第1露出パラメータの露出存続期間は0.5sであってよく、第1露出パラメータの光感度は160であってよく、第2露出パラメータの露出存続期間は3sであってよく、第2露出パラメータの光感度は200であってよい。
任意に、露出パラメータシーケンスは、撮影時間の昇順でソートされた少なくとも1つの第4露出パラメータを更に含んでもよい。少なくとも1つの第4露出パラメータのいずれか1つに対応する撮影時間は、第1露出パラメータに対応する撮影時間よりも遅いが、第2露出パラメータに対応する撮影時間よりも早い。
任意に、露出パラメータシーケンスに含まれる露出パラメータに対応する入射光は、撮影時間の昇順で逐次増大してよい。具体的に言えば、露出パラメータシーケンスにおいて、第1露出パラメータに対応する入射光は最小であり、第2露出パラメータに対応する入射光は最大である。少なくとも1つの第4露出パラメータは、第1露出パラメータと第2露出パラメータとの間に設定されてよく、それにより、その後の合成処理プロシージャで2つの連続した画像間の比較的大きい差から生じる画像合成効果に対する影響を回避するために、露出パラメータシーケンスに含まれる露出パラメータに対応する入射光は、撮影時間の昇順で逐次増大する。
任意に、露出パラメータシーケンスに含まれるいずれか2つの露出パラメータに対応する入射光の間の差は、いずれかの他の2つの露出パラメータに対応する入射光の間の差に等しくても又は等しくなくてもよい。これは、本願のこの実施形態において制限されない。
例えば、1つの第4露出パラメータが第1露出パラメータと第2露出パラメータとの間に含まれ、第1露出パラメータの露出存続期間は0.5sであり、第1露出パラメータの光感度は160であり、第2露出パラメータの露出存続期間は3sであり、第2露出パラメータの光感度は200であるとすれば、第4露出パラメータの露出存続期間は1sに設定されてよく、第4露出パラメータの光感度は180に設定されてよい。
他の例として、2つの第4露出パラメータが第1露出パラメータと第2露出パラメータとの間に含まれ、第1露出パラメータの露出存続期間は0.5sであり、第1露出パラメータの光感度は160であり、第2露出パラメータの露出存続期間は3sであり、第2露出パラメータの光感度は200であるとすれば、第1の第4露出パラメータの露出存続期間は1sに設定されてよく、第1の第4露出パラメータの光感度は180に設定されてよく、第2の第4露出パラメータの露出存続期間は2sに設定されてよく、第2の第4露出パラメータの光感度は180に設定されてよい。
図6は、撮影モード1での露出パラメータシーケンスの可能な実施を示す。図6において黒影で示されているように、水平方向は、露出パラメータに対応する撮影時間を表し、垂直方向は、露出パラメータに対応する入射光を表す。本願はこれらに限られない。
任意に、モバイル端末の最大露出パラメータを使用することによって取得されるフレーム内で第2領域に対応する領域の画素値が、依然として第2画素閾値よりも小さい場合に、すなわち、露出不足領域の輝度が依然として望ましくない場合に、この場合、モバイル端末は、露出不足領域の輝度を増大させるように、第2露出パラメータの後ろに少なくとも1つの第2露出パラメータ(例えば、図6において斜線パターンによって示されている第2露出パラメータ)を加えてよい。
本願のこの実施形態で提供される撮影方法によれば、光源シーンでは、異なる露出レベルでの同じ撮影対象のフレームが、異なる露出パラメータを設定することによって取得される。第1露出パラメータは、フレーム内の明領域の画像ディテールを回復するために使用され、第2露出パラメータは、フレーム内の暗領域の画像ディテールを回復するために使用される。異なる露出パラメータを使用することによって取得されるフレームは合成される。このようにして、画像のダイナミックレンジを改善し、それによって、画像の撮影効果を改善するために、最終的な画像の大域的ディテール及び輝度の両方がバランスを取られる。三脚状態において、入射光が同じである場合に、画像ノイズは、画像の撮影効果を改善するために、比較的に長い露出存続期間及び比較的に低い光感度を設定することによって更に低減可能である。
撮影モード2:手持ち及び光源モード
撮影シーンが光源シーンである場合に、モバイル端末は、第1画像内の第1領域の画素平均、第1画像内の第2領域の画素平均、及び第1画像の露出パラメータに基づき、露出パラメータシーケンスに含まれる第1露出パラメータ及び第2露出パラメータを決定する。
第1領域は、第1画像において最大である画素値を有する少なくとも2つの画素を含み、第2領域は、第1画像において最小である画素値を有する少なくとも2つの画素を含む。第1露出パラメータを使用することによって取得されるフレーム内で第1領域に対応する領域の画素平均は、前もってセットされた第1画素閾値に等しく、第1領域の画素平均は、第1画素閾値以上である。第2露出パラメータを使用することによって取得されるフレーム内で第2領域に対応する領域の画素平均は、前もってセットされた第2画素閾値に等しく、第2領域の画素平均は、第2画素閾値以下である。第1画素閾値は第2画素閾値よりも大きい。第1露出パラメータに対応する撮影時間は、第2露出パラメータに対応する撮影時間よりも早い。
撮影ステータスが手持ち状態である場合に、モバイル端末は、露出パラメータシーケンスが基準露出パラメータを含み、且つ、露出パラメータシーケンスの露出パラメータに含まれる露出存続期間が前もってセットされた第1露出存続期間以下であると決定する。基準露出パラメータは、露出パラメータシーケンスにおいて最も早い撮影時間を有する露出パラメータであり、基準露出パラメータに対応する入射光は、第1露出パラメータに対応する入射光よりも多いが、第2露出パラメータに対応する入射光よりも少ない。
本願のこの実施形態で、第1領域(又は第2領域)の画素平均は、画素の数に対する、第1領域(又は第2領域)内の画素の画素値の和の比として理解され得ることが留意されるべきである。可能な代替の方法では、第1領域(又は第2領域)の画素平均は、第1領域(又は第2領域)内の画素の画素値の和により置き換えられてよい。これは、本願のこの実施形態において制限されない。
第1領域の画素平均が前もってセットされた第1画素閾値以上である場合に、それは、第1領域が露出過度領域であることを示し、第1領域の輝度は低減される必要があり、同様に、第2領域の画素平均が前もってセットされた第2画素閾値以下である場合に、それは、第2領域が露出不足領域であることを示し、第2領域の輝度は増大される必要があることが更に留意されるべきである。
例えば、第1画像の露出存続期間は1sであり、第1画像の光感度は100であり、第1画像は、図5に示されるように、画素値が夫々5、5、60、80、250、及び250である6つの画素を含むとすれば、第1領域は、画素値が最大である2つの画素を含み、すなわち、第1領域の画素平均は250であり、第2領域は、画素値が最小である2つの画素を含み、すなわち、第2領域の画素平均は5である。
露出パラメータが露出存続期間及び光感度を含むとき、露出パラメータに対応する入射光は、露出存続期間と光感度との積として理解され得ることが理解されるべきである。
前もってセットされた第1画素閾値が200であるとすれば、第1領域の画素平均は250であり、第1画像の露出パラメータに対応する入射光は100であるから、第1露出パラメータに対応する入射光は、200×100/250=80であることが分かる。
前もってセットされた第2画素閾値が30であるならば、第2領域の画素平均は5であり、第1画像の露出パラメータに対応する入射光は100であるから、第2露出パラメータに対応する入射光は、30×100/5=600であることが分かる。
手持ちモードでは振動が起こる可能性があるので、モバイル端末は、前もってセットされた露出存続期間以下である値に露出パラメータの露出存続期間を設定する。
すなわち、手持ち状態では、モバイル端末は、画像の撮影効果を改善するために、比較的に短い露出存続期間及び比較的に高い光感度に基づき画像を取得する。
可能な実施において、露出パラメータシーケンスにおいて露出パラメータに含まれる露出存続期間は逐次増大し、且つ/あるいは、露出パラメータシーケンスにおいて露出パラメータに含まれる光感度は逐次増大する。
例えば、前もってセットされた露出存続期間が1sであるとすれば、第1露出パラメータの露出存続期間は0.2sであってよく、第1露出パラメータの光感度は400であってよく、第2露出パラメータの露出存続期間は0.5sであってよく、第2露出パラメータの光感度は1200であってよい。
他の例として、第1露出パラメータの露出存続期間が0.2sであり、第1露出パラメータの光感度が400であり、第2露出パラメータの露出存続期間が0.5sであり、第2露出パラメータの光感度が1200であるすれば、基準露出パラメータは、第1露出パラメータの前に設定されてよい。例えば、基準露出パラメータの露出存続期間は0.3sであってよく、基準露出パラメータの光感度は800であってよい。
任意に、露出パラメータシーケンスは、撮影時間の昇順でソートされた少なくとも1つの第4露出パラメータを更に含んでもよい。少なくとも1つの第4露出パラメータのいずれか1つに対応する撮影時間は、第1露出パラメータに対応する撮影時間よりも遅いが、第2露出パラメータに対応する撮影時間よりも早い。
任意に、露出パラメータシーケンスに含まれる露出パラメータに対応する入射光は、撮影時間の昇順で逐次増大してよい。具体的に言えば、露出パラメータシーケンスにおいて、第1露出パラメータに対応する入射光は最小であり、第2露出パラメータに対応する入射光は最大である。少なくとも1つの第4露出パラメータは、第1露出パラメータと第2露出パラメータとの間に設定されてよく、それにより、その後の合成処理プロシージャで2つの連続フレーム間の比較的大きい差から生じる画像合成効果に対する影響を回避するために、露出パラメータシーケンスに含まれる露出パラメータに対応する入射光は、撮影時間の昇順で逐次増大する。
図7は、撮影モード2での露出パラメータシーケンスの可能な実施を示す。図7において黒影で示されているように、水平方向は、露出パラメータに対応する撮影時間を表し、垂直方向は、露出パラメータに対応する入射光を表す。本願はこれらに限られない。
任意に、モバイル端末の最大露出パラメータを使用することによって取得される画像内で第2領域に対応する領域の画素平均が、依然として前もってセットされた第2画素閾値よりも小さい場合に、すなわち、露出不足領域の輝度が依然として望ましくない場合に、この場合、モバイル端末は、露出不足領域の輝度を増大させるように、第2露出パラメータの後ろに少なくとも1つの第2露出パラメータ(例えば、図7において斜線パターンによって示されている第2露出パラメータ)を加えてよい。
本願のこの実施形態で提供される撮影方法によれば、光源シーンでは、画像内の画素の輝度の変化は比較的に大きく、露出過度又は露出不足が起こる可能性がある。従って、モバイル端末は、第1露出パラメータを使用することによって取得される画像に基づき露出過度領域の輝度を低減し、第2露出パラメータを使用することによって取得される画像に基づき露出不足領域の輝度を増大して、合成を通じて高ダイナミックレンジで画像を取得することができ、それによって、画像内の明るくあるべき領域は明るく、画像内の暗くあるべき領域は暗く、画像はより多くのディテールを含む。
その上、手持ちモードでは、モバイル端末は、十分に安定しておらず、振動する可能性がある。結果として、撮影された画像は、振動により不鮮明であることがあり、複数の連続した撮影画像は、振動によりアライメントされない可能性がある。従って、振動による不鮮明な画像を回避するために、露出存続期間は、可能な限り小さい値に設定される必要がある。その上、基準露出パラメータは、露出パラメータシーケンスの最前に設定される必要があり、基準露出パラメータを使用することによって取得される画像は、その後に撮影される画像をアライメントするために使用される。
任意に、三脚状態において露出パラメータシーケンスに含まれる露出パラメータの数は、手持ち状態において露出パラメータシーケンスに含まれる露出パラメータの数よりも多くなり得る。
撮影モード3:三脚及び暗モード
撮影シーンが暗シーンである場合に、モバイル端末は、第1画像の画素平均及び第1画像の露出パラメータに基づき、露出パラメータシーケンスに含まれる複数の第3露出パラメータを決定する。
第3露出パラメータを使用することによって取得される画像の画素平均は、前もってセットされた第3画素閾値に等しく、第1画像の画素平均は、前もってセットされた第3画素閾値以下である。
撮影ステータスが三脚状態である場合に、モバイル端末は、露出パラメータシーケンスの露出パラメータに含まれる光感度が前もってセットされた光感度以下であると決定する。
本願のこの実施形態で、第1画像の画素平均は、画素の数に対する、第1画像内の画素の画素値の和の比として理解され得ることが留意されるべきである。可能な代替の方法では、第1画像の画素平均は、第1画像内の画素の画素値の和により置き換えられてよい。これは、本願のこの実施形態において制限されない。
第1画像の画素平均が前もってセットされた第3画素閾値以下である場合に、それは、第1画像が露出不足画像であることを示し、第1画像の輝度は増大される必要があることが更に留意されるべきである。
例えば、第1画像の露出存続期間は1sであり、第1画像の光感度は100であり、第1画像は、図5に示されるように、画素値が夫々5、5、60、80、250、及び250である6つの画素を含むとすれば、第1画像の画素平均は108である。
露出パラメータが露出存続期間及び光感度を含むとき、露出パラメータに対応する入射光は、露出存続期間と光感度との積として理解され得ることが理解されるべきである。
第3画素閾値が128であるとすれば、第1画像の画素平均は108であり、第1画像の露出パラメータに対応する入射光は100であるから、第3露出パラメータに対応する入射光は、128×100/108=118であることが分かる。
入射光が同じであるとき、より光感度が低い画像は、より小さい画像ノイズ及びより良い撮影効果を有している。モバイル端末は、三脚モードにおいて比較的に安定している。従って、三脚モードでは、モバイル端末は、露出パラメータの光感度を、前もってセットされた第1光感度よりも小さい値に設定し、相対的により低い光感度及び比較的に長い露出存続期間に基づき画像を取得する。
要するに、前もってセットされた第1光感度が100であるとすれば、第3露出パラメータの露出存続期間は、例えば、1.2sであってよく、第3露出パラメータの光感度は、例えば、100であってよい。
図8は、撮影モード3での露出パラメータシーケンスの可能な実施を示す。図8に示されているように、水平方向は、露出パラメータに対応する撮影時間を表し、垂直方向は、露出パラメータに対応する入射光を表す。本願はこれらに限られない。
本願のこの実施形態で提供される撮影方法によれば、暗シーンでは、光が比較的弱く、画像輝度が比較的に乏しく、露出過度は起こらない。従って、モバイル端末は、画像輝度を増大させるように、複数の第3露出パラメータを使用することによって取得される画像に基づき露出不足領域の輝度を増大させてよく、それにより、画像はより多くのディテールを含んで、画像の撮影効果を改善する。三脚状態において、入射光が同じである場合に、画像ノイズは、画像の撮影効果を改善するために、比較的に長い露出存続期間及び比較的に低い光感度を設定することによって更に低減可能である。
撮影モード4:手持ち及び暗モード
撮影シーンが暗シーンである場合に、モバイル端末は、第1画像の画素平均及び第1画像の露出パラメータに基づき、露出パラメータシーケンスに含まれる複数の第3露出パラメータを決定する。
第3露出パラメータを使用することによって取得される画像の画素平均は、前もってセットされた第3画素閾値に等しく、第1画像の画素平均は、第3画素閾値以下である。
撮影ステータスが手持ち状態である場合に、モバイル端末は、露出パラメータシーケンスが基準露出パラメータを含み、且つ、露出パラメータシーケンスの露出パラメータに含まれる露出存続期間が前もってセットされた露出存続期間以下であると決定する。基準露出パラメータは、露出パラメータシーケンスにおいて最も早い撮影時間を有する露出パラメータであり、基準露出パラメータに対応する入射光は、第3露出パラメータに対応する入射光に等しい。
図9は、撮影モード4での露出パラメータシーケンスの可能な実施を示す。図9に示されているように、水平方向は、露出パラメータに対応する撮影時間を表し、垂直方向は、露出パラメータに対応する入射光を表す。本願はこれらに限られない。
本願のこの実施形態で提供される撮影方法によれば、暗シーンでは、光が比較的弱く、画像輝度が比較的に乏しく、露出過度は起こらない。従って、モバイル端末は、画像輝度を増大させるように、複数の第3露出パラメータを使用することによって取得される画像に基づき露出不足領域の輝度を増大させてよく、それにより、画像はより多くのディテールを含んで、画像の撮影効果を改善する。
その上、手持ちモードでは、モバイル端末は、十分に安定しておらず、振動する可能性がある。結果として、撮影された画像は、振動により不鮮明であることがあり、複数の連続した撮影画像は、振動によりアライメントされない可能性がある。従って、振動による不鮮明な画像を回避するために、露出存続期間は、可能な限り小さい値に設定される必要がある。その上、基準露出パラメータは、露出パラメータシーケンスの最前に設定される必要があり、基準露出パラメータを使用することによって取得される画像は、その後に撮影される画像をアライメントするために使用される。
S240.モバイル端末は、少なくとも2つの画像を取得するように、露出パラメータシーケンスに含まれる露出パラメータを使用することによって、続けざまに画像を取得する。
少なくとも2つの画像は、露出パラメータシーケンスに含まれる露出パラメータに基づきモバイル端末によって続けざまに取得され、露出パラメータシーケンスに含まれる露出パラメータは、撮影時間の昇順でソートされているので、少なくとも2つの画像も撮影時間の昇順でソートされることが留意されるべきである。
S240で取得される少なくとも2つの画像は、S210の第1画像が取得された直後に取得される少なくとも2つの画像であってよいことが更に留意されるべきである。
すなわち、ユーザによって入力された撮影指示を検出した後、モバイル端末は、S210での第1画像と、S240での少なくとも2つの画像とを続けざまに取得し得る。S210で取得された第1画像は、S240で取得される少なくとも2つの画像によって使用される露出パラメータシーケンスを決定するために使用される。
S250.モバイル端末は、ターゲット画像を取得するように、撮影モード及び少なくとも2つの画像の一部又は全てに基づき合成処理を実行する。
以下は、どのようにしてモバイル端末が種々の撮影モードにおいて少なくとも2つのフレームの一部又は全てに基づき合成処理を実行してターゲット画像を取得するかについて記載する。
撮影モード1:三脚及び光源モード
少なくとも2つのフレームがN個のフレームを含み、Nが1よりも大きい整数であると仮定して、合成処理は、撮影モード1において、画素重ね合わせ処理及びフレーム融合処理を含むことが留意されるべきである。
具体的に、モバイル端末は、iの値が2、3、・・・又はNであるとして、N個のフレームに含まれるi番目のフレームと、最初のi−1個のフレームの合成処理結果とに対して画素重ね合わせ処理を実行して、最初のi個のフレームの画素重ね合わせ処理結果を取得し、モバイル端末は、最初のi個のフレームの画素重ね合わせ処理結果及びi番目のフレームに対してフレーム融合処理を実行して、i番目の候補ターゲット画像を取得し、モバイル端末は、表示インターフェイスを使用することによってユーザにi番目の候補ターゲット画像及び第2プロンプト情報を表示し、第2プロンプト情報は、合成処理を終了すべきか又は終了しないべきかをユーザにプロンプトするために使用され、モバイル端末が、前もってセットされた第1存続期間内に、ユーザによって第2プロンプト情報に基づき入力される合成処理終了指示を検出する場合に、モバイル端末は、前記合成処理を中止し、i番目の候補ターゲット画像をターゲット画像として決定する。
iの値が2であるとき、最初の1つの画像の合成処理結果は、第1候補ターゲット画像、又は最初の1つの画像の画素重ね合わせ処理結果、又は第1画像として理解され得ることが留意されるべきである。
可能な実施において、モバイル端末が最初のi−1個のフレームの合成処理結果及びi番目のフレームに対して画素重ね合わせ処理を実行することは、モバイル端末が、最初のi−1個のフレームの合成処理結果の前もってセットされた第1重みと、i番目のフレームの前もってセットされた第2重みとに基づき、最初のi−1個のフレームの合成処理結果及びi番目のフレームに対して画素重ね合わせ処理を実行することとして理解され得る。前もってセットされた第1重みと前もってセットされた第2重みとの和は、1よりも大きいが2よりも小さい。
例えば、前もってセットされた第1重みは1に等しく、前もってセットされた第2重みは0よりも大きいが1よりも小さく、あるいは、前もって設定された第1重み及び前もってセットされた第2重みの両方ともが0よりも大きいが1よりも小さい。
例えば、第1フレーム内の第1画素(行1及び列1にある画素)の画素値が60であり、前もってセットされた第1重みが1であり、第2フレーム内の第1画素の画素値が80であり、前もってセットされた第2重みが0.4であるとすれば、最初の2つのフレームの、画素重ね合わせ処理が第1フレーム及び第2フレームに対して実行された後に取得される画素重ね合わせ処理結果における第1画素の画素値は、60×1+80×0.4=92である。
可能な実施において、モバイル端末は、輝度中心(例えば、画素値が128である画素)により近い画素がより大きい重みを有し、輝度中心からより離れている画素がより小さい重みを有するという、前もってセットされた第1規則に従って、最初のi個のフレームの画素重ね合わせ結果内の画素の重みと、i番目のフレーム内の画素の重みとを決定し、最初のi個のフレームの画素重ね合わせ結果内の画素の重みと、i番目のフレーム内の画素の重みに基づき、最初のi個のフレームの画素重ね合わせ結果及びi番目のフレームに対してフレーム融合処理を実行して、i番目の候補ターゲット画像を取得する。
他の例として、最初の2つのフレームの画素重ね合わせ処理結果内の第1画素(行1及び列1にある画素)の画素値が92であり、最初の2つのフレームの画素重ね合わせ処理結果内の第1画素の、前もってセットされた第1規則に従って取得される重みが0.6であり、第2フレーム内の第1画素の画素値が80であり、第2フレーム内の第1画素の、前もってセットされた第1規則に従って取得される重みが0.4であるとすれば、フレーム融合処理が最初の2つのフレームの画素重ね合わせ処理結果及び第2フレームに対して実行されるときに、2つのフレームの重みは最初に正規化され(0.6:0.4=3/5:2/5)、次いで、重ね合わせが実行され、すなわち、第2候補ターゲットフレーム内の第1画素の画素値は、3/5×92+2/5×80=87.2である。
すなわち、モバイル端末は、最初に、画像輝度を改善するために、N個のフレームに含まれるi番目のフレームと、最初のi−1個のフレームの合成処理結果とに対して画素重ね合わせ処理を実行し、次いで、最初のi個のフレームの重ね合わせ処理結果及びi番目のフレームに対してフレーム融合処理を実行して、それにより、画像全体の全ての領域が輝度中心に近づくようにする。最後に、合成後に取得される画像のダイナミックレンジは改善され、画像の撮影効果は改善される。
上記の例では、画素重ね合わせ処理プロシージャ及びフレーム融合処理プロシージャは、第1フレーム及び第2フレームにおいて対応する位置にある画素を使用することによって記載されていることが留意されるべきである。2つのフレームにおいて対応する位置にある画素の処理プロシージャは、上記のプロシージャと同様である。繰り返しを避けるために、詳細はここで再びは記載されない。
任意に、モバイル端末が、前もってセットされた第1存続期間内に、ユーザによって第2プロンプト情報に基づき入力される合成処理終了指示を検出しない場合に、モバイル端末は、N個のフレームに含まれる(i+1)番目のフレームと、最初のi個の画像の合成結果とに対して合成処理を実行して、(i+1)番目の候補ターゲット画像を取得し、そして、モバイル端末は、表示インターフェイスを使用することによってユーザに(i+1)番目の候補ターゲット画像及び第2プロンプト情報を表示する。
任意に、モバイル端末が、表示インターフェイスを使用することによってユーザにN番目の候補ターゲット画像を表示した後に、前もってセットされた第1存続期間内に、ユーザによって入力される合成処理終了指示を受けない場合に、モバイル端末は、N番目の候補ターゲット画像をターゲット画像として決定する。
すなわち、モバイル端末によって少なくとも2つのフレームに対して合成処理を続けて実行するプロシージャにおいて、合成が実行されるたびに、合成の合成処理結果が、表示インターフェイスを使用することによってユーザに表示され、ユーザは、合成の合成結果をターゲット画像として出力すべきか又は出力すべきでないかをプロンプトされ、ユーザがプロンプトされた後に、前もってセットされた第1存続期間内に、ユーザからの合成処理終了指示が検出される場合には、このとき取得されている合成結果がターゲット画像として出力され、さもなければ、合成は、最後の合成が完了するまで、次の画像に対して実行され続ける。
任意に、モバイル端末が第1フレーム及び第2フレームに対して合成処理を実行する前に、モバイル端末は、表示インターフェイスを使用することによってユーザに第1フレームを表示してよく、モバイル端末が、前もってセットされた第1存続期間内に、ユーザによって第2プロンプト情報に基づき入力される合成処理終了指示を検出する場合には、モバイル端末は合成処理を中止し、第1フレームをターゲット画像として決定し、あるいは、モバイル端末が前もってセットされた第1存続期間内に合成処理終了指示を検出しない場合には、モバイル端末は、第1フレーム及び第2フレームに対して合成処理を実行する。
撮影モード2:手持ち及び光源モード
少なくとも2つのフレームがN個のフレームを含み、Nが1よりも大きい整数であると仮定して、合成処理は、撮影モード2において、フレーム位置合わせ処理、画素重ね合わせ処理、及びフレーム画像融合処理を含むことが留意されるべきである。
具体的に、モバイル端末は、iの値が2、3、・・・又はNであるとして、基準露出パラメータを使用することによって取得されるフレームに基づき、N個のフレームに含まれるi番目のフレームに対してフレーム位置合わせ処理を実行して、i番目のフレーム位置合わせ処理結果を取得し、モバイル端末は、i番目のフレーム位置合わせ処理結果及び最初のi−1個のフレームの合成処理結果に対して画素重ね合わせ処理を実行して、i番目の画素重ね合わせ処理結果を取得し、モバイル端末は、i番目の画素重ね合わせ処理結果及びi番目のフレームに対してフレーム融合処理を実行して、i番目の候補ターゲット画像を取得し、モバイル端末は、表示インターフェイスを使用することによってユーザにi番目の候補ターゲット画像及び第2プロンプト情報を表示し、第2プロンプト情報は、合成処理を終了すべきか又は終了しないべきかをユーザにプロンプトするために使用され、モバイル端末が、前もってセットされた第1存続期間内に、ユーザによって第2プロンプト情報に基づき入力される合成処理終了指示を検出する場合に、モバイル端末は、合成処理を中止し、i番目の候補ターゲット画像をターゲット画像として決定する。
撮影モード2と撮影モード1との間の相違は、次の点にあることが留意されるべきである。撮影モード2では、モバイル端末は手持ち状態にあり、従って、手持ち状態によって引き起こされるフレーム間ジッタを回避するために、各フレームが合成される前に、フレーム位置合わせ処理が、そのフレームと、基準露出パラメータを使用することによって取得される基準フレームとに対して実行される必要があり、すなわち、基準フレームを除く全てのフレームが基準フレームとアライメントされる必要がある。
その上、フレーム位置合わせ処理後に、アライメントされていないエッジ領域が存在することがある。フレーム位置合わせ処理結果は、アライメントされていないエッジ領域を取り除くように、トリミング又は拡大されてよい。
具体的に、フレーム位置合わせは、先行技術におけるフレーム位置合わせ法を使用することによって実行されてよい。これは、本願のこの実施形態において制限されない。
任意に、振動及びブラーが手持ち状態では起こる可能性があるので、各フレームは、画像鮮明度を改善するように、合成処理プロシージャにおいて鮮鋭化されてよい。
撮影モード2における画素重ね合わせ処理プロシージャ及びフレーム融合処理プロシージャは、撮影モード1における画素重ね合わせ処理プロシージャ及びフレーム融合処理プロシージャと同じであることが理解されるべきである。詳細な処理については、撮影モード1を参照されたい。繰り返しを回避するために、詳細はここで再びは記載されない。
撮影モード3:三脚及び暗モード
少なくとも2つのフレームがN個のフレームを含み、Nが1よりも大きい整数であると仮定して、合成処理は、撮影モード3において、画素重ね合わせ処理を含むことが留意されるべきである。
具体的に、モバイル端末は、iの値が2、3、・・・又はNであるとして、N個のフレームに含まれるi番目のフレームと、最初のi−1個のフレームの合成処理結果とに対して画素重ね合わせ処理を実行して、i番目の候補ターゲット画像を取得し、モバイル端末は、表示インターフェイスを使用することによってユーザにi番目の候補ターゲット画像及び第2プロンプト情報を表示し、第2プロンプト情報は、合成処理を終了すべきか又は終了しないべきかをユーザにプロンプトするために使用され、モバイル端末が、前もってセットされた第1存続期間内に、ユーザによって第2プロンプト情報に基づき入力される合成処理終了指示を検出する場合に、モバイル端末は、合成処理を中止し、i番目の候補ターゲット画像をターゲット画像として決定する。
撮影モード3における画素重ね合わせ処理プロシージャは、撮影モード1における画素重ね合わせ処理プロシージャと同じであることが理解されるべきである。詳細な処理については、撮影モード1を参照されたい。繰り返しを回避するために、詳細はここで再びは記載されない。
撮影モード4:手持ち及び暗モード
少なくとも2つのフレームがN個のフレームを含み、Nが1よりも大きい整数であると仮定して、合成処理は、撮影モード4において、フレーム位置合わせ処理及び画素重ね合わせ処理を含むことが留意されるべきである。
具体的に、モバイル端末は、iの値が2、3、・・・又はNであるとして、基準露出パラメータを使用することによって取得されるフレームに基づき、N個のフレームに含まれるi番目のフレームに対してフレーム位置合わせ処理を実行して、i番目のフレーム位置合わせ処理結果を取得し、モバイル端末は、i番目のフレーム位置合わせ処理結果及び最初のi−1個のフレームの合成処理結果とに対して画素重ね合わせ処理を実行して、i番目の候補ターゲット画像を取得し、モバイル端末は、表示インターフェイスを使用することによってユーザにi番目の候補ターゲット画像及び第2プロンプト情報を表示し、第2プロンプト情報は、合成処理を終了すべきか又は終了しないべきかをユーザにプロンプトするために使用され、モバイル端末が、前もってセットされた第1存続期間内に、ユーザによって第2プロンプト情報に基づき入力される合成処理終了指示を検出する場合に、モバイル端末は、合成処理を中止し、i番目の候補ターゲット画像をターゲット画像として決定する。
撮影モード4におけるフレーム位置合わせプロシージャ及び画素重ね合わせ処理プロシージャは、撮影モード2におけるフレーム位置合わせプロシージャ及び画素重ね合わせ処理プロシージャと同じであることが理解されるべきである。詳細な処理については、撮影モード2を参照されたい。繰り返しを回避するために、詳細はここで再びは記載されない。
S260.モバイル端末は、ターゲット画像を出力する。
具体的に言えば、モバイル端末は、ターゲット画像を、現在の撮影後にギャラリーに最終的に格納される画像として使用してよい。
すなわち、モバイル端末は、ターゲット画像をメモリに記憶してよい。
以下は、図10乃至図17を参照して、本願のこの実施形態で提供される撮影方法を実行する工程においてどのようにモバイル端末の表示インターフェイスが提示されるかについて詳細に記載する。
例えば、ユーザが写真を撮る必要があるとき、ユーザは、カメラを起動するように電子デバイスに指示してよい。例えば、ユーザは、カメラアイコンをタップすることによって、電子デバイスに対してカメラを起動するように指示してよく、あるいは、ユーザは、音声によって、電子デバイスに対してカメラを起動するように指示してよく、あるいは、ユーザは、スクリーンオフ状態でスクリーン上で“C”字形の軌跡を描くことによって、電子デバイスに対してカメラを起動するように指示してよい。電子デバイスにカメラを起動させる方法は、本願のこの実施形態において制限されない。
ユーザがカメラを起動した後に、モバイル端末は、図10に示される表示インターフェイスを表示する。表示インターフェイスは、現在のプレビュー画像、撮影ステータスプロンプト情報、撮影シーンプロンプト情報、シャッターアイコン、露出パラメータプロンプト情報、などを含む。これは、本願のこの実施形態において制限されない。
可能な実施において、図10に示される表示インターフェイス上で、撮影ステータスプロンプト情報は、テキスト形式、アイコン形式、又は他の形式、例えば、現在の撮影ステータスをユーザにプロンプトすることができる音声プロンプトであってよい。これは、本願のこの実施形態において制限されない。
例えば、表示インターフェイスは、「三脚を使用して撮影して下さい(use a tripod to shoot)」、「機器を安定させて下さい(please steady your device)」、などを表示してよい。
他の例として、表示インターフェイスは、“三脚”アイコン及び“無振動”アイコンを表示してよい。
可能な実施において、図10に示される表示インターフェイス上で、撮影シーンプロンプト情報は、テキスト形式、アイコン形式、又は他の形式、例えば、現在の撮影シーンをユーザにプロンプトすることができる音声プロンプトであってよい。これは、本願のこの実施形態において制限されない。
例えば、表示インターフェイスは、「夜間撮影(night shot)」、「高輝度撮影」、「暗時撮影」、又は「明時撮影」を表示してよい。
他の例として、表示インターフェイスは、光源があることを示すために「太陽」アイコンを表示し、「太陽」アイコン内の太陽光線の量を使用することによって現在の光源の強さを示すか、あるいは、夜間撮影を示すために「月」アイコンを表示してよい。
可能な実施において、図10に示される表示インターフェイス上で、露出パラメータプロンプト情報は、テキスト形式、アイコン形式、又は他の形式、例えば、現在の露出パラメータをユーザにプロンプトすることができる音声プロンプトであってよい。これは、本願のこの実施形態において制限されない。
例えば、表示インターフェイスは、「露出存続期間T:**秒(ミリ秒)」、「光感度ISO:**」、又は「開口値F:***」を表示してよい。
他の例として、表示インターフェイスは、「自動露出存続期間設定(auto)モード」アイコン、「自動ISO設定モード」アイコン、又は「自動開口値設定モード」アイコンを表示してよい。
任意に、露出パラメータは、自動設定モードにあってよく、あるいは、手動ユーザ設定モードにあってよく、あるいは、半自動半手動モードにあってよい。これは、本願のこの実施形態において制限されない。
例えば、図11に示されるように、表示インターフェイスは「ISO」アイコンを表示してよい。アイコンをタップした後に、ユーザは手動でISOを設定し得る。
図11は、単に、カメラが起動した後に表示される表示インターフェイスの一例を示すことが理解されるべきである。図11の表示インターフェイスは、アルバムプレビュー画面、ホームキー、戻りキー、又はメニューキーのような既存の表示インターフェイス上の他の部分を更に含んでもよい。本願のこの実施形態はこれに制限されるべきではない。
ユーザが写真を撮る必要があるときに、ユーザはシャッターをタップする。この場合に、モバイル端末は、ユーザによって入力された検出された撮影指示に基づき、デバイスを安定させるようにユーザに促し、プレビューされる画像を取得し、現在の撮影モードを決定し、プレビューされる画像及び撮影モードに基づき露出パラメータシーケンスを決定し、露出パラメータシーケンスに対応する少なくとも2つのフレームを取得する。
モバイル端末が現在の撮影モードを決定した後に、モバイル端末は、表示インターフェイスを使用することによって現在の撮影モードをユーザにプロンプトしてよい。
例えば、図12に示されるように、表示インターフェイスは、現在の撮影モードが三脚及び光源モードであることをユーザにプロンプトする。
例えば、少なくとも2つのフレームがフレーム1、フレーム2、フレーム3、及びフレーム4である場合に、図13乃至図16は、モバイル端末によって露出パラメータに基づき少なくとも2つのフレームを取得した後に該少なくとも2つのフレームに基づき合成処理を実行する工程において、表示インターフェイスの可能な表示様態を示す。しかし、本願のこの実施形態はこれに制限されるべきではない。
図13は、第1の候補ターゲット画像(フレーム1)を示す。図14は、第2の候補ターゲット画像(フレームとフレーム2との合成結果である。)を示す。図15は、第3の候補ターゲット画像(第2の候補ターゲット画像とフレーム3との合成結果である。)を示す。図16は、第4の候補ターゲット画像(第3の候補ターゲット画像とフレーム4との合成結果である。)、すなわち、最終のターゲット画像を示す。
任意に、表示インターフェイスは、撮影(shooting)又は処理が進行中であることをユーザに更にプロンプトしてもよい。
任意に、表示インターフェイスは、合成処理カウントダウンのカウントを更に含み、カウントダウン進行バーをユーザに表示してもよい。
任意に、表示インターフェイスは、現在の合成処理で既に使用されている存続期間を更に表示してもよい。
任意に、表示インターフェイスは、合成が実行中である特定の画像をユーザに更にプロンプトしてもよい。
任意に、表示インターフェイスは、現在取得されている候補ターゲット画像と、取得された候補ターゲット画像の数とをユーザに更にプロンプトしてもよい。
他の例として、図17は、第2プロンプト情報の可能な表示インターフェイスの例を示す。モバイル端末は、表示インターフェイスを使用することによって、満足な効果で現在の撮影を終了するようにユーザに促し、終了アイコンを提供してよい。第2プロンプト情報は、ユーザにプロンプトするように図13乃至図16の表示インターフェイスのうちの任意の1つで表示されてよい。ユーザが終了ボタンを押すときに、フレーム合成処理は終了し、現在の表示インターフェイス上で表示される候補ターゲット画像は、最終のターゲット画像としてユーザに表示され、ギャラリーに格納される。
任意に、図13及び図17は、単に、モバイル端末の撮影プロセスにおける表示インターフェイスの変化の例を示す。撮影プロセスにおいて、モバイル端末の表示インターフェイスは、撮影及び合成処理に関連した他の変化プロセスを更に表示してもよい。本願のこの実施形態はこれに制限されるべきではない。
図18を参照して、以下は、本願の実施形態で提供されるシステムアーキテクチャ400の概略図について記載する。システム構造は、方法200で提供される方法を実装するために使用される。
カメラアプリケーション(Application,APP)410は、ユーザによって入力されたカメラ起動命令を取得し、撮影機能をユーザに提供するよう構成される。
制御センター420は、ユーザによって入力された撮影指示を検出し、撮影指示を検出した後で、処理センター430に初期露出パラメータを要求し、センサ440にセンサパラメータを要求するよう構成される。
可能な実施において、制御センター420は、例えば、モバイル端末のオペレーティング・システムであってよい。
処理センター430は、制御センター420の要求に従って初期露出パラメータを制御センター420へ転送するよう構成される。
可能な実施において、処理センター430は、例えば、カメラとともに使用されるバックグラウンド処理モジュールであってよい。
制御センター420は、受信された初期露出パラメータに基づき画像信号プロセッサ(image signal processor,ISP)450へ初期露出パラメータを転送し、ISP450に対して初期露出パラメータに基づきプレビュー画像を捕捉するように指示するよう構成される。
ISP450は、初期パラメータに基づきプレビュー画像を取得するようにカメラ460を制御し、プレビュー画像を処理センター430へ送信するよう構成される。
可能な実施において、ISP450は、例えば、カメラパラメータ設定を実行し、カメラによって出力された画像に対してフォーマット処理のような処理を実行するよう構成されたハードウェアであってよい。
センサ440は、制御センター420の要求に従ってセンサデータを制御センター420へ送信するよう構成される。
制御センター420は更に、センサ440から取得されるセンサデータと、ISP450から取得されるプレビュー画像とを処理センター430へ送信するよう構成される。
処理センター430は更に、(1)画像符号化ユニット470に対して、制御センター420から取得されるプレビュー画像を符号化のために送信し、(2)現在の撮影モードを決定し、表示スクリーンに対して現在の撮影モードを表示するように指示し、(3)取得されたプレビュー画像及び取得されたセンサデータに基づき露出パラメータシーケンスを決定し、露出パラメータシーケンスを制御センター420へ送信するよう構成される。
処理(1)において、画像符号化ユニット470は、処理センター430によって送信されたプレビュー画像を符号化し、次いで、符号化されたプレビュー画像を表示スクリーン480へ送信するよう構成される。表示スクリーン480は、ユーザに対して、画像符号化ユニット470によって送信されたプレビュー画像を表示するよう構成される。
処理(2)において、表示スクリーン480は更に、現在の撮影モードをユーザに表示するよう構成される。
処理(3)において、制御センター420は更に、取得された露出パラメータシーケンスをISP450へ転送するよう構成される。
ISP450は更に、露出パラメータシーケンスに基づき、露出パラメータシーケンスに対応する少なくとも2つのフレームを捕捉するようにカメラを制御するよう構成され、且つ、捕捉された少なくとも2つのフレームを処理センター430へ送信するよう構成される。
処理センター430は更に、取得された少なくとも2つのフレーム及び撮影モードに基づきフレーム合成処理を実行し、フレームが合成を通じて取得されるたびに、そのフレームをフレーム符号化ユニット470へ送信し、表示スクリーン480を使用することによってフレームを表示し、最終のターゲット画像が決定された後に、ターゲット画像をギャラリー490に格納するよう構成される。
図19は、本願の実施形態に従う撮影装置500の略ブロック図である。撮影装置500は、方法200で記載されたモバイル端末に対応してよく、撮影装置500におけるモジュール又はユニットは、方法200でモバイル端末によって実行された動作及び処理プロシージャを実行するよう構成される。ここで、繰り返しを避けるために、その詳細な記載は省略される。
当業者であれば、本明細書中で開示される実施形態で記載される例を参照して、ユニット及びアルゴリズムステップが、電子ハードウェア又はコンピュータソフトウェアと電子ハードウェアとの組み合わせによって実装され得ると気付き得る。機能がハードウェア又はソフトウェアによって実行されるかどうかは、技術的解決法の具体的な適用及び設計制約条件に依存する。当業者であれば、特定の用途ごとに、種々の方法を使用して、記載される機能を実装し得るが、実施が本願の適用範囲を超えることは、考えられるべきではない。
当業者によって明らかに理解され得るように、記載の便宜上及び簡潔さのために、上記のシステム、装置、及びユニットの詳細な作動プロセスについては、上記の方法実施形態における対応するプロセスが参照されてよく、詳細はここで再び記載されない。
本願で提供されるいくつかの実施形態で、開示されるシステム、装置、及び方法は、他の様態で実装されてもよいことが理解されるべきである。例えば、記載される装置実施形態は、一例にすぎない。例えば、ユニット分割は、単に、論理的な機能分割であり、実際の実施では他の分割であってもよい。例えば、複数のユニット又はコンポーネントが他のシステムに結合又は一体化されてよく、あるいは、いくつかの特徴は、無視されても又は実行されなくてもよい。その上、図示又は議論される相互結合又は直接的な結合若しくは通信接続は、いくつかのインターフェイスを使用することによって実装されてもよい。装置又はユニット間の間接的な結合又は通信接続は、電気的な、機械的な、又は他の形式で実装されてよい。
分離した部分として記載されるユニットは、物理的に分離していてもしていなくてもよく、ユニットとして示される部分は、物理的なユニットであってもなくてもよく、一箇所に位置しても、又は複数のネットワークユニット上に分配されてもよい。ユニットの一部又は全ては、実施形態の解決法の目的を達成するために実際の要件に応じて選択されてよい。
その上、本願の実施形態における機能ユニットは、1つの処理ユニットに一体化されてよく、あるいは、ユニットの夫々が物理的に単独で存在してもよく、あるいは、2以上のユニットが1つのユニットに一体化されてもよい。
機能がソフトウェア機能ユニットの形で実装され、独立した製品として販売又は使用されるとき、機能は、コンピュータ可読記憶媒体に記憶されてよい。そのような理解に基づき、本願の技術的解決法は本質的に、あるいは、先行技術を構成する部分、又は技術的解決法の一部は、ソフトウェア製品の形で実装されてよい。コンピュータソフトウェア製品は、記憶媒体に記憶され、本願の実施形態で記載される方法のステップの全て又は一部を実行するようにコンピュータデバイス(パーソナルコンピュータ、サーバ、ネットワークデバイス、などであってよい。)に指示するいくつかの命令を含む。記憶媒体には、USBフラッシュドライブ、リムーバブル・ハード・ディスク、リード・オンリー・メモリ(Read-Only Memory,ROM)、ランダム・アクセス・メモリ(Random Access Memory,RAM)、磁気ディスク、又は光ディスクのような、プログラムコードを記憶することができる如何なる媒体も含まれてよい。
以上の記載は、本願の具体的な実施にすぎず、本願の保護範囲を制限する意図はない。本願で開示される技術的範囲内で当業者によって容易に想到される如何なる変形又は置換も、本願の保護範囲内に入るはずである。従って、本願の保護範囲は、特許請求の範囲の保護範囲に従うべきである。