JP2017505004A - 画像生成方法及びデュアルレンズ装置 - Google Patents

Abstract

本発明は、画像生成方法及びデュアルレンズ装置を開示し、当該方法は、第１の処理パラメータ及び第２の処理パラメータを判定するステップであって、第１の処理パラメータが第２の処理パラメータと異なる、ステップと、第１の処理パラメータに従って、第１のレンズに対応する第１の画像センサにより第１の瞬間にキャプチャされた第１の画像を獲得するステップと、第２の処理パラメータに従って、第２のレンズに対応する第２の画像センサにより第１の瞬間にキャプチャされた第２の画像を獲得するステップと、写真撮影操作命令が受信される場合に、画像を生成するために、獲得された第１の画像及び獲得された第２の画像を合成するステップとを含む。

Description

本発明は、画像処理技術の分野に関し、特に画像生成方法及びデュアルレンズ装置に関する。

現在、従来の写真撮影によって取得された画像と比較すると、異なる露出量を有するＬＤＲ（Low Dynamic Range、低ダイナミックレンジ画像処理）画像の複数のフレームは、ＨＤＲ（High Dynamic Range、高ダイナミックレンジ画像処理）画像を使用することによって合成され、その結果、より広いダイナミックレンジ、及びより多くの画像詳細が提供されることができ、実際の環境における視覚効果が更によく反映されることができる。したがって、この技術は、スマート端末のＣａｍｅｒａ（カメラ）写真撮影領域に広く適用される。

異なる露出量を有する画像の複数のフレームはＨＤＲ技術においてキャプチャされる必要があるので、そしてＣａｍｅｒａ写真撮影システムの最大フレームレートの制限に起因して、画像のこれらの複数のフレームの間には写真撮影時間間隔が存在する。時間間隔内において、もし手が震えるか、又は、例えば風が枝に吹きつけ、そして人物が歩くように、シーン内の物体が動くならば、これらの画像における画像内容が変化し、画像合成の間に“ゴースト”現象が発生する。一般に、ゴーストは写真においてしばしば発生し、そして、特に逆光写真撮影の間が最も一般的である。光学的画像処理システムにおいて、像点と同様の１つ又は複数の画像は像点の周辺に存在し、その像点を除く他の像点は集合的に“ゴースト”と言われる。例えば、図１において、図１における左側の画像は、正常な写真撮影の間の実在人物Ａであり、そして左側の画像は、現れるゴーストＢである。動きの速いシーンを写真撮影することに対して、この現象はとりわけ顕著である。したがって、いかに“ゴースト”を取り除くかが、ＨＤＲ技術における困難のうちの１つになり、そしてＨＤＲ画像の品質に対して大きな重要性を有している。

“ゴースト”を取り除くために、従来技術には下記の２つの方法がある。

方法１：Ｃａｍｅｒａコンポーネント上で、異なる露出量が交互の行及び／又は列における感知ユニットに対して使用され、そしてＨＤＲは、デジタル補間技術及び画像融合アルゴリズムを使用することにより取得される。

この解決法では、“ゴースト”問題は上手に解決されることができるが、しかし、交互の行／列における露出量及びデジタル補間が使用されるので、画像解像度が比較的低い。

方法２：画像融合アルゴリズムが使用される前に、画像位置合わせアルゴリズム及びゴースト排除アルゴリズムが加えられ、その結果、画像融合に対する手の震え及びシーンの動きの影響が減少する。

この解決法では、ゴースト問題はある程度改善することができる。しかしながら、アルゴリズムの複雑さが増大し、いくつかのシナリオでは、位置合わせアルゴリズム及びゴースト排除アルゴリズムは失敗するか、又は誤りが導入され、ＨＤＲ画像における“ゴースト”が上手に取り除かれることができない。図２において示されたように、実在人物Ａに加えて、ゴーストＢがまだ存在する。

要するに、従来技術には、ＨＤＲ画像におけるゴーストを取り除く比較的良い方法がまだ存在しない。

したがって、従来技術に存在する技術的な問題は、写真撮影の間に手が震えるか、及び／又はシーン内の物体が動く場合に、“ゴースト”現象が時分割画像の複数のフレームを融合させることにより生成された高ダイナミックレンジ画像に存在する、ということである。

本発明は、画像生成方法及びデュアルレンズ装置を提供し、それは、写真撮影の間に手が震えるか、及び／又はシーン内の物体が動く場合に、“ゴースト”現象が時分割画像の複数のフレームを融合させることにより生成された高ダイナミックレンジ画像に存在する、という従来技術における問題を解決するために使用される。

第１の態様によれば、デュアルレンズ装置に適用される画像生成方法が説明され、前記デュアルレンズ装置が前記デュアルレンズ装置の同じ平面に配置される第１のレンズ及び第２のレンズを含み、当該方法は、第１の処理パラメータ及び第２の処理パラメータを判定するステップであって、前記第１の処理パラメータが前記第２の処理パラメータと異なる、ステップと、前記第１の処理パラメータに従って、前記第１のレンズに対応する第１の画像センサにより第１の瞬間にキャプチャされた第１の画像を獲得するステップと、前記第２の処理パラメータに従って、前記第２のレンズに対応する第２の画像センサにより前記第１の瞬間にキャプチャされた第２の画像を獲得するステップと、写真撮影操作命令が受信される場合に、画像を生成するために、前記の獲得された第１の画像及び前記の獲得された第２の画像を合成するステップとを含む。

第１の態様に関連して、第１の可能な実施方法において、第１の処理パラメータ及び第２の処理パラメータを判定する前記ステップは、ユーザ命令を受け取り、そして前記第１の処理パラメータ及び前記第２の処理パラメータを事前設定するステップか、又は、前記第１の画像が獲得される前に実行される画像シーン認識の結果に従って前記第１の処理パラメータを判定するとともに、前記第２の画像が獲得される前に実行される画像シーン認識の結果に従って前記第２の処理パラメータを判定するステップを含み、前記第１の処理パラメータは第１の露出量又は第１の光感度を含むとともに、前記第２の処理パラメータは第２の露出量又は第２の光感度を含み、前記第１の露出量は前記第２の露出量と異なり、前記第１の光感度は前記第２の光感度と異なる。

第１の態様及び第１の可能な実施方法に関連して、第２の可能な実施方法において、画像を生成するために、処理された第１の画像及び処理された第２の画像を合成する前記ステップの前に、当該方法は、前記処理された第１の画像と前記処理された第２の画像との間のパンニング量を取得するステップと、前記処理された第１の画像を参照画像として選択するステップと、前記パンニング量に従って前記処理された第２の画像に対してパンニング動作を実行し、前記処理された第１の画像及び前記処理された第２の画像の共通画像の領域を判定するステップを更に含む。

第２の可能な実施方法に関連して、第３の可能な実施方法において、前記処理された第１の画像と前記処理された第２の画像との間のパンニング量を取得する前記ステップは、具体的に、（ｆ×（ｔ／ｄ））／ｕに基づいて前記パンニング量を取得するステップであって、ここで、Ｌは前記処理された第１の画像と前記処理された第２の画像との間の前記パンニング量を表し、ｆは焦点距離を表し、ｔは前記第１のレンズと前記第２のレンズとの間の光学的な中心距離を表し、ｄは前記第１の画像のピクセルサイズを表し、前記第１の画像の前記ピクセルサイズは前記第２の画像のピクセルサイズと同じであり、ｕは被写界深度を表す。

第２の可能な実施方法に関連して、第４の可能な実施方法において、前記処理された第１の画像及び前記処理された第２の画像の共通画像の領域を判定する前記ステップのあとに、当該方法は、前記共通画像に基づいて前記処理された第１の画像及び前記処理された第２の画像の領域をトリミングするとともに、前記のトリミングされた第１の画像及び前記のトリミングされた第２の画像を取得するステップを更に含む。

第２の可能な実施方法に関連して、第５の可能な実施方法において、画像を生成するために、前記の獲得された第１の画像及び前記の獲得された第２の画像を合成する前記ステップは、具体的に、画像を生成するために、前記処理された第１の画像及び前記処理された第２の画像の前記共通画像の前記領域に従って、前記処理された第１の画像及び前記処理された第２の画像を合成するステップである。

第２の態様によれば、デュアルレンズ装置が説明され、前記デュアルレンズ装置は、前記デュアルレンズ装置の同じ平面に配置される第１のレンズ及び第２のレンズを含み、前記デュアルレンズ装置は、プロセッサ、前記第１のレンズに対応する第１の画像センサ、そして前記第２のレンズに対応する第２の画像センサを更に含み、前記プロセッサは、第１の処理パラメータ及び第２の処理パラメータを判定し、前記第１の処理パラメータが前記第２の処理パラメータと異なる、ように構成され、前記第１のレンズに対応する前記第１の画像センサは、前記第１の処理パラメータに従って、前記第１のレンズに対応する前記第１の画像センサにより第１の瞬間にキャプチャされた第１の画像を獲得するように構成され、前記第２のレンズに対応する前記第２の画像センサは、前記第２の処理パラメータに従って、前記第２のレンズに対応する前記第２の画像センサにより前記第１の瞬間にキャプチャされた第２の画像を獲得するように構成され、前記プロセッサは、写真撮影操作命令が受信される場合に、画像を生成するために、前記の獲得された第１の画像及び前記の獲得された第２の画像を合成するように更に構成される。

第２の態様に関連して、第１の可能な実施方法において、前記プロセッサは、具体的に、ユーザ命令を受け取り、そして前記第１の処理パラメータ及び前記第２の処理パラメータを事前設定するように構成されるか、又は、具体的に、前記第１の画像が獲得される前に実行される画像シーン認識の結果に従って前記第１の処理パラメータを判定し、前記第２の画像が獲得される前に実行される画像シーン認識の結果に従って前記第２の処理パラメータを判定するように構成され、前記第１の処理パラメータは第１の露出量又は第１の光感度を含むとともに、前記第２の処理パラメータは第２の露出量又は第２の光感度を含み、前記第１の露出量は前記第２の露出量と異なり、前記第１の光感度は前記第２の光感度と異なる。

第１の可能な実施方法に関連して、第２の可能な実施方法において、前記プロセッサは、中央処理装置又は画像信号プロセッサを含む。

第１の可能な実施方法に関連して、第３の可能な実施方法において、前記プロセッサは、前記中央処理装置又は前記画像信号プロセッサを含む。

第２の態様、第１の可能な実施方法、第２の可能な実施方法及び第３の可能な実施方法に関連して、第４の可能な実施方法において、前記プロセッサは、前記処理された第１の画像と前記処理された第２の画像との間のパンニング量を取得し、前記処理された第１の画像を参照画像として選択し、前記パンニング量に従って前記処理された第２の画像に対してパンニング動作を実行するとともに、前記処理された第１の画像及び前記処理された第２の画像の共通画像の領域を判定するように更に構成される。

第４の可能な実施方法に関連して、第５の可能な実施方法において、前記プロセッサは、画像を生成するために、前記処理された第１の画像及び前記処理された第２の画像の前記共通画像の前記領域に従って、前記処理された第１の画像及び前記処理された第２の画像を合成するように更に構成される。

前述の技術的解決法のうちの１つ又は複数の技術的解決法は、下記の技術的な効果又は利点を有している。

本発明において、デュアルレンズ装置は、ゴースト問題を解決するために使用され、デュアルレンズ装置はデュアルレンズ装置の同じ平面に配置される第１のレンズ及び第２のレンズを含むので、画像が同時にキャプチャされる場合に、手の震え及び／又はシーン内の物体の相対的な動きにより引き起こされるゴーストは、キャプチャされた第１の画像及びキャプチャされた第２の画像において発生しない。したがって、画像が時分割マルチフレーム合成アルゴリズムを使用することにより合成される場合に引き起こされる“ゴースト”の技術的な問題が解決され、それは、ＨＤＲ効果を向上させることに対して大きな重要性を有している。

従来技術における“ゴースト”現象の概略図である。 従来技術において“ゴースト”の解決の間に誤りが現れる、概略図である。 本発明の一実施例による画像生成方法のフローチャートである。 本発明の一実施例によるデュアルレンズの概略図である。 本発明の一実施例による第１の画像の概略図である。 本発明の一実施例による第２の画像の概略図である 本発明の別の実施例による画像生成方法のフローチャートである。 本発明の一実施例によるデュアルレンズ装置の概略図である。 本発明の別の実施例によるデュアルレンズ装置の概略図である。 本発明の別の実施例によるデュアルレンズ装置の概略図である。 本発明の別の実施例によるデュアルレンズ装置の概略図である。

下記は、本発明の実施例における添付図面を参照して、本発明の実施例における技術的解決法を明確かつ十分に説明する。明らかに、説明される実施例は本発明の実施例の全てではなく単に一部である。創作的な努力なしで本発明の実施例に基づいて当業者により取得される他の全ての実施例は、本発明の保護範囲に含まれるものとする。

写真撮影の間に手が震えるか、及び／又はシーン内の物体が動く場合に、“ゴースト”現象が時分割画像の複数のフレームを融合させることにより生成された高ダイナミックレンジ画像に存在する、という従来技術における問題を解決するために、本発明の実施例は、画像生成方法及びデュアルレンズ装置を提供し、本発明の実施例における技術的解決法についての一般的なアイデアは、下記のとおりである。

本発明において、デュアルレンズ装置は、ゴースト問題を解決するために使用され、デュアルレンズ装置は、デュアルレンズ装置の同じ平面に配置される第１のレンズ及び第２のレンズを含む。このデュアルレンズ設計に起因して、画像が同時にキャプチャされる場合に、手の震え及び／又はシーン内の物体の相対的な動きにより引き起こされるゴーストは、キャプチャされた第１の画像及びキャプチャされた第２の画像において発生しない。したがって、画像が時分割マルチフレーム合成アルゴリズムを使用することにより合成される場合に引き起こされる“ゴースト”の技術的な問題が解決され、それは、ＨＤＲ効果を向上させることに対して大きな重要性を有している。

本発明の実施例において提供された画像生成方法は、様々な端末装置に適用され得るとともに、端末装置は、携帯電話及びＰＡＤのような携帯型の端末装置を含み得る。

図３は、本発明の一実施例による画像生成方法のフローチャートであるとともに、画像生成方法が提案される。画像生成方法は、デュアルレンズを有する端末装置に適用され、デュアルレンズ端末装置は、デュアルレンズ装置の同じ平面に配置される第１のレンズ及び第２のレンズを含む。デュアルレンズ装置の２枚のレンズのうちの一方は、前部に面したレンズであり得るとともに、もう一方は、後部に面したレンズであり得る。ユーザの要求に従って、同じ内容を有する画像が写真撮影されることを保証するために、２枚のレンズのうちの一方は、このレンズともう一方のレンズが同じ平面に配置されるように、ひっくり返され得る。デュアルレンズ装置の２枚のレンズの光軸は、平行であり、そしてしっかりと結合されており、光軸は、キャプチャされた第１の画像とキャプチャされた第２の画像との間の動きがパンニング移動であることを保証するために平行であり、パンニング移動は補正されることができ、計算量は少ない。もし２枚のレンズの光軸が平行ではないならば、画像は、相互の間で歪められてカバーされるとともに、補正が複雑になり、それにより、画像がマルチフレームアルゴリズムを使用することにより合成される場合に、“ゴースト”が生成される原因になる。

図３において示されたように、画像生成方法は下記のステップを含む。

Ｓ３０１．第１の処理パラメータ及び第２の処理パラメータを判定する。第１の処理パラメータは、第２の処理パラメータと異なる。

Ｓ３０２．第１の処理パラメータに従って、第１のレンズに対応する第１の画像センサにより第１の瞬間にキャプチャされた第１の画像を獲得し、第２の処理パラメータに従って、第２のレンズに対応する第２の画像センサにより第１の瞬間にキャプチャされた第２の画像を獲得する。

Ｓ３０３．写真撮影操作命令が受信される場合に、画像を生成するために、獲得された第１の画像及び獲得された第２の画像を合成する。

図４は、本発明の一実施例によるデュアルレンズの概略図である。

図４において示されたように、２枚のレンズは並んで配置される。左側のレンズは第１のレンズ１であり、右側のレンズは第２のレンズ２である。２枚のレンズは、コネクタ３により、しっかりと一緒に結合されており、そして２枚のレンズの光軸は平行である。固定された結合の利点は、ユーザが２枚のレンズを使用するプロセスにおいて、たとえ２枚のレンズが落とされて圧迫されるとしても、２枚のレンズの相対的な位置が変わらないということが保証されているという点にある。

Ｓ３０１を実施するプロセスにおいて、第１の処理パラメータは第２の処理パラメータと異なる。

第１の処理パラメータは第１の露出量又は第１の光感度を含むとともに、第２の処理パラメータは第２の露出量又は第２の光感度を含み、第１の露出量は第２の露出量と異なり、第１の光感度は第２の光感度と異なる。

もし露出量が一例として使用されるならば、そして第１の露出量が＋２ｅｖに設定されると仮定すれば、第２の露出量は、−２ｅｖに設定され得る。

本発明を実施する別のプロセスにおいて、第１の処理パラメータ及び第２の処理パラメータは、下記の方法で、携帯電話、タブレット又は一眼レフカメラのような電子装置により判定され得る。

方法１：ユーザ命令が受信され、第１の処理パラメータ及び第２の処理パラメータが事前設定される。この方法では、２枚のレンズにより必要とされる露出量は、＋２ｅｖ及び−２ｅｖのようなデフォルト設定によりマニュアルで設定される。

方法２：第１の処理パラメータが、第１の画像が獲得される前に実行される画像シーン認識の結果に従って判定されるとともに、第２の処理パラメータが、第２の画像が獲得される前に実行される画像シーン認識の結果に従って判定される。

具体的には、第１の画像が一例として使用される。第１の画像が獲得される前に、プレビュー画像が第１のレンズを使用することにより、前もって写真撮影される。その場合に、プレビュー画像が第１のレンズを使用することにより写真撮影される場合に設定される露出量は、プレビュー画像の画像シーン認識に基づいて分析される。第１の画像の前に実行される画像シーン認識の分析によって取得される結果に従って、第１の画像を写真撮影するためにデュアルレンズにより必要とされる露出量が判定される。第２のレンズの設定は同様であり、詳細は本発明では繰り返して説明されない。

確かに、更に、デュアルレンズ装置の露出量は、別の方法において同様に設定され得る。例えば、プレビュー画像は第１のレンズを使用することにより写真撮影され、そしてデュアルレンズ装置の２枚のレンズの露出量は、プレビュー画像の画像シーン認識に従って設定される。例えば、２枚のレンズのうちの一方の露出量は、シーンの影の部分における詳細をキャプチャするために＋２ＥＶに設定され、そしてもう一方のレンズの露出量は、シーンの明るい部分における詳細をキャプチャするために−２ＥＶに設定される。

光感度を設定するための方法は、露出量を設定するための方法と同様であり、詳細は繰り返してここでは説明されない。

第１の処理パラメータ及び第２の処理パラメータが判定されたあとで、ステップＳ３０２が実行される。

Ｓ３０２を実施するプロセスにおいて、デュアルレンズ装置が写真撮影のために使用される場合に、第１のレンズに対応する第１の画像センサは、第１の処理パラメータに従って第１の瞬間に第１の画像をキャプチャするとともに、同時に、第２のレンズに対応する第２の画像センサは、第２の処理パラメータに従って第１の瞬間に第２の画像をキャプチャする。

具体的には、第１の画像及び第２の画像がキャプチャされたあとで、プロセッサは、第１の画像及び第２の画像を獲得し、そして第１の画像及び第２の画像を処理する。

実際のアプリケーションでは、第１の画像及び第２の画像はＬＤＲ画像であり、第１の画像及び第２の画像は、同じ画像キャプチャ領域においてキャプチャされる。すなわち、デュアルレンズのビューファインダフレームは同じ領域に照準を合わせる。画像獲得の同時性に起因して、手の震え及び／又はシーン内の物体の移動により引き起こされるゴーストは、第１の画像及び第２の画像において発生しない。したがって、画像が時分割マルチフレーム合成アルゴリズムを使用することにより合成される場合に生成される“ゴースト”が取り除かれる。

例えば、人物が手を急速に振る場合に、デュアルレンズ装置が画像を獲得するために使用される。人物が手を振る場合に、デュアルレンズは、第１の画像及び第２の画像を獲得するために、この領域に同時に照準を合わせる。写真撮影されたシーンにおける人物が手を急速に振るけれど、左側のレンズ及び右側のレンズの画像獲得の同時性に起因して、手の位置及びジェスチャーは完全に同じになる。このように、動くシーン又は複雑なシーンが写真撮影される場合にゴースト問題がないということが、ＨＤＲ画像処理の信号源から保証される。

同様に、左側のレンズ及び右側のレンズの画像獲得の同時性に起因して、たとえもしハンドヘルド端末が不安定になり、写真撮影の間に震えるとしても、２枚のレンズは、震える方向及び震える振幅において完全に同じである。したがって、手の震えの間のゴースト問題がないということが、ＨＤＲ画像処理の信号源から保証される。

さらに、プロセッサが第１の画像及び第２の画像を処理する場合に、ステップＳ３０３が実行される。

Ｓ３０３を実施するプロセスにおいて、写真撮影操作命令が受信される場合に、プロセッサは、画像を生成するために、獲得された第１の画像及び獲得された第２の画像を合成する。

任意に、写真撮影操作命令は、ユーザが物理的なボタンを押す場合に生成される写真撮影操作命令であり得るか、又は、ユーザがスクリーンをタッチアンドホールドする場合に生成される写真撮影操作命令であり得るか、又は、写真撮影のために設定された時間が満了した場合に生成される写真撮影操作命令であり得る。写真撮影操作命令の信号源は、このアプリケーションにおいて限定されない。

任意に、生成された画像は、具体的に、高ダイナミックレンジ画像である。本発明の別の実施例において、２枚のレンズの取り付け位置の間の差は、獲得された第１の画像及び獲得された第２の画像の異なる画像領域をもたらす。一方のレンズが左側にあり、もう一方のレンズが右側にあるので、２枚のレンズの間の光学的な中心距離は長くないけれども、２枚のレンズが写真撮影する視野はまだ異なる。例えば、図５Ａは、獲得された第１の画像の概略図であるとともに、図５Ｂは、獲得された第２の画像の概略図である。図５Ａ及び図５Ｂにおいて、第１の画像及び第２の画像における囲まれた領域は、第１の画像及び第２の画像の共通の部分である。

したがって、本発明の別の実施例において、第１の画像及び第２の画像が合成される場合に、下記のステップが更に実行され得る。図６を参照すると、それらのステップは具体的に下記のとおりである。

Ｓ６０１．処理された第１の画像と処理された第２の画像との間のパンニング量を取得する。

デュアルレンズの光軸は平行であり、そして相対的な取り付け位置は固定されて知られているので、第１の画像と第２の画像との間の画像パンニング量は、既知の相対的な位置に従って計算されることができ、すなわち、画像パンニング量は、画像の写真撮影の前に、前もって計算され得る。ここで、画像パンニング量は、下記の方法において取得され得る。

方法１：
パンニング量は、Ｌ＝（ｆ×（ｔ／ｄ））／ｕを使用することにより取得され、ここで、Ｌは処理された第１の画像と処理された第２の画像との間のパンニング量を表し、ｆは焦点距離を表し、ｔは第１のレンズと第２のレンズとの間の光学的な中心距離を表し、ｄは第１の画像のピクセルサイズを表し、第１の画像のピクセルサイズは第２の画像のピクセルサイズと同じであり、ｕは被写界深度を表す。

方法２：
ｔ、ｆ及びｄの実際の値と理論値との間に差があるので、下記のデュアルレンズ較正方法が同様に使用され得るとともに、デュアルレンズ較正方法は具体的に下記のとおりである。最初に、第１のレンズに対応する第１の画像センサが第１の画像をキャプチャし、次に、第２のレンズに対応する第２の画像センサが第２の画像をキャプチャする。

最初に、キャプチャの間、第１の画像センサ及び第２の画像センサは、同時にチェスボードキャプチャを実行することができ、第１の画像において表示される内容及び第２の画像において表示される内容は、チェスボードであり、そして、パンニング量が、第１の画像におけるチェスボードと第２の画像におけるチェスボードとの間の差に従った測定によって取得される。それから、測定によって取得されたパンニング量は、小型カメラモジュールコンフィギュレーションテーブルに書き込まれ（小型カメラモジュールコンフィギュレーションテーブルはＲＯＭメモリに記憶され得る）、写真撮影の間、第１の画像と第２の画像との間のパンニング量は、コンフィギュレーションテーブルに基づいて読み取られる。

この方法の利点は、バッチ生産の不整合性、すなわち理論的設計からの偏差が異なるデュアルレンズモジュールの間に存在するかもしれないので、デュアルレンズモジュールの各グループが出荷前に較正され、その結果精度が高くなることにある。

Ｓ６０２．処理された第１の画像を参照画像として選択する。

Ｓ６０３．パンニング量に従って処理された第２の画像に対してパンニング動作を実行し、処理された第１の画像及び処理された第２の画像の共通画像の領域を判定する。

パンニング動作が実行されたあとで、処理された第１の画像及び処理された第２の画像の共通領域の領域が判定され得る。

更に、画像を生成するために、処理された第１の画像及び処理された第２の画像は、処理された第１の画像及び処理された第２の画像の共通画像の領域に従って、合成され得る。

処理された第１の画像及び処理された第２の画像が処理された第１の画像及び処理された第２の画像の共通画像の領域に従って合成されるということは、具体的に、処理された第１の画像及び処理された第２の画像の共通画像の領域に従ってトリミングするとともに、トリミングされた第１の画像及びトリミングされた第２の画像を取得し、そして、画像を生成するために、トリミングされた第１の画像及びトリミングされた第２の画像を合成することである。

合成を実施するプロセスにおいて、画像融合は、放射領域方法又は画像領域方法を使用することにより実行され得る。実際の場合において、画像融合は複数の方法を含み、そして画像融合のための具体的な方法は本発明では限定されない。

本発明のこの実施例において、デュアルレンズ装置は、ゴースト問題を解決するために使用され、デュアルレンズ装置は、デュアルレンズ装置の同じ平面に配置される第１のレンズ及び第２のレンズを含む。このデュアルレンズ設計に起因して、画像が同時にキャプチャされる場合に、手の震え及び／又はシーン内の物体の相対的な動きにより引き起こされるゴーストは、キャプチャされた第１の画像及びキャプチャされた第２の画像において発生しない。したがって、画像が時分割マルチフレーム合成アルゴリズムを使用することにより合成される場合に引き起こされる“ゴースト”の技術的な問題が解決され、それは、ＨＤＲ効果を向上させることに対して大きな重要性を有している。

同じ発明概念に基づいて、デュアルレンズ装置が下記の実施例で説明される。

本発明の別の実施例において、デュアルレンズ装置が説明される。

図７は、本発明の一実施例によるデュアルレンズ装置の概略図である。図７において示されたように、デュアルレンズ装置は、デュアルレンズ装置の同じ平面に配置される第１のレンズ及び第２のレンズ、プロセッサ００１、第１のレンズ１に対応する第１の画像センサ１１、そして第２のレンズ２に対応する第２の画像センサ１２を含む。

プロセッサ００１は、第１の処理パラメータ及び第２の処理パラメータを判定し、第１の処理パラメータが第２の処理パラメータと異なる、ように構成される。具体的には、プロセッサ００１は、ユーザ命令を受け取り、そして第１の処理パラメータ及び第２の処理パラメータを事前設定するとともに、第１の画像が獲得される前に実行される画像シーン認識の結果に従って第１の処理パラメータを判定し、第２の画像が獲得される前に実行される画像シーン認識の結果に従って第２の処理パラメータを判定するように更に構成され、第１の処理パラメータは第１の露出量又は第１の光感度を含むとともに、第２の処理パラメータは第２の露出量又は第２の光感度を含み、第１の露出量は第２の露出量と異なり、第１の光感度は第２の光感度と異なる。

第１のレンズ１に対応する第１の画像センサ１１は、第１の処理パラメータに従って第１の瞬間に第１の画像をキャプチャするように構成される。

第２のレンズ２に対応する第２の画像センサ１２は、第２の処理パラメータに従って第１の瞬間に第２の画像をキャプチャするように構成される。

プロセッサ００１は、写真撮影操作命令が受信される場合に、画像を生成するために、第１のレンズ１に対応する第１の画像センサ１１により獲得された第１の画像及び第２のレンズ２に対応する第２の画像センサ１２により獲得された第２の画像を合成するように更に構成される。具体的には、プロセッサ００１は、ユーザが物理的なボタンを押す場合に生成される写真撮影操作命令を受信するように構成され得るか、又は、ユーザがスクリーンをタッチアンドホールドする場合に生成される写真撮影操作命令を受信するように構成され得るか、又は、設定された時間が満了した場合に生成される写真撮影操作命令を受信するように構成され得る。

さらに、デュアルレンズ装置は、画像、第１の処理パラメータ及び第２の処理パラメータを記憶するように構成されるメモリ１３と、生成された画像を表示するように構成されるディスプレイ１４とを更に含む。

図８は、本発明の別の実施例によるデュアルレンズ装置の概略図である。図８において示されたように、本発明の別の実施例において、プロセッサ００１は、中央処理装置１５及び画像信号プロセッサ１６を含む。

中央処理装置１５は、写真撮影操作命令が受信される場合に、画像を生成するために、第１のレンズ１に対応する第１の画像センサ１１によりキャプチャされた獲得された第１の画像及び第２のレンズ２に対応する第２の画像センサ１２によりキャプチャされた獲得された第２の画像を合成するように構成される。

画像信号プロセッサ１６は、第１の処理パラメータ及び第２の処理パラメータを判定し、第１の処理パラメータが第２の処理パラメータと異なる、ように構成される。

図９は、本発明の別の実施例によるデュアルレンズ装置の概略図である。図９において示されたように、画像信号プロセッサ１６は、具体的に、第１の画像プロセッサ１７及び第２の画像プロセッサ１８を含み、第１の画像プロセッサ１７は第１の処理パラメータを判定するように構成されるとともに、画像信号プロセッサ１８は第２の処理パラメータを判定するように構成され、第１の処理パラメータは、第２の処理パラメータと異なる。

本発明の別の実施例において、中央処理装置１５は、処理された第１の画像と処理された第２の画像との間のパンニング量を取得し、処理された第１の画像を参照画像として選択し、パンニング量に従って処理された第２の画像に対してパンニング動作を実行するとともに、処理された第１の画像及び処理された第２の画像の共通画像の領域を判定するように更に構成される。

画像信号プロセッサ１６は、第１の画像プロセッサ１７及び第２の画像プロセッサ１８を含み得る。

本発明の別の実施例において、図１０において示されたように、プロセッサ００１は、具体的に、中央処理装置１５又は画像信号プロセッサ１６である。

プロセッサ００１が具体的に中央処理装置１５である場合に、中央処理装置１５は、プロセッサ００１により実行される全てのステップを実施し得る。プロセッサ００１が具体的に画像信号プロセッサ１６である場合に、画像信号プロセッサ１６は、プロセッサ００１により実行される全てのステップを実施する。具体的には、画像信号プロセッサ１６は、第１の画像信号プロセッサ１７及び第２の画像信号プロセッサ１８を更に含み得る。

デュアルレンズ装置の作動原理は、プロセッサ００１が具体的に中央処理装置１５である一例を使用することにより説明される。

中央処理装置１５は、第１の処理パラメータ及び第２の処理パラメータを判定するように構成される。任意に、中央処理装置１５は、ユーザ命令を受け取り、そして第１の処理パラメータ及び第２の処理パラメータを事前設定するように構成されるか、又は、第１の画像が獲得される前に実行される画像シーン認識の結果に従って第１の処理パラメータを判定し、第２の画像が獲得される前に実行される画像シーン認識の結果に従って第２の処理パラメータを判定するように構成され、第１の処理パラメータは第１の露出量又は第１の光感度を含むとともに、第２の処理パラメータは第２の露出量又は第２の光感度を含み、第１の露出量は第２の露出量と異なり、第１の光感度は第２の光感度と異なる。

第１のレンズ１に対応する第１の画像センサ１１は、中央処理装置１５により判定された第１の処理パラメータに従って第１の瞬間に第１の画像をキャプチャするように構成される。同時に、第２のレンズ２に対応する第２の画像センサ１２は、中央処理装置１５により判定された第２の処理パラメータに従って第１の瞬間に第２の画像をキャプチャするように構成される。

中央処理装置１５は、第１のレンズ１に対応する第１の画像センサ１１により第１の瞬間にキャプチャされた第１の画像を獲得するとともに、第２のレンズ２に対応する第２の画像センサ１２により第１の瞬間にキャプチャされた第２の画像を獲得するように構成される。

中央処理装置１５は、写真撮影操作命令が受信される場合に、画像を生成するために、第１のレンズ１に対応する第１の画像センサ１１により獲得された第１の画像及び第２のレンズ２に対応する第２の画像センサ１２により獲得された第２の画像を合成するように構成される。特定の実施プロセスにおいて、中央処理装置１５は、処理された第１の画像と処理された第２の画像との間のパンニング量を取得し、処理された第１の画像を参照画像として選択し、パンニング量に従って処理された第２の画像に対してパンニング動作を実行するとともに、処理された第１の画像及び処理された第２の画像の共通画像の領域を判定し、そして画像を生成するために、処理された第１の画像及び処理された第２の画像の共通画像の領域に従って、処理された第１の画像及び処理された第２の画像を合成するように更に構成される。

別の実施例において、ディスプレイ１４は、中央処理装置１５により合成によって取得された画像を表示するように構成される。メモリ１３は、中央処理装置１５により合成によって取得された画像を記憶するように構成され、さらに、メモリ１３は、中央処理装置１５により判定された第１の処理パラメータ及び第２の処理パラメータを記憶するように更に構成される。

プロセッサ００１が中央処理装置１５である場合に、中央処理装置１５により実行される全てのステップは、画像信号プロセッサ１６により実行されることができるか、又は、中央処理装置１５と画像信号プロセッサ１６により共同で実行されることができ、画像信号プロセッサ１６は、第１の画像信号プロセッサ１７及び第２の画像信号プロセッサ１８を含み得る。本発明のこの実施例では、詳細は繰り返して説明されない。下記の技術的効果が、本発明の１つ又は複数の実施例を使用することにより達成され得る。

本発明において、デュアルレンズ装置は、ゴースト問題を解決するために使用され、デュアルレンズ装置は、デュアルレンズ装置の同じ平面に配置される第１のレンズ及び第２のレンズを含む。このデュアルレンズ設計に起因して、画像が同時にキャプチャされる場合に、手の震え及び／又はシーン内の物体の相対的な動きにより引き起こされるゴーストは、キャプチャされた第１の画像及びキャプチャされた第２の画像において発生しない。したがって、画像が時分割マルチフレーム合成アルゴリズムを使用することにより合成される場合に引き起こされる“ゴースト”の技術的な問題が解決され、それは、ＨＤＲ効果を向上させることに対して大きな重要性を有している。

当業者は、本発明の実施例が、方法、システム、又はコンピュータプログラム製品として提供され得ることを理解するべきである。したがって、本発明は、ハードウェアのみの実施例、ソフトウェアのみの実施例、又は、ソフトウェアとハードウェアの組み合わせによる実施例の形式を使用し得る。さらに、本発明は、コンピュータが使用可能なプログラムコードを含む（ディスクメモリ、ＣＤ−ＲＯＭ、光メモリなどを含むが、それに限定されない）１つ又は複数のコンピュータが使用可能な記憶媒体によって実施されるコンピュータプログラム製品の形式を使用し得る。

本発明は、本発明の実施例による方法、装置（システム）、並びにコンピュータプログラム製品のフローチャート及び／又は構成図を参照して説明される。コンピュータプログラム命令が、フローチャート及び／又は構成図における各処理及び／又は各ブロック、並びにフローチャート及び／又は構成図における処理及び／又はブロックの組み合わせを実施するために使用され得る、ということが理解されるべきである。これらのコンピュータプログラム命令は、機械を生成するために、汎用コンピュータ、専用コンピュータ、埋込み型プロセッサ、又はあらゆる他のプログラム可能データ処理装置のプロセッサに提供されることができ、それにより、コンピュータ、又はあらゆる他のプログラム可能データ処理装置のプロセッサにより実行された命令は、フローチャートにおける１つ若しくは複数の処理の具体的な機能、及び／又は構成図における１つ若しくは複数のブロックの具体的な機能を実施するための装置を生成する。

これらのコンピュータプログラム命令は、同様に、コンピュータ又はあらゆる他のプログラム可能データ処理装置に具体的な方法において機能するように指示することができるコンピュータ読み取り可能メモリに記憶されることができ、それにより、コンピュータ読み取り可能メモリに記憶される命令は、命令装置を含む人工物を生成する。命令装置は、フローチャートにおける１つ若しくは複数の処理の具体的な機能、及び／又は構成図における１つ若しくは複数のブロックの具体的な機能を実施する。

これらのコンピュータプログラム命令は、同様に、コンピュータ又はあらゆる他のプログラム可能データ処理装置にロードされることができ、その結果、コンピュータ実施処理を生成するために、一連の動作及びステップがコンピュータ又はあらゆる他のプログラム可能装置上で実行される。したがって、コンピュータ又はあらゆる他のプログラム可能装置上で実行された命令は、フローチャートにおける１つ若しくは複数の処理の具体的な機能、及び／又は構成図における１つ若しくは複数のブロックの具体的な機能を実施するためのステップを提供する。

明らかに、当業者は、本発明の精神及び範囲からはずれずに、本発明に様々な修正及び変更を行うことができる。本発明は、これらの修正及び変更が添付の請求項及びそれらの同等の技術により定義された保護範囲内に含まれる限り、これらの修正及び変更をカバーすることを意図している。

異なる露出量を有する画像の複数のフレームはＨＤＲ技術においてキャプチャされる必要があるので、そしてＣａｍｅｒａ写真撮影システムの最大フレームレートの制限に起因して、画像のこれらの複数のフレームの間には写真撮影時間間隔が存在する。時間間隔内において、もし手が震えるか、又は、例えば風が枝に吹きつけ、そして人物が歩くように、シーン内の物体が動くならば、これらの画像における画像内容が変化し、画像合成の間に“ゴースト”現象が発生する。一般に、ゴーストは写真においてしばしば発生し、そして、特に逆光写真撮影の間が最も一般的である。光学的画像処理システムにおいて、像点と同様の１つ又は複数の画像は像点の周辺に存在し、その像点を除く他の像点は集合的に“ゴースト”と言われる。例えば、図１において、図１における右側の画像は、正常な写真撮影の間の実在人物Ａであり、そして左側の画像は、現れるゴーストＢである。動きの速いシーンを写真撮影することに対して、この現象はとりわけ顕著である。したがって、いかに“ゴースト”を取り除くかが、ＨＤＲ技術における困難のうちの１つになり、そしてＨＤＲ画像の品質に対して大きな重要性を有している。

方法１：Ｃａｍｅｒａコンポーネント上で、異なる露出量が交互の行及び／又は列における感知ユニットに対して使用され、そしてＨＤＲ画像は、デジタル補間技術及び画像融合アルゴリズムを使用することにより取得される。

第２の可能な実施方法に関連して、第３の可能な実施方法において、前記処理された第１の画像と前記処理された第２の画像との間のパンニング量を取得する前記ステップは、具体的に、Ｌ＝（ｆ×（ｔ／ｄ））／ｕに基づいて前記パンニング量を取得するステップであって、ここで、Ｌは前記処理された第１の画像と前記処理された第２の画像との間の前記パンニング量を表し、ｆは焦点距離を表し、ｔは前記第１のレンズと前記第２のレンズとの間の光学的な中心距離を表し、ｄは前記第１の画像のピクセルサイズを表し、前記第１の画像の前記ピクセルサイズは前記第２の画像のピクセルサイズと同じであり、ｕは被写界深度を表す。

第１の可能な実施方法に関連して、第３の可能な実施方法において、前記プロセッサは、中央処理装置及び画像信号プロセッサを含む。

図９は、本発明の別の実施例によるデュアルレンズ装置の概略図である。図９において示されたように、画像信号プロセッサ１６は、具体的に、第１の画像信号プロセッサ１７及び第２の画像信号プロセッサ１８を含み、第１の画像信号プロセッサ１７は第１の処理パラメータを判定するように構成されるとともに、第２の画像信号プロセッサ１８は第２の処理パラメータを判定するように構成され、第１の処理パラメータは、第２の処理パラメータと異なる。

画像信号プロセッサ１６は、第１の画像信号プロセッサ１７及び第２の画像信号プロセッサ１８を含み得る。

これらのコンピュータプログラム命令は、同様に、コンピュータ又はあらゆる他のプログラム可能データ処理装置にロードされることができ、その結果、コンピュータ実施処理を生成するために、一連の動作及びステップがコンピュータ又はあらゆる他のプログラム可能データ処理装置上で実行される。したがって、コンピュータ又はあらゆる他のプログラム可能データ処理装置上で実行された命令は、フローチャートにおける１つ若しくは複数の処理の具体的な機能、及び／又は構成図における１つ若しくは複数のブロックの具体的な機能を実施するためのステップを提供する。

Claims (12)

1. デュアルレンズ装置に適用される画像生成方法であって、前記デュアルレンズ装置が前記デュアルレンズ装置の同じ平面に配置される第１のレンズ及び第２のレンズを備え、当該方法が、
   第１の処理パラメータ及び第２の処理パラメータを判定するステップであって、前記第１の処理パラメータが前記第２の処理パラメータと異なる、ステップと、
   前記第１の処理パラメータに従って、前記第１のレンズに対応する第１の画像センサにより第１の瞬間にキャプチャされた第１の画像を獲得するステップと、
   前記第２の処理パラメータに従って、前記第２のレンズに対応する第２の画像センサにより前記第１の瞬間にキャプチャされた第２の画像を獲得するステップと、
   写真撮影操作命令が受信される場合に、画像を生成するために、前記の獲得された第１の画像及び前記の獲得された第２の画像を合成するステップとを含む、方法。
2. 第１の処理パラメータ及び第２の処理パラメータを判定する前記ステップが、
   ユーザ命令を受け取り、そして前記第１の処理パラメータ及び前記第２の処理パラメータを事前設定するステップか、又は、
   前記第１の画像が獲得される前に実行される画像シーン認識の結果に従って前記第１の処理パラメータを判定するとともに、前記第２の画像が獲得される前に実行される画像シーン認識の結果に従って前記第２の処理パラメータを判定するステップを含み、
   前記第１の処理パラメータが第１の露出量又は第１の光感度を含むとともに、前記第２の処理パラメータが第２の露出量又は第２の光感度を含み、
   前記第１の露出量が前記第２の露出量と異なり、前記第１の光感度が前記第２の光感度と異なる、請求項１に記載の方法。
3. 画像を生成するために、処理された第１の画像及び処理された第２の画像を合成する前記ステップの前に、当該方法が、
   前記処理された第１の画像と前記処理された第２の画像との間のパンニング量を取得するステップと、
   前記処理された第１の画像を参照画像として選択するステップと、
   前記パンニング量に従って前記処理された第２の画像に対してパンニング動作を実行し、前記処理された第１の画像及び前記処理された第２の画像の共通画像の領域を判定するステップを更に含む、請求項１又は請求項２に記載の方法。
4. 前記処理された第１の画像と前記処理された第２の画像との間のパンニング量を取得する前記ステップが、具体的に、
   Ｌ＝（ｆ×（ｔ／ｄ））／ｕに基づいて前記パンニング量を取得するステップであって、ここで、
   Ｌが前記処理された第１の画像と前記処理された第２の画像との間の前記パンニング量を表し、ｆが焦点距離を表し、ｔが前記第１のレンズと前記第２のレンズとの間の光学的な中心距離を表し、ｄが前記第１の画像のピクセルサイズを表し、前記第１の画像の前記ピクセルサイズが前記第２の画像のピクセルサイズと同じであり、ｕが被写界深度を表す、請求項３に記載の方法。
5. 前記処理された第１の画像及び前記処理された第２の画像の共通画像の領域を判定する前記ステップのあとに、当該方法が、
   前記共通画像に基づいて前記処理された第１の画像及び前記処理された第２の画像の領域をトリミングするとともに、前記のトリミングされた第１の画像及び前記のトリミングされた第２の画像を取得するステップを更に含む、請求項３に記載の方法。
6. 画像を生成するために、前記の獲得された第１の画像及び前記の獲得された第２の画像を合成する前記ステップが、具体的に、
   画像を生成するために、前記処理された第１の画像及び前記処理された第２の画像の前記共通画像の前記領域に従って、前記処理された第１の画像及び前記処理された第２の画像を合成するステップである、請求項３に記載の方法。
7. デュアルレンズ装置であって、前記デュアルレンズ装置が、前記デュアルレンズ装置の同じ平面に配置される第１のレンズ及び第２のレンズを備え、前記デュアルレンズ装置が、プロセッサ、前記第１のレンズに対応する第１の画像センサ、そして前記第２のレンズに対応する第２の画像センサを更に備え、
   前記プロセッサが、第１の処理パラメータ及び第２の処理パラメータを判定し、前記第１の処理パラメータが前記第２の処理パラメータと異なる、ように構成され、
   前記第１のレンズに対応する前記第１の画像センサが、前記第１の処理パラメータに従って第１の瞬間に第１の画像をキャプチャするように構成され、
   前記第２のレンズに対応する前記第２の画像センサが、前記第２の処理パラメータに従って前記第１の瞬間に第２の画像をキャプチャするように構成され、
   前記プロセッサが、写真撮影操作命令が受信される場合に、画像を生成するために、前記第１のレンズに対応する前記第１の画像センサによりキャプチャされた前記の獲得された第１の画像及び前記第２のレンズに対応する前記第２の画像センサによりキャプチャされた前記の獲得された第２の画像を合成するように更に構成される、デュアルレンズ装置。
8. 前記プロセッサが、ユーザ命令を受け取り、そして前記第１の処理パラメータ及び前記第２の処理パラメータを事前設定するとともに、前記第１の画像が獲得される前に実行される画像シーン認識の結果に従って前記第１の処理パラメータを判定し、前記第２の画像が獲得される前に実行される画像シーン認識の結果に従って前記第２の処理パラメータを判定するように更に構成され、
   前記第１の処理パラメータが第１の露出量又は第１の光感度を含むとともに、前記第２の処理パラメータが第２の露出量又は第２の光感度を含み、
   前記第１の露出量が前記第２の露出量と異なり、前記第１の光感度が前記第２の光感度と異なる、請求項７に記載のデュアルレンズ装置。
9. 前記プロセッサが、中央処理装置又は画像信号プロセッサを含む、請求項８に記載のデュアルレンズ装置。
10. 前記プロセッサが、前記中央処理装置及び前記画像信号プロセッサを含む、請求項８に記載のデュアルレンズ装置。
11. 前記プロセッサが、前記処理された第１の画像と前記処理された第２の画像との間のパンニング量を取得し、前記処理された第１の画像を参照画像として選択し、前記パンニング量に従って前記処理された第２の画像に対してパンニング動作を実行するとともに、前記処理された第１の画像及び前記処理された第２の画像の共通画像の領域を判定するように更に構成される、請求項７から請求項１０のいずれか一項に記載のデュアルレンズ装置。
12. 前記プロセッサが、画像を生成するために、前記処理された第１の画像及び前記処理された第２の画像の前記共通画像の前記領域に従って、前記処理された第１の画像及び前記処理された第２の画像を合成するように更に構成される、請求項１１に記載のデュアルレンズ装置。

Images