JP2018504790A

JP2018504790A - ハイダイナミックレンジ画像の生成方法及び装置

Info

Publication number: JP2018504790A
Application number: JP2016559906A
Authority: JP
Inventors: 凱呉
Original assignee: Lemobile Information Technology(beijing)co ltd; Le Holdings Beijing Co Ltd; Lemobile Information Technology (Beijing) Co Ltd
Current assignee: Lemobile Information Technology(beijing)co ltd; Le Holdings Beijing Co Ltd; Lemobile Information Technology (Beijing) Co Ltd
Priority date: 2015-12-08
Filing date: 2016-07-06
Publication date: 2018-02-15
Also published as: CN105872393A; WO2017096866A1; EP3200446A4; EP3200446A1

Abstract

【課題】本発明の実施例は、ハイダイナミックレンジ画像の生成方法及び装置を提供する。【解決手段】前記方法は、露光量設定が異なる撮影装置によって、同時に撮影された被写体の異なる画像を取得することと、輝度に基づいて異なる撮影装置から取得された画像を統合して、前記被写体のハイダイナミックレンジＨＤＲ画像を取得することとを含む。本発明の実施例に係るハイダイナミックレンジ画像の生成方法及び装置は、ハイダイナミックレンジ画像の撮影時間を短縮させる。【選択図】図１

Description

本願は、２０１５年１２月８日に出願され、参照によってその開示全体が本明細書に組み込まれる、中国特許出願第２０１５１０８９６３１２．Ｘ号であって、発明の名称は「ハイダイナミックレンジ画像の生成方法及び装置」であるものに基づき、その優先権の利益を主張するものである。

本発明は、インテリジェントターミナルの技術分野に関し、具体的にはハイダイナミックレンジ画像の生成方法及び装置に関する。

デジタルカメラやイメージセンサが搭載された各種の携帯ターミナルの普及に伴って、人々の生活の中でデジタル写真を撮影するのは珍しいことではなかった。現在、スマートフォンは世界を風靡しており、撮影機能が主なセールスポイントとなる。一方、市場に適応するために、携帯電話がますます薄くなり、携帯電話全体の薄さを確保するには、撮影装置（ｃａｍｅｒａ）の厚さを制限しなければならない。理論的には、撮影装置用センサの感光面積が大きくなるほど、画質が高くなる。単一のイメージセンサの感光面積を大きくするために、より厚いレンズを組み合わせる必要がある。しかし、これは、構造と外観の設計ニーズを満たすことができない。

デジタル写真を撮影する時、被写体が逆光状態にあることが多い。この場合、は画像のハイライト部又はシャドウ部における画素数の不足によって撮影した写真の画像品質が大幅に低下することが多い。ハイダイナミックレンジ（Ｈｉｇｈｄｙｎａｍｉｃｒａｎｇｅ、ＨＤＲ）撮影モードを採用すれば上記問題を容易に解消できる。

ＨＤＲ機能は、写真の画素数を多くさせ、撮影した写真の画質を向上させることができる。本発明者の鋭意研究によれば、以下のことがわかる。関連技術のＨＤＲ画像の撮影において同一の撮影装置で複数回撮影し、更に複数回撮影によって得られた画像を統合することは一般的である。通常、３枚の写真を連写してこそ、１枚の写真に合成しうる。それは、ＨＤＲ画像の撮影時間が通常撮影時間の数倍になることを示唆している。ＨＤＲの撮影時間が長いことによって、写真が不鮮明になるとともに写真を撮る時間が長くなってしまい、且つソフトウェアでＨＤＲ機能を実現することは撮影後にしか行えず、プレビュー時にＨＤＲ機能を実現できない。

上記事情に鑑みて、本発明の実施例は、ハイダイナミックレンジ画像の生成方法及び装置を提供し、ハイダイナミックレンジ画像の撮影応答時間を減少させることができる。

一態様において、本発明の実施例は、
ターミナルに配置された、露光量設定が異なる少なくとも２つの撮影装置によって、同時に撮影された被写体の少なくとも２枚の画像を取得することと、
輝度に基づいて前記少なくとも２枚の画像を統合して、前記被写体のＨＤＲ画像を形成することとを含む、
ハイダイナミックレンジ画像の生成方法を提供する。

別の態様において、本発明の実施例は、
ターミナルに配置された、露光量設定が異なる少なくとも２つの撮影装置によって、同時に撮影された被写体の少なくとも２枚の画像を取得するように設置される画像取得モジュールと、
輝度に基づいて前記少なくとも２枚の画像を統合して、前記被写体のＨＤＲ画像を形成するように設置される統合モジュールと、
を備える、ハイダイナミックレンジ画像の生成装置をさらに提供する。

本発明の実施例に係るハイダイナミックレンジ画像の生成方法及び装置は、露光量が異なる複数の撮影装置によって同時に撮影された被写体の複数枚の画像を取得し、前記複数枚の画像の輝度に基づいて前記複数枚の画像を統合することにより、従来のハイダイナミックレンジ画像を取得するための複数回撮影を回避し、ハイダイナミックレンジ画像の撮影時間を効果的に短縮させる。

本発明の第１実施例に係るハイダイナミックレンジ画像の生成方法のフローチャートである。本発明の第２実施例に係るハイダイナミックレンジ画像の生成方法における統合操作のフローチャートである。本発明の第３実施例に係るハイダイナミックレンジ画像の生成装置の構成図である。本発明の実施例に係るターミナルのハードウェア構造の模式図である。

以下、図面と実施例を参照しながら本発明を更に詳しく説明する。ここで説明する実施例は、本発明を解釈するものに過ぎず、本発明を限定するものではないことは理解されるべきである。なお、説明の便宜上、図面には、全部の内容ではなく、本発明と関連する部分のみが示されている。

第１実施例
図１は、本発明の第１実施例に係るハイダイナミックレンジ画像の生成方法のフローチャートである。該解決手段において、前記ハイダイナミックレンジ画像の生成方法は、前記ハイダイナミックレンジ画像の生成装置により実行される。前記ハイダイナミックレンジ画像の生成装置は、ハイダイナミックレンジ画像を撮影するための電子機器に集積される。該電子機器は、タブレットパソコン又はスマートフォン等であってもよい。また、該電子機器は、ＩＳＰ（Ｉｍａｇｅｓｉｇｎａｌｐｒｏｃｅｓｓｏｒ、画像信号処理装置）を含む。

図１を参照し、前記ハイダイナミックレンジ画像の生成方法は、ステップＳ１１０とステップＳ１２０を含む。

ステップＳ１１０では、ターミナルに配置された、露光量設定が異なる少なくとも２つの撮影装置によって、同時に撮影された被写体の少なくとも２枚の画像を取得する。

前記撮影装置は、デジタルカメラであってもよく、イメージセンサであってもよい。前記撮影装置を少なくとも２つ備える。好ましくは、前記撮影装置の数は奇数である。好ましくは、前記撮影装置を３つ備える。

各撮影装置は、前記ＩＳＰと通信可能に接続される。前記通信可能に接続されることは、計算装置内部における各種の接続方式であってもよい。前記通信可能に接続は、更に計算装置外部の各種の通信バスで、例えばＵＳＢバスで接続されることであってもよい。

前記撮影装置は、パラメータとしてそれぞれ異なる露光量が設定される。好ましくは、撮影装置を３つ備えるものを例として、３つの撮影装置の露光量を、それぞれＥＶ０、ＥＶ＋１、ＥＶ−１に設定することができる。

各撮影装置で人等の被写体を同時に撮影し、露光量が異なる複数枚の画像を同時に取得することができる。撮影装置がいずれもターミナルに設置されるため、位置の差異による撮影画像のズレが無視できるほど非常に小さい。

ステップＳ１２０では、輝度に基づいて前記少なくとも２枚の画像を統合して、前記被写体のハイダイナミックレンジ画像を形成する。

異なる撮影装置ではパラメータとして設定される露光量が異なっているため、異なる撮影装置により取得された画像は、異なる周波数帯域で画像に含まれる画素数も異なる。例えば、露光量がＥＶ＋１に設定された撮影装置により取得された画像は、低周波部分において比較的多い画素数が含まれ、露光量がＥＶ−１に設定された撮影装置により取得された画像は、高周波部分において比較的多い画素数が含まれる。

前記ハイダイナミックレンジ（Ｈｉｇｈｄｙｎａｍｉｃｒａｎｇｅ、ＨＤＲ）画像を生成するために、複数枚の画像のうちの１枚を基準画像として、前記基準画像における露光過度ブロックと露光不足ブロックを識別してもよい。識別した露光過度ブロックと露光不足ブロックに基づいて他の２枚の画像の画像データを統合し、最終的に、前記ＨＤＲ画像を生成する。

本実施例は、ターミナルに配置された、露光量設定が異なる少なくとも２つの撮影装置によって、同時に撮影された被写体の少なくとも２枚の画像を取得し、輝度に基づいて前記少なくとも２枚の画像を統合して、前記被写体のハイダイナミックレンジ画像を形成することにより、ハイダイナミックレンジ画像の撮影時間を効果的に短縮させる。

上記手段に加えて、輝度に基づいて前記少なくとも２枚の画像を統合して、前記被写体のＨＤＲ画像を形成した後、更に前記ＨＤＲ画像をプレビュー表示することを含む。すなわち、形成されたＨＤＲ画像をプレビュー表示することができ、それにより、ソフトウェアでＨＤＲ機能を実現する場合にプレビューを行うことができないという問題を解決する。

第２実施例
図２は、本発明の第２実施例に係るハイダイナミックレンジ画像の生成方法のフローチャートである。本実施例は、本発明の上記実施例の上で、ハイダイナミックレンジ画像の生成方法における統合操作の実現手段を提供する。

図２を参照し、該方法は、ステップＳ２０１−２０７を含む。

ステップＳ２０１では、ターミナルに配置された、露光量設定が異なる少なくとも２つの撮影装置によって、同時に撮影された被写体の少なくとも２枚の画像を取得する。

本実施例において、露光量がそれぞれＥＶ−１、ＥＶ０、ＥＶ＋１に設定された撮影装置によって３枚の画像を取得すると仮定する。

上記実施例において、輝度に基づいて前記少なくとも２枚の画像を統合して前記被写体のＨＤＲ画像を形成する操作は、以下のステップを実行する。

ステップＳ２０２では、各前記画像を分割する。

好ましくは、各画像を同じ分割規則で分割し、このようにして各画像におけるブロックの位置が互いに対応する。例えば、異なる撮影装置によって取得された各画像を１６行、１２列で均等に分割することができる。上記分割を実行した後、各原画像は、１９２個のブロックに分割される。

ステップＳ２０３では、露光量に基づいて前記少なくとも２枚の画像のうちの１枚を基準画像として選択し、
奇数個の撮影装置によって画像を取得することを例とする。基準画像を選択する時、露光量が中間値に設定された１枚の画像を前記基準画像として選択することが好ましい。前述した３つの撮影装置によって画像を取得するという例において、前記露光量がＥＶ０に設定された１枚の画像を前記基準画像として選択する。

ステップＳ２０４では、前記基準画像における各ブロックの輝度に基づき、前記基準画像における露光不足ブロックと露光過度ブロックを決定する。

基準画像において、各ブロックに輝度差が存在する。デフォルト規則に従って露光不足ブロックと露光過度ブロックを区別することができる。デフォルト規則は様々であり、以下の２種類の方法を選択できる。

第１の方法として、前記基準画像における各ブロックの輝度に基づき、ブロック輝度は露光過度の輝度閾値より大きいブロックが、露光過度ブロックであると判定し、ブロック輝度は露光不足の輝度閾値より小さいブロックが、露光不足ブロックであると判定する。ここで、前記露光過度の輝度閾値と露光不足の輝度閾値が、前記基準画像の輝度平均値に基づいて決定される。

上記方法において、基準画像の輝度平均値で露光過度と露光不足を直接分けることができる。輝度平均値は各ブロックの輝度平均値である。各ブロックの輝度は、ＲＧＢ３色の輝度を識別して平均値を求めることにより取得されてもよい。基準画像の輝度平均値を直接採用して露光過度の輝度閾値と露光不足の輝度閾値とする場合、基準画像におけるブロックが露光不足ブロックと露光過度ブロックに分けられる。好ましくは、基準画像の輝度平均値に基づいて、所定閾値を上げると露光過度の輝度閾値とし、所定閾値を下げると露光不足の輝度閾値とすることができる。更に基準画像の輝度平均値を所定の数式に代入して露光過度の輝度閾値と露光不足の輝度閾値を計算してもよい。このようにして基準画像は、露光不足ブロック、正常ブロック及び露光過度ブロックを含む。

第２の方法として、前記基準画像における各ブロックの輝度に応じてブロックを順序付け、順序付け結果に応じてそれぞれ所定数のブロックを露光過度ブロックと露光不足ブロックとして選択する。

上記方法において、輝度の降順でブロックを順序付け、次に順序付け結果の上位の所定数のブロックを露光過度ブロックとして選択し、順序付け結果の下位の所定数のブロックを露光不足ブロックとして選択する。勿論、比率に応じて選択してもよい。露光過度ブロックと露光不足ブロックの数が異なってもよい。

当業者にとって、基準画像における露光不足ブロックと露光過度ブロックを識別する方法が、上記２種類に限定されないことは理解されるべきである。

ステップＳ２０５では、異なる画像において前記露光不足ブロックと対応するブロックの輝度に基づいて、前記露光不足ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックを選択する。

具体的には、異なる画像において前記露光不足ブロックと対応するブロックの輝度に基づいて、輝度が最も高い画像ブロックを、前記露光不足ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックとして選択することができる。

例えば、第１ブロックが露光不足ブロックであると仮定すると、基準画像における第１ブロックと他の画像の第１ブロックとの輝度を比較し、他の画像における輝度が最も高い第１ブロックを実際に使用するブロックとして選択する。通常、露光量が大きな撮影装置は、撮影した画像のブロック輝度が高く、基準画像における該露光不足ブロックを代替するように設定することができる。

ステップＳ２０６では、異なる画像において前記露光過度ブロックと対応するブロックの輝度に基づいて、前記露光過度ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックを選択する。

好ましくは、異なる画像において前記露光過度ブロックと対応するブロックの輝度に基づいて、輝度が最も低い画像ブロックを前記露光過度ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックとして選択することができる。

例えば、第２ブロックが露光過度ブロックであると仮定すると、基準画像における第２ブロックと他の画像の第２ブロックとの輝度を比較し、他の画像における輝度が最も低い第２ブロックを実際に使用するブロックとして選択する。通常、露光量が小さい撮影装置は、撮影した画像ブロックの輝度が小さく、基準画像における該露光過度ブロックを代替するように設定することができる。

ステップＳ２０７では、前記露光不足ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックと、前記露光過度ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックとに基づいて、前記ＨＤＲ画像を生成する。

前記ＨＤＲ画像が実際に使用する各ブロックの選択を完了した後、前記実際に使用するブロックを統合すると、前記ＨＤＲ画像を生成する。

本実施例は、各前記画像を分割し、露光量に基づいて前記少なくとも２枚の画像のうちの１枚を基準画像として選択し、且つ露光不足ブロック及び露光過度ブロックを識別し、異なる画像の前記露光不足ブロックの位置における輝度に基づいて、前記露光不足ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックを選択し、異なる画像の前記露光過度ブロックの位置における輝度に基づいて、前記露光過度ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックを選択し、前記露光不足ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックと、前記露光過度ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックとに基づいて、前記ＨＤＲ画像を生成することにより、ＨＤＲ画像の生成を実現する。

本実施例に加えて、露光量に基づいて前記少なくとも２枚の画像のうちの１枚を基準画像として選択した後、
各撮影装置の露光量に応じて順序付け、前記基準画像以外の画像が、それぞれ露光過度画像、露光不足画像であると判定することと、
露光過度画像において、ブロック輝度が基準画像の対応するブロック輝度より大きいブロックを削除することと、
露光不足画像において、ブロック輝度が基準画像の対応するブロック輝度より小さいブロックを削除することとを、更に含むこともできる。

上記工程は、実際に使用するブロックを選択する前、露光過度画像と露光不足画像に対してフィルタリングし、実際に使用するブロックとなる可能性がないブロックを取り除き、このようにして後続の比較操作を減少させる。

例えば、ＥＶ＋１に対応する画像が露光過度画像、ＥＶ−１に対応する画像が露光不足画像である場合、露光過度画像において、ブロック輝度が基準画像のブロック輝度より大きいブロックを取り除き、同様に、露光不足画像において、ブロック輝度が基準画像のブロック輝度より小さいブロックを取り除く。

第３実施例
図３は、本発明の第３実施例に係るハイダイナミックレンジ画像の生成装置の構造模式図である。該解決手段において、前記ハイダイナミックレンジ画像の生成装置は、画像取得モジュール３１及び統合モジュール３２を備える。

前記画像取得モジュール３１は、ターミナルに配置された、露光量設定が異なる少なくとも２つの撮影装置によって、同時に撮影された被写体の少なくとも２枚の画像を取得するように設置される。

前記統合モジュール３２は、輝度に基づいて前記少なくとも２枚の画像を統合して、前記被写体のＨＤＲ画像を形成するように設置される。

好ましくは、前記統合モジュール３２は、分割ユニット３２１、基準画像決定ユニット３２２、ブロック区別ユニット３２３、露光不足選択ユニット３２４、露光過度選択ユニット３２５及び画像統合ユニット３２６を備える。

分割ユニット３２１は、各前記画像を分割するように設置され、基準画像決定ユニット３２２は、露光量に基づいて前記少なくとも２枚の画像のうちの１枚を基準画像として選択するように設置され、ブロック区別ユニット３２３は、前記基準画像における各ブロックの輝度に基づき、前記基準画像における露光不足ブロックと露光過度ブロックを決定するように設置され、露光不足選択ユニット３２４は、異なる画像において前記露光不足ブロックと対応するブロックの輝度に基づいて、前記露光不足ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックを選択するように設置され、露光過度選択ユニット３２５は、異なる画像において前記露光過度ブロックと対応するブロックの輝度に基づいて、前記露光過度ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックを選択するように設置され、画像統合ユニット３２６は、前記露光不足ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックと、前記露光過度ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックとに基づいて、前記ＨＤＲ画像を生成するように設置される。

前記ブロック区別ユニット３２３は、
前記基準画像における各ブロックの輝度に基づき、ブロック輝度は前記基準画像の輝度平均値に基づいて決定される露光過度の輝度閾値より大きいブロックが、露光過度ブロックであると判定し、ブロック輝度は前記基準画像の輝度平均値に基づいて決定される露光不足の輝度閾値より小さいブロックが、露光不足ブロックであると判定し、又は
前記基準画像における各ブロックの輝度に応じてブロックを順序付け、順序付け結果に応じてそれぞれ所定数のブロックを露光過度ブロックと露光不足ブロックとして選択するように設置されることもできる。

且つ、前記統合モジュール３２は、更に、露光量に基づいて前記少なくとも２枚の画像のうちの１枚を基準画像として選択した後、各撮影装置の露光量に応じて順序付け、前記基準画像以外の画像が、それぞれ露光過度画像、露光不足画像であると判定し、露光過度画像において、ブロック輝度が基準画像の対応するブロック輝度より大きいブロックを削除し、露光不足画像において、ブロック輝度が基準画像の対応するブロック輝度より小さいブロックを削除するように設置される二重パスフィルタリングユニット３２７を備える。

前記露光不足選択ユニット３２４は、異なる画像において前記露光不足ブロックと対応するブロックの輝度に基づいて、輝度が最も高い画像ブロックを前記露光不足ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックとして選択するように設置されることもできる。

前記露光過度選択ユニット３２５は、異なる画像において前記露光過度ブロックと対応するブロックの輝度に基づいて、輝度が最も低い画像ブロックを前記露光過度ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックとして選択するように設置されることもできる。

該装置は、更に、輝度に基づいて前記少なくとも２枚の画像を統合して、前記被写体のＨＤＲ画像を形成した後、前記ＨＤＲ画像をプレビュー表示するように設置されるプレビューモジュール３３を備えてもよい。

本発明の実施例に係るハイダイナミックレンジ画像の生成装置は、本発明の実施例に係るハイダイナミックレンジ画像の生成方法を実行することができ、対応する機能と有益な効果を有する。

上記解決手段は、ＨＤＲ画像の撮影時間を短縮させるために、３つ以上のイメージセンサモジュールを採用して実現することができ、各モジュールが同時にそれぞれ１枚の写真を撮影し、他の写真の撮影時間を省くことができるとともに、ＨＤＲ画像のリアルタイムなプレビューを実現することができ、ＨＤＲ画像の撮影体験を大幅に向上させる。

当業者にとって、上記のような本発明の各モジュール又は各ステップは、汎用計算装置で実現でき、それらモジュールが単一の計算装置に集中されてもよく、又は複数の計算装置からなるネットワークに分散してもよく、それらモジュールがコンピュータ実行可能なプログラムコードで実現でき、これによりそれらモジュールを記憶装置に記憶して計算装置によって実行し、又はそれらモジュールをそれぞれ各集積回路モジュールとして作製し、又はそれら複数のモジュール又はステップを単一の集積回路モジュールとして作製して実現することができると理解すべきである。このように、本発明は、いずれかの特定のハードウェアとソフトウェアとの組み合わせに制限されない。

本明細書における各実施例は、いずれも漸進的な方法で説明され、各実施例における説明の焦点は、他の実施例との相違点であり、各実施例の同一又は類似の部分については、相互に参照できる。

図４は本願の実施例に係るターミナル（例えばフィーチャーフォン）のハードウェア構造模式図であり、図４に示すように、該ターミナルは、
１つ以上のプロセッサ５０１及びメモリ５０２を備え、図４において１つのプロセッサ５０１を例とする。

ターミナルは更に入力装置５０３と出力装置５０４を備えてもよい。

ターミナルにおけるプロセッサ５０１、メモリ５０２、入力装置５０３及び出力装置５０４はバス又は他の方式で接続することができ、図４においてバスで接続することを例とする。

メモリ５０２は、不揮発性コンピュータ可読記憶媒体として、不揮発性ソフトウェアプログラム、不揮発性コンピュータ実行可能プログラム及びモジュール、例えば本願の実施例におけるハイダイナミックレンジＨＤＲ画像の生成方法に対応するプログラム命令／モジュール（例えば、図３に示される画像取得モジュール３１及び統合モジュール３２）を記憶するように設置される。プロセッサ５０１は、メモリ５０２に記憶されている不揮発性ソフトウェアプログラム、命令及びモジュールを実行することにより、サーバの各種の機能アプリケーション及びデータ処理を実行し、即ちハイダイナミックレンジＨＤＲ画像の生成方法を実現する。

メモリ５０２は、プロクラム記憶領域とデータ記憶領域を備えることができ、プロクラム記憶領域はオペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶し、データ記憶領域はハイダイナミックレンジＨＤＲ画像の生成方法を使用して新規作成されるデータ等を記憶する。また、メモリ５０２は、高速ランダムアクセスメモリを備えてもよく、不揮発性メモリを備えてもよく、例えば少なくとも１つのディスクメモリ、フラッシュメモリ、や他の不揮発性ソリッドステートメモリである。いくつかの実施例において、メモリ５０２はプロセッサ５０１に対して遠隔設置されるメモリを備えてもよい。

入力装置５０３は、入力した数字又は文字情報、ユーザー設定及び機能制御に関するキー信号入力を受信するように設置される。出力装置５０４は、ディスプレイスクリーン等の表示装置を備えることができる。

前記１つ以上のモジュールは、前記メモリ５０２に記憶され、前記１つ以上のプロセッサ５０１に実行される場合、上記任意の方法の実施例におけるハイダイナミックレンジＨＤＲ画像の生成方法を実行する。

本発明の実施例は、本発明の実施例のいずれかに記載のハイダイナミックレンジＨＤＲ画像の生成方法を実行するように設定されるコンピュータ実行可能な命令が記憶される不揮発性記憶媒体を提供する。

以上、本発明の好ましい実施例を説明したが、本発明を限定するものではない。当業者は、本発明に対して様々な変更や変形を行うことができる。本発明の主旨及び原理を逸脱せずに行う変更、同等置換、改良等は、いずれも本発明の保護範囲に属する。

本発明の実施例に係るハイダイナミックレンジ画像の生成方法及び装置は、露光量設定が異なる複数の撮影装置によって同時に撮影された被写体の複数枚の画像を取得し、前記複数枚の画像の輝度に基づいて前記複数枚の画像を統合することにより、従来のハイダイナミックレンジ画像を取得するための複数回撮影を回避し、ハイダイナミックレンジ画像の撮影時間を効果的に短縮させる。

Claims

ターミナルに配置された、露光量設定が異なる少なくとも２つの撮影装置によって、同時に撮影された被写体の少なくとも２枚の画像を取得することと、
輝度に基づいて前記少なくとも２枚の画像を統合して、前記被写体のＨＤＲ画像を形成することとを含む、
ハイダイナミックレンジＨＤＲ画像の生成方法。
輝度に基づいて前記少なくとも２枚の画像を統合して、前記被写体のＨＤＲ画像を形成することは、
各前記画像を分割することと、
露光量に基づいて前記少なくとも２枚の画像のうちの１枚を基準画像として選択することと、
前記基準画像における各ブロックの輝度に基づき、前記基準画像における露光不足ブロックと露光過度ブロックを決定することと、
異なる画像において前記露光不足ブロックと対応するブロックの輝度に基づいて、前記露光不足ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックを選択することと、
異なる画像において前記露光過度ブロックと対応するブロックの輝度に基づいて、前記露光過度ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックを選択することと、
前記露光不足ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックと、前記露光過度ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックとに基づいて、前記ＨＤＲ画像を生成することとを含む、
請求項１に記載のハイダイナミックレンジＨＤＲ画像の生成方法。
前記基準画像における各ブロックの輝度に基づき、前記基準画像における露光不足ブロックと露光過度ブロックを決定することは、
前記基準画像における各ブロックの輝度に基づき、ブロック輝度は前記基準画像の輝度平均値に基づいて決定される露光過度の輝度閾値より大きいブロックが、露光過度ブロックであると判定し、ブロック輝度は前記基準画像の輝度平均値に基づいて決定される露光不足の輝度閾値より小さいブロックが、露光不足ブロックであると判定すること、又は
前記基準画像における各ブロックの輝度に応じてブロックを順序付け、順序付け結果に応じてそれぞれ所定数のブロックを露光過度ブロックと露光不足ブロックとして選択することを含む、
請求項２に記載のハイダイナミックレンジＨＤＲ画像の生成方法。
露光量に基づいて前記少なくとも２枚の画像のうちの１枚を基準画像として選択した後、更に、
各撮影装置の露光量に応じて順序付け、前記基準画像以外の画像が、それぞれ露光過度画像、露光不足画像であると判定することと、
露光過度画像において、ブロック輝度が基準画像の対応するブロック輝度より大きいブロックを削除することと、
露光不足画像において、ブロック輝度が基準画像の対応するブロック輝度より小さいブロックを削除することとを含む、
請求項２に記載のハイダイナミックレンジＨＤＲ画像の生成方法。
異なる画像において前記露光不足ブロックと対応するブロックの輝度に基づいて、前記露光不足ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックを選択することは、異なる画像において前記露光不足ブロックと対応するブロックの輝度に基づいて、輝度が最も高い画像ブロックを前記露光不足ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックとして選択することを含み、
異なる画像において前記露光過度ブロックと対応するブロックの輝度に基づいて、前記露光過度ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックを選択することは、異なる画像において前記露光過度ブロックと対応するブロックの輝度に基づいて、輝度が最も低い画像ブロックを前記露光過度ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックとして選択することを含む、
請求項２−４のいずれか１項に記載のハイダイナミックレンジＨＤＲ画像の生成方法。
輝度に基づいて前記少なくとも２枚の画像を統合して、前記被写体のＨＤＲ画像を形成した後、更に、
前記ＨＤＲ画像をプレビュー表示することを含む、
請求項１に記載のハイダイナミックレンジＨＤＲ画像の生成方法。
ターミナルに配置された、露光量設定が異なる少なくとも２つの撮影装置によって、同時に撮影された被写体の少なくとも２枚の画像を取得するように設置される画像取得モジュールと、
輝度に基づいて前記少なくとも２枚の画像を統合して、前記被写体のＨＤＲ画像を形成するように設置される統合モジュールと、
を備える、ハイダイナミックレンジＨＤＲ画像の生成装置。
前記統合モジュールは、
各前記画像を分割するように設置される分割ユニットと、
露光量に基づいて前記少なくとも２枚の画像のうちの１枚を基準画像として選択するように設置される基準画像決定ユニットと、
前記基準画像における各ブロックの輝度に基づき、前記基準画像における露光不足ブロックと露光過度ブロックを決定するように設置されるブロック区別ユニットと、
異なる画像において前記露光不足ブロックと対応するブロックの輝度に基づいて、前記露光不足ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックを選択するように設置される露光不足選択ユニットと、
異なる画像において前記露光過度ブロックと対応するブロックの輝度に基づいて、前記露光過度ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックを選択するように設置される露光過度選択ユニットと、
前記露光不足ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックと、前記露光過度ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックとに基づいて、前記ＨＤＲ画像を生成するように設置される画像統合ユニットと、
を備える、請求項７に記載のハイダイナミックレンジＨＤＲ画像の生成装置。
前記ブロック区別ユニットは、
前記基準画像における各ブロックの輝度に基づき、ブロック輝度は前記基準画像の輝度平均値に基づいて決定される露光過度の輝度閾値より大きいブロックが、露光過度ブロックであると判定し、ブロック輝度は前記基準画像の輝度平均値に基づいて決定される露光不足の輝度閾値より小さいブロックが、露光不足ブロックであると判定し、又は
前記基準画像における各ブロックの輝度に応じてブロックを順序付け、順序付け結果に応じてそれぞれ所定数のブロックを露光過度ブロックと露光不足ブロックとして選択するように設置される、
請求項８に記載のハイダイナミックレンジＨＤＲ画像の生成装置。
前記統合モジュールは、
露光量に基づいて前記少なくとも２枚の画像のうちの１枚を基準画像として選択した後、各撮影装置の露光量に応じて順序付け、前記基準画像以外の画像が、それぞれ露光過度画像、露光不足画像であると判定し、露光過度画像において、ブロック輝度が基準画像の対応するブロック輝度より大きいブロックを削除し、露光不足画像において、ブロック輝度が基準画像の対応するブロック輝度より小さいブロックを削除するように設置される二重パスフィルタリングユニットをさらに備える、
請求項８に記載のハイダイナミックレンジＨＤＲ画像の生成装置。
前記露光不足選択ユニットは、異なる画像において前記露光不足ブロックと対応するブロックの輝度に基づいて、輝度が最も高い画像ブロックを前記露光不足ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックとして選択するように設置され、
前記露光過度選択ユニットは、異なる画像において前記露光過度ブロックと対応するブロックの輝度に基づいて、輝度が最も低い画像ブロックを前記露光過度ブロックの位置で前記ＨＤＲ画像が実際に使用するブロックとして選択するように設置される、
請求項８−１０のいずれか１項に記載のハイダイナミックレンジＨＤＲ画像の生成装置。
輝度に基づいて前記少なくとも２枚の画像を統合して、前記被写体のＨＤＲ画像を形成した後、前記ＨＤＲ画像をプレビュー表示するように設置されるプレビューモジュールをさらに備える、
請求項７に記載のハイダイナミックレンジＨＤＲ画像の生成装置。