JP2007336561A - 映像生成装置及び方法 - Google Patents

Abstract

【課題】 相異なる露光量を有する映像を生成し、生成された映像を合成して高感度映像を生成しうる映像生成装置及び方法を提供する。
【解決手段】 露光量を調節する露光調節部、相異なる露光量、及び解像度を有する複数の映像を生成する映像生成部、及び前記生成された複数の映像を合成する映像合成部を備える。
【選択図】 図２

Description

本発明は映像生成装置及び方法に係り、さらに詳細には、露光量及び解像度を調節して複数の映像を生成し、生成された映像を合成してＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）映像を生成しうる映像生成装置及び方法に関する。

一般的にデジタルカメラ、及びカムコーダのようにイメージを撮影しうる機器は逆光状態での被写体を撮影する時、イメージの感度を向上させるために相異なる露光量を有するイメージを生成し、生成されたイメージを合成し、これをユーザに提供する。

例えば、逆光状態での被写体を撮影する場合、露光量が少ない状態では、少ない露出時間によりイメージのコントラストが高くなって、イメージのエッジなどが明確になり、露光量が多い状態では、長時間の露出によりイメージの色相などが明確になる。したがって、露光量の少ないイメージと多いイメージとを合成してＨＤＲイメージを生成する。

具体的に、イメージを撮影しうる機器は、図１のように露光量の少ないイメージ１１、及び露光量の少ないイメージ１１に比べて相対的に露光量の多いイメージ１２を各々生成し、生成された各イメージ１１、１２を合成して高感度のイメージ１３を生成する。

このように、相異なる露光量を有するイメージを生成するためには、相異なる露出時間を通じて露光量の少ないイメージ、及び露光量の多いイメージを各々生成し、生成されたイメージを合成する。

この際、相異なる露出時間を通じて露光量の少ないイメージ、及び露光量の多いイメージを各々生成する時、露光量の多いイメージの場合には長時間の露出によりユーザがデジタルカメラなどを通じて所定の被写体を撮影する場合、所定時間同じ姿勢を保持せねばならないために、ユーザの便宜が阻害され、ユーザが同じ姿勢を保持する間に被写体の位置が変更される場合には、露光量の少ないイメージ、及び露光量の多いイメージが同一でなくなって正常なイメージを生成し難いという問題点がある。また、ユーザが、所定時間同じ姿勢を保持するために手振れなどが発生して、生成されたイメージにブラーリング（Ｂｌｕｒｒｉｎｇ）などが発生する問題点がある。

このように、ユーザが所定時間同じ姿勢を保持する不便さを解消するために、カラーフィルターの配列を変形するか、フィルターの感度を異ならせるように構造を変更する方法が使われているが、このためにはカラーフィルターのデモザイキング、及び白色バランシング方法など追加的な処理過程が必要であるという問題点がある。

したがって、イメージを撮影しうる機器の構造を変更せずとも、相異なる露光量を有するイメージの生成時に手振れなどを防止しうる方案が要求されている。

特許文献１は、画素アレイにおいて、奇数列は短い露出時間であり、偶数列は奇数列に比べて長い露出時間を有するようにし、奇数列、及び偶数列対を合わせて出力することによって、ワイドダイナミックレンジを可能にするイメージセンサーを開示しているが、依然として長時間の露出により手振れなどによるイメージのブラーリングの発生を防止しうる方案が提案されていない。
米国公開特許第２００６−００６６７５０号公報

本発明は、被写体を撮影しうる機器の構造を変更せず、露光量の多いイメージ生成時に露出時間を減少させて手振れなどによるイメージのブラーリングが発生することを防止しうる映像生成装置及び方法を提供するところにその目的がある。
本発明の目的は、以上で言及した目的に制限されず、言及されていない他の目的は下の記載から当業者に明確に理解されうる。

前記目的を達成するために本発明の実施形態による映像生成装置は、露光量を調節する露光調節部、露光量及び解像度を調節して複数の映像を生成する映像生成部、及び前記生成された複数の映像を合成する映像合成部を備える。

また、前記目的を達成するために本発明の実施形態による 映像生成方法は、露光量及び解像度を調節して複数の映像を生成する段階と、前記生成された各映像の解像度を一致させる段階と、前記解像度が一致した各映像を合成する段階と、を含む。
その他の実施形態の具体的な事項は詳細な説明及び図面に含まれている。

本発明の映像生成装置及び方法によれば、次のような効果が１つあるいはそれ以上ある。
第１に、映像を撮影する機器の構造なしにもワイドダイナミックレンジの映像を生成しうる。
第２に、露出時間を減少させて手振れ補正などの追加的な処理過程が不要なので、ユーザの便宜が向上する。

本発明の利点及び特徴、そしてこれを達成する方法は添付された図面に基づいて詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は以下で開示される実施例に限定されるものではなく、この実施例から外れて多様な形に具現でき、本明細書で説明する実施例は本発明の開示を完全にし、本発明が属する技術分野で当業者に発明の範ちゅうを完全に報せるために提供されるものであり、本発明は請求項及び発明の詳細な説明により定義されるだけである。一方、明細書全体に亙って同一な参照符号は同一な構成要素を示す。

以下、本発明の実施形態によって映像生成装置及び方法を説明するためのブロック図またはフローチャートについての図面を参考にして本発明について説明する。この時、フローチャートの各ブロックとフロ−チャートの組合わせはコンピュータプログラムインストラクションにより実行可能なのが理解できるであろう。これらコンピュータプログラムインストラクションは、汎用コンピュータ、特殊用コンピュータまたはその他のプログラマブルデータプロセッシング装備のプロセッサーに搭載されうるので、コンピュータまたはその他のプログラマブルデータプロセッシング装備のプロセッサーを通じて実行されるそのインストラクションがフローチャートのブロックで説明された機能を行う手段を生成するように機構を作れる。これらコンピュータプログラムインストラクションは特定方式で機能を具現するためにコンピュータまたはその他のプログラマブルデータプロセッシング装備を指向できるコンピュータ利用可能またはコンピュータ判読可能メモリに保存されることも可能なので、そのコンピュータ利用可能またはコンピュータ判読可能メモリに保存されたインストラクションはフローチャートのブロックで説明された機能を行うインストラクション手段を内包する製造品目を生産することも可能である。コンピュータプログラムインストラクションはコンピュータまたはその他のプログラム可能なデータプロセッシング装備上に搭載することも可能なので、コンピュータまたはその他のプログラマブルデータプロセッシング装備上で一連の動作段階が実行されてコンピュータで実行されるプロセスを生成し、コンピュータまたはその他のプログラマブルデータプロセッシング装備を行うインストラクションはフローチャートのブロックで説明された機能を実行するための段階を提供することも可能である。

また、各ブロックは特定の論理的機能を行うための一つ以上の実行可能なインストラクションを含むモジュール、セグメントまたはコードの一部を示すことができる。また、いくつの代替実行例では、ブロックで言及された機能が順序を外れて発生することも可能であるということに注目せねばならない。例えば、連続して図示されている２つのブロックは、実質的に同時に行われてもよく、またはそのブロックが時々該当する機能によって逆順に行われてもよい。

図２は、本発明の実施形態による映像生成装置が示された図面である。
示されたように、本発明の実施形態による映像生成装置１００は、露光調節部１１０、映像生成部１２０、映像合成部１３０、メモリ部１４０、及び映像出力部１５０を含みうる。この際、本発明の実施形態で映像生成装置１００は、イメージ、及び動映像などを撮影しうるモジュールを備えたデジタルカメラ、及びカムコーダなどと理解されうる。したがって、本発明の実施形態による映像生成装置１００は、カメラ、及びカムコーダのみならず、イメージ、及び動映像などを撮影しうるモジュールを備えた携帯電話、及びＰＤＡ（パーソナルデジタルアシスタント）のような多様な機器を含みうる。また、本発明の実施形態では、映像生成装置１００が所定の被写体についてのイメージを撮影しうるデジタルカメラの場合を例として説明する。

露光調節部１１０は、デジタルカメラの場合、しぼりの大きさ、及びシャッターの速度などを調節してイメージの撮影時、適した光量を調節しうる。また、しぼり及び機械式シャッターが装着されていないカメラセンサーの場合には、光センサーにより受光された光量を読み取る時間を調整して撮影時の適した光量を調節しうる。この際、本発明の実施形態では、デジタルカメラの場合を例として説明しているが、これは本発明の理解を助けるための一例に過ぎず、前述したイメージ、及び動映像を撮影しうる多様な機器でも同様に適用しうる。

映像生成部１２０は、相異なる露光量、及び解像度を有する複数のイメージを生成し、各生成されたイメージの露光量は、前述した露光調節部１１０により調節しうる。また、各生成されたイメージの解像度は、生成されたイメージに含まれた画素数によって決定しうる。

具体的に、本発明の実施形態で映像生成部１２０は、第１映像を生成する第１映像生成部１２１、及び第１映像に比べて低い解像度を有する第２映像を生成する第２映像生成部１２２を含みうる。

第１映像生成部１２１は、本発明の実施形態による映像生成装置１００に含まれたＣＩＳ（ＣＯＭＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ）に含まれた総画素数に対応する解像度を有する第１映像を生成し、第２映像生成部１２２は、総画素のうち、同じカラーフィルターが使われた複数の画素を１つの画素として使用して第１映像より低い解像度を有する第２映像を生成しうる。

例えば、図３のように、本発明の実施形態による映像生成装置１００のＣＩＳに含まれた各画素に形成されたカラーフィルターがｒ１ないしｒ４、ｇ１ないしｇ８、及びｂ１ないしｂ４である場合、第１映像は、ｒ１ないしｒ４、ｇ１ないしｇ８、及びｂ１ないしｂ４に対応する解像度の映像である一方、第２映像は、図４のように画素数が１／４に減少したＲ１、Ｇ１、Ｇ２、及びＢ１に対応する解像度の映像であり得る。この際、ｒ及びＲは赤カラーフィルター、ｇ及びＧは緑カラーフィルター、ｂ及びＢは青カラーフィルターと理解され、Ｒ１はｒ１＋ｒ２＋ｒ３＋ｒ４、Ｇ１はｇ１＋ｇ２＋ｇ５＋ｇ６、Ｇ２はｇ３＋ｇ４＋ｇ７＋ｇ８、Ｂ１はｂ１＋ｂ２＋ｂ３＋ｂ４と理解されうる。

また、本発明の実施形態で第１映像生成部１２１により生成された第１映像は、第２映像生成部１２２により生成された第２映像に比べて同じか、少ない露光量を有しうる。言い換えれば、第２映像を生成するための露出時間が第１映像を生成するための露出時間より長いか同じであるということを意味する。この際、第２映像に含まれた各画素は、第１映像に含まれた複数の同じカラーフィルターが合わせられてなされうる。また、一般的な露出時間、露光量、及び画素の輝度は、比例関係にある。したがって、第２映像を生成するために必要な露出時間は第２映像の各画素に含まれた第１映像の画素数ほど減少する。例えば、前述したように、第２映像の各画素が第１映像の４個の画素からなる場合、画素の輝度が４倍に増加したので、第２映像を生成するために必要な露出時間は、１／４に減少しうる。したがって、暗い場面の撮影時、画素輝度の確保のために長い露出時間を使用することで発生する手振れなどの問題が露出時間の減少によって予め防止されうる。

一方、本発明の実施形態による映像生成装置１００を通じて逆光状態の所定被写体のイメージを撮影する場合、露光量の相対的に少ない場合には、高いコントラストを有するようになって、エッジが明確になり、露光量が相対的に多い場合、コントラストは低くなってエッジが不明確になる一方、色相及び被写体のディテール情報は明確になり得る。

したがって、第１映像生成部１２１、及び第２映像生成部１２２で各々生成される第１映像、及び第２映像の露光量を異ならせて後述する映像合成部１３０を通じて合成することによって、人が実際に見る被写体にさらに近い映像が得られる。このような映像合成は、後述する映像合成部１３０で詳細に説明する。

映像合成部１３０は、第１映像生成部１２１、及び第２映像生成部１２２により各々生成された第１映像、及び第２映像を合成した映像を生成し、映像合成部１３０により合成された映像が映像出力部１５０を通じて出力されうる。以下、本発明の実施形態で映像合成部１３０により合成された映像を‘最終映像’と称する。

この際、映像合成部１３０での第１映像、及び第２映像の合成は、第２映像の解像度を第１映像の解像度に増加させてから合成する場合（以下、‘第１合成’と称する）と第１映像の解像度を第２映像の解像度に減少させてから合成する場合（以下、‘第２合成’と称する）とに分けられ、第１合成、及び第２合成順に説明する。

第１合成は、第２映像の解像度をリニアインターポレーション（Ｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）などを通じて第１映像の解像度に増加させた後、第１映像と解像度の増加した第２映像とを合成すると理解され、第２合成は、第１映像の解像度を第２映像の解像度に減少させた後、解像度の減少した第１映像と第２映像とを合成すると理解されうる。

この際、第１合成により生成された最終映像は、別途の処理過程なしに映像出力部１５０を通じてそのまま出力されるが、第２合成により生成された最終映像は、解像度が第２映像の解像度に減少されているために、第１映像の解像度に解像度を増加させた後、映像出力部１５０を通じて出力されうる。

前述した第１合成、及び第２合成と共に映像合成部１３０で適用可能なさらに他の合成方法としては、映像合成部１３０が映像合成時に第１映像を基準に第１映像の複数の画素が一つの低解像度の第２映像の画素の輝度及び色相情報のみを参照して映像を合成して最終映像を生成しうる。

メモリ部１４０は、第１映像生成部１２１、第２映像生成部１２２、及び映像合成部１３０により生成された第１映像、第２映像、及び最終映像が保存され、本発明の実施形態では第１映像、第２映像、及び最終映像が１つのメモリ部１４０に保存される場合を例として説明しているが、これに限定されず、第１映像、第２映像、及び最終映像が保存されるメモリ部１４０が別途に構成されることもある。

図５は、本発明の実施形態による映像生成方法が示された図面である。
示されたように、本発明の実施形態による映像生成方法は、まず第１映像生成部１２１、及び第２映像生成部１２２で相異なる露光量、及び解像度を有する第１映像、及び第２映像を生成する（Ｓ１１０）。この際、本発明の実施形態で第１映像は第２映像に比べて高い解像度を有し、少ない露光量を有する場合を例として説明するが、これに限定されるものではない。

この際、第１映像に比べて長い露出時間を必要とする第２映像生成時に、第２映像を第１映像に比べて低い解像度で生成して露出時間を減少させうる。言い換えれば、第２映像を生成するために必要な露出時間をＡとし、第２映像の各画素に含まれた第１映像の画素数をＮとすれば、第２映像を生成するために必要な露出時間はＡ／Ｎに減少されうる。

生成された第１映像、及び第２映像は、メモリ部１４０に保存され（Ｓ１２０）、映像合成部１３０は、保存された第１映像、及び第２映像のうち、いずれか１つの映像についての解像度を調節して、第１映像、及び第２映像の解像度を一致させる（Ｓ１３０）。具体的に、映像合成部１３０は、第１映像の解像度を減少させるか、第２映像の解像度を増加させて、第１映像、及び第２映像の解像度を一致させうる。

映像合成部１３０は、解像度が一致した第１映像、及び第２映像を合成して最終映像を生成する（Ｓ１４０）。
映像出力部１５０は、生成された最終映像を出力する（Ｓ１５０）。この際、第２映像の解像度を増加させて第１映像と合成した場合には、前述したＳ１４０段階で生成された最終映像がそのまま出力されるが、第１映像の解像度を減少させて第２映像と合成した場合には、Ｓ１４０段階で生成された最終映像の解像度が第２映像の解像度に減少されているために、生成された最終映像の解像度が第１映像の解像度に増加してから出力されうる。

以下、映像合成部１３０は、第１映像、及び第２映像を合成して最終映像を生成する方法を詳細に説明する。

図６は、本発明の実施形態による第１合成方法が示された図面である。
示されたように、本発明の第１合成方法は、まず映像合成部１３０が第２映像の解像度を増加させて第１映像の解像度と一致させる（Ｓ２１０）。この際、第２映像の解像度は、前述したように、リニアインターポレーションなどを通じてなされうるが、これに限定されない。
映像合成部１３０は、解像度の増加した第２映像を第１映像と合成して最終映像を生成する（Ｓ２２０）。

図７は、本発明の実施形態による第１合成方法を通じて最終映像を生成する過程が示された図面である。
示されたように、本発明の実施形態による第１合成方法を通じて最終映像を生成する過程は、まず第１映像生成部１２１、及び第２映像生成部１２２で第１映像２１０、及び第２映像２２０を生成する。この際、生成された第１映像２１０は、第２映像２２０に比べて高いコントラストを有するので、エッジが明確であり、第２映像２２０は、第１映像２１０に比べて色相が明確になる。この際、映像合成部１３０は、第１映像２１０の解像度を保持し、第２映像２２０の解像度を第１映像２１０と一致させるために解像度を増加させる。

以後、映像合成部１３０は、解像度の増加した第２映像２２０と第１映像２１０とを合成して最終映像２３０を生成する。この際、生成された最終映像２３０は、第１映像２１０、及び第２映像２２０との間のコントラストを有するようになってエッジと共に色相が明確になりうる。

図８は、本発明の実施形態による第２合成方法が示された図面である。
示されたように、本発明の実施形態による第２合成方法は、まず映像合成部１３０が第１映像の解像度を減少させて第２映像の解像度と一致させる（Ｓ３１０）。
映像合成部１３０は、解像度の減少した第１映像と第２映像とを合成して最終映像を生成する（Ｓ３２０）。
映像合成部１３０は、生成された最終映像の解像度を第１映像の解像度に増加させる（Ｓ３３０）。

図９は、本発明の実施形態による第２合成方法を通じて最終映像を生成する過程が示された図面である。
示されたように、本発明の実施形態による第２合成方法を通じて最終映像を生成する過程は、まず第１映像生成部１２１、及び第２映像生成部１２２で第１映像３１０、及び第２映像３２０を生成する。この際、映像合成部１３０は、第１映像３１０の解像度と第２映像３２０の解像度とを一致させるために第２映像３２０の解像度はそのまま保持し、第１映像３１０の解像度を減少させる。また、生成された第１映像３１０は、第２映像３２０に比べて高いコントラストを有するようになってエッジが明確であり、第２映像３２０は第１映像３１０に比べて色相が明確になる。

以後、映像合成部１３０は、解像度の減少した第１映像３１０と第２映像３２０とを合成して最終映像３３０を生成する。この際、映像合成部１３０は、生成された最終映像３３０の解像度が第２映像３２０の解像度に減少した状態であるために、生成された最終映像３３０の解像度を増加させて第１映像３１０の解像度に増加させる。

本実施例で “部”は ソフトウェアまたはＦＰＧＡ（フィールドプログラマブルゲートアレイ）または注文型半導体（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ；ＡＳＩＣ）のようなハードウェア構成要素を意味し、“部”は 所定の役割を行う。しかし、“部”はソフトウェアまたはハードウェアに限定されるものではない。“部”はアドレッシングできる保存媒体に位置すべく構成されても良く、１つまたはそれ以上のプロセッサーを再生させるように構成されても良い。したがって、一例として“部”はソフトウェア構成要素、客体向けソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャー、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ及び変数を含む。構成要素とモジュール内で提供される機能はより少数の構成要素及び“部”に結合されるか、追加的な構成要素と“部”にさらに分離されうる。

以上のように、本発明による映像生成装置及び方法を例示された図面を参照として説明したが、本発明は本明細書に開示された実施例及び図面によって限定されるものではなく、その発明の技術思想範囲内で当業者により多様に変形可能であることはいうまでもない。

本発明の映像生成装置及び方法は、例えば、デジタルカメラ、カムコーダなどに好適に適用されうる。

従来の技術による映像が示された図である。 本発明の実施形態による映像生成装置が示された図である。 本発明の実施形態による第１映像の画素が示された図である。 本発明の実施形態による第２映像の画素が示された図である。 本発明の実施形態による映像生成方法が示された図である。 本発明の実施形態による第１合成方法が示された図である。 本発明の実施形態による第１合成方法によってイメージを合成する過程が示された図である。 本発明の実施形態による第２合成方法が示された図である。 本発明の実施形態による第２合成方法によってイメージを合成する過程が示された図である。

符号の説明

１１０ 露光調節部
１２０ 映像生成部
１２１ 第１映像生成部
１２２ 第２映像生成部
１３０ 映像合成部
１４０ メモリ部
１５０ 映像出力部

Claims (18)

1. 露光量を調節する露光調節部と、
   露光量及び解像度を調節して複数の映像を生成する映像生成部と、
   前記生成された複数の映像を合成する映像合成部と、を備える映像生成装置。
2. 前記映像生成部は、
   第１映像を生成する第１映像生成部と、
   前記第１映像に比べて低い解像度を有する第２映像を生成する第２映像生成部と、を備える請求項１に記載の映像生成装置。
3. 前記第２映像の露光量は、前記第１映像の露光量の関数で表現しうる請求項２に記載の映像生成装置。
4. 前記第１映像生成部は、総画素数に対応する解像度を有する前記第１映像を生成する請求項２に記載の映像生成装置。
5. 前記第２映像生成部は、前記総画素のうち、同じカラーフィルターが使われた複数の画素を合わせた前記第２映像を生成し、前記第２映像の解像度は、前記合わせられた画素数によって決定される請求項４に記載の映像生成装置。
6. 前記映像合成部は、前記第２映像の解像度を前記第１映像の解像度に増加させた後、前記増加した解像度を有する第２映像と前記第１映像とを合成する請求項２に記載の映像生成装置。
7. 前記映像合成部は、前記第１映像の解像度を前記第２映像の解像度に減少させた後、前記減少した解像度を有する第１映像と前記第２映像とを合成する請求項２に記載の映像生成装置。
8. 前記映像合成部は、前記合成された映像を前記第１映像の解像度に増加させる請求項７に記載の映像生成装置。
9. 前記映像合成部は、前記第１映像に含まれた複数の画素に前記第２映像に含まれた画素の輝度及び色相情報のみを参照して映像を合成する請求項２に記載の映像生成装置。
10. 露光量及び解像度を調節して複数の映像を生成する段階と、
    前記生成された各映像の解像度を一致させる段階と、
    前記解像度が一致した各映像を合成する段階と、を含む映像生成方法。
11. 前記映像を生成する段階は、
    第１映像を生成する段階と、
    前記第１映像に比べて低い解像度を有する第２映像を生成する段階と、を含む請求項１０に記載の映像生成方法。
12. 前記第２映像の露光量は、前記第１映像の露光量の関数で表現しうる請求項１１に記載の映像生成方法。
13. 前記第１映像を生成する段階は、総画素数に対応する解像度を有する第１映像を生成する段階を含む請求項１１に記載の映像生成方法。
14. 前記第２映像を生成する段階は、
    前記総画素のうち、同じカラーフィルターが使われた複数の画素を合わせる段階と、
    前記合わせられた画素数によって決定される解像度を有する第２映像を生成する段階と、を含む請求項１３に記載の映像生成方法。
15. 前記映像を合成する段階は、
    前記第２映像の解像度を前記第１映像の解像度に増加させる段階と、
    前記増加した解像度を有する第２映像と前記第１映像とを合成する段階と、を含む請求項１１に記載の映像生成方法。
16. 前記映像を合成する段階は、
    前記第１映像の解像度を前記第２映像の解像度に減少させる段階と、
    前記減少した解像度を有する第１映像と前記第２映像とを合成する段階と、を含む請求項１１に記載の映像生成方法。
17. 前記映像を合成する段階は、前記合成された映像を前記第１映像の解像度に増加させる段階を含む請求項１６に記載の映像生成方法。
18. 前記映像を合成する段階は、前記第１映像に含まれた複数の画素に前記第２映像に含まれた画素の輝度及び色相情報のみを参照して映像を合成する段階を含む請求項１１に記載の映像生成方法。

Images