JP2016149765A - 位相検出ピクセルを利用して深さマップを生成するための映像生成装置 - Google Patents

Abstract

【課題】互いに異なる位置で算出できるレンズを通じて様々な深さデータが生成でき、追加のセンサ又は装置無しで少ない面積又は体積を占め、効率的に深さマップを生成することができる映像生成装置を提供する。【解決手段】本発明は、深さマップを生成する映像生成装置を提供する。映像生成装置は、レンズが第１位置にある時、位相検出ピクセルによって生成された第１位相信号及びレンズが第２位置にある時、位相検出ピクセルによって生成された第２位相信号の各々に基づいて第１及び第２位相差が算出される位相差の算出部、及び第１及び第２位相差の各々に基づいて位相検出ピクセルと客体との間の距離に関する第１及び第２深さデータを生成し、第１及び第２深さデータに基づいて深さマップを生成する深さマップの生成部を含む。本発明によれば、映像生成装置によって占められる面積又は体積が減少し、より高い信頼性を有する深さマップが生成される。【選択図】 図７

Description

本発明は、映像技術に係り、さらに具体的には深さマップ（Ｄｅｐｔｈ Ｍａｐ）を生成するための装置に関する。

近来、多様な類型の映像技術が利用されている。多様な種類の電子装置が広く利用されており、大部分の電子装置は、映像を表示するか、或いは生成するために映像処理を遂行する。このために、大部分の電子装置は、表示装置、映像撮影装置、映像生成装置、映像処理装置等を含む。
特に、深さマップは、近来利用されている映像技術の中の１つである。深さマップは、客体と映像生成装置（例えば、イメージセンサを含むカメラ）との間の距離に関する情報を含む。深さマップは、３次元の映像を生成するために利用される。３次元映像は、映画、ビデオゲーム等をさらに興味深くするために利用される。

深さマップを生成するために、多様な類型の装置及び方法が利用されている。例として、深さマップは、特定の波形を有する光を客体に照射（Ｅｍｉｓｓｉｏｎ）した後、反射された光の波形を観察する方法、客体に照射された光が返ってくるのに掛かる時間を測定する方法、２つ以上のカメラを通じてステレオ（Ｓｔｅｒｅｏ）情報を取得する方法等のような多様な方法によって取得される。しかし、深さマップを得るための大部分の方法は、追加のセンサ（Ｓｅｎｓｏｒ）又は装置を要求するか、或いは映像整合（Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ）のような追加の映像処理を必要とする。
したがって、高い処理性能を有する電子装置に対する要求が増加するにも拘らず、電子装置の大きさは段々と減少しているため、深さマップを取得するための大部分の方法は、近来利用されている電子装置に採用することが難しい。即ち、小面積又は体積を占める装置又は回路を利用することによって、深さマップを取得するための方法が必要である。

米国特許第８，８５５，４７９号 米国特許第８，９２２，７０３号 特許第５，６１５，７５６号 特開２０１２−１２４５５３

小面積又は体積を占め、効率的に深さマップを生成することができる映像生成装置が提供される。本発明の実施形態によれば、追加のセンサ又は装置無しで深さマップを生成することができる。本発明の実施形態で、互に異なる位置に移動できるレンズを通じて様々な深さデータを生成することができる。

本発明の一実施形態による映像生成装置は、客体に対応する映像信号を生成するように構成される複数のイメージセンサピクセル、及び映像の間の位相差を算出するために利用される第１及び第２位相信号を生成するように構成される複数の位相検出ピクセルを含むイメージセンサ、レンズと客体との間の距離を調節するためにレンズの位置を調節するように構成されるレンズ駆動部、レンズが第１位置にある時、生成された第１位相信号に基づいて第１位相差を算出し、レンズが第１位置と異なる第２位置にある時、生成された第２位相信号に基づいて第２位相差が算出されるように構成される位相差の算出部、及び第１及び第２位相差の各々に基づいて複数の位相検出ピクセルと客体との間の距離に関する第１及び第２深さデータを生成し、第１及び第２深さデータに基づいて深さマップを生成するように構成される深さマップの生成部を含むことができる。

本発明の一実施形態による映像生成装置は、第１位相差に基づいて、第２位相差として算出される値を予測するように構成される位相差の予測部をさらに含むことができる。
本発明の一実施形態で、レンズがレンズ駆動部の制御にしたがって第１位置から第２位置に移動することによって、第１位相差は、第２位相差より先に算出されることができる。本発明の一実施形態で、位相差の予測部は、レンズが第２位置に移動される前、又は移動する時、第２位相差として算出される値を予測するように構成されることができる。
本発明の一実施形態で、位相差の予測部によって予測された値と位相差の算出部によって算出された第２位相差の間の差が基準値より大きい場合、深さマップの生成部は、その差を参照して深さマップを生成するように構成されることができる。

本発明の一実施形態で、複数の位相検出ピクセルの各々は、複数のイメージセンサピクセルの中で２つのイメージセンサピクセルに対応するように構成されることができる。
本発明の一実施形態で、複数の位相検出ピクセルは、複数のイメージセンサピクセルと重畳されないように複数のイメージセンサピクセルの位置と異なる位置に配置されることができる。
本発明の一実施形態による映像生成装置は、映像信号を処理することによって、客体を撮影した映像と関連された空間周波数の情報を生成するように構成される空間周波数の算出部をさらに含むことができる。

本発明の一実施形態で、空間周波数の算出部は、レンズが第１位置にある時、第１空間周波数の情報を生成し、レンズが第２位置にある時、第２空間周波数の情報を生成するように構成されることができる。
本発明の一実施形態で、空間周波数の算出部は、第１及び第２空間周波数の情報に基づいて、レンズが第１位置から第２位置に移動される時、空間周波数の値が変わった方向及び量の中で少なくとも１つを獲得するようにさらに構成されことができる。本発明の一実施形態で、深さマップの生成部は、空間周波数の値が変わった方向及び量の中で少なくとも１つを参照して深さマップを生成するように構成されることができる。
本発明の一実施形態で、イメージセンサ、レンズ駆動部、位相差の算出部、及び深さマップの生成部は、１つのイメージセンサチップに具現されることができる。

本発明の他の実施形態による映像生成装置は、イメージセンサに含まれる複数の位相検出ピクセルによって生成された第１及び第２位相信号を提供され、客体からの距離が増加する方向又は減少する方向に移動するように構成されるレンズが第１位置にある時、生成された第１位相信号に基づいて第１位相差を算出し、 レンズが第１位置と異なる第２位置にある時、生成された第２位相信号に基づいて第２位相差が算出されるように構成される位相差の算出部、第１及び第２位相差の中で少なくとも１つに基づいて客体に対する焦点を合わせるためのレンズの焦点位置を算出し、レンズを焦点の位置に移動させるためにレンズの駆動信号を生成するように構成されるレンズ位置の制御部、及び第１及び第２位相差の各々に基づいて複数の位相検出ピクセルと客体との間の距離に関する第１及び第２深さデータを生成し、第１及び第２深さデータに基づいて深さマップを生成するように構成される深さマップの生成部を含むことができる。

本発明の他の実施形態で、第１位置及び第２位置の中で１つは、焦点の位置に対応することができる。
本発明の他の実施形態による映像生成装置は、第１位相差に基づいて、第２位相差として算出される値を予測するように構成される位相差の予測部、及びイメージセンサに含まれる複数のイメージセンサピクセルによって生成された映像信号を処理することによって、客体を撮影した映像と関連された空間周波数の情報を生成するように構成される空間周波数の算出部をさらに含むことができる。

本発明の他の実施形態による映像生成装置は、位相差の予測部によって予測された値、位相差の算出部によって算出された第２位相差、及びレンズが第１位置から第２位置に移動する時、空間周波数の値が変わった方向の中で少なくとも１つに基づいて、第１位相差に関する第１信頼度水準及び第２位相差に関する第２信頼度水準を算出すように構成される信頼度水準の算出部をさらに含むことができる。
本発明の他の実施形態で、深さマップの生成部は、第１及び第２深さデータに第１及び第２信頼度水準を反映することによって、深さマップを生成するように構成されることができる。

本発明の他の実施形態による映像生成装置は、イメージセンサに含まれる複数のイメージセンサピクセルによって生成された映像信号に基づいて生成された客体映像、及び深さマップに対して映像整合を遂行することによって深さマップの解像度を変更させるように構成される深さマップの後処理部をさらに含む。
本発明の他の実施形態で、位相差の算出部、レンズ位置の制御部、及び深さマップの生成部は、アプリケーションプロセッサを含む演算処理装置で具現されることができる。

本発明のその他の実施形態にしたがって深さマップを生成するように構成される映像生成装置は、客体からの距離が増加する方向又は減少する方向に移動するように構成されるレンズが第１位置にある時、複数の位相検出ピクセルによって生成された第１位相信号及びレンズが第１位置と異なる第２位置にある時、複数の位相検出ピクセルによって生成された第２位相信号の各々に基づいて第１及び第２位相差を算出すように構成される位相差の算出部、及び第１及び第２位相差の各々に基づいて複数の位相検出ピクセルと客体との間の距離に関する第１及び第２深さデータを生成し、第１及び第２深さデータに基づいて深さマップを生成するように構成される深さマップの生成部を含むことができる。

本発明のその他の実施形態による映像生成装置は、第１位相差に基づいて、第２位相差として算出される値を予測するように構成される位相差の予測部をさらに含むことができる。本発明のその他の実施形態で、位相差の予測部によって予測された値が位相差の算出部によって算出された第２位相差と異なる場合、位相差の算出部は、レンズが第１及び第２位置と異なる第３位置にある時、複数の位相検出ピクセルによって生成された第３位相信号に基づいて第３位相差を算出するようにさらに構成され、深さマップの生成部は、第３位相差に基づいて複数の位相検出ピクセルと客体との間の距離に関する第３深さデータを生成し、第１乃至第３深さデータに基づいて深さマップを生成するようにさらに構成されることができる。

本発明のその他の実施形態による映像生成装置は、レンズが第１位置にある時、複数のイメージセンサピクセルによって生成された第１映像信号を処理することによって、客体を撮影した第１映像と関連された第１空間周波数の情報を生成し、レンズが第２位置にある時、複数のイメージセンサピクセルによって生成された第２映像信号を処理することによって、客体を撮影した第２映像と関連された第２空間周波数の情報を生成し、第１及び第２空間周波数の情報に基づいて空間周波数の値が変わった方向を獲得するように構成される空間周波数の算出部、及び空間周波数の値が変わった方向に基づいて、第１位相差に関する第１信頼度水準及び第２位相差に関する第２信頼度水準を算出するように構成される信頼度水準の算出部をさらに含むことができる。本発明のその他の実施形態で、深さマップの生成部は、第１及び第２深さデータに第１及び第２信頼度水準を反映することによって、深さマップを生成するように構成されることができる。

本発明の実施形態によれば、映像生成装置によって占められる面積又は体積が減少することができる。さらに、本発明の実施形態によれば、様々な深さデータを参照して誤差を補正することによって、より高い信頼性を有する深さマップを生成することができる。

本発明の実施形態による映像生成装置を含む映像生成システムの構成を示すブロック図。 本発明の実施形態にしたがって位相検出ピクセルを含むイメージセンサの構成を示す概念図。 本発明の実施形態にしたがって位相検出ピクセルを含むイメージセンサの構成を示す概念図。 本発明の実施形態にしたがって位相検出ピクセルを含むイメージセンサの構成を示す概念図。 位相検出ピクセルが利用される過程を示す概念図。 位相検出ピクセルが利用される過程を示す概念図。 本発明の実施形態による映像生成装置の構成を示すブロック図。 図７の映像生成装置の動作を説明するフローチャート。 図７の映像生成装置の動作を説明する概念図。 本発明の実施形態による映像生成装置の構成を示すブロック図。 本発明の実施形態による映像生成装置の構成を示すブロック図。 本発明の実施形態による映像生成装置の構成を示すブロック図。 本発明の実施形態による映像生成装置の構成を示すブロック図。 本発明の実施形態による映像生成装置の構成を示すブロック図。 本発明の実施形態による映像生成装置の構成を示すブロック図。 本発明の実施形態による映像生成装置の構成を示すブロック図。 本発明の実施形態による映像生成装置の構成を示すブロック図。 本発明の実施形態による映像生成装置を含む電子システムの構成及びそのインターフェイスを示すブロック図。

前述した特性及び以下の詳細な説明は、すべてが本発明の説明及び理解を助けるための例示的な事項である。即ち、本発明はこのような実施形態に限定されず、他の形態に具体化することができる。次の実施形態は、単なる本発明を完全に開示するための例示であり、本発明が属する技術分野の通常の技術者に本発明を伝達するための説明である。したがって、本発明の構成要素を具現するための方法が様々である場合には、これらの方法の中で特定なこと、又はこれと同一性があるものの中のいずれでも本発明の具現が可能であることを明確に理解する必要がある。

本明細書で所定の構成が特定の要素を含むと言及されている場合又は所定の過程が特定の段階を含むと言及された場合は、その他の要素又はその他の段階をさらに含むことを意味する。即ち、本明細書で使用される用語は、特定の実施形態を説明するためのものであり、本発明の概念を限定するためのものではない。さらに、発明の理解を助けるために説明した例示は、それの相補的な実施形態も含む。
本明細書で使用される用語は、本発明が属する技術分野の通常の技術者が一般的に理解する意味を有する。普遍的に使用される用語は、本明細書の脈絡にしたがって一貫的な意味として解釈されなければならない。また本明細書で使用される用語は、その意味が明確に定義された場合を除いて、あまりにも理想的であるか、或いは形式的な意味として解釈されてはならない。以下、添付された図面を通じて本発明の実施形態を説明する。

図１は、本発明の実施形態による映像生成装置を含む映像生成システムの構成を示すブロック図である。図１を参照すれば、映像生成システム１０００は、客体１１００、及び映像生成装置１３００を含む。客体１１００は、撮影の対象である。映像生成装置１３００の動作によって、客体１１００に関する映像ＩＭＧが生成される。
実施形態として、映像生成装置１３００は、レンズ１３１０、イメージセンサチップ１３３０（Ｉｍａｇｅ Ｓｅｎｓｏｒ Ｃｈｉｐ）、及び映像信号の処理器１３５０を含む。但し、映像生成装置１３００は、図１に示さない他の構成要素をさらに含んでもよい。図１に示した映像生成装置１３００は、本発明の理解を助けるための単なる例示である。映像生成装置１３００は、客体１１００に関する映像ＩＭＧを生成する。

ここで使用されるプロセッサなる用語は、所望の演算、例えば、プログラムに含まれるコードおよび／又は命令として表われる演算を遂行する物理的に構成された回路を備えた、例えば、ハードウェアで実現されるデータ処理装置であってあってもよい。
上述のハードウェアで実現されるデータ処理装置の一例としては、マイクロプロセッサ、中央演算ユニット（ＣＰＵ）、プロセッサコア、マルチコアプロセッサ、マルチプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、現場でのプログラム可能なゲートアレイ（ＦＰＧＡ）などが挙げられるが、これに限定されるものではない。プログラムコードを実行するプロセッサとは、プログラム化されたプロセッサであって、特定目的のコンピュータである。

レンズ１３１０は、１つ以上の光源から放出された後、客体１１００によって反射された光を受信する。実施形態として、映像生成装置１３００は、１つ以上のレンズを含む。レンズ１３１０を通過した光は、イメージセンサチップ１３３０に提供される。
イメージセンサチップ１３３０は、レンズ１３１０から提供された光に基づいて１つ以上の映像信号を生成する。映像信号は、客体１１００に関する映像ＩＭＧを生成するために利用される情報を含む。映像信号に基づいて、客体１１００に関する映像ＩＭＧが生成される。映像信号は、映像信号の処理器１３５０に提供される。

例として、イメージセンサチップ１３３０は、イメージセンサピクセルを含む。イメージセンサピクセルは、１つ以上の光通過フィルタ（Ｌｉｇｈｔ Ｐａｓｓ Ｆｉｌｔｅｒ）及び１つ以上の光感知センサ（Ｐｈｏｔｏ−Ｓｅｎｓｉｔｉｖｅ Ｓｅｎｓｏｒ）を含む。例として、光通過フィルタの各々は、赤色光、緑色光、及び青色光の中で１つを通過させることができるが、本発明は、この例に限定されない。光感知センサは、光通過フィルタを通過した光の特性（例えば、強さ）に対応する電気特性（例えば、電圧）を有する電気信号（即ち、映像信号）を生成する。例として、１つ以上の光通過フィルタ及び１つ以上の光感知センサは、ピクセル（Ｐｉｘｅｌ）単位に配置される。例として、１つの映像信号が各ピクセルに対応して生成される。
但し、本発明は、この例に限定されない。光通過フィルタの構成、光通過フィルタ及び光感知センサの配置、及び映像信号の生成は、必要によって多様な方式で具現されてもよい。また、例として、イメージセンサチップ１３３０は、赤外光（Ｉｎｆｒａｒｅｄ Ｌｉｇｈｔ）の通過フィルタ、赤外光センサ等のような多様な構成要素をさらに含んでもよい。

さらに、本発明の実施形態で、イメージセンサチップ１３３０は、位相検出ピクセルをさらに含む。位相検出ピクセルは、位相差の自動焦点合わせ（Ｐｈａｓｅ Ｄｉｆｆｅｒｅｎｃｅ Ａｕｔｏ−ｆｏｃｕｓｉｎｇ）を遂行するために利用される。位相検出ピクセルは、位相信号を生成する。位相信号は、映像の間の位相差が算出されるために利用される。本発明の実施形態で、位相差は、客体に対する焦点合わせ、及び客体とイメージセンサとの間の距離の測定に利用される。位相検出ピクセルは、図２乃至図６に対する説明と共にさらに言及される。

映像信号の処理器１３５０は、イメージセンサチップ１３３０によって生成された映像信号及び位相信号を受信する。映像信号の処理器１３５０は、映像信号を処理するための演算を遂行する。客体１１００に関する映像ＩＭＧは、映像信号に基づいて生成される。しかし、映像信号は、客体１１００に関する映像ＩＭＧを生成するのに適切ではない。適切な映像ＩＭＧを生成するために、映像信号の処理器１３５０は、映像信号の処理を遂行する。

例として、映像信号の処理器１３５０は、不良ピクセルの補正（Ｂａｄ Ｐｉｘｅｌ Ｃｏｒｒｅｃｔｉｏｎ）、ディモザイク（Ｄｅｍｏｓａｉｃ）、ノイズ除去（Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）、レンズシェーディングの補正（Ｌｅｎｓ Ｓｈａｄｉｎｇ Ｃｏｒｒｅｃｔｉｏｎ）、ガンマ補正（Ｇａｍｍａ Ｃｏｒｒｅｃｔｉｏｎ）、エッジエンハンスメント（Ｅｄｇｅ Ｅｎｈａｎｃｅｍｅｎｔ）等のような映像信号の処理を遂行する。但し、本発明は、この例に限定されない。映像信号の処理器１３５０は、他の映像信号の処理をさらに遂行することができる。

映像信号の処理器１３５０は、位相信号を処理することによって、客体１１００に対する焦点を合わせる。さらに、本発明の実施形態で、映像信号の処理器１３５０は、位相信号を処理することによって、深さマップＤＭ（Ｄｅｐｔｈ Ｍａｐ）を生成する。深さマップは、客体１１００とイメージセンサとの間の距離に関する情報を示す映像である。位相信号の処理、焦点合わせ、及び深さマップの生成が映像信号の処理器１３５０によって遂行されることを説明した。しかし、後でさらに言及するが、位相信号の処理、焦点合わせ、及び深さマップの生成の中で少なくとも１つは、イメージセンサチップ１３３０によって、遂行してもよい。

映像信号の処理器１３５０は、ハードウェアで具現される。例として、映像信号の処理器１３５０は、映像信号の処理を遂行するためのアナログ回路又は論理回路を含む。または、映像信号の処理器１３５０は、演算処理装置に具現することができる。例として、映像信号の処理器１３５０は、アプリケーションプロセッサ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ）を含む演算処理装置に具現することができる。演算処理装置は、ＲＯＭ（Ｒｅａｄ−ｏｎｌｙ Ｍｅｍｏｒｙ）に格納された命令語コード（Ｉｎｓｔｒｕｃｔｉｏｎ Ｃｏｄｅ）又はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）にロードされたプログラムコードを実行することによって、映像信号の処理を遂行する。但し、この例は、本発明を限定するものではない。

実施形態として、図１に示したように、映像信号の処理器１３５０は、イメージセンサチップ１３３０と共に同一の装置に含まれる。この実施形態で、例として、映像生成装置１３００は、デジタルカメラ、スマートフォン、タブレット、ウェアラブル（Ｗｅａｒａｂｌｅ）装置等のようにイメージセンサチップ１３３０、及び映像信号の処理器１３５０を含む携帯用の電子装置で具現することができる。

他の実施形態として、図１に示したことと異なり、映像信号の処理器１３５０を含む装置は、イメージセンサチップ１３３０を含む装置と別個に提供されてもよい。この実施形態で、例として、イメージセンサチップ１３３０を含む装置は、単純に撮影装置であってもよく、映像信号の処理器１３５０を含む装置は、１つ以上のプロセッサを含むコンピューティング装置であってもよい。即ち、本発明の実施形態は、多様な方式で具現することができ、図１に示した構成に限定されない。

実施形態として、図１に示したように、映像信号の処理器１３５０は、イメージセンサチップ１３３０と別個に提供される映像信号の処理回路、映像信号の処理チップ、又は映像信号の処理装置であってもよい。この実施形態で、映像生成装置１３００が携帯用の電子装置である場合、イメージセンサチップ１３３０は、映像信号の処理器１３５０と別個に提供され、映像信号の処理器１３５０は、アプリケーションプロセッサに含まれる。

他の実施形態として図１に示したものと異なり、映像信号の処理器１３５０の一部又はすべては、イメージセンサチップ１３３０に含まれてもよい。この実施形態で、イメージセンサチップ１３３０は、映像信号を生成することは勿論、映像信号の処理を遂行することができる。即ち、本発明の実施形態は、多様な構成で具現することができ、図１に示した構成に限定されない。図１は、本発明の理解を助けるための例示的な構成を示す。

下記で言及する本発明の実施形態による“映像生成装置”の構成要素は、イメージセンサチップ１３３０又は映像信号の処理器１３５０に具現されるか、或いはイメージセンサチップ１３３０及び映像信号の処理器１３５０に分散されて具現されてもよい。又は“映像生成装置”の構成要素は、イメージセンサチップ１３３０及び映像信号の処理器１３５０と別個に提供されてもよい。本発明の実施形態は、多様な構成で具現することができる。本発明の実施形態による構成は、図７乃至図１７に対する説明と共に言及される。

図２乃至図４の各々は、本発明の実施形態にしたがった位相検出ピクセルを含むイメージセンサの構成を示す概念図である。本発明の実施形態にしたがった位相検出ピクセルを含むイメージセンサ１３３１は、図１のイメージセンサチップ１３３０に含まれる。
図２を参照すれば、イメージセンサ１３３１は、ピクセルアレイＰＡを含む。ピクセルアレイＰＡは、ピクセル単位ＰＸで形成される。イメージセンサ１３３１は、複数のイメージセンサピクセル及び複数の位相検出ピクセルを含む。複数のイメージセンサピクセルは、客体に対応する映像信号を生成する。複数の位相検出ピクセルは、映像の間の位相差を算出するために利用される位相信号を生成する。複数のイメージセンサピクセル及び複数の位相検出ピクセルは、ピクセル単位ＰＸに配置される。複数のイメージセンサピクセル及び複数の位相検出ピクセルの配置は、図３及び図４を参照して説明される。

実施形態として、複数の位相検出ピクセルの各々は、複数のイメージセンサピクセルの中で２つのイメージセンサピクセルに対応するように構成される。図２及び図３を共に参照すれば、複数のイメージセンサピクセルの各々は、１つのピクセル単位ＰＸに対応する。さらに、複数の位相検出ピクセルＰＰＸ１、ＰＰＸｎの各々は、２つのピクセル単位に対応する。即ち、例として、２つのイメージセンサピクセルは、１つの位相検出ピクセルＰＰＸ１として利用される。この実施形態で、１つのピクセル単位ＰＸは、イメージセンサピクセルのみではなく、位相検出ピクセルとして利用される。
上記の実施形態で、すべてのイメージセンサピクセルが位相検出ピクセルとして利用されてもよい。または、複数のイメージセンサピクセルの一部は、位相検出ピクセルで利用されなくともよい。例として、複数のイメージセンサピクセルの個数がｐ個である場合、複数の位相検出ピクセルの個数は、ｐ／２個以下である（即ち、ｎ≦（ｐ／２））。

他の実施形態として、複数の位相検出ピクセルは、複数のイメージセンサピクセルと重畳されないように配置してもよい。図４を参照すれば、白い四角形は、イメージセンサピクセルＩＰＸを示し、陰影で示された四角形は、位相検出ピクセルＰＰＸを示す。即ち、複数の位相検出ピクセルは、複数のイメージセンサピクセルの位置と異なる位置に配置される。この実施形態で、位相検出ピクセルは、イメージセンサピクセルとして利用されないこともあり得る。例として、位相検出ピクセルは、白色の光センサを含むことができるが、本発明は、この例に限定されない。
上記の実施形態で、ピクセルアレイＰＡに含まれるピクセルの中で一部は、イメージセンサピクセルとして利用される。さらに、イメージセンサピクセルとして利用されないピクセルは、位相検出ピクセルとして利用することができる。必要によって、ピクセルアレイＰＡに含まれるすべてのピクセルが位相検出ピクセルとして利用されてもよい。

本発明の実施形態で、位相検出ピクセルの構成、個数、配置、及び位置は、必要によって多様に変更又は修正することができる。図２乃至図４は、複数の位相検出ピクセルを含むイメージセンサ１３３１の例示的な構成を示しているだけであり、本発明を限定するためのものではない。イメージセンサ１３３１は、図２乃至図４に示したものと異なって具現してもよい。

図５及び図６の各々は、位相検出ピクセルが利用される過程を示す概念図である。例として、映像生成装置１３００（図１参照）に含まれるレンズ１３１０は、移動できるように構成される。具体的に、レンズ１３１０は、客体１１００からの距離が増加する方向又は減少する方向に移動する。したがって、レンズ１３１０と客体１１００との間の距離が調節される。レンズ１３１０の位置によって客体１１００に対する焦点が合うか、或いはぼやける。

先ず、図５を参照する。第１番目の場合（ＣＡＳＥ１）を参照すれば、レンズ１３１０と客体１１００との間の距離が相対的に近い。第１番目の場合（ＣＡＳＥ１）で、レンズ１３１０は、焦点の位置（Ｉｎ−ｆｏｃｕｓ Ｐｏｓｉｔｉｏｎ）から外れている。焦点の位置は、客体１１００に対する焦点を合わせるためのレンズ１３１０の位置で決まる。レンズ１３１０が焦点の位置から外れて存在するので、イメージセンサチップ１３３０（図１参照）に含まれるイメージセンサ１３３１に結ばれた映像の間に位相差Ｄ１が発生する。したがって、第１番目の場合（ＣＡＳＥ１）で、客体１１００に対する焦点がぼやける（Ｄｅｆｏｃｕｓｅｄ）。

第２番目の場合（ＣＡＳＥ２）を参照すれば、レンズ１３１０が焦点の位置に置かれている。レンズ１３１０が焦点の位置に置かれる場合、イメージセンサ１３３１に結ばれた映像の間の位相差が０である。したがって、第２番目の場合（ＣＡＳＥ２）で、客体１１００に対する焦点が合う（Ｆｏｃｕｓｅｄ）。
第３番目の場合（ＣＡＳＥ３）を参照すれば、レンズ１３１０と客体１１００との間の距離が相対的に遠い。第３番目の場合（ＣＡＳＥ３）で、レンズ１３１０は、焦点の位置から外れている。レンズ１３１０が焦点の位置から外れて存在するので、イメージセンサ１３３１に結ばれた映像の間に位相差Ｄ３が発生する。したがって、第３番目の場合（ＣＡＳＥ３）で、客体１１００に対する焦点がぼやける。

イメージセンサ１３３１に含まれる複数の位相検出ピクセルは、客体に対する焦点を合わせるために利用される。上記で言及したように、複数の位相検出ピクセルは、位相信号を生成する。位相信号は、イメージセンサ１３３１に結ばれた映像の位置に関する情報を含む。したがって、位相信号は、映像の間の位相差を算出するために利用される。算出された位相差に基づいて、レンズ１３１０の焦点位置が算出される。例として、位相差を０にするレンズ１３１０の位置が焦点位置である。

本発明の実施形態で、複数の位相検出ピクセルは、客体に対する焦点を合わせるだけではなく、客体１１００とイメージセンサ１３３１との間の距離の測定にも利用される。例として、客体１１００とイメージセンサ１３３１との間の距離を測定するために、イメージセンサ１３３１に結ばれた映像の間の位相差、レンズ１３１０とイメージセンサ１３３１との間の距離、レンズ１３１０の寸法、レンズ１３１０の焦点位置等のような追加の情報が参照される。

例として、特定の焦点位置、特定の位相差等のような特定の条件に対応する客体１１００とイメージセンサ１３３１との間の距離に関する情報を予め準備することができる。映像生成装置１３００は、特定の条件及び予め準備された客体１１００とイメージセンサ１３３１との間の距離に関する情報を（例として、ルック−アップテーブル（Ｌｏｏｋ−ｕｐ Ｔａｂｌｅ）として）格納する。進歩性のある少なくとも１つの実施例としては、ルックアップテーブルは映像生成装置中のメモリ内に格納してもよい。ルックアップテーブルは、例えば、特定の条件と予め準備された情報との間の対応関係を示すものである。映像生成装置１３００は、焦点の位置、位相差等のような条件を算出し、格納された情報を参照して算出された条件に対応する客体１１００とイメージセンサ１３３１との間の距離を獲得する。

他の例として、映像生成装置１３００は、位相差、レンズ１３１０とイメージセンサ１３３１との間の距離等のような条件を算出する。映像生成装置１３００は、算出された条件に対して数学的な演算（例えば、辺の長さ及び辺の間の角を利用する三角関数演算等）を遂行する。したがって、映像生成装置１３００は、客体１１００とイメージセンサ１３３１との間の距離を算出する。

上記の例によれば、客体１１００とイメージセンサ１３３１との間の絶対距離が算出される。一方、追加の情報が十分に準備されない場合、位相差に基づいて客体１１００とイメージセンサ１３３１との間の相対距離を算出することができる。客体１１００とイメージセンサ１３３１との間の距離に関する情報を示す深さマップは、絶対距離又は相対距離に基づいて生成される。

但し、上記の例は、本発明の理解を助けるためのものであり、本発明を限定するためのものではない。客体１１００とイメージセンサ１３３１との間の距離は、多様な処理によって算出される。特に、イメージセンサ１３３１に結ばれた映像の間の位相差、レンズ１３１０とイメージセンサ１３３１との間の距離、レンズ１３１０の寸法、レンズ１３１０の焦点位置等のような追加の情報が利用される場合、さらに正確な絶対距離が算出される。

次に、図６が参照される。客体１１００とイメージセンサ１３３１との間の距離が算出されれば、映像生成装置１３００は、深さマップを生成する。上記で言及したように、イメージセンサ１３３１のピクセルアレイＰＡは、複数の位相検出ピクセルＰＰＸを含む。本発明の実施形態で、複数の位相検出ピクセルＰＰＸによって、客体１１００のすべての部分に関する深さマップが生成される。即ち、本発明の実施形態で、客体１１００のいずれか一地点又は部分とイメージセンサ１３３１との間の距離が算出されるのではなく、客体１１００のすべて部分とイメージセンサ１３３１との間の距離が算出される。したがって、映像生成装置１３００は、客体１１００のすべての部分に関する深さマップを生成する。
但し、図６は、本発明の理解を助けるための例示的な概念図であり、本発明を限定するためのものではない。上記で言及したように、位相検出ピクセルは、多様な形態で具現することができる。位相検出ピクセルの構成、個数、配置、及び位置は、必要によって多様に変更又は修正することができる。

図７は、本発明の実施形態による映像生成装置の構成を示すブロック図である。図８は、図７の映像生成装置の動作を説明するフローチャートである。図９は、図７の映像生成装置の動作を説明する概念図である。
進歩性のある少なくとも１つの実施例として、映像生成装置１００は、映像生成装置１００（又はその構成要素）によって遂行されるとして説明したいくつかの又は全ての演算を実行するために特別に構成された１以上の回路（例えば、ハードウエア）により実現されるか、又は含むことができる。また、映像生成装置１００は、メモリを備えるか又はメモリによって実現出来る。さらに、メモリ中に格納されたコンピュータ読出し可能コード（例えば、ソフトウェア）を実行する１以上のプロセッサでも実現でき、プロセッサには、映像生成装置１００（又はその構成要素）によって遂行されるとして説明された、いくつかの又は全ての演算に対応する命令を備えることができる。
進歩性のある少なくとも１つの実施例として、映像生成装置１００は、例えば、上述したハードウェアとコンピュータ読出し可能なコードを実行するプロセッサとの組合せとして実現することもできる。

図７を参照すれば、映像生成装置１００は、位相差の算出部１０３及び深さマップの生成部１０４を含む。映像生成装置１００は、本発明の実施形態にしたがって深さマップＤＭを生成する。本発明の実施形態を説明するために、図７乃至図９を共に参照する。
Ｓ１１０段階で、レンズ１３１０が第１位置に移動する。上述したように、レンズ１３１０は、客体１１００からの距離が増加する方向又は減少する方向に移動することができる。したがって、レンズ１３１０と客体１１００との間の距離が調節される。時刻‘ｔ１’で、レンズ１３１０は、レンズ位置の制御信号に応答して第１位置に移動する。例として、第１位置は、固定された位置であってもよい。または、第１位置は、必要によって調節可能な位置であってもよい。第１位置は、多様に選択又は決定することができる。

Ｓ１２０段階で、第１位相信号ＰＳ１が生成される。レンズ１３１０が第１位置にある時、客体１１００が撮影される。イメージセンサ１３３１は、レンズ１３１０を通じて客体１１００から反射された光を受信する。イメージセンサ１３３１に含まれる複数の位相検出ピクセルは、第１位相信号ＰＳ１を生成する。第１位相信号ＰＳ１は、レンズ１３１０が第１位置にある時、イメージセンサ１３３１に結ばれた映像の位置に関する情報を含む。
Ｓ１３０段階で、第１位相差ＰＤ１が算出される。位相差の算出部１０３は、イメージセンサ１３３１から第１位相信号ＰＳ１を受信する。位相差の算出部１０３は、第１位相信号ＰＳ１に基づいて第１位相差ＰＤ１を算出する。第１位相差ＰＤ１は、レンズ１３１０が第１位置にある時、イメージセンサ１３３１に結ばれた映像に関する位相差である。

Ｓ１４０段階で、第１深さデータＤＤ１が生成される。第１深さデータＤＤ１は、イメージセンサ１３３１の複数の位相検出ピクセルと客体１１００との間の距離に関するデータである。深さマップの生成部１０４は、位相差の算出部１０３から第１位相差ＰＤ１を受信する。深さマップの生成部１０４は、第１位相差ＰＤ１に基づいて第１深さデータＤＤ１を生成する。例として、深さマップの生成部１０４は、第１位相差ＰＤ１のみではなく、レンズ１３１０とイメージセンサ１３３１との間の距離、レンズ１３１０の寸法、レンズ１３１０の焦点位置等のような追加の情報をさらに参照して第１深さデータＤＤ１を生成する。

例として、深さマップＤＭは、第１深さデータＤＤ１のみに基づいて生成される。しかし、客体１１００が撮影される環境にしたがって、第１深さデータＤＤ１が不正確な距離データを含む可能性がある。第１深さデータＤＤ１が不正確な距離データを含む場合、深さマップＤＭが正確に生成されない。したがって、本発明の実施形態で、より高い信頼性を有する深さマップＤＭを生成するために、他の深さデータがさらに生成される。
Ｓ１５０段階で、レンズ１３１０が第２位置に移動する。第２位置は、第１位置と異なる位置である。時刻‘ｔ２’で、レンズ１３１０は、レンズ位置の制御信号に応答して第２位置に移動する。例として、第２位置は、固定された位置であってもよい。または、第２位置は、必要によって調節可能である位置であってもよい。第２位置は、多様に選択又は決定することができる。

実施形態として、第１位置及び第２位置の中で１つは、焦点の位置に対応する。この実施形態によれば、レンズ１３１０の焦点位置に関する情報が深さデータの生成と共に獲得される。しかし、本発明は、この実施形態に限定されない。第１位置及び第２位置の各々は、焦点の位置ではない任意の位置であってもよい。
図９を参照すれば、レンズ１３１０が第１位置から第２位置に移動される場合、レンズ１３１０とイメージセンサ１３３１との間の距離が近くなる。しかし、本発明は、図９によって限定されない。必要によって、レンズ１３１０が第１位置から第２位置に移動する場合、レンズ１３１０とイメージセンサ１３３１との間の距離が遠くなる。図９は、本発明の理解を助けるための例示である。

Ｓ１６０段階で、第２位相信号ＰＳ２が生成される。レンズ１３１０が第２位置にある時、客体１１００が撮影される。イメージセンサ１３３１は、レンズ１３１０を通じて客体１１００から反射された光を受信する。イメージセンサ１３３１に含まれる複数の位相検出ピクセルは、第２位相信号ＰＳ２を生成する。第２位相信号ＰＳ２は、レンズ１３１０が第２位置にある時、イメージセンサ１３３１に結ばれた映像の位置に関する情報を含む。
Ｓ１７０段階で、第２位相差ＰＤ２が算出される。位相差の算出部１０３は、イメージセンサ１３３１から第２位相信号ＰＳ２を受信する。位相差の算出部１０３は、第２位相信号ＰＳ２に基づいて第２位相差ＰＤ２を算出する。第２位相差ＰＤ２は、レンズ１３１０が第２位置にある時、イメージセンサ１３３１に結ばれた映像に関する位相差である。

Ｓ１８０段階で、第２深さデータＤＤ２が生成される。第２深さデータＤＤ２は、イメージセンサ１３３１の複数の位相検出ピクセルと客体１１００との間の距離に関するデータである。深さマップの生成部１０４は、位相差の算出部１０３から第２位相差ＰＤ２を受信する。深さマップの生成部１０４は、第２位相差ＰＤ２に基づいて第２深さデータＤＤ２を生成する。例として、深さマップの生成部１０４は、第２位相差ＰＤ２のみではなく、レンズ１３１０とイメージセンサ１３３１との間の距離、レンズ１３１０の寸法、レンズ１３１０の焦点位置等のような追加の情報をさらに参照して第２深さデータＤＤ２を生成することができる。
Ｓ１９０段階で、深さマップＤＭが生成される。深さマップＤＭは、第１深さデータＤＤ１及び第２深さデータＤＤ２に基づいて生成される。深さマップの生成部１０４は、第１深さデータＤＤ１及び第２深さデータＤＤ２に基づいて深さマップＤＭを生成する。

上記で言及したように、第１深さデータＤＤ１が不正確な距離データを含む可能性がある。したがって、本発明の実施形態で、深さマップの生成部１０４は、第２深さデータＤＤ２をさらに生成する。様々な深さデータＤＤ１、ＤＤ２が参照される場合、第１深さデータＤＤ１又は第２深さデータＤＤ２に含まれる不正確な距離データ（即ち、誤差）が補正される。本発明の実施形態による映像生成装置１００は、様々な深さデータＤＤ１、ＤＤ２を参照してより高い信頼性を有する深さマップＤＭを生成することができる。第１深さデータＤＤ１及び第２深さデータＤＤ２を参照して深さマップＤＭを生成する処理は、図１３乃至図１７に対する説明と共にさらに言及される。

図７乃至図９に対する説明で、レンズ１３１０が第１位置及び第２位置に移動し、２つの深さデータＤＤ１、ＤＤ２が生成されることに言及した。しかし、必要によって、深さマップＤＭをさらに正確に生成するために、３つ以上のレンズ位置及び３つ以上の深さデータを利用してもよい。図７乃至図９は、本発明の理解を助けるための例示であり、本発明を限定するためのものではない。
さらに、図７乃至図９に対する説明で、レンズ１３１０が第１位置にある時、遂行される処理が完了した後、レンズ１３１０が第２位置に移動すると言及した。しかし、本発明の実施形態による処理の遂行の順序は、映像生成装置１００の設計によって変更又は修正してもよい。

例として、レンズ１３１０は、第１位相信号ＰＳ１、第１位相差ＰＤ１、又は第１深さデータＤＤ１が生成される間、又は生成される前に第２位置に移動することができる。例として、位相差の算出部１０３は、第１位相差ＰＤ１及び第２位相差ＰＤ２を同時に算出するか、第１位相差ＰＤ１より第２位相差ＰＤ２を先に算出することができる。例として、深さマップの生成部１０４は、第１深さデータＤＤ１及び第２深さデータＤＤ２を同時に生成するか、或いは第１深さデータＤＤ１より第２深さデータＤＤ２を先ず生成することができる。

本発明の実施形態で、映像生成装置１００は、様々な深さデータＤＤ１、ＤＤ２に基づいて深さマップＤＭを生成することで十分である。図７乃至図９に対する説明で言及された処理順序は、必要によって多様に変更又は修正してもよい。本発明は、図７乃至図９に対する説明によって限定されない。

本発明の実施形態による映像生成装置１００は、ＴｏＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）センサ、赤外光センサ、ステレオ（Ｓｔｅｒｅｏ）カメラ等のような追加の装置を要求しない。したがって、本発明の実施形態による映像生成装置１００は、少ない面積又は体積を占めながらも深さマップＤＭを生成することができる。さらに、本発明の実施形態によれば、様々な深さデータＤＤ１、ＤＤ２を参照して誤差を補正することによって、より高い信頼性を有する深さマップＤＭを生成することができる。

図１０は、本発明の実施形態による映像生成装置の構成を示すブロック図である。図１０を参照すれば、映像生成装置２３００は、レンズ２３１０、イメージセンサチップ２３３０、及び映像信号の処理器２３５０を含む。さらに、イメージセンサチップ２３３０は、イメージセンサ２３３１、レンズ駆動部２３３２、位相差の算出部２３３３、及び深さマップの生成部２３３４を含む。
レンズ２３１０の構成及び機能は、図１乃至図９に対する説明で言及したレンズ１３１０の構成及び機能を含む。説明を簡単にするため、レンズ２３１０の構成及び機能に関する重複される説明は省略する。レンズ２３１０を通過した光は、イメージセンサチップ２３３０のイメージセンサ２３３１に提供される。

イメージセンサ２３３１は、複数のイメージセンサピクセル及び複数の位相検出ピクセルを含む。複数のイメージセンサピクセルは、客体に対応する映像信号を生成する。複数の位相検出ピクセルは、映像の間の位相差が算出されるために利用される第１位相信号ＰＳ１及び第２位相信号ＰＳ２を生成する。第１位相信号ＰＳ１は、レンズ２３１０が第１位置にある時、生成され、第２位相信号ＰＳ２は、レンズ２３１０が第２位置にある時、生成される。
イメージセンサ２３３１の構成及び機能は、図１乃至図９に対する説明で言及されたイメージセンサ１３３１の構成及び機能を含む。説明を簡単にするため、イメージセンサ２３３１の構成及び機能に関する重複される説明は省略する。

レンズ駆動部２３３２は、レンズ位置の制御信号ＬＮを生成する。レンズ位置の制御信号ＬＮは、レンズ２３１０の位置を調節するために利用される信号である。レンズ位置の制御信号ＬＮに応答して、レンズ２３１０は、客体からの距離が増加する方向又は減少する方向に移動する。したがって、レンズ２３１０と客体との間の距離を調節することができる。例として、レンズ駆動部２３３２は、映像信号の処理器２３５０から提供されたレンズの駆動信号ＬＤに基づいてレンズ位置の制御信号ＬＮを生成する。しかし、図１０に示したものと異なり、レンズ駆動部２３３２は、レンズの駆動信号ＬＤ無しで自らレンズ２３１０の位置を制御するための演算を遂行することによって、レンズ位置の制御信号ＬＮを生成することができる。

位相差の算出部２３３３は、第１位相信号ＰＳ１及び第２位相信号ＰＳ２の各々に基づいて第１位相差ＰＤ１及び第２位相差ＰＤ２を算出する。深さマップの生成部２３３４は、第１位相差ＰＤ１及び第２位相差ＰＤ２に基づいて深さマップＤＭを生成する。
位相差の算出部２３３３及び深さマップの生成部２３４の構成及び機能は、各々の図７乃至図９に対する説明で言及した位相差の算出部１０３及び深さマップの生成部１０４の構成及び機能を含む。説明を簡単にするため、位相差の算出部２３３３及び深さマップの生成部２３３４の構成及び機能に関する重複する説明は省略する。

例として、必要によって、映像信号の処理器２３５０は、深さマップの生成部２３３４によって生成された深さマップＤＭに対して映像信号の処理を遂行することができる。したがって、映像信号の処理器２３５０は、さらに適切に処理された深さマップＤＭ’を生成することができる。しかし、図１０に示したものと異なり、映像信号の処理無しで、深さマップの生成部２３３４によって生成された深さマップＤＭが映像生成装置２３００から直接的に出力される。

例として、映像信号の処理器２３５０は、レンズ駆動部２３３２を制御するためのレンズの駆動信号ＬＤを生成することができる。しかし、図１０に示したものと異なり、レンズ駆動部２３３２無しで、映像信号の処理器２３５０が直接的にレンズ２３１０の位置を制御することができる。即ち、図１０は、本発明の理解を助けるための例示的な構成を示し、本発明を限定するためのものではない。本発明の実施形態は、図１０に示したものと異なる構成で具現することができる。
映像信号の処理器２３５０の構成及び機能は、図１の映像信号の処理器１３５０の構成及び機能を含む。説明を簡単にするため、映像信号の処理器２３５０の構成及び機能に関する重複する説明は省略する。

図１０に示した実施形態によれば、位相差の算出部２３３３及び深さマップの生成部２３３４は、イメージセンサチップ２３３０で具現される。実施形態として、イメージセンサ２３３１、レンズ駆動部２３３２、位相差の算出部２３３３、及び深さマップの生成部２３３４は、１つのイメージセンサチップ２３３０で具現される。
但し、本発明は、図１０によって限定されない。映像生成装置２３００は、図１０に示さない他の構成要素をさらに含むか、或いは図１０に示した構成要素の中で１つ以上を含まなくともよい。図１０は、映像生成装置２３００の例示的な構成を示す。

図１１は、本発明の実施形態による映像生成装置の構成を示すブロック図である。図１１を参照すれば、映像生成装置３３００は、レンズ３３１０、イメージセンサチップ３３３０、及び映像信号の処理器３３５０を含む。さらに、映像信号の処理器３３５０は、位相差の算出部３３５３、深さマップの生成部３３５４、及びレンズ位置の制御部３３５５を含む。
レンズ３３１０の構成及び機能は、図１乃至図９に対する説明で言及されたレンズ１３１０の構成及び機能を含む。説明を簡単にするため、レンズ３３１０の構成及び機能に関する重複する説明は省略する。レンズ３３１０を通過した光は、イメージセンサチップ３３３０に提供される。

イメージセンサチップ３３３０は、イメージセンサ１３３１（図２乃至図６参照）を含んでもよい。イメージセンサ１３３１は、複数のイメージセンサピクセル及び複数の位相検出ピクセルを含むことができる。複数のイメージセンサピクセルは、客体に対応する映像信号を生成する。複数の位相検出ピクセルは、映像の間の位相差を算出するために利用される第１位相信号ＰＳ１及び第２位相信号ＰＳ２を生成する。第１位相信号ＰＳ１は、レンズ３３１０が第１位置にある時、生成され、第２位相信号ＰＳ２は、レンズ３３１０が第２位置にある時、生成される。イメージセンサ１３３１の構成及び機能は、図１乃至図９に対する説明で言及した。

位相差の算出部３３５３は、イメージセンサチップ３３３０から第１位相信号ＰＳ１及び第２位相信号ＰＳ２を受信する。位相差の算出部３３５３は、第１位相信号ＰＳ１及び第２位相信号ＰＳ２の各々に基づいて第１位相差ＰＤ１及び第２位相差ＰＤ２を算出する。深さマップの生成部３３５４は、第１位相差ＰＤ１及び第２位相差ＰＤ２に基づいて深さマップＤＭを生成する。
位相差の算出部３３５３及び深さマップの生成部３３５４の構成及び機能は、各々の図７乃至図９に対する説明で言及した位相差の算出部１０３及び深さマップの生成部１０４の構成及び機能を含む。説明を簡単にするため、位相差の算出部３３５３及び深さマップの生成部３３５４の構成及び機能に関する重複する説明は省略する。

レンズの位置制御部３３５５は、レンズの駆動信号ＬＤを生成する。レンズの駆動信号ＬＤは、レンズ３３１０を移動させるために利用される信号である。レンズの駆動信号ＬＤに応答して、レンズ３３１０は、客体からの距離が増加する方向又は減少する方向に移動される。したがって、レンズ３３１０と客体との間の距離を調節することができる。しかし、図１１に示したのと異なり、レンズの位置制御部３３５５は、レンズ３３１０の位置を直接的に制御しなくともよい。例として、レンズの位置制御部３３５５は、他の構成要素（例えば、図１０のレンズ駆動部２３３２）を制御することによって、レンズ３３１０の位置を間接的に制御する。

例として、レンズの位置制御部３３５５は、レンズ３３１０の焦点位置を算出する。上記で言及したように、焦点の位置は、客体に対する焦点を合わせるためのレンズ３３１０の位置である。レンズの位置制御部３３５５は、第１位相差ＰＤ１及び第２位相差ＰＤ２の中で少なくとも１つに基づいて焦点の位置を算出する。例として、レンズの位置制御部３３５５は、位相差を０にするレンズ３３１０の位置が焦点の位置として算出する。レンズ３３１０が焦点の位置に移動する必要がある場合、レンズの位置制御部３３５５は、レンズ３３１０を焦点の位置に移動させるためのレンズの駆動信号ＬＤを生成する。
但し、上記で言及したのと異なり、焦点の位置は、イメージセンサチップ３３３０で算出してもよい。イメージセンサチップ３３３０が他のレンズ位置の制御部を含む場合、イメージセンサチップ３３３０は、算出された焦点の位置にレンズ３３１０を移動させるためにレンズの駆動信号を生成する。本発明の実施形態は、図１１に示したものと異なる構成に変更又は修正されてもよい。

例として、図１１に示したことと異なり、必要によって、映像信号の処理器３３５０は、深さマップの生成部３３５４によって生成された深さマップＤＭに対して多様な種類の映像信号の処理を遂行することができる。したがって、さらに適切に処理された深さマップＤＭが生成される。即ち、図１１は、本発明の理解を助けるための例示的な構成を示し、本発明を制限するためのものではない。本発明の実施形態は、図１１に示したのと異なる構成で具現されてもよい。

図１１に示した実施形態によれば、位相差の算出部３３５３及び深さマップの生成部３３５４は、映像信号の処理器３３５０で具現される。例として、映像信号の処理器３３５０は、アプリケーションプロセッサを含む演算処理装置として具現される。実施形態として、位相差の算出部３３５３、深さマップの生成部３３５４、及びレンズの位置制御部３３５５は、アプリケーションプロセッサを含む演算処理装置として具現される。
但し、本発明は、図１１の構成に限定されない。映像生成装置３３００は、図１１に示さない他の構成要素をさらに含むか、或いは図１１に示した構成要素の中で１つ以上を含まなくともよい。図１１は、映像生成装置３３００の例示的な構成を示す。

図１２は、本発明の実施形態による映像生成装置の構成を示すブロック図である。図１２を参照すれば、映像生成装置４３００は、レンズ４３１０、イメージセンサチップ４３３０、映像信号の処理器４３５０、位相差の算出部４３７３、及び深さマップの生成部４３７４を含む。
レンズ４３１０の構成及び機能は、図１乃至図９に対する説明で言及したレンズ１３１０の構成及び機能を含む。説明を簡単にするため、レンズ４３１０の構成及び機能に関する重複する説明は省略する。レンズ４３１０を通過した光は、イメージセンサチップ４３３０に提供される。

イメージセンサチップ４３３０は、イメージセンサ１３３１（図２乃至図６参照）を含む。イメージセンサ１３３１は、複数のイメージセンサピクセル及び複数の位相検出ピクセルを含む。複数のイメージセンサピクセルは、客体に対応する映像信号を生成する。複数の位相検出ピクセルは、映像の間の位相差が算出されるために利用される第１位相信号ＰＳ１及び第２位相信号ＰＳ２を生成する。第１位相信号ＰＳ１は、レンズ４３１０が第１位置にある時、生成され、第２位相信号ＰＳ２は、レンズ４３１０が第２位置にある時、生成される。イメージセンサ１３３１の構成及び機能は、図１乃至図９に対する説明で言及した。
映像信号の処理器４３５０は、客体に関する適切な映像を生成するために映像信号の処理を遂行する。映像信号の処理器４３５０の構成及び機能は、図１の映像信号の処理器１３５０の構成及び機能を含む。説明を簡単にするため、映像信号の処理器４３５０の構成及び機能に関する重複する説明は省略する。

位相差の算出部４３７３は、イメージセンサチップ４３３０から第１位相信号ＰＳ１及び第２位相信号ＰＳ２を受信する。位相差の算出部４３７３は、第１位相信号ＰＳ１及び第２位相信号ＰＳ２の各々に基づいて第１位相差ＰＤ１及び第２位相差ＰＤ２を算出する。深さマップの生成部４３７４は、第１位相差ＰＤ１及び第２位相差ＰＤ２に基づいて深さマップＤＭを生成する。
位相差の算出部４３７３及び深さマップの生成部４３７４の構成及び機能は、各々の図７乃至図９に対する説明で言及した位相差の算出部１０３及び深さマップの生成部１０４の構成及び機能を含む。説明を簡単にするため、位相差の算出部４３７３及び深さマップの生成部４３７４の構成及び機能に関する重複する説明は省略する。

例として、必要によって、映像信号の処理器４３５０は、深さマップの生成部４３７４によって生成された深さマップＤＭに対して映像信号の処理を遂行してもよい。したがって、映像信号の処理器４３５０は、さらに適切に処理された深さマップＤＭ’を生成することができる。しかし、図１２に示したのと異なり、映像信号の処理無しで、深さマップの生成部４３７４によって生成された深さマップＤＭが映像生成装置４３００から直接的に出力される。

図１２に示した実施形態によれば、位相差の算出部４３７３及び深さマップの生成部４３７４は、イメージセンサチップ４３３０及び映像信号の処理器４３５０と別個に提供されてもよい。または、図１０乃至図１２に示したのと異なり、位相差の算出部１０３及び深さマップの生成部１０４は、イメージセンサチップ１３３０及び映像信号の処理器１３５０に分散されて具現されてもよい。即ち、本発明の実施形態による位相差の算出部１０３及び深さマップの生成部１０４は、多様な構成で具現することができる。
本発明は、図１２によって限定されない。映像生成装置４３００は、図１２に示さない他の構成要素をさらに含むか、或いは図１２に示した構成要素の中で１つ以上を含まなくともよい。図１２は、映像生成装置４３００の例示的な構成を示す。

上記で言及したように、本発明の実施形態による映像生成装置は、客体を撮影することと同時に深さマップを生成することができる。他の例として、本発明の実施形態による映像生成装置は、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）動作を通じてメモリ装置又は格納装置に直接的にアクセスすることができる。メモリ装置又は格納装置は、予め生成された位相情報を格納する。この例で、映像生成装置は、メモリ装置又は格納装置に格納された位相情報に基づいて深さマップを生成する。この例で、映像生成装置は、レンズ、及びイメージセンサチップの一部機能を含まなくともよい。本発明の実施形態は、多様な構成で変更又は修正することができる。

図１３は、本発明の実施形態による映像生成装置の構成を示すブロック図である。図１３を参照すれば、映像生成装置２００は、位相差の算出部２０３、深さマップの生成部２０４、及び位相差の予測部２０６を含む。
位相差の算出部２０３、深さマップの生成部２０４、及び位相差の予測部２０６は、イメージセンサチップ１３３０（図１参照）又は映像信号の処理器１３５０（図１参照）に具現されるか、或いはイメージセンサチップ１３３０及び映像信号の処理器１３５０に分散されて具現されてもよい。または、位相差の算出部２０３、深さマップの生成部２０４、及び位相差の予測部２０６は、イメージセンサチップ１３３０及び映像信号の処理器１３５０と別個に提供されてもよい。

位相差の算出部２０３は、第１位相信号ＰＳ１及び第２位相信号ＰＳ２を受信する。位相差の算出部２０３は、第１位相信号ＰＳ１及び第２位相信号ＰＳ２の各々に基づいて第１位相差ＰＤ１及び第２位相差ＰＤ２を算出する。深さマップの生成部２０４は、第１位相差ＰＤ１及び第２位相差ＰＤ２に基づいて深さマップＤＭを生成する。
位相差の算出部２０３及び深さマップの生成部２０４の構成及び機能は、各々の図７乃至図９に対する説明で言及した位相差の算出部１０３及び深さマップの生成部１０４の構成及び機能を含む。説明を簡単にするため、位相差の算出部２０３及び深さマップの生成部２０４の構成及び機能に関する重複する説明は省略する。
位相差の予測部２０６は、第１位相差ＰＤ１に基づいて、第２位相差ＰＤ２として算出される値を予測する。位相差の予測部２０６は、予測された値ＰＶを深さマップの生成部２０４に提供する。深さマップの生成部２０４は、第１位相差ＰＤ１及び第２位相差ＰＤ２と共に、予測された値ＰＶを参照して深さマップＤＭを生成する。

第１位相差ＰＤ１は、レンズ１３１０（図１参照）が第１位置にある時、算出される。第１位相差ＰＤ１に基づいて、レンズ１３１０の焦点位置、客体とイメージセンサ１３３１（図２乃至図６参照）との間の距離、レンズ１３１０とイメージセンサ１３３１との間の距離等のような撮影の環境が獲得される。撮影の環境が獲得されれば、レンズ１３１０が第２位置に移動した時、第２位相差ＰＤ２として算出される値が予測される。
例として、レンズ１３１０が第１位置から第２位置に移動することによって、第１位相差ＰＤ１は、第２位相差ＰＤ２より先に算出される。位相差の予測部２０６は、レンズ１３１０が第２位置に移動する前に予め第２位相差ＰＤ２として算出される値を予測する。または、位相差の予測部２０６は、レンズ１３１０が第２位置に移動する時、第２位相差ＰＤ２として算出される値を予測することもできる。但し、この例は、本発明の理解を助けるためのものであり、本発明を制限するためのものではない。

幾つかの場合、位相差の予測部２０６によって予測された値ＰＶは、位相差の算出部２０３によって算出された第２位相差ＰＤ２と異なることがあり得る。例として、第１位相差ＰＤ１及び第２位相差ＰＤ２の中で少なくとも１つが誤差を含む場合、予測された値ＰＶが第２位相差ＰＤ２と異なることがあり得る。したがって、予測された値ＰＶが第２位相差ＰＤ２と異なる場合、誤差が補正される必要がある。

実施形態として、予測された値ＰＶと第２位相差ＰＤ２との間の差が基準値より大きい場合、誤差を補正するための処理が遂行される。基準値は、固定された値又は調節可能である値である。基準値は、必要によって異なって選択することができる。他の実施形態として、予測された値ＰＶが第２位相差ＰＤ２と異なる場合、誤差を補正するための処理を遂行することができる。
誤差を補正するための処理は、多様な方法で遂行することができる。実施形態として、誤差を補正するために、深さマップの生成部２０４は、予測された値ＰＶと第２位相差ＰＤ２との間の差を参照して深さマップＤＭを生成する。例として、深さマップの生成部２０４は、予測された値ＰＶと第２位相差ＰＤ２の平均に基づいて深さマップＤＭを生成することができる。

他の例として、深さマップの生成部２０４は、位相差がさらに正確に算出されるようにするレンズ１３１０の位置に関する情報を収集することができる。例として、深さマップの生成部２０４は、反復される撮影の中で周期的に又は特定の条件が満たされる時点ごとに情報を収集する。深さマップの生成部２０４は、収集された情報に基づいて第１位相差ＰＤ１及び第２位相差ＰＤ２の各々の信頼度を判別する。深さマップの生成部２０４は、第１位相差ＰＤ１及び第２位相差ＰＤ２の中でより高い信頼度を有する位相差により高い加重値を割当し、第１位相差ＰＤ１と第２位相差ＰＤ２の加重平均を算出する。深さマップの生成部２０４は、算出された加重平均に基づいて深さマップＤＭを生成する。

他の実施形態として、誤差を補正するために、位相差の算出部２０３は、他の位相差をさらに算出する。例として、レンズ１３１０は、第１位置及び第２位置と異なる第３位置に移動させる。レンズ１３１０が第３位置にある時、イメージセンサ１３３１の複数の位相検出ピクセルは、第３位相信号を生成する。位相差の算出部２０３は、第３位相信号に基づいて第３位相差を算出する。深さマップの生成部２０４は、第１位相差ＰＤ１、第２位相差ＰＤ２、及び第３位相差に基づいて深さマップＤＭを生成する。

第３位相差がさらに算出された場合、第１位相差ＰＤ１及び第２位相差ＰＤ２の中でどの位相差がより高い信頼度を有するか否かが判別される。例として、第３位相差が第２位相差ＰＤ２より第１位相差ＰＤ１にさらに類似である場合、第１位相差ＰＤ１は、第２位相差ＰＤ２より高い信頼度を有すると看做される。この例で、深さマップの生成部２０４は、第１位相差ＰＤ１及び第３位相差により高い加重値を割当て、第１位相差ＰＤ１、第２位相差ＰＤ２、及び第３位相差の加重平均を算出する。深さマップの生成部２０４は、算出された加重平均に基づいて深さマップＤＭを生成する。必要によって、位相差の算出部２０３は、第３位相差の外に他の位相差をさらに算出することができる。
但し、上記で言及した実施形態は、本発明の理解を助けるための例示である。誤差を補正するための条件及び処理は、多様に変更又は修正することができる。本発明は、上記で言及した実施形態に限定されない。

図１４は、本発明の実施形態による映像生成装置の構成を示すブロック図である。図１４を参照すれば、映像生成装置３００は、位相差の算出部３０３、深さマップの生成部３０４、及び空間周波数（Ｓｐａｔｉａｌ Ｆｒｅｑｕｅｎｃｙ）の算出部３０７を含む。
位相差の算出部３０３、深さマップの生成部３０４、及び空間周波数の算出部３０７は、イメージセンサチップ１３３０（図１参照）又は映像信号の処理器１３５０（図１参照）に具現するか、或いはイメージセンサチップ１３３０及び映像信号の処理器１３５０に分散されて具現することができる。または、位相差の算出部３０３、深さマップの生成部３０４、及び空間周波数の算出部３０７は、イメージセンサチップ１３３０及び映像信号の処理器１３５０に別個に提供することができる。

位相差の算出部３０３は、第１位相信号ＰＳ１及び第２位相信号ＰＳ２を受信する。位相差の算出部３０３は、第１位相信号ＰＳ１及び第２位相信号ＰＳ２の各々に基づいて第１位相差ＰＤ１及び第２位相差ＰＤ２が算出される。深さマップの生成部３０４は、第１位相差ＰＤ１及び第２位相差ＰＤ２に基づいて深さマップＤＭを生成する。
位相差の算出部３０３及び深さマップの生成部３０４の構成及び機能は、各々の図７乃至図９に対する説明で言及した位相差の算出部１０３及び深さマップの生成部１０４の構成及び機能を含む。説明を簡単にするため、位相差の算出部３０３及び深さマップの生成部３０４の構成及び機能に関する重複する説明は省略する。

実施形態として、空間周波数の算出部３０７は、映像信号ＩＳを受信する。映像信号ＩＳは、イメージセンサ１３３１（図２乃至図６参照）に含まれる複数のイメージセンサピクセルによって、生成される。上記で言及したように、映像信号ＩＳは、客体に関する映像を生成するために利用される。空間周波数の算出部３０７は、映像信号ＩＳを処理することによって、客体を撮影した映像と関連する空間周波数の情報を生成する。
映像の空間周波数は、その映像を生成するために撮影された客体に対して焦点が合ったか否かと関連する。客体に対する焦点がぼやけた時に撮影された映像の空間周波数の成分は、低い周波数領域に集中的に分布する。一方、客体に対する焦点が合った時に撮影された映像の空間周波数の成分は、低い周波数領域から高い周波数領域まで均一に分布する。

実施形態として、空間周波数の算出部３０７は、レンズ１３１０（図１参照）が第１位置にある時、第１空間周波数の情報を生成する。空間周波数の算出部３０７は、レンズ１３１０が第２位置にある時、第２空間周波数の情報を生成する。レンズ１３１０の位置が第１位置から第２位置に変更されることによって、第１空間周波数の情報は、第２空間周波数の情報と異なる。
空間周波数の算出部３０７は、第１空間周波数の情報及び第２空間周波数の情報に基づいて、レンズ１３１０が第１位置から第２位置に移動する時、空間周波数の値が変わった方向（即ち、高い周波数領域の空間周波数の成分の増加又は減少）を獲得する。空間周波数の算出部３０７は、第１空間周波数の情報及び第２空間周波数の情報に基づいて、レンズ１３１０が第１位置から第２位置に移動する時、空間周波数の値が変わった量を獲得する。空間周波数の算出部３０７は、第１空間周波数の情報、第２空間周波数の情報、空間周波数の値が変わった方向、空間周波数の値が変わった量等を含む空間周波数の情報ＳＦを深さマップの生成部３０４に提供する。

深さマップの生成部３０４は、第１位相差ＰＤ１及び第２位相差ＰＤ２と共に、空間周波数の情報ＳＦを参照して深さマップＤＭを生成する。特に、深さマップの生成部３０４は、空間周波数の値が変わった方向及び量の中で少なくとも１つを参照する。空間周波数は、第１位相差ＰＤ１及び第２位相差ＰＤ２の各々の信頼度を判別するために利用される。空間周波数の利用は、図１５及び図１６に関する説明でさらに言及する。

図１５は、本発明の実施形態による映像生成装置の構成を示すブロック図である。図１５を参照すれば、映像生成装置４００は、位相差の算出部４０３、深さマップの生成部４０４、空間周波数の算出部４０７、及び信頼度水準の算出部４０８を含む。
位相差の算出部４０３、深さマップの生成部４０４、空間周波数の算出部４０７、及び信頼度水準の算出部４０８は、イメージセンサチップ１３３０（図１参照）又は映像信号の処理器１３５０（図１参照）に具現されるか、或いはイメージセンサチップ１３３０及び映像信号の処理器１３５０に分散されて具現することができる。または、位相差の算出部４０３、深さマップの生成部４０４、空間周波数の算出部４０７、及び信頼度水準の算出部４０８は、イメージセンサチップ１３３０及び映像信号の処理器１３５０と別個に提供してもよい。

位相差の算出部４０３は、第１位相信号ＰＳ１及び第２位相信号ＰＳ２を受信する。位相差の算出部４０３は、第１位相信号ＰＳ１及び第２位相信号ＰＳ２の各々に基づいて第１位相差ＰＤ１及び第２位相差ＰＤ２を算出する。深さマップの生成部４０４は、第１位相差ＰＤ１及び第２位相差ＰＤ２に基づいて深さマップＤＭを生成する。
位相差の算出部４０３及び深さマップの生成部４０４の構成及び機能は、各々の図７乃至図９に対する説明で言及した位相差の算出部１０３及び深さマップの生成部１０４の構成及び機能を含む。説明を簡単にするため、位相差の算出部４０３及び深さマップの生成部４０４の構成及び機能に関する重複する説明は省略する。

空間周波数の算出部４０７は、イメージセンサ１３３１（図５参照）の複数のイメージセンサピクセルによって、生成された映像信号ＩＳを受信する。空間周波数の算出部４０７は、映像信号ＩＳを処理することによって、空間周波数の情報ＳＦを生成する。空間周波数の算出部４０７は、空間周波数の情報ＳＦを深さマップの生成部４０４に提供する。
例として、空間周波数の算出部４０７は、レンズ１３１０（図１参照）が第１位置にある時、生成された第１映像信号を処理することによって、客体を撮影した第１映像と関連した第１空間周波数の情報を生成する。空間周波数の算出部４０７は、レンズ１３１０が第２位置にある時、生成された第２映像信号を処理することによって、客体を撮影した第２映像と関連した第２空間周波数の情報を生成する。空間周波数の算出部４０７は、第１空間周波数の情報及び第２空間周波数の情報に基づいて、空間周波数の値が変わった方向及び量の中で少なくとも１つを獲得する。

空間周波数の算出部４０７の構成及び機能は、図１４に関する説明で言及した空間周波数の算出部３０７の構成及び機能を含む。説明を簡単にするため、空間周波数の算出部４０７の構成及び機能に関する重複する説明は省略する。
信頼度水準の算出部４０８は、第１位相差ＰＤ１に関する第１信頼度水準を算出する。信頼度水準の算出部４０８は、第２位相差ＰＤ２に関する第２信頼度水準を算出する。上記で言及したように、第１位相差ＰＤ１及び第２位相差ＰＤ２の中で少なくとも１つが誤差を含む。信頼度水準の算出部４０８は、第１位相差ＰＤ１及び第２位相差ＰＤ２に含まれる誤差に関する信頼度水準ＲＬを算出する。例として、誤差の大きさが小さいほど、信頼度水準が高くなる。

実施形態として、信頼度水準の算出部４０８は、空間周波数の値が変わった方向に基づいて信頼度水準ＲＬを算出する。例として、レンズ１３１０が第１位置から第２位置に移動することによって、レンズ１３１０の位置が焦点の位置に近くなれば、高い周波数領域の空間周波数の成分が増加する。しかし、第１位相差ＰＤ１及び第２位相差ＰＤ２の中で少なくとも１つが誤差を含む場合、レンズ１３１０の位置が焦点の位置に近くになったにも拘らず、高い周波数領域の空間周波数の成分が減少するように見える。この場合、第１位相差ＰＤ１又は第２位相差ＰＤ２は、低い信頼度水準を有する。

例として、信頼度水準の算出部４０８は、位相差がさらに正確に算出されるようにするレンズ１３１０の位置に関する情報を収集する。例として、信頼度水準の算出部４０８は、反複される撮影の中で周期的に又は特定の条件が満たされる時点ごとに情報を収集する。信頼度水準の算出部４０８は、収集された情報に基づいて第１位相差ＰＤ１及び第２位相差ＰＤ２の中で低い信頼度水準を有する位相差を選択する。
他の例として、レンズ１３１０が第１位置及び第２位置と異なる第３位置にある時、第３位相差がさらに生成される。信頼度水準の算出部４０８は、第１位相差ＰＤ１、第２位相差ＰＤ２、及び第３位相差を比較することによって、低い信頼度水準を有する位相差を選択する。さらに、信頼度水準の算出部４０８は、選択されない位相差に対して高い信頼度水準を算出することができる。

実施形態として、深さマップの生成部４０４は、第１位相差ＰＤ１に基づいて生成された第１深さデータ及び第２位相差ＰＤ２に基づいて生成された第２深さデータに第１信頼度水準及び第２信頼度水準を反映することによって、深さマップＤＭを生成する。例として、深さマップの生成部４０４は、より高い信頼度水準を有する位相差により高い加重値を割当し、加重平均を算出する。深さマップの生成部４０４は、算出された加重平均に基づいて深さマップＤＭを生成する。

図１６は、本発明の実施形態による映像生成装置の構成を示すブロック図である。図１６を参照すれば、映像生成装置５００は、位相差の算出部５０３、深さマップの生成部５０４、位相差の予測部５０６、空間周波数の算出部５０７、及び信頼度水準の算出部５０８を含む。
位相差の算出部５０３、深さマップの生成部５０４、位相差の予測部５０６、空間周波数の算出部５０７、及び信頼度水準の算出部５０８は、イメージセンサチップ１３３０（図１参照）又は映像信号の処理器１３５０（図１参照）に具現されるか、或いはイメージセンサチップ１３３０及び映像信号の処理器１３５０に分散して具現することができる。または、位相差の算出部５０３、深さマップの生成部５０４、位相差の予測部５０６、空間周波数の算出部５０７、及び信頼度水準の算出部５０８は、イメージセンサチップ１３３０及び映像信号の処理器１３５０と別個に提供してもよい。

位相差の算出部５０３は、第１位相信号ＰＳ１及び第２位相信号ＰＳ２を受信する。位相差の算出部５０３は、第１位相信号ＰＳ１及び第２位相信号ＰＳ２の各々に基づいて第１位相差ＰＤ１及び第２位相差ＰＤ２を算出する。深さマップの生成部５０４は、第１位相差ＰＤ１及び第２位相差ＰＤ２に基づいて深さマップＤＭを生成する。
位相差の算出部５０３及び深さマップの生成部５０４の構成及び機能は、各々の図７乃至図９に対する説明で言及された位相差の算出部１０３及び深さマップの生成部１０４の構成及び機能を含む。説明を簡単にするため、位相差の算出部５０３及び深さマップの生成部５０４の構成及び機能に関する重複する説明は省略する。
位相差の予測部５０６は、第１位相差ＰＤ１に基づいて、第２位相差ＰＤ２として算出される値を予測する。位相差の予測部５０６は、予測された値ＰＶを深さマップの生成部５０４に提供する。位相差の予測部５０６の構成及び機能は、図１３の位相差の予測部２０６の構成及び機能を含む。説明を簡単にするため、位相差の予測部５０６の構成及び機能に関する重複する説明は省略する。

空間周波数の算出部５０７は、映像信号ＩＳを受信する。映像信号ＩＳは、イメージセンサ１３３１（図２乃至図６参照）に含まれる複数のイメージセンサピクセルによって、生成される。空間周波数の算出部５０７は、映像信号ＩＳを処理することによって、客体を撮影した映像と関連された空間周波数の情報ＳＦを生成する。空間周波数の算出部５０７の構成及び機能は、図１４の空間周波数の算出部３０７の構成及び機能又は図１５の空間周波数の算出部４０７の構成及び機能を含む。説明を簡単にするため、空間周波数の算出部５０７の構成及び機能に関する重複する説明は省略する。

信頼度の算出部５０８は、第１位相差ＰＤ１に関する第１信頼度水準を算出する。信頼度水準の算出部５０８は、第２位相差ＰＤ２に関する第２信頼度水準を算出する。実施形態として、信頼度の算出部５０８は、位相差の予測部５０６によって予測された値ＰＶ、第１位相差ＰＤ１、第２位相差ＰＤ２、空間周波数の情報ＳＦの中で少なくとも１つに基づいて信頼度水準ＲＬを算出する。信頼度の算出部５０８の構成及び機能は、図１５の信頼度の算出部４０８の構成及び機能を含む。説明を簡単にするため、信頼度の算出部５０８の構成及び機能に関する重複する説明は省略する。

レンズ１３１０（図１参照）の移動方向と空間周波数の変化との間に一貫性（Ｃｏｎｓｉｓｔｅｎｃｙ）があるべきである。さらに、第１位相差ＰＤ１及び第２位相差ＰＤ２が誤差を含まず、位相差の予測部５０６によって予測された値ＰＶと第２位相差ＰＤ２が同一であることが望ましい。レンズ１３１０の移動方向と空間周波数の変化との間に一貫性が無いか、或いは予測された値ＰＶが第２位相差ＰＤ２と異なる場合、信頼度水準の算出部５０８は、非一貫性及び誤差を参照して信頼度水準ＲＬを算出する。

深さマップの生成部５０４は、第１位相差ＰＤ１及び第２位相差ＰＤ２と共に、信頼度水準ＲＬに基づいて深さマップＤＭを生成する。実施形態として、深さマップの生成部５０４は、第１位相差ＰＤ１に基づいて生成された第１深さデータ及び第２位相差ＰＤ２に基づいて生成された第２深さデータに第１信頼度水準及び第２信頼度水準を反映することによって、深さマップＤＭを生成する。この実施形態は、図１５に対する説明と共に言及した。
位相差の算出部５０３、深さマップの生成部５０４、位相差の予測部５０６、空間周波数の算出部５０７、及び信頼度水準の算出部５０８の各々は、アナログ回路、論理回路等のハードウェアで具現することができる。または、位相差の算出部５０３、深さマップの生成部５０４、位相差の予測部５０６、空間周波数の算出部５０７、及び信頼度水準の算出部５０８の機能は、ソフトウェアによって具現することができる。

本発明の実施形態による映像生成装置は、少ない面積又は体積を占める。さらに、本発明の実施形態によれば、様々な深さデータを参照して誤差を補正することによって、より高い信頼性を有する深さマップを生成することができる。
図１７は、本発明の実施形態による映像生成装置の構成を示すブロック図である。図１７を参照すれば、映像生成装置６００は、位相差の算出部６０３、深さマップの生成部６０４、及び深さマップの後処理部６０９を含む。

位相差の算出部６０３、深さマップの生成部６０４、及び深さマップの後処理部６０９は、イメージセンサチップ１３３０（図１参照）又は映像信号の処理器１３５０（図１参照）に具現されるか、或いはイメージセンサチップ１３３０及び映像信号の処理器１３５０に分散して具現することができる。または、位相差の算出部６０３、深さマップの生成部６０４、及び深さマップの後処理部６０９は、イメージセンサチップ１３３０及び映像信号の処理器１３５０と別個に提供してもよい。

位相差の算出部６０３は、第１位相信号ＰＳ１及び第２位相信号ＰＳ２を受信する。位相差の算出部６０３は、第１位相信号ＰＳ１及び第２位相信号ＰＳ２の各々に基づいて第１位相差ＰＤ１及び第２位相差ＰＤ２を算出する。深さマップの生成部６０４は、第１位相差ＰＤ１及び第２位相差ＰＤ２に基づいて深さマップＤＭを生成する。
位相差の算出部６０３及び深さマップの生成部６０４の構成及び機能は、各々の図７乃至図９に対する説明で言及した位相差の算出部１０３及び深さマップの生成部１０４の構成及び機能を含む。説明を簡単にするため、位相差の算出部６０３及び深さマップの生成部６０４の構成及び機能に関する重複する説明は省略する。

深さマップの後処理部６０９は、深さマップＤＭの解像度を変更させる。実施形態として、深さマップの後処理部６０９は、客体映像及び深さマップＤＭに対して映像整合を遂行する。客体映像は、イメージセンサ１３３１（図２乃至図６参照）に含まれる複数のイメージセンサピクセルによって生成された映像信号に基づいて生成された映像である。深さマップの後処理部６０９は、映像整合を遂行することによって、変更された解像度を有する深さマップＤＭ’を生成する。

例として、図４に示したように、複数の位相検出ピクセルが複数のイメージセンサピクセルと重畳されないように構成される場合、深さマップＤＭは、客体映像のものより低い解像度を有する。深さマップの後処理部６０９は、客体映像を参照して、深さデータが獲得されない映像領域に対応する深さデータを推定する。例として、深さマップの後処理部６０９は、客体映像に含まれるエッジ（Ｅｄｇｅ）成分を取出し、エッジ成分と深さマップＤＭに対して映像整合を遂行することによって、深さデータが獲得されない映像領域に対応する深さデータを推定する。
上の例で、深さマップの後処理部６０９は、深さマップＤＭ及び推定された深さデータに基づいて、変更された解像度を有する深さマップＤＭ’を生成する。例として、深さマップＤＭの解像度を高めることによって、深さマップＤＭ’は、客体映像のことと同一の解像度を有する。

しかし、本発明は、上記の例に限定されない。深さマップの後処理部６０９は、深さマップＤＭの解像度を多様に変更させることができる。深さマップＤＭ’は、客体映像のものと異なる解像度を有する。深さマップＤＭの解像度は、高くなるか、或いは低くなる。さらに、図３に示したように、１つのピクセル単位がイメージセンサピクセルのみではなく、位相検出ピクセルとして利用される場合にも、深さマップＤＭの解像度を変更させるために深さマップの後処理部６０９を利用することができる。

例として、深さマップの後処理部６０９は、特定の条件が満たされば、動作するように構成される。この例で、映像生成装置６００は、深さマップの後処理部６０９が動作するか否かを判別するために利用される判別ロジック又は回路をさらに含む。他の例として、映像生成装置６００は、追加の制御信号ライン又はユーザーインターフェイスをさらに含む。映像生成装置６００は、追加の制御信号ライン又はユーザーインターフェイスを通じて深さマップの後処理部６０９を動作させるための命令を受信する。

図１８は、本発明の実施形態による映像生成装置を含む電子システムの構成及びそれのインターフェイスを示すブロック図である。電子システム５０００は、ＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）連合（Ａｌｌｉａｎｃｅ）によって提案されたインターフェイスを利用するか、或いは支援することができるデータ処理装置に具現されることができる。例として、電子システム５０００は、携帯用の通信端末機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｅｄｉａ Ｐｌａｙｅｒ）、スマートフォン、又はウェアラブル装置等のような電子装置に具現することができる。

電子システム５０００は、アプリケーションプロセッサ５１００、ディスプレイ５２２０、及びイメージセンサ５２３０を含む。アプリケーションプロセッサ５１００は、ＤｉｇＲＦマスター５１１０、ＤＳＩ（Ｄｉｓｐｌａｙ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ）ホスト５１２０、ＣＳＩ（Ｃａｍｅｒａ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ）ホスト５１３０、物理階層５１４０、及び映像信号の処理器５１５０を含む。

ＤＳＩホスト５１２０は、ＤＳＩによってディスプレイ５２２０のＤＳＩ装置５２２５と通信する。例として、ＤＳＩホスト５１２０には光シリアライザＳＥＲが具現される。例として、ＤＳＩ装置５２２５には光デシリアライザＤＥＳが具現される。
ＣＳＩホスト５１３０は、ＣＳＩによってイメージセンサ５２３０のＣＳＩ装置５２３５と通信する。例として、ＣＳＩホスト５１３０には光デシリアライザＤＥＳが具現される。例として、ＣＳＩ装置５２３５には光シリアライザＳＥＲが具現される。映像信号の処理器５１５０は、メモリ（例えば、ウォーキングメモリ５２５０又はアプリケーションプロセッサ５１００に内装されたメモリ）及びバスを通じてＣＳＩホスト５１３０と通信する。

映像信号の処理器５１５０及びイメージセンサ５２３０の中で少なくとも１つは、図７乃至図１７に対する説明で言及した本発明の実施形態の中で少なくとも１つにしたがって構成される。例として、図１０で説明したように、イメージセンサ５２３０は、レンズを２つ以上の位置の各々に移動させ、複数の位相検出ピクセルを利用して様々な深さデータを生成し、様々な深さデータに基づいて深さマップを生成する。例として、図１１で説明したように、映像信号の処理器５１５０は、レンズを２つ以上の位置の各々に移動させるためにレンズの駆動信号を生成し、複数の位相検出ピクセルを利用して生成された様々な深さデータに基づいて深さマップを生成する。本発明の実施形態に関する詳細な説明は省略する。

電子システム５０００は、アプリケーションプロセッサ５１００と通信するＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）チップ５２４０をさらに含む。ＲＦチップ５２４０は、物理階層５２４２、ＤｉｇＲＦスレーブ５２４４、及びアンテナ５２４６を含む。例として、ＲＦチップ５２４０の物理階層５２４２とアプリケーションプロセッサ５１００の物理階層５１４０とは、ＭＩＰＩ連合によって提案されたＤｉｇＲＦインターフェイスによって互いにデータを交換する。

電子システム５０００は、ウォーキングメモリ５２５０（Ｗｏｒｋｉｎｇ Ｍｅｍｏｒｙ）及び埋め込み型（Ｅｍｂｅｄｄｅｄ）／カードストレージ５２５５をさらに含む。ウォーキングメモリ５２５０及び埋め込み型／カードストレージ５２５５は、アプリケーションプロセッサ５１００から提供されたデータを格納する。さらに、ウォーキングメモリ５２５０及び埋め込み型／カードストレージ５２５５は、格納されたデータをアプリケーションプロセッサ５１００に提供する。

ウォーキングメモリ５２５０は、アプリケーションプロセッサ５１００によって処理された又は処理されるデータを一時的に格納する。ウォーキングメモリ５２５０は、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）等のような揮発性メモリ、又はフラッシュ（Ｆｌａｓｈ）メモリ、ＰＲＡＭ（Ｐｈａｓｅ−ｃｈａｎｇｅ ＲＡＭ）、ＭＲＡＭ（Ｍａｇｎｅｔｏ−ｒｅｓｉｓｔｉｖｅ ＲＡＭ）、ＲｅＲＡＭ（Ｒｅｓｉｓｔｉｖｅ ＲＡＭ）、ＦＲＡＭ（登録商標）（Ｆｅｒｒｏ−ｅｌｅｃｔｒｉｃ ＲＡＭ）等のような不揮発性メモリを含む。埋め込み型／カードストレージ５２５５は、電源供給の可否と関わらず、データを格納する。

電子システム５０００は、Ｗｉｍａｘ５２６０（Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＷＬＡＮ５２６２（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＵＷＢ５２６４（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）等のような通信モジュールを通じて外部システムと通信する。電子システム５０００は、音声情報を処理するためのスピーカ５２７０及びマイク５２７５をさらに含む。さらに、電子システム５０００は、位置情報を処理するためのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）装置５２８０をさらに含む。電子システム５０００は、周辺装置との連結を管理するためのブリッジ（Ｂｒｉｄｇｅ）チップ５２９０をさらに含む。

各々の概念図に示した構成は、単なる概念的な観点で理解しなければならない。本発明の理解を助けるために、概念図に示した構成要素の各々の形態、構造、大きさ等は、誇張又は縮小されて表現されている。実際に具現される構成は、各々の概念図に示したことと異なる物理的な形状を有する。各々の概念図は、構成要素の物理的な形状を制限するためのものではない。
各々のブロック図に示した装置構成は、発明の理解を助けるためのものである。各々のブロックは、機能によってさらに小さい単位のブロックに形成される。または複数のブロックは、機能によってさらに大きい単位のブロックを形成することができる。即ち、本発明の技術思想は、ブロック図として図示された構成によって限定されない。

以上で本発明に対する実施形態を中心に本発明を説明した。但し、本発明が属する技術分野の特徴上、本発明が解決しようとする目的は、本発明の要旨を含みながらも上記の実施形態と異なる形態に達成される。したがって、上記の実施形態は、限定的なものではなく、説明の側面で理解しなければならない。即ち、本発明の要旨を含みながら、本発明のような目的を達成できる技術思想は、本発明の技術思想に含まれることと解釈されなければならない。
したがって、本発明の本質的な特性を逸脱しない範囲内で修正又は変形された技術思想は、本発明が請求する保護範囲に含まれるものである。また、本発明の保護範囲は、上記の実施形態に限定されるものではない。

１００ 映像生成装置
１０３ 位相差の算出部
１０４ 深さマップの生成部
２００ 映像生成装置
２０３ 位相差の算出部
２０４ 深さマップの生成部
２０６ 位相差の予測部
３００ 映像生成装置
３０３ 位相差の算出部
３０４ 深さマップの生成部
３０７ 空間周波数の算出部
４００ 映像生成装置
４０３ 位相差の算出部
４０４ 深さマップの生成部
４０７ 空間周波数の算出部
４０８ 信頼度水準の算出部
５００ 映像生成装置
５０３ 位相差の算出部
５０４ 深さマップの生成部
５０６ 位相差の予測部
５０７ 空間周波数の算出部
５０８ 信頼度水準の算出部
６００ 映像生成装置
６０３ 位相差の算出部
６０４ 深さマップの生成部
６０９ 深さマップの後処理部
１０００ 映像生成システム
１１００ 客体
１３００ 映像生成装置
１３１０ レンズ
１３３０ イメージセンサチップ
１３３１ イメージセンサ
１３５０ 映像信号の処理器
２３００ 映像生成装置
２３１０ レンズ
２３３０ イメージセンサチップ
２３３１ イメージセンサ
２３３２ レンズ駆動部
２３３３ 位相差の算出部
２３３４ 深さマップの生成部
２３５０ 映像信号の処理器
３３００ 映像生成装置
３３１０ レンズ
３３３０ イメージセンサチップ
３３５０ 映像信号の処理器
３３５３ 位相差の算出部
３３５４ 深さマップの生成部
３３５５ レンズの位置制御部
４３００ 映像生成装置
４３１０ レンズ
４３３０ イメージセンサチップ
４３５０ 映像信号の処理器
４３７３ 位相差の算出部
４３７４ 深さマップの生成部
５０００ 電子システム
５１００ アプリケーションプロセッサ
５１１０ ＤｉｇＲＦマスター
５１２０ ＤＳＩホスト
５１３０ ＣＳＩホスト
５１４０ 物理階層
５１５０ 映像信号の処理器
５２２０ ディスプレイ
５２２５ ＤＳＩ装置
５２３０ イメージセンサ
５２３５ ＣＳＩ装置
５２４０ ＲＦチップ
５２４２ 物理階層
５２４４ ＤｉｇＲＦスレーブ
５２４６ アンテナ
５２５０ ウォーキングメモリ
５２５５ 埋め込み型／カードストレージ
５２６０ Ｗｉｍａｘ
５２６２ ＷＬＡＮ
５２６４ ＵＷＢ
５２７０ スピーカ
５２７５ マイク
５２８０ ＧＰＳ
５２９０ ブリッジチップ

Claims (24)

1. 客体に対応する映像信号を生成するように構成される複数のイメージセンサピクセル、及び映像の間の位相差が算出されるために利用される第１及び第２位相信号を生成するように構成される複数の位相検出ピクセルを含むイメージセンサと、
   レンズと前記客体との間の距離を調節するために前記レンズの位置を調節するように構成されるレンズ駆動部と、
   前記レンズが第１位置にある時、生成された前記第１位相信号に基づいて第１位相差を算出し、前記レンズが前記第１位置と異なる第２位置にある時、生成された前記第２位相信号に基づいて第２位相差が算出されるように構成される位相差の算出部と、
   前記第１及び第２位相差の各々に基づいて前記複数の位相検出ピクセルと前記客体との間の距離に関する第１及び第２深さデータを生成し、前記第１及び第２深さデータに基づいて深さマップを生成するように構成される深さマップの生成部と、を含む映像生成装置。
2. 前記第１位相差に基づいて、前記第２位相差として算出される値を予測するように構成される位相差の予測部をさらに含む請求項１に記載の映像生成装置。
3. 前記レンズが前記レンズ駆動部の制御によって前記第１位置から前記第２位置に移動することによって、前記第１位相差は、前記第２位相差より先に算出され、
   前記位相差の予測部は、前記レンズが前記第２位置に移動する前、又は移動する時、前記第２位相差として算出される値を予測するように構成される請求項２に記載の映像生成装置。
4. 前記位相差の予測部によって予測された値と前記位相差の算出部によって算出された前記第２位相差との間の差が基準値より大きい場合、前記深さマップの生成部は、前記差を参照して前記深さマップを生成するように構成される請求項２に記載の映像生成装置。
5. 前記複数の位相検出ピクセルの各々は、前記複数のイメージセンサピクセルの中で２つのイメージセンサピクセルに対応するように構成される請求項１に記載の映像生成装置。
6. 前記複数の位相検出ピクセルは、前記複数のイメージセンサピクセルと重畳されないように前記複数のイメージセンサピクセルの位置と異なる位置に配置される請求項１に記載の映像生成装置。
7. 前記映像信号を処理することによって、前記客体を撮影した映像と関連された空間周波数の情報を生成するように構成される空間周波数の算出部をさらに含む請求項１に記載の映像生成装置。
8. 前記空間周波数の算出部は、前記レンズが前記第１位置にある時、第１空間周波数の情報を生成し、前記レンズが前記第２位置にある時、第２空間周波数の情報を生成するように構成される請求項７に記載の映像生成装置。
9. 前記空間周波数の算出部は、前記第１及び第２空間周波数の情報に基づいて、前記レンズが前記第１位置から前記第２位置に移動する時、空間周波数の値が変わった方向及び量の中で少なくとも１つを獲得するようにさらに構成され、
   前記深さマップの生成部は、前記空間周波数の値が変わった方向及び量の中で少なくとも１つを参照して前記深さマップを生成するように構成される請求項８に記載の映像生成装置。
10. 前記イメージセンサ、前記レンズ駆動部、前記位相差の算出部、及び前記深さマップの生成部は、１つのイメージセンサチップに具現される請求項１に記載の映像生成装置。
11. イメージセンサに含まれる複数の位相検出ピクセルによって生成された第１及び第２位相信号を受信し、客体からの距離が増加する方向又は減少する方向に移動するように構成されるレンズが第１位置にある時、生成された前記第１位相信号に基づいて第１位相差を算出し、前記レンズが前記第１位置と異なる第２位置にある時、生成された前記第２位相信号に基づいて第２位相差が算出されるように構成される位相差の算出部と、
    前記第１及び第２位相差の中で少なくとも１つに基づいて前記客体に対する焦点を合わせるための前記レンズの焦点位置を算出し、前記レンズを前記焦点の位置に移動させるためにレンズの駆動信号を生成するように構成されるレンズ位置の制御部と、
    前記第１及び第２位相差の各々に基づいて前記複数の位相検出ピクセルと前記客体との間の距離に関する第１及び第２深さデータを生成し、前記第１及び第２深さデータに基づいて深さマップを生成するように構成される深さマップの生成部と、を含む映像生成装置。
12. 前記第１位置及び前記第２位置の中で１つは、前記焦点の位置に対応する請求項１１に記載の映像生成装置。
13. 前記第１位相差に基づいて、前記第２位相差として算出される値を予測するように構成される位相差の予測部と、
    前記イメージセンサに含まれる複数のイメージセンサピクセルによって生成された映像信号を処理することによって、前記客体を撮影した映像と関連された空間周波数の情報を生成するように構成される空間周波数の算出部と、をさらに含む請求項１１に記載の映像生成装置。
14. 前記位相差の予測部によって予測された値、前記位相差の算出部によって算出された前記第２位相差、及び前記レンズが前記第１位置から前記第２位置に移動する時、空間周波数の値が変わった方向の中で少なくとも１つに基づいて、前記第１位相差に関する第１信頼度水準及び前記第２位相差に関する第２信頼度水準が算出されるように構成される信頼度水準の算出部をさらに含む請求項１３に記載の映像生成装置。
15. 前記深さマップの生成部は、前記第１及び第２深さデータに前記第１及び第２信頼度水準を反映することによって、前記深さマップを生成するように構成される請求項１４に記載の映像生成装置。
16. 前記イメージセンサに含まれる複数のイメージセンサピクセルによって生成された映像信号に基づいて生成された客体映像、及び前記深さマップに対して映像整合を遂行することによって、前記深さマップの解像度を変更させるように構成される深さマップの後処理部をさらに含む請求項１１に記載の映像生成装置。
17. 前記位相差の算出部、前記レンズ位置の制御部、及び前記深さマップの生成部は、アプリケーションプロセッサを含む演算処理装置に具現される請求項１１に記載の映像生成装置。
18. 深さマップを生成するように構成される映像生成装置において、
    客体からの距離が増加する方向又は減少する方向に移動するように構成されるレンズが第１位置にある時、複数の位相検出ピクセルによって生成された第１位相信号及び前記レンズが前記第１位置と異なる第２位置にある時、前記複数の位相検出ピクセルによって生成された第２位相信号の各々に基づいて第１及び第２位相差が算出されるように構成される位相差の算出部と、
    前記第１及び第２位相差の各々に基づいて前記複数の位相検出ピクセルと前記客体との間の距離に関する第１及び第２深さデータを生成し、前記第１及び第２深さデータに基づいて前記深さマップを生成するように構成される深さマップの生成部と、を含む映像生成装置。
19. 前記第１位相差に基づいて、前記第２位相差として算出される値を予測するように構成される位相差の予測部をさらに含み、
    前記位相差の予測部によって予測された値が前記位相差の算出部によって算出された前記第２位相差と異なる場合、
    前記位相差の算出部は、前記レンズが前記第１及び第２位置と異なる第３位置にある時、前記複数の位相検出ピクセルによって生成された第３位相信号に基づいて第３位相差が算出されるようにさらに構成され、
    前記深さマップの生成部は、前記第３位相差に基づいて前記複数の位相検出ピクセルと前記客体との間の距離に関する第３深さデータを生成し、前記第１乃至第３深さデータに基づいて前記深さマップを生成するようにさらに構成される請求項１８に記載の映像生成装置。_<}100{>前記深さマップの生成部は、前記第３位相差に基づいて前記複数の位相検出ピクセルと前記客体との間の距離に関する第３深さデータを生成し、前記第１乃至第３深さデータに基づいて前記深さマップを生成するようにさらに構成される請求項１８に記載の映像生成装置。
20. 前記レンズが前記第１位置にある時、複数のイメージセンサピクセルによって生成された第１映像信号を処理することによって、前記客体を撮影した第１映像と関連された第１空間周波数の情報を生成し、前記レンズが前記第２位置にある時、前記複数のイメージセンサピクセルによって生成された第２映像信号を処理することによって、前記客体を撮影した第２映像と関連された第２空間周波数の情報を生成し、前記第１及び第２空間周波数の情報に基づいて空間周波数の値が変わった方向を獲得するように構成される空間周波数の算出部と、
    前記空間周波数の値が変わった方向に基づいて、前記第１位相差に関する第１信頼度水準及び前記第２位相差に関する第２信頼度水準が算出されるように構成される信頼度水準の算出部と、をさらに含み、
    前記深さマップの生成部は、前記第１及び第２深さデータに前記第１及び第２信頼度水準を反映することによって、前記深さマップを生成するように構成される請求項１８に記載の映像生成装置。
21. 客体に対応する映像信号を生成するように構成される複数のイメージセンサピクセル、及び第１及び第２位相信号を生成するように構成される複数の位相検出ピクセルを含むイメージセンサと、
    前記イメージセンサの位置を基準に移動するように構成されるレンズと、
    コンピュータに読み出される命令語を格納するメモリと、
    前記命令語を実行するように構成される１つ以上のプロセッサと、を含み、
    前記１つ以上のプロセッサは、前記命令語を実行して、
    前記レンズが前記イメージセンサに対して第１位置にある時、生成される前記第１位相信号に基づいて第１位相差を決定し、
    前記レンズが前記イメージセンサに対して第２位置にある時、生成される前記第２位相信号に基づいて第２位相差を決定し、
    前記第１及び第２位相差に基づいて各々の第１及び第２深さデータを生成し、
    前記第１及び第２深さデータに基づいて深さマップを生成するように構成され、
    前記第１及び第２深さデータの各々は、前記複数の位相検出ピクセルと前記客体との間の距離を示す映像生成装置。
22. 前記イメージセンサに対する前記レンズの位置を選択的に調節するように構成されるレンズ駆動部をさらに含む請求項２１に記載の映像生成装置。
23. 前記１つ以上のプロセッサは、前記第１位相差に基づいて前記第２位相差の値を予測するようにさらに構成される請求項２２に記載の映像生成装置。
24. 前記１つ以上のプロセッサは、
    前記レンズ駆動部の制御によって前記レンズが前記第１位置から前記第２位置に移動することによって、前記第２位相差が算出される前に、前記第１位相差を算出し、
    前記レンズ駆動部の制御によって前記レンズが前記第２位置に移動する前、又は移動する間に、前記第２位相差の値を予測するように構成される請求項２３に記載の映像生成装置。

Images