JP2015211468A - イメージセンサと被写体間の距離を判定する方法および装置 - Google Patents

Abstract

【課題】本発明は、イメージセンサと被写体間の距離を判定する方法および装置を開示する。【解決手段】イメージセンサと被写体間の距離を判定する方法は、受信するＲ（ｒｅｄ）信号、Ｇ（ｇｒｅｅｎ）信号、またはＢ（ｂｌｕｅ）信号のうちいずれか１つの信号をカットオフ（ｃｕｔ−ｏｆｆ）するカットオフフィルタを利用し、被写体の第１イメージおよび前記第１イメージと区別される第２イメージを取得する段階、および前記第１イメージおよび前記第２イメージそれぞれに含まれる前記被写体のブラー（ｂｌｕｒ）の変化に基づいて前記イメージセンサと前記被写体間の距離を判定する段階を含む。【選択図】図１

Description

本発明は、イメージセンサと被写体間の距離を判定する装置およびその方法に関し、より詳細には、カメラレンズの絞りの他に、イメージセンサで受信するＲ（ｒｅｄ）信号、Ｇ（ｇｒｅｅｎ）信号、またはＢ（ｂｌｕｅ）信号のうちいずれか１つの信号をカットオフ（ｃｕｔ−ｏｆｆ）する絞りを利用してイメージセンサと被写体間の距離を画素別に決める技術に関する。

既存のイメージセンサと被写体間の距離を判定する技術は、２台のカメラを利用し、それぞれのカメラの視差によって撮影されたイメージの差（ｄｉｓｐａｒｉｔｙ）に基づいて距離を判定する。このような場合には、機械的にモジュールの構成が大きくなるためモバイル機器への装着が困難となり、価格が上昇するという問題がある。

これを解決するために、１台のカメラを利用して距離を判定する技術が提案された。１台のカメラを利用して距離を判定する既存の技術では、ＩＲ（ｉｎｆｒａｒｅｄ ｒａｙ）信号をカットオフするフィルタのピンホール（ｐｉｎ ｈｏｌｅ）を絞りとして利用して距離に係らずに鮮明に得られたＩＲ信号で構成されるイメージおよびレンズの絞りを利用して得られたＲ信号、Ｇ信号、およびＢ信号で構成されるＲＧＢイメージのブラー（ｂｌｕｒ）程度に基づいてイメージセンサと被写体間の距離を判定する。以下、イメージセンサは、ＣＩＳ（ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ）およびＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）で構成されるモジュールを意味する。

イメージセンサと被写体間の距離を判定する既存の技術において、イメージセンサは、ＩＲ信号で構成されたイメージを得るためにＩＲ信号を処理する別途のＩＲセル（ｃｅｌｌ）を含まなければならない。また、既存のイメージセンサと被写体間の距離を判定する装置は、ＩＲ信号がない室内と夜間の場合には、ＩＲ信号を発生させるＩＲ ＬＥＤを備えなければならないという短所がある。

さらに、イメージセンサと被写体間の距離を判定する既存の技術において、Ｒ信号、Ｇ信号、およびＢ信号を処理するセルに、ＩＲカットオフフィルタに含まれるピンホール（ｐｉｎ ｈｏｌｅ）から流入したＩＲ信号が過度に多く受信される色再現性が低下するため、ＲＧＢイメージの品質が低下し、カメラとしての利用が困難になるという問題もある。このような色再現性は、複雑な補償回路を追加したとしても、光源によるスペクトルが異なるため、基本的に解決が困難であるという短所がある。

これにより、本明細書では、別途のＩＲセルおよびＩＲ ＬＥＤを備えなくてもイメージセンサと被写体間の距離を決め、Ｒ信号、Ｇ信号、およびＢ信号で構成されるＲＧＢイメージの品質を保障する技術を提案する。

なお、米国公開特許公報ＵＳ２０１２／０００８０２３Ａ１（Ｊａｎ．１２，２０１２）、ＵＳ２０１２／０１５４５９６Ａ１（Ｊｕｎ．２１，２０１２）、ＵＳ２０１３／0033579Ａ１（Ｆｅｂ．０７，２０１３）、およびＵＳ２０１３／００３３５７８Ａ１（Ｆｅｂ．０７，２０１３）に記述された内容は、本発明によって参照される。

別途のＩＲセルおよびＩＲ ＬＥＤを備えなくてもイメージセンサと被写体間の距離を決め、Ｒ信号、Ｇ信号、およびＢ信号で構成されるＲＧＢイメージの品質を保障する方法、装置、システムを提供する。

本発明の実施形態は、イメージセンサに入射する信号のうちＩＲ信号をカットオフするＩＲカットオフフィルタを利用し、イメージセンサからＩＲ信号を除いたＲ信号、Ｇ信号、およびＢ信号が受信されるようにすることにより、太陽光の下でもイメージの色感を低下させずにＲ信号、Ｇ信号、およびＢ信号で構成されるＲＧＢイメージの品質を保障する方法、装置、およびシステムを提供する。

また、本発明の実施形態は、レンズの絞りおよびＩＲカットオフフィルタを通過したＲ信号、Ｇ信号、またはＢ信号のうちカットオフフィルタによってカットオフされたいずれか１つの信号を除いた残りの信号で構成される第１イメージ、およびカットオフフィルタのピンホールから流入したいずれか１つの信号で構成される第２イメージを利用することにより、イメージセンサと被写体間の距離を判定する方法、装置、およびシステムを提供する。

さらに、本発明の実施形態は、Ｒ信号、Ｇ信号、またはＢ信号のうちカットオフフィルタのピンホールから流入したいずれか１つの信号の輝度値を増幅させることにより、Ｒ信号、Ｇ信号、およびＢ信号で構成されるＲＧＢイメージの品質を保障する方法、装置、およびシステムを提供する。

本発明の一実施形態に係るイメージセンサと被写体間の距離を判定する方法は、受信するＲ（ｒｅｄ）信号、Ｇ（ｇｒｅｅｎ）信号、またはＢ（ｂｌｕｅ）信号のうちいずれか１つの信号をカットオフ（ｃｕｔ−ｏｆｆ）するカットオフフィルタを利用し、被写体の第１イメージおよび前記第１イメージと区別される第２イメージを取得する段階、および前記第１イメージおよび前記第２イメージそれぞれに含まれる前記被写体のブラー（ｂｌｕｒ）の変化に基づいてイメージセンサと前記被写体間の距離を判定する段階を含む。

前記被写体の第１イメージおよび第２イメージを取得する段階は、前記カットオフフィルタを利用して前記Ｒ信号、前記Ｇ信号、および前記Ｂ信号のうち前記カットオフされたいずれか１つの信号を除いた残りの信号で構成される前記第１イメージを取得する段階、および前記カットオフフィルタのピンホール（ｐｉｎ ｈｏｌｅ）から前記カットオフされたいずれか１つの信号が流入することに応答し、前記カットオフされたいずれか１つの信号で構成される前記第２イメージを取得する段階を含んでもよい。

前記第２イメージを取得する段階は、前記カットオフされたいずれか１つの信号の輝度値を増幅させる段階をさらに含んでもよい。

前記カットオフされたいずれか１つの信号の輝度値を増幅させる段階は、前記イメージセンサに含まれる前記カットオフされたいずれか１つの信号のセル（ｃｅｌｌ）で前記カットオフされたいずれか１つの信号を処理する場合、前記イメージセンサと接続したアンプのゲイン（ｇａｉｎ）を増加させる段階、および前記イメージセンサに含まれる前記残りの信号のうち少なくともいずれか１つの信号のセルで前記残りの信号のうち少なくともいずれか１つの信号を処理する場合、前記アンプのゲインを減少させる段階を含んでもよい。

前記イメージセンサと被写体間の距離を判定する方法は、前記イメージセンサに入射する信号のうちＩＲ（ｉｎｆｒａｒｅｄ ｒａｙ）信号をカットオフするＩＲカットオフフィルタを利用し、前記イメージセンサでＲ信号、前記Ｇ信号、および前記Ｂ信号を受信する段階をさらに含んでもよい。

前記イメージセンサと前記被写体間の距離を判定する段階は、前記第１イメージおよび前記第２イメージそれぞれに含まれる前記被写体のブラーの変化に基づいて前記イメージセンサの焦点位置と前記被写体間の距離を判定する段階、および前記イメージセンサと前記イメージセンサの焦点位置間の距離を算出する段階を含んでもよい。

前記イメージセンサと被写体間の距離を判定する方法は、前記第１イメージおよび前記第２イメージを組み合わせて前記Ｒ信号、前記Ｇ信号、および前記Ｂ信号で構成されるＲＧＢイメージを生成する段階をさらに含んでもよい。

本発明の一実施形態に係るイメージセンサと被写体間の距離を判定する装置は、受信するＲ（ｒｅｄ）信号、Ｇ（ｇｒｅｅｎ）信号、またはＢ（ｂｌｕｅ）信号のうちいずれか１つの信号をカットオフ（ｃｕｔ−ｏｆｆ）するカットオフフィルタ、前記カットオフフィルタを利用して被写体の第１イメージおよび前記第１イメージと区別される第２イメージを取得するイメージセンサ、および前記第１イメージおよび前記第２イメージそれぞれに含まれる前記被写体のブラー（ｂｌｕｒ）の変化に基づいて前記イメージセンサと前記被写体間の距離を判定する距離判定部を備える。

前記イメージセンサは、前記カットオフフィルタを利用して前記Ｒ信号、前記Ｇ信号、および前記Ｂ信号のうち前記カットオフされたいずれか１つの信号を除いた残りの信号で構成される前記第１イメージを取得し、前記カットオフフィルタのピンホール（ｐｉｎ ｈｏｌｅ）から前記カットオフされたいずれか１つの信号が流入することに応答し、前記カットオフされたいずれか１つの信号で構成される前記第２イメージを取得してもよい。

前記イメージセンサは、前記カットオフされたいずれか１つの信号の輝度値を増幅させる増幅部をさらに備えてもよい。

前記増幅部は、前記イメージセンサに含まれる前記カットオフされたいずれか１つの信号に対するセル（ｃｅｌｌ）で前記カットオフされたいずれか１つの信号を処理する場合、前記イメージセンサと接続したアンプのゲイン（ｇａｉｎ）を増加させ、前記イメージセンサに含まれる前記残りの信号のうち少なくともいずれか１つの信号に対するセルで前記残りの信号のうち少なくともいずれか１つの信号を処理する場合、前記アンプのゲインを減少させてもよい。

前記イメージセンサと被写体間の距離を判定する装置は、前記イメージセンサに入射する信号のうちＩＲ（ｉｎｆｒａｒｅｄ ｒａｙ）信号をカットオフし、前記イメージセンサで前記Ｒ信号、前記Ｇ信号、および前記Ｂ信号を受信するようにするＩＲカットオフフィルタをさらに備えてもよい。

前記距離判定部は、前記第１イメージおよび前記第２イメージそれぞれに含まれる前記被写体のブラーの変化に基づいて前記イメージセンサの焦点位置と前記被写体間の距離を決め、前記イメージセンサと前記イメージセンサの焦点位置間の距離を算出してもよい。

前記イメージセンサは、前記第１イメージおよび前記第２イメージを組み合わせて前記Ｒ信号、前記Ｇ信号、および前記Ｂ信号で構成されるＲＧＢイメージを生成してもよい。

本発明の実施形態は、カメラモジュールを利用して距離を判定するだけではなく、カメラとしての役割もそのまま維持することにより、２次元イメージと共に深度データを得ることができるため、多様な応用製品に適用することができる。

具体的に、本発明の実施形態は、イメージセンサに入射する信号のうちＩＲ信号をカットオフするＩＲカットオフフィルタを利用し、イメージセンサでＩＲ信号を除いたＲ信号、Ｇ信号、およびＢ信号が受信されるようにすることにより、太陽光の下でもイメージの色感を低下させずにＲ信号、Ｇ信号、およびＢ信号で構成されるＲＧＢイメージの品質を保障する方法、装置、およびシステムを提供することができる。

また、本発明の実施形態は、レンズの絞りおよびＩＲカットオフフィルタを通過したＲ信号、Ｇ信号、またはＢ信号のうちカットオフフィルタによってカットオフされたいずれか１つの信号を除いた残りの信号で構成される第１イメージ、およびカットオフフィルタのピンホールにから流入したいずれか１つの信号で構成される第２イメージを利用することにより、イメージセンサと被写体間の距離を判定する方法、装置、およびシステムを提供することができる。

さらに、本発明の実施形態は、Ｒ信号、Ｇ信号、またはＢ信号のうちカットオフフィルタのピンホールから流入したいずれか１つの信号の輝度値を増幅させることにより、Ｒ信号、Ｇ信号、およびＢ信号で構成されるＲＧＢイメージの品質を保障する方法、装置、およびシステムを提供することができる。特に、本発明の実施形態は、カットオフフィルタのピンホールから流入したいずれか１つの信号に対するアンプのゲインを増加させ、残りの信号に対するアンプのゲインを減少させることにより、カットオフフィルタのピンホールから流入したいずれか１つの信号の輝度値を増幅させることができる。このとき、本発明の実施形態は、ＩＲカットオフフィルタを通過したＲ信号、Ｇ信号、およびＢ信号に対する露出を増加させた後に、カットオフフィルタのピンホールから流入したいずれか１つの信号の輝度値を増幅させることができる。したがって、本発明の実施形態は、ノイズの増加はなく、カットオフフィルタのピンホールから流入したいずれか１つの信号の輝度値だけを増幅させることができる。

本発明の一実施形態に係るイメージセンサと被写体間の距離を判定する装置を示した図である。 本発明の一実施形態に係るＩＲカットオフフィルタおよびカットオフフィルタの動作を説明するための図である。 本発明の一実施形態に係るカットオフされたいずれか１つの信号の輝度値を増幅させる動作を説明するための図である。 本発明の一実施形態に係るイメージセンサと被写体間の距離を判定する方法を示したフローチャートである。 本発明の一実施形態に係るイメージセンサと被写体間の距離を判定する装置を示したブロック図である。

以下、本発明に係る実施形態について、添付の図面を参照しながら詳細に説明する。しかし、本発明が実施形態によって制限されたり限定されたりすることはない。また、各図面に提示された同じ参照符号は同じ部材を示す。

図１は、本発明の一実施形態に係るイメージセンサと被写体間の距離を判定する装置を示した図である。

図１を参照すると、本発明の一実施形態に係るイメージセンサと被写体間の距離を判定する装置は、イメージセンサ１１０、カットオフフィルタ１２０、ＩＲカットオフフィルタ１３０、および距離判定部を備えてもよい。ここで、カットオフフィルタ１２０のピンホール１２１は絞りの役割をしてもよい。

ＩＲカットオフフィルタ１３０は、レンズの絞り１４０から入射する信号（例えば、ＲＧＢ信号およびＩＲ信号を含む信号）のうちＩＲ信号をカットオフしてもよい。したがって、第２領域１３１にはＲＧＢ信号だけが入射するようになる。

イメージセンサ１１０は、入射する信号のうちＩＲカットオフフィルタ１３０によってカットオフされたＩＲ信号を除いた、Ｒ信号、Ｇ信号、およびＢ信号を受信してもよい。図には示していないが、イメージセンサ１１０は、ＣＩＳおよびＩＳＰで構成されたモジュールであって、Ｒ信号を処理するＲセル、Ｇ信号を処理するＧセル、およびＢ信号を処理するＢセルを含んでもよい。このとき、Ｒセル、Ｇセル、およびＢセルそれぞれは独立的に作動することができるため、イメージセンサ１１０は、Ｒ信号、Ｇ信号、およびＢ信号それぞれを個別に処理することもでき、Ｒ信号、Ｇ信号、およびＢ信号をすべて一度に処理することもできる。

カットオフフィルタ１２０は、イメージセンサ１１０で受信するＲ信号、Ｇ信号、またはＢ信号のうちいずれか１つの信号をカットオフする。例えば、カットオフフィルタ１２０がＲ信号をカットオフするＲカットオフフィルタである場合、Ｇ信号およびＢ信号はカットオフフィルタ１２０を通過してイメージセンサ１１０のＧセルおよびＢセルそれぞれに到達するようになる。また、カットオフフィルタ１２０のピンホール１２１が絞りの役割をするため、Ｒ信号はピンホール１２１だけから流入してイメージセンサ１１０のＲセルに到達するようになる。したがって、第１−１領域１２２および第１−２領域１２３にはＧ信号およびＢ信号が入射し、イメージセンサ１１０のＧセルおよびＢセルそれぞれに到達するようになる。この反面、第１−２領域１２３にはピンホール１２１から流入したＲ信号のみが入射するようになる。以下、ピンホール１２１は、Ｒ信号をカットオフするＲカットオフフィルタに含まれるピンホールとして説明するが、これに制限されたり限定されることはなく、Ｇ信号をカットオフするＧカットオフフィルタに含まれるピンホールであったり、Ｂ信号をカットオフするＢカットオフフィルタに含まれるピンホールであってもよい。これについての詳細な説明は、図２を参照しながら記載する。

したがって、イメージセンサ１１０は、Ｒ信号、Ｇ信号、またはＢ信号のうちカットオフフィルタ１２０によってカットオフされたいずれか１つの信号を除いた残りの信号を受信して処理することにより、カットオフされたいずれか１つの信号を除いた残りの信号で構成される第１イメージを取得し、カットオフフィルタ１２０のピンホール１２１から流入する、Ｒ信号、Ｇ信号、またはＢ信号のうちカットオフされたいずれか１つの信号を受信して処理することにより、カットオフされたいずれか１つの信号で構成される第２イメージを取得することができる。例えば、イメージセンサ１１０は、カットオフフィルタ１２０によってカットオフされたＲ信号を除いた残りのＧ信号およびＢ信号で構成される第１イメージを取得し、カットオフフィルタ１２０のピンホール１２１から流入するＲ信号で構成される第２イメージを取得してもよい。

このとき、イメージセンサ１１０は、カットオフフィルタ１２０によってカットオフされたいずれか１つの信号がカットオフフィルタ１２０のピンホール１２１から流入するときに、カットオフされたいずれか１つの信号の輝度値が減少しながら、ピンホール１２１から流入するカットオフされたいずれか１つの信号で構成される第２イメージの品質が低下することを防ぐために、カットオフされたいずれか１つの信号の輝度値を増幅させてもよい。このような増幅の過程は、イメージセンサ１１０に備えられる増幅部によって実行されてもよい。しかし、増幅部は、イメージセンサ１１０に内蔵されるだけでなく、別途のモジュールとして備えられてもよい。具体的に、増幅部は、イメージセンサ１１０に含まれるカットオフされたいずれか１つの信号を処理するセルでカットオフされたいずれか１つの信号を処理する場合、イメージセンサ１１０と接続したアンプのゲインを増加させ、カットオフされたいずれか１つの信号を除いた残りの信号を処理するセルで残りの信号のうち少なくともいずれか１つの信号を処理する場合、アンプのゲインを減少させることにより、カットオフされたいずれか１つの信号の輝度値を増幅させてもよい。例えば、増幅部は、イメージセンサ１１０に含まれるＲセルにあるラインを処理する場合にはアンプのゲインを増加させ、ＧセルおよびＢセルにあるラインを処理する場合にはアンプのゲインを減少させることにより、Ｒ信号の輝度値を増幅させてもよい。これについての詳細な説明は、図３を参照しながら記載する。

このようなカットオフされたいずれか１つの信号の輝度値を増幅させるイメージセンサ１１０の動作は、ＩＲカットオフフィルタ１３０によって流入するＲ信号、Ｇ信号、およびＢ信号に対する露出を増加させた後に実行されてもよい。したがって、ノイズの増加はなく、カットオフフィルタ１２０のピンホール１２１によって流入するカットオフされたいずれか１つの信号の輝度値を増幅させることができる。

距離判定部は、第１イメージおよび第２イメージそれぞれに含まれる被写体のブラーの変化に基づいてイメージセンサ１１０と被写体間の距離を判定する。ここで、距離判定部は、第１イメージおよび第２イメージそれぞれに含まれる被写体のブラーの変化に基づき、イメージセンサ１１０の焦点位置と被写体間の距離を決め、イメージセンサ１１０とイメージセンサ１１０の焦点位置間の距離を算出してもよい。したがって、距離判定部は、決められたイメージセンサ１１０の焦点位置と被写体間の距離および算出されたイメージセンサ１１０とイメージセンサ１１０の焦点位置間の距離を加算してイメージセンサ１１０と被写体間の距離を決めてもよい。図には距離判定部がイメージセンサ１１０に内蔵されるものと示されているが、別途のモジュールとして備えられてもよい。

ここで、第１イメージおよび第２イメージそれぞれに含まれる被写体のブラーの変化に基づいてイメージセンサ１１０と被写体間の距離を判定するアルゴリズムは、既存の多様なアルゴリズムを適用してもよい。

例えば、距離判定部は、予め計算された２枚の写真マッチング曲線情報（ｔｗｏ ｐｉｃｔｕｒｅ ｍａｔｃｈｉｎｇ ｃｕｒｖｅ ｉｎｆｏｒｍａｔｉｏｎ）に基づき、第１イメージおよび第２イメージそれぞれに含まれる被写体のブラーの変化に基づいてイメージセンサ１１０と被写体間の距離を決めてもよい。ここで、距離判定部は、第１イメージおよび第２イメージのうちいずれか１つを第１イメージおよび第２イメージのうち他の１つの不鮮明感までもブラーリングするために利用されるコンボリューションの数を決め、決められたコンボリューションの数を利用してイメージセンサ１１０と被写体間の距離を決めてもよい。

２枚の写真マッチング曲線は、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｉｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを採択する任意の撮像装置によってキャプチャされたデータから算出される物理的な量である。２枚の写真マッチング曲線上の特定ポイントは次の方式によって生成される。固定されたカメラズーム（ｚｏｏｍ）およびアパーチャ（ａｐｅｒｔｕｒｅ）に対し、検査対象または被写体の写真が特定カメラの焦点位置に対してキャプチャされる。その次に、カメラの焦点位置がある少量だけ変更され、第２写真がキャプチャされる。続いて、検査ターゲットまたは被写体のブラーの変化が算出される。その後に、異なるカメラの焦点位置に対してプロセスが繰り返されることにより、２枚の写真マッチング曲線を生成する。隣接するカメラの焦点位置がＭ深度（Ｍはノンゼロの有理数の量である）に対応するある固定量だけ繰り返し変更されると、ガウシアン・コンボリューション・カーネル（Ｇａｕｓｓｉａｎ ｃｏｎｖｏｌｕｔｉｏｎ ｋｅｒｎｅｌ）を適用する場合、算出される２枚の写真マッチング曲線は理論的に線形である。その他には、曲線は単調的に増加／減少する。カメラの焦点位置が、それぞれの新たなカメラの焦点位置のためにそれ以前のカメラの焦点位置に対して相対的に固定されたＭ深度だけ変更されたとしても、カメラレンズの不完全性に起因し、線形性は固定された範囲だけに存在する。

自然場面（ｎａｔｕｒａｌ ｓｃｅｎｅ）の場合、反復は場面内の非−重畳領域によって計算され、それと関連する。このとき、反復数はコンボリューションを意味してもよい。その後、場面内の被写体の相対的な順序を（例えば、どの被写体がカメラにより近く、どの被写体がより遠いかを）決めたり、または場面内の被写体の実際距離を近似的に推定するために、その数が利用される。反復情報を含むマトリクスが反復マップ（ｉｔｅｒａｔｉｏｎ ｍａｐ）として定義される。

例えば、問題の場面は、次の基礎的な３×３の反復マップを有する。

マトリクスの上部の左側コーナーがエントリ（１，１）と定義され、マトリクスの下部の右側コーナーがエントリ（３，３）と定義されるとすると、エントリ（２，２）に位置した被写体は反復マップナンバー８に対応する。この被写体がカメラに最も近い。同じように、反復マップナンバー−７に対応するエントリ（３，２）に位置した被写体はカメラから最も遠い。同じように、反復マップナンバー１に対応するエントリ（１，３）に位置した被写体は、カメラの現在焦点位置に最も近い。

反復マップのディメンションはｎ×ｍである。また、反復マップは、境界領域に対応する２つの個別の深さを含む非−重畳領域（前景被写体と背景被写体など）をしばしば含む。この位置で、反復マップ情報は不正確である。一般的に、基礎的なフィルタリングまたはクラスタリングスキームは、非−境界位置における反復マップの推定を向上させるために利用されてもよい。その後、反復マップの情報は、相対的な被写体距離および正確な被写体距離を判定するために利用されてもよい。しかし、問題の被写体が反復マップ内にいくつかの非−重畳領域／複数の隣接するエントリを含むと仮定すると、簡単なクラスタリングスキームを採択することにより、相対的な被写体距離が決められてもよい。

それぞれの隣接したカメラ位置がＭ深度の移動に対応すると、被写体距離を算出するために反復数が利用されてもよい。ここで、現在の焦点位置にある問題の被写体に対する反復数をＫと仮定すると、Ｋは現在の焦点位置であるＮから［（Ｎ＋８）−Ｎ］＝８だけ離れている写真ナンバーに対応する。その後、被写体の距離が８×Ｍ深度として決められてもよい。

それぞれの連続的な写真ナンバー位置は数式から算出される。１つの可能性は、それぞれの連続した写真ナンバー位置を、ある基準となる写真ナンバー１［またはＮｍａｘ］から、または１とＮｍａｘの間のある他の写真ナンバーから前方（または後方）の深度位置として算出する。現在のカメラ焦点位置を利用して被写体位置を算出するために、下記に示したコード（ｓｉｇｎ（ｄｅｐｔｈ＿ｏｆ＿ｆｉｅｌｄｓ）＝＝１）が適用されてもよい。それぞれの新たなカメラ焦点位置は、新たに算出された前方深度位置の代替によって算出される。下記に与えられた例において、カメラの焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）、ｆｎｕｍｂｅｒ、および始まる焦点距離（写真ナンバーＮ＝１に対応する）はそれぞれ、６３ｍｍ、５．２、および１ｃｍである。プロセスは被写体距離を判定するために８回繰り返される。

同じように、後方深度位置が算出されてもよく、利用されてもよい。この場合、ｄｉｓｔａｎｃｅ＿ｆｏｃｕｓ＝Ｈ／２［Ｎ＝Ｎｍａｘに対応する］であり、ｓｉｇｎ（ｄｅｐｔｈ＿ｏｆ＿ｆｉｅｌｄｓ）オプションが−１として選択される。

同じように、「教科書」の深度定義に基づいて新たな写真ナンバー位置が前方向に算出されてもよい。ここで、ｄｉｓｔａｎｃｅ＿ｆｏｃｕｓ＝１であり、Ｄｎｏ１およびＤｆｏ１の両方が上述した式を利用して算出される。次の写真ナンバー位置に対応する次の焦点位置を算出するために、下記の方程式を解く。

プロセスは、すべての後続の距離焦点位置を生成するために繰り返される。

同じように、新たな写真ナンバー位置が「教科書」の深度定義に基づいて逆方向に算出される。ここで、ｄｉｓｔａｎｃｅ＿ｆｏｃｕｓ＝Ｈ／２であり、Ｄｎｏ１およびＤｆｏ１の両方が上述した式を利用して算出される。次の写真ナンバー位置に対応する次の焦点位置を算出するために、下記の方程式を解く。

プロセスは、すべての後続の距離焦点位置を生成するために繰り返される。

式と定義に関する他の変形が利用されてもよい。写真ナンバー位置は、事前に決められた数学式を利用して算出される。したがって、距離判定部は、数学式を繰り返すことにより、特定の反復数と関連した被写体の深度が決まり、イメージセンサ１１０と被写体間の距離を判定するようになる。

さらに他のアルゴリズムを例示すると、距離判定部は、第２イメージに対して複数のフィルタ（上述した、カットオフフィルタ１２０およびＩＲカットオフフィルタ１３０と区別されるフィルタであって、イメージに対して予め定められた処理によって値を取得する）を利用して複数のブラーパッチ（ｂｌｕｒｒｅｄ ｐａｔｃｈ）を取得し、取得した複数のブラーパッチそれぞれに対して第１イメージとの差値を計算することにより、複数の差値のうち最小値をイメージセンサ１１０と被写体間の距離として決めてもよい。

ここで、イメージセンサ１１０と被写体間の距離は、特定の被写体にのみ限られるのではなく、イメージセンサ１１０のすべての画素に対して実行されるため、画素別に対応するイメージの深さ値を取得して３次元イメージが生成されてもよい。

このように、イメージセンサ１１０と被写体間の距離を判定する装置は、別途のＩＲセルおよびＩＲ ＬＥＤを備えず、カットオフフィルタ１２０およびＩＲカットオフフィルタ１３０のみを備えることにより、第１イメージおよび第２イメージを利用してイメージセンサ１１０と被写体間の距離を判定することができる。このとき、イメージセンサ１１０と被写体間の距離を判定する装置は、上述したイメージセンサ１１０と被写体間の距離を判定するアルゴリズムに制限されたり限定されたりすることはなく、多様な距離判定アルゴリズムが利用されてもよい。

また、イメージセンサ１１０は、第１イメージおよび第２イメージを組み合わせてＲ信号、Ｇ信号、およびＢ信号で構成されるＲＧＢイメージを生成することができるため、イメージセンサ１１０と被写体間の距離を判定する装置はカメラとして使用することができる。このとき、イメージセンサ１１０と被写体間の距離を判定する装置がカメラとして使用されるためには、イメージセンサ１１０で生成されるＲＧＢイメージの品質が保障されなければならない。本発明の一実施形態に係るイメージセンサ１１０と被写体間の距離を判定する装置は、上述したように、イメージセンサ１１０に含まれるＲセル、Ｇセル、およびＢセルそれぞれにＩＲ信号が受信されることを防ぐことにより、イメージセンサ１１０が生成するＲＧＢイメージの品質を保障することができる。具体的に、イメージセンサ１１０と被写体間の距離を判定する装置は、イメージセンサ１１０に入射する信号のうちＩＲ信号をカットオフしてイメージセンサ１１０でＲ信号、Ｇ信号、Ｂ信号が受信されるようにするＩＲカットオフフィルタ１３０を備え、ＩＲカットオフフィルタ１３０によってＩＲ信号が除かれたＲ信号、Ｇ信号、またはＢ信号のうちいずれか１つの信号をカットオフするカットオフフィルタ１２０を備えることにより、イメージセンサ１１０に含まれるＲセル、Ｇセル、およびＢセルそれぞれにＩＲ信号が受信されることを防ぐことができる。

ここで、Ｒ信号、Ｇ信号、またはＢ信号のうちカットオフフィルタ１２０によってカットオフされたいずれか１つの信号を除いた残りの信号で構成される第１イメージに比べ、カットオフフィルタ１２０のピンホール１２１から流入するいずれか１つの信号で構成される第２イメージは、輝度が暗くなることがある。したがって、第１イメージおよび第２イメージを組み合わせてＲＧＢイメージを生成する場合、イメージセンサ１１０と被写体間の距離を判定する装置は、カットオフフィルタ１２０のピンホール１２１から流入するいずれか１つの信号の輝度値を増幅させることにより、イメージセンサ１１０で生成されるＲＧＢイメージの品質が低下することを防ぐことができる。例えば、イメージセンサ１１０と被写体間の距離を判定する装置は、イメージセンサ１１０に含まれるカットオフされたいずれか１つの信号を処理するセル（カットオフフィルタ１２０のピンホール１２１から流入するいずれか１つの信号を処理するセル）でカットオフされたいずれか１つの信号を処理する場合、イメージセンサ１１０に接続したアンプのゲインを増加させ、カットオフされたいずれか１つの信号を除いた残りの信号を処理するセルで残りの信号のうち少なくともいずれか１つの信号を処理する場合、アンプのゲインを減少させる増幅部を備え、カットオフフィルタ１２０のピンホール１２１から流入するいずれか１つの信号の輝度値を増加させることにより、ＲＧＢイメージの品質を向上させてもよい。これについての詳細な説明は、図３を参照しながら記載する。

図２は、本発明の一実施形態に係るカットオフフィルタおよびＩＲカットオフフィルタの動作を説明するための図である。

図２を参照すると、本発明の一実施形態に係るＩＲカットオフフィルタは、レンズから入射する信号のうちＩＲ信号をカットオフする（２１０）。したがって、ＩＲカットオフフィルタを通過した信号は、Ｒ信号、Ｇ信号、およびＢ信号波長帯の光だけが存在するようになる。

カットオフフィルタは、受信するＲ信号、Ｇ信号、またはＢ信号のうちいずれか１つの信号をカットオフする（２２０）。例えば、カットオフフィルタがＲ信号をカットオフするＲカットオフフィルタである場合、カットオフフィルタは、Ｇ信号およびＢ信号だけが通過するように２２０設定されるようになる。

カットオフフィルタがＲ信号、Ｇ信号、またはＢ信号のうちＧ信号をカットオフするＧカットオフフィルタである場合には、フィルタ特性を、Ｒ信号およびＢ信号は通過してＧ信号の透過率だけを低く設定することにより、Ｇ信号をカットオフしてもよい。

また、カットオフフィルタがＲ信号、Ｇ信号、またはＢ信号のうちＢ信号をカットオフするＢカットオフフィルタである場合には、フィルタ特性を、Ｒ信号およびＧ信号は通過してＢ信号の透過率だけを低く設定することにより、Ｂ信号をカットオフしてもよい。

図３は、本発明の一実施形態に係るカットオフされたいずれか１つの信号の輝度値を増幅させる動作を説明するための図である。一般的に、ＲＧおよびＧＢで構成されたセルが繰り返し配置されており、各セルの値はライン別に出力をし、出力を増幅させるアンプはコラムで位置したすべてのセルに接続してもよい。

図３を参照すると、本発明の一実施形態に係るイメージセンサと被写体間の距離を判定する装置は、Ｒ信号、Ｇ信号、またはＢ信号のうちカットオフフィルタのピンホールからカットオフされたいずれか１つの信号が流入することに応答し、カットオフされたいずれか１つの信号の輝度値を増幅させる増幅部をさらに備えてもよい。

ここで、増幅部は、イメージセンサに含まれるＲセル３１０、Ｇセル３２０、３３０、およびＢセル３４０に接続したアンプ３５０、３６０のゲインを増加させたり減少させることにより、カットオフされたいずれか１つの信号の輝度値を増幅させてもよい。例えば、同じコラム（ｃｏｌｕｍｎ）に配置するＲセル３１０およびＧセル３３０でそれぞれＲ信号とＧ信号を処理する過程において、増幅部は、ライン１を出力する場合には、Ｒセル３１０でＲ信号を処理してアンプ３５０のゲインを増加させ、ライン２を出力する場合には、Ｇセル３３０でＧ信号を処理してアンプ３５０のゲインを減少させることにより、Ｒ信号の輝度値を増幅させてもよい。

このようなカットオフされたいずれか１つの信号の輝度値を増幅させる増幅部の動作は、ＩＲカットオフフィルタから流入するＲ信号、Ｇ信号、およびＢ信号に対する露出を増加させた後に実行されてもよい。このような増幅部の動作により、イメージセンサがノイズの増加なく、品質が保障されるＲＧＢイメージを生成することができるため、イメージセンサと被写体間の距離を判定する装置はカメラとして使用することができる。

図４は、本発明の一実施形態に係るイメージセンサと被写体間の距離を判定する方法を示したフローチャートである。

図４を参照すると、本発明の一実施形態に係るイメージセンサと被写体間の距離を判定する装置は、イメージセンサに入射する信号のうちＩＲ（ｉｎｆｒａｒｅｄ ｒａｙ）信号をカットオフするＩＲカットオフフィルタを利用し、イメージセンサでＲ信号、Ｇ信号、およびＢ信号を受信する（４１０）。

続いて、イメージセンサと被写体間の距離を判定する装置は、受信するＲ（ｒｅｄ）信号、Ｇ（ｇｒｅｅｎ）信号、またはＢ（ｂｌｕｅ）信号のうちいずれか１つの信号をカットオフ（ｃｕｔ−ｏｆｆ）するカットオフフィルタを利用し、被写体の第１イメージおよび第１イメージと区別される第２イメージを取得する（４２０）。

このとき、イメージセンサと被写体間の距離を判定する装置は、カットオフフィルタを利用してＲ信号、Ｇ信号、およびＢ信号のうちカットオフされたいずれか１つの信号を除いた残りの信号で構成される第１イメージを取得し、カットオフフィルタのピンホールからカットオフされたいずれか１つの信号を流入することに応答し、カットオフされたいずれか１つの信号で構成される第２イメージを取得してもよい。ここで、第２イメージを取得する段階は、カットオフされたいずれか１つの信号の輝度値を増幅させる段階をさらに含んでもよい。具体的に、イメージセンサと被写体間の距離を判定する装置は、イメージセンサに含まれるカットオフされたいずれか１つの信号に対するセル（ｃｅｌｌ）でカットオフされたいずれか１つの信号を処理する場合、イメージセンサと接続したアンプのゲイン（ｇａｉｎ）を増加させ、イメージセンサに含まれる残りの信号のうち少なくともいずれか１つの信号に対するセルで残りの信号のうち少なくともいずれか１つの信号を処理する場合、アンプのゲインを減少させることにより、カットオフされたいずれか１つの信号の輝度値を増幅させてもよい。

その後、イメージセンサと被写体間の距離を判定する装置は、第１イメージおよび第２イメージそれぞれに含まれる被写体のブラー（ｂｌｕｒ）の変化に基づいてイメージセンサと被写体間の距離を判定する（４３０）。

このとき、イメージセンサと被写体間の距離を判定する装置は、第１イメージおよび第２イメージそれぞれに含まれる被写体のブラーの変化に基づいてイメージセンサの焦点位置と被写体間の距離を決め、イメージセンサとイメージセンサの焦点位置間の距離を算出することにより、イメージセンサと被写体間の距離を決めてもよい。具体的に、イメージセンサと被写体間の距離を判定する装置は、イメージセンサの焦点位置と被写体間の距離およびイメージセンサとイメージセンサの焦点位置間の距離を加算してイメージセンサと被写体間の距離を決めてもよい。

また、図には示していないが、イメージセンサと被写体間の距離を判定する装置は、第１イメージおよび第２イメージを組み合わせてＲ信号、Ｇ信号、およびＢ信号で構成されるＲＧＢイメージを生成してもよい。このとき、上述したように、イメージセンサと被写体間の距離を判定する装置は、カットオフされたいずれか１つの信号の輝度値を増幅させることにより、第１イメージおよび第２イメージを組み合わせてＲＧＢイメージを生成してもよい。具体的に、イメージセンサと被写体間の距離を判定する装置は、イメージセンサに含まれるカットオフされたいずれか１つの信号に対するセル（ｃｅｌｌ）でカットオフされたいずれか１つの信号を処理する場合、イメージセンサと接続したアンプのゲイン（ｇａｉｎ）を増加させ、イメージセンサに含まれる残りの信号のうち少なくともいずれか１つの信号に対するセルで残りの信号のうち少なくともいずれか１つの信号を処理する場合、アンプのゲインを減少させることにより、カットオフされたいずれか１つの信号の輝度値を増幅させてもよい。

図５は、本発明の一実施形態に係るイメージセンサと被写体間の距離を判定する装置を示したブロック図である。

図５を参照すると、本発明の一実施形態に係るイメージセンサと被写体間の距離を判定する装置は、ＩＲカットオフフィルタ５１０、カットオフフィルタ５２０、イメージセンサ５３０、および距離判定部５４０を備えてもよい。

ＩＲカットオフフィルタ５１０は、レンズの絞りからイメージセンサ５３０に入射する信号のうちＩＲ（ｉｎｆｒａｒｅｄ ｒａｙ）信号をカットオフし、イメージセンサ５３０でＲ信号、Ｇ信号、およびＢ信号が受信されるようにしてもよい。したがって、イメージセンサと被写体間の距離を判定する装置は、ＩＲカットオフフィルタ５１０を利用することにより、カットオフフィルタ５２０にＩＲ信号を除いたＲ信号、Ｇ信号、およびＢ信号を入射させるようになる。

カットオフフィルタ５２０は、受信するＲ（ｒｅｄ）信号、Ｇ（ｇｒｅｅｎ）信号、またはＢ（ｂｌｕｅ）信号のうちいずれか１つの信号をカットオフ（ｃｕｔ−ｏｆｆ）する。

イメージセンサ５３０は、カットオフフィルタを利用して被写体の第１イメージおよび第１イメージと区別される第２イメージを取得する。このとき、イメージセンサ５３０は、ＣＩＳおよびＩＳＰで構成されてもよい。

また、イメージセンサ５３０は、カットオフフィルタ５２０を利用してＲ信号、Ｇ信号、およびＢ信号のうちカットオフされたいずれか１つの信号を除いた残りの信号で構成される第１イメージを取得し、カットオフフィルタ５２０のピンホールからカットオフされたいずれか１つの信号が流入することに応答し、カットオフされたいずれか１つの信号で構成される第２イメージを取得してもよい。

また、図には示していないが、イメージセンサ５３０は、カットオフされたいずれか１つの信号の輝度値を増幅させる増幅部をさらに備えてもよい。

ここで、増幅部は、イメージセンサ５３０に含まれるカットオフされたいずれか１つの信号に対するセル（ｃｅｌｌ）でカットオフされたいずれか１つの信号を処理する場合、イメージセンサ５３０と接続したアンプのゲイン（ｇａｉｎ）を増加させ、イメージセンサ５３０に含まれる残りの信号のうち少なくともいずれか１つの信号に対するセルで残りの信号のうち少なくともいずれか１つの信号を処理する場合、アンプのゲインを減少させることにより、カットオフされたいずれか１つの信号の輝度値を増幅させてもよい。

また、イメージセンサ５３０は、第１イメージおよび第２イメージを組み合わせてＲ信号、Ｇ信号、およびＢ信号で構成されるＲＧＢイメージを生成してもよい。ここで、イメージセンサ５３０は、増幅部を利用することにより、輝度値が増幅された、カットオフされたいずれか１つの信号で構成される第２イメージおよび第１イメージを組み合わせてＲＧＢイメージを生成してもよい。このとき、増幅部で実行されるカットオフされたいずれか１つの信号を増幅させる過程は、上述した増幅部の動作に基づいて実行されてもよい。

距離判定部５４０は、第１イメージおよび第２イメージそれぞれに含まれる被写体のブラー（ｂｌｕｒ）の変化に基づいてイメージセンサ５３０と被写体間の距離を判定する。

また、距離判定部５４０は、第１イメージおよび第２イメージそれぞれに含まれる被写体のブラーの変化に基づいてイメージセンサ５３０の焦点位置と被写体間の距離を決め、イメージセンサ５３０とイメージセンサ５３０の焦点位置間の距離を算出することにより、イメージセンサ５３０と被写体間の距離を決めてもよい。具体的に、距離判定部５４０は、イメージセンサ５３０の焦点位置と被写体間の距離およびイメージセンサ５３０とイメージセンサ５３０の焦点位置間の距離を加算してイメージセンサ５３０と被写体間の距離を決めてもよい。

以上のように、実施形態を限定された実施形態と図面に基づいて説明したが、該当する技術分野において通常の知識を有する者であれば、上述した記載から多様な修正および変形が可能である。例えば、説明された技術が説明された方法とは異なる順序で実行されたり、および／または説明されたシステム、構造、装置、回路などの構成要素が説明された方法とは異なる形態で結合または組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

５１０：ＩＲカットオフフィルタ
５２０：カットオフフィルタ
５３０：イメージセンサ
５４０：距離判定部

Claims (15)

1. イメージセンサと被写体間の距離を判定する方法であって、
   イメージセンサが、受信するＲ信号、Ｇ信号、またはＢ信号のうちいずれか１つの信号をカットオフするカットオフフィルタを利用し、被写体の第１イメージおよび前記第１イメージと区別される第２イメージを取得し、
   距離判定部が、前記第１イメージおよび前記第２イメージそれぞれに含まれる前記被写体のブラーの変化に基づいてイメージセンサと前記被写体間の距離を判定すること
   を含む、イメージセンサと被写体間の距離を判定する方法。
2. 前記被写体の第１イメージおよび第２イメージを取得することは、
   前記カットオフフィルタを利用して前記Ｒ信号、前記Ｇ信号、および前記Ｂ信号のうち前記カットオフされたいずれか１つの信号を除いた残りの信号で構成される前記第１イメージを取得し、
   前記カットオフフィルタのピンホールから前記カットオフされたいずれか１つの信号が流入することに応答し、前記カットオフされたいずれか１つの信号で構成される前記第２イメージを取得すること
   を含む、請求項１に記載のイメージセンサと被写体間の距離を判定する方法。
3. 前記第２イメージを取得することは、
   増幅部が、前記カットオフされたいずれか１つの信号の輝度値を増幅させることをさらに含む、請求項２に記載のイメージセンサと被写体間の距離を判定する方法。
4. 前記カットオフされたいずれか１つの信号の輝度値を増幅させることは、
   前記増幅部が、前記イメージセンサに含まれる前記カットオフされたいずれか１つの信号に対するセルで前記カットオフされたいずれか１つの信号を処理する場合、前記イメージセンサと接続したアンプのゲインを増加させ、
   前記イメージセンサに含まれる前記残りの信号のうち少なくともいずれか１つの信号に対するセルで前記残りの信号のうち少なくともいずれか１つの信号を処理する場合、前記アンプのゲインを減少させること
   を含む、請求項３に記載のイメージセンサと被写体間の距離を判定する方法。
5. 前記カットオフフィルタが、前記イメージセンサに入射する信号のうちＩＲ信号をカットオフするＩＲカットオフフィルタを利用し、前記イメージセンサでＲ信号、前記Ｇ信号、および前記Ｂ信号を受信すること
   をさらに含む、請求項１に記載のイメージセンサと被写体間の距離を判定する方法。
6. 前記イメージセンサと前記被写体間の距離を判定する段階は、
   前記距離判定部が、前記第１イメージおよび前記第２イメージそれぞれに含まれる前記被写体のブラーの変化に基づいて前記イメージセンサの焦点位置と前記被写体間の距離を判定する、
   前記イメージセンサと前記イメージセンサの焦点位置間の距離を算出すること
   を含む、請求項１に記載のイメージセンサと被写体間の距離を判定する方法。
7. 前記イメージセンサが、前記第１イメージおよび前記第２イメージを組み合わせて前記Ｒ信号、前記Ｇ信号、および前記Ｂ信号で構成されるＲＧＢイメージを生成すること
   をさらに含む、請求項１に記載のイメージセンサと被写体間の距離を判定する方法。
8. 請求項１〜７のうちいずれか一項に記載の方法を実行するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
9. イメージセンサと被写体間の距離を判定する装置であって、
   受信するＲ信号、Ｇ信号、またはＢ信号のうちいずれか１つの信号をカットオフするカットオフフィルタ、
   前記カットオフフィルタを利用して被写体の第１イメージおよび前記第１イメージと区別される第２イメージを取得するイメージセンサ、および
   前記第１イメージおよび前記第２イメージそれぞれに含まれる前記被写体のブラーの変化に基づいて前記イメージセンサと前記被写体間の距離を判定する距離判定部
   を備える、イメージセンサと被写体間の距離を判定する装置。
10. 前記イメージセンサは、
    前記カットオフフィルタを利用して前記Ｒ信号、前記Ｇ信号、および前記Ｂ信号のうち前記カットオフされたいずれか１つの信号を除いた残りの信号で構成される前記第１イメージを取得し、前記カットオフフィルタのピンホールから前記カットオフされたいずれか１つの信号が流入することに応答し、前記カットオフされたいずれか１つの信号で構成される前記第２イメージを取得する、請求項９に記載のイメージセンサと被写体間の距離を判定する装置。
11. 前記イメージセンサは、
    前記カットオフされたいずれか１つの信号の輝度値を増幅させる増幅部
    をさらに備える、請求項１０に記載のイメージセンサと被写体間の距離を判定する装置。
12. 前記増幅部は、
    前記イメージセンサに含まれる前記カットオフされたいずれか１つの信号に対するセルで前記カットオフされたいずれか１つの信号を処理する場合、前記イメージセンサと接続したアンプのゲインを増加させ、前記イメージセンサに含まれる前記残りの信号のうち少なくともいずれか１つの信号に対するセルで前記残りの信号のうち少なくともいずれか１つの信号を処理する場合、前記アンプのゲインを減少させる、請求項１１に記載のイメージセンサと被写体間の距離を判定する装置。
13. 前記イメージセンサに入射する信号のうちＩＲ信号をカットオフし、前記イメージセンサで前記Ｒ信号、前記Ｇ信号、および前記Ｂ信号を受信するようにするＩＲカットオフフィルタ
    をさらに備える、請求項９に記載のイメージセンサと被写体間の距離を判定する装置。
14. 前記距離判定部は、
    前記第１イメージおよび前記第２イメージそれぞれに含まれる前記被写体のブラーの変化に基づいて前記イメージセンサの焦点位置と前記被写体間の距離を決め、
    前記イメージセンサと前記イメージセンサの焦点位置間の距離を算出する、請求項９に記載のイメージセンサと被写体間の距離を判定する装置。
15. 前記イメージセンサは、
    前記第１イメージおよび前記第２イメージを組み合わせて前記Ｒ信号、前記Ｇ信号、および前記Ｂ信号で構成されるＲＧＢイメージを生成する、請求項９に記載のイメージセンサと被写体間の距離を判定する装置。