JP2008032427A - 距離画像作成方法及び距離画像センサ、及び撮影装置 - Google Patents

Abstract

【課題】外光中の赤外光成分による影響を小さくして、距離画像の精度を向上させる。
【解決手段】赤外線発光ダイオードによって、第１の波長域を有する赤外光を所定周期で変調して被写体に照射する。被写体により反射された赤外光を赤外光用撮像素子８で撮像する。その際に、ＩＲ１画素１９で第１の波長域の赤外光を所定期間だけ受光し、ＩＲ２画素２０で第１の波長域近傍の第２の波長域の赤外光を所定期間だけ受光する。そして、赤外光用撮像素子８から出力された赤外撮像信号のＩＲ１画素１９の画素値から、このＩＲ１画素１９に隣接する４個のＩＲ２画素２０の画素値の平均値を減算し、得られた画素値により、被写体までの距離を画素値によって表す距離画像を作成する。
【選択図】図４

Description

本発明は、被写体までの距離を画素値によって表す距離画像を作成する方法、及び距離画像を作成する距離画像センサと、この距離画像センサを用いた撮影装置に関する。

対象物までの距離を測定する手法として、タイムオブフライト法（以下、ＴＯＦ法と省略する）が知られている。このＴＯＦ法は、対象物に向けて光を照射し、その対象物により反射された光を受光して照射から受光までの時間、すなわち光の飛行時間を測定し、この飛行時間に基づいて対象物までの距離を測定する。

上記ＴＯＦ法を用いて、被写体までの距離を画素値により表す距離画像を作成する距離画像センサと、この距離画像センサを用いた撮影装置とが従来発明されている。例えば、特許文献１記載の距離画像センサでは、赤外パルス光を被写体に向けて照射し、当該被写体により反射された赤外光を撮像素子で受光して、その照射から受光までの時間と撮像信号の画素値とに基づいて距離画像を作成する。また、特許文献２記載の距離画像センサでは、サイン波変調した赤外光を被写体に向けて照射し、当該被写体により反射された赤外光を発光サイン波に対して１／ｎずつ位相をずらして撮像素子で受光することで距離画像を作成する。
米国特許６０５７９０９号明細書 米国特許６８５６３５５Ｂ１号明細書

上記距離画像センサは、被写体に照射して反射された赤外光を受光する際に、外光中の赤外光成分も受光してしまう。そのため、特に屋外等での撮影では、外光中の赤外光成分の影響が大きくなり、距離画像の精度が低下するという問題があった。

本発明は、上記問題を解決するために、外光中の赤外光成分による影響を小さくして距離画像の精度を向上させることを目的とする。

上記課題を解決するために本発明の距離画像作成方法は、第１の波長域を有する光を所定周期で変調して被写体に照射するステップと、被写体により反射された光のうち、第１の波長域の光を第１画素で所定期間だけ受光して受光光量に応じた電荷を生成するステップと、被写体により反射された光のうち、第１の波長域近傍の第２の波長域の光を第２画素で所定期間だけ受光して受光光量に応じた電荷を生成するステップと、第１画素の電荷と第２画素の電荷とに基づく撮像信号を出力するステップと、撮像信号に係る第１画素の画素値から第１画素近傍の第２画素の画素値を減算して、得られた画素値により被写体までの距離を画素値によって表す距離画像を作成するステップを含むようにしたものである。

また、第１画素近傍の第２画素として、第１画素に隣接する複数個の第２画素を用い、この複数個の第２画素の画素値の平均値を第１画素の画素値から減算して距離画像を作成するようにしたものである。さらに、第２の波長域として、第１の波長域±１００ｎｍの波長域を用いるようにしたものである。

また、本発明の距離画像センサは、第１の波長域を有する光を所定周期で変調して被写体に照射する光源と、被写体により反射された光のうち、第１の波長域の光を受光して受光光量に応じた電荷を生成する複数個の第１画素と、第１の波長域近傍の第２の波長域の光を受光して受光光量に応じた電荷を生成する複数個の第２画素とが交互に配列され、第１画素の電荷と第２画素の電荷とに基づく撮像信号を出力する撮像素子と、第１画素及び第２画素が光を受光する受光期間を制御する受光制御手段と、撮像信号に係る第１画素の画素値から第１画素近傍の第２画素の画素値を減算して、得られた画素値により被写体までの距離を画素値によって表す距離画像を作成する距離画像作成手段とから構成したものである。

また、本発明の撮影装置は、被写体光を結像する撮影レンズと、被写体光中の可視光域成分を受光し、光電変換して可視撮像信号を出力する可視光用撮像素子と、被写体に対し、第１の波長域を有する光を所定周期で変調して照射する光源と、撮影レンズと可視光用撮像素子との間の第１の撮影光路内に設けられ、第１の撮影光路を分岐させて第２の撮影光路を形成する光路分岐手段と、第２の撮影光路内に設けられ、被写体光のうち第１の波長域の赤外光を受光して受光光量に応じた電荷を生成する複数個の第１画素と、第１の波長域近傍の第２の波長域の赤外光を受光して受光光量に応じた電荷を生成する複数個の第２画素が交互に配列され、第１画素の電荷と前記第２画素の電荷とに基づく赤外撮像信号を出力する赤外光用撮像素子と、第１画素及び第２画素が赤外光を受光する受光期間を制御する受光制御手段と、可視撮像信号に基づいて可視光画像を作成し、赤外撮像信号に係る第１画素の画素値から第１画素近傍の第２画素の画素値を減算して、得られた画素値により被写体までの距離を画素値によって表す距離画像を作成し、可視光画像に距離画像が反映された距離反映画像を作成する画像作成手段とから構成したものである。

本発明によれば、光源から照射した第１の波長域の光を第１画素で受光し、第１の波長域近傍の第２の波長域の光を第２画素で受光し、第１画素の画素値から第２画素の画素値を減算して距離画像を作成するようにしたので、距離画像から外光中の赤外光成分による影響を取り除き、精度の高い距離画像を得ることができる。また、第２画素の画素値は、第１画素に隣接する複数の第２画素の画素値の平均値を用いるようにしたので、距離画像の精度をさらに高めることができる。

図１に示すように、本発明の撮影装置２は、赤外線発光ダイオード３、撮影レンズ４、プリズム５、可視光用撮像素子６、高速シャッタ７、赤外光用撮像素子８、画像信号処理回路９、制御回路１０、メモリ１１等から構成されている。これらの構成のうち、赤外線発光ダイオード３、高速シャッタ７、赤外光用撮像素子８、画像信号処理回路９、制御回路１０等によって本発明の距離画像センサが構成される。

赤外線発光ダイオード３は、ＴＯＦ法を用いる距離画像センサの光源であり、制御回路１０によって制御されて、第１の波長域の赤外光を所定周期で変調して被写体に向けて照射する。撮影レンズ４は、周知のように被写体により反射された光を結像する。撮影レンズ４には、被写体により反射された第１の波長域の赤外光と、外光とが入射される。光路分岐手段であるプリズム５は、斜面５ａに可視光を透過して赤外光を反射する多層膜干渉フィルタを付着している。これにより、撮影レンズ４を透過した光のうち、可視光は直進して可視光用撮像素子６に入射され、赤外光は反射して高速シャッタ７を通り赤外光用撮像素子に入射される。

可視光用撮像素子６は、可視光域の光を受光して光電変換し、撮像信号である可視撮像信号を出力する。赤外光用撮像素子８は、赤外光を受光して光電変換し、撮像信号である赤外撮像信号を出力する。これらの可視光用撮像素子６及び赤外光用撮像素子８には、例えばＣＣＤが用いられる。なお、ＣＣＤに代えて、Ｃ−ＭＯＳタイプの撮像素子を用いてもよい。

図２（Ｂ）に示すように、可視光用撮像素子６は、縦方向及び横方向にマトリクス状に配列された複数個のＲ画素１４，Ｇ画素１５，Ｂ画素１６を有している。これらの画素１４〜１６は、光を受光して光電変換を行なうフォトセンサと、このフォトセンサ上に設けられてＲ光，Ｇ光，Ｂ光をそれぞれ透過するＲ，Ｇ，Ｂの各カラーフィルタと、入射された光をフォトセンサに集光するマイクロレンズとから構成されている。

図３（Ａ）に示すように、可視光用撮像素子６は、電子シャッタパルス（ＶＯＦＤ）により各Ｒ画素１４，Ｇ画素１５，Ｂ画素１６に蓄積されている電荷を排出し、この電荷排出後に各画素で蓄積された電荷を読出しゲート（ＴＧ）によって読み出す。これにより、各Ｒ画素１４，Ｇ画素１５，Ｂ画素１６による電荷の蓄積時間は、ＶＯＦＤからＴＧまでの一定時間となり、このＴＧの間隔が１フレーム分の撮像時間となる。

図２（Ｂ）に示すように、赤外光用撮像素子８は、可視光用撮像素子６のＲ画素１４，Ｇ画素１５，Ｂ画素１６にそれぞれ対応するＩＲ１画素１９及びＩＲ２画素２０を備えている。これらのＩＲ１画素１９及びＩＲ２画素２０は、縦方向及び横方向において交互に配置されており、光を受光して光電変換を行なうフォトセンサと、このフォトセンサ上に設けられて第１の波長域の赤外光及び第２の波長域の赤外光をそれぞれ透過するＩＲ１，ＩＲ２の各フィルタと、マイクロレンズとから構成されている。第２の波長域は、第１の波長域の赤外光による距離画像の作成時に、外光に含まれる赤外光成分として距離画像に誤差を生じさせる波長域の赤外光であり、例えば、第１の波長域±１００ｎｍ（ただし、可視領域は使用せず）が用いられる。自然界の外光成分は、波長の差が１００ｎｍ以内であれば急激な変化はないため、第１の波長域に影響する赤外光を検出するのに好適である。

受光制御手段である高速シャッタ７は、例えば、電気光学シャッタやイメージインテンシファイヤ等からなり、プリズム５を透過した光を赤外光用撮像素子８に入射させ、または遮る。この高速シャッタ７は、制御回路１０によって制御され、赤外線発光ダイオード３の発光周期と予め設定された検出距離範囲とに基づいて、開閉タイミングと開閉期間とが調整される。これにより、赤外光用撮像素子８には、検出距離範囲内にある被写体によって反射された赤外光が入射される。

図３（Ｂ）に示すように、赤外光用撮像素子８は、電子シャッタパルス（ＶＯＦＤ）により各ＩＲ１画素１９，ＩＲ２画素２０に蓄積されている電荷を排出し、この電荷排出後に各画素で蓄積された電荷を読出しゲート（ＴＧ）により読み出す。また、赤外線発光ダイオード（ＩＲ−ＬＥＤ）３は、ＶＯＦＤとＴＧとの間で発光され、高速シャッタ７はＩＲ−ＬＥＤの発光から遅れ時間（Ｔｄ）後に開放され、ＴＧに合せて閉じられる。これにより、各ＩＲ１画素１９，ＩＲ２画素２０による電荷蓄積時間は、高速シャッタ７の開閉期間となる。

画像作成手段である画像信号処理回路９は、可視光用撮像素子６により入力された可視撮像信号から、いわゆる通常の撮影画像である可視光画像を作成する。また、赤外光用撮像素子８により入力された赤外撮像信号から、画素値により被写体までの距離を表す距離画像を作成する。そして、可視光画像と距離画像とを用いて距離反映画像を作成し、メモリ１１に記憶する。

距離画像は、赤外光用撮像素子８から入力された赤外撮像信号に対し、ＩＲ１画素１９の画素値から近傍のＩＲ２画素２０の画素値を減算し、この減算された画素値により作成される。これにより、ＩＲ１画素１９の画素値から第２の波長域の赤外光による影響を排除することができるので、外光中の赤外光成分による誤差を低減することができる。

なお、ＩＲ１画素１９の近傍のＩＲ２画素２０としては、例えば、ＩＲ１画素１９の上下左右に隣接する４個のＩＲ２画素２０の画素値の平均値が用いられる。例えば、図４（Ａ）に示すように、赤外光用撮像素子８の各画素１９，２０にａ〜ｙの番号が付されている場合、番号ａのＩＲ１画素１９から減算されるＩＲ２画素２０は番号ｂ，ｆの平均値となり、番号ｍのＩＲ１画素から減算されるＩＲ２画素は番号ｈ，ｎ，ｒ，ｌの平均値となる。これにより、距離画像の誤差をさらに低減することが出来る。

距離反映画像は、可視光画像に距離画像が反映されて作成される画像であり、例えば、可視光画像から検出距離範囲内の画素を抽出した画像や、検出距離範囲外の画素を排除した画像である。可視光画像から検出距離範囲内の画素を抽出する場合には、距離画像の各画素の濃度を参照し、この濃度が所定値以上となる画素が検出距離範囲内の画素であると判定する。そして、この検出距離範囲内の画素に対応する可視光画像の画素を抽出する。また、可視光画像から検出距離範囲外の画素を排除する場合には、やはり距離画像の各画素の濃度を参照し、この濃度が所定値以下となる画素が検出距離範囲外の画素であると判定する。そして、この検出距離範囲外の画素に対応する可視光画像の画素を排除する。これにより、従来、クロマキー処理により行なっていた人物抽出及び背景入れ換え等の画像処理を背景色の設定を行なわずに実施することができる。

次に、上記実施形態の作用について、図５、６のフローチャートを参照しながら説明する。撮影装置２で撮影を開始すると、図２及び図３に示すように、可視光用撮像素子６、高速シャッタ７、赤外光用撮像素子８が動作を開始し、可視光画像と距離画像とが作成される。また、画像信号処理回路９は、可視光画像と距離画像とから距離反映画像を作成してメモリ１１に記憶させる。

距離画像を作成するための撮像は、赤外線発光ダイオード３による赤外光の発光、高速シャッタ７の開放、ＩＲ１画素１９及びＩＲ２画素２０による第１の波長域及び第２の波長域の赤外光の受光、高速シャッタ７の閉止、赤外撮像信号の出力という順序で行なわれる。

次いで、画像信号処理回路９により、ＩＲ１画素１９に隣接する２個または４個のＩＲ２画素２０の画素値の平均値が算出される。そして、ＩＲ１画素１９の画素値からＩＲ２画素２０の画素値の平均値が減算され、得られた画素値により距離画像が作成される。この距離画像は、ＩＲ１画素１９の画素値から第２の波長域の赤外光による影響が排除されたものであるので、外光中の赤外光成分による誤差を小さくして精度の高い距離画像を得ることができる。

なお、上記実施形態では、可視光を撮像する撮像素子と、赤外光を撮像する撮像素子とを用いる２板式の撮影装置を例に説明したが、Ｒ画素、Ｇ画素、Ｂ画素とともに、ＩＲ１画素及びＩＲ２画素を有する１個の撮像素子を使用しても同様の効果を得ることができる。また、距離画像センサを設けた撮影装置を例に説明したが、可視光用撮像素子を有しない距離画像センサにも本発明を用いることができる。

本発明の撮影装置の構成を示すブロック図である。 可視光用撮像素子と赤外光用撮像素子の画素構成を示す説明図である。 可視光用撮像素子と赤外光用撮像素子の動作を示すタイミングチャートである。 距離画像の作成手順を模式的に表す説明図である。 撮影装置の撮影手順を示すフローチャートである。 距離画像の作成手順を示すフローチャートである。

符号の説明

２ 撮影装置
３ 赤外線発光ダイオード
４ 撮影レンズ
５ プリズム
６ 可視光用撮像素子
７ 高速シャッタ
８ 赤外光用撮像素子
９ 画像信号処理回路
１０ 制御回路
１４ Ｒ画素
１５ Ｇ画素
１６ Ｂ画素
１９ ＩＲ１画素
２０ ＩＲ２画素

Claims (5)

1. 第１の波長域を有する光を所定周期で変調して被写体に照射するステップと、
   前記被写体により反射された光のうち、前記第１の波長域の光を第１画素で所定期間だけ受光して受光光量に応じた電荷を生成するステップと、
   前記被写体により反射された光のうち、前記第１の波長域近傍の第２の波長域の光を第２画素で所定期間だけ受光して受光光量に応じた電荷を生成するステップと、
   前記第１画素の電荷と前記第２画素の電荷とに基づく撮像信号を出力するステップと、
   前記撮像信号に係る前記第１画素の画素値から前記第１画素近傍の前記第２画素の画素値を減算して、得られた画素値により前記被写体までの距離を画素値によって表す距離画像を作成するステップを含むことを特徴とする距離画像作成方法。
2. 前記第１画素近傍の前記第２画素は、前記第１画素に隣接する複数個の前記第２画素であり、前記第１画素の画素値から減算される前記第２画素の画素値は、前記第１画素に隣接する複数個の前記第２画素の画素値の平均値であることを特徴とする請求項１記載の距離画像作成方法。
3. 前記第２の波長域は、第１の波長域±１００ｎｍであることを特徴とする請求項１または２記載の距離画像作成方法。
4. 第１の波長域を有する光を所定周期で変調して被写体に照射する光源と、
   前記被写体により反射された光のうち、前記第１の波長域の光を受光して受光光量に応じた電荷を生成する複数個の第１画素と、前記第１の波長域近傍の第２の波長域の光を受光して受光光量に応じた電荷を生成する複数個の第２画素とが交互に配列され、前記第１画素の電荷と前記第２画素の電荷とに基づく撮像信号を出力する撮像素子と、
   前記第１画素及び前記第２画素が光を受光する受光期間を制御する受光制御手段と、
   前記撮像信号に係る前記第１画素の画素値から前記第１画素近傍の前記第２画素の画素値を減算して、得られた画素値により前記被写体までの距離を画素値によって表す距離画像を作成する距離画像作成手段を備えることを特徴とする距離画像センサ。
5. 被写体光を結像する撮影レンズと、
   前記被写体光中の可視光域成分を受光し、光電変換して可視撮像信号を出力する可視光用撮像素子と、
   前記被写体に対し、第１の波長域を有する赤外光を所定周期で変調して照射する光源と、
   前記撮影レンズと可視光用撮像素子との間の第１の撮影光路内に設けられ、前記第１の撮影光路を分岐させて第２の撮影光路を形成する光路分岐手段と、
   前記第２の撮影光路内に設けられ、前記被写体光のうち、前記第１の波長域の赤外光を受光して受光光量に応じた電荷を生成する複数個の第１画素と、前記第１の波長域近傍の第２の波長域の赤外光を受光して受光光量に応じた電荷を生成する複数個の第２画素とが交互に配列され、前記第１画素の電荷と前記第２画素の電荷とに基づく赤外撮像信号を出力する赤外光用撮像素子と、
   前記第１画素及び前記第２画素が赤外光を受光する受光期間を制御する受光制御手段手段と、
   前記可視撮像信号に基づいて可視光画像を作成し、前記赤外撮像信号に係る前記第１画素の画素値から前記第１画素近傍の前記第２画素の画素値を減算して、得られた画素値により前記被写体までの距離を画素値によって表す距離画像を作成し、前記可視光画像に前記距離画像が反映された距離反映画像を作成する画像作成手段を備えることを特徴とする撮影装置。

Images