JP2016183922A - 距離画像取得装置及び距離画像取得方法 - Google Patents

Abstract

【課題】近距離側の被写体までの距離と遠距離側の被写体までの距離とを同時に取得することができ、且つ距離の測定精度を向上させることができる距離画像取得装置及び距離画像取得方法を提供する。【解決手段】測距領域内の被写体に対して光を照射する発光部１２と、高感度受光素子と低感度受光素子とが隣接して配置され、且つ高感度受光素子群と低感度受光素子群とが同じ配列パターンで二次元状に配列された距離画像センサ１４と、結像レンズ１６と、少なくとも高感度受光素子が飽和したか否かを検出する飽和検出部３６と、飽和が検出されていない高感度受光素子の出力値を用いて、飽和が検出されていない高感度受光素子の配列位置に対応する距離を導出し、飽和が検出された高感度受光素子に隣接する低感度受光素子の出力値を用いて、飽和が検出された高感度受光素子の配列位置に対応する距離を導出することにより、距離画像を生成する距離画像生成部４２を備える。【選択図】 図１

Description

本発明は距離画像取得装置及び距離画像取得方法に係り、特に物体に照射して反射された光の受光量に基づき距離画像を生成する技術に関する。

従来、物体に光を照射してから物体で光が反射されて受光されるまでの飛行時間を求めることにより物体までの距離を導出するＴＯＦ(time-of-flight）法が知られている。

特許文献１は、ＴＯＦ法を用いて距離を導出するレーザレーダ装置において、高感度のフォトダイオード及び低感度のフォトダイオードで同時に反射光を受光して、高感度のフォトダイオードの飽和が検出されない場合には高感度のフォトダイオードの出力値を用いてレーザビームの投光タイミングと受光タイミングとの時間差を測定し、高感度のフォトダイオードの飽和が検出された場合には低感度のフォトダイオードの出力値を用いてレーザビームの投光タイミングと受光タイミングとの時間差を測定することを開示している。

特許文献２は、ＴＯＦ法を用いて距離を導出するレーザレーダ装置において、第１波長のレーザ光及び第２波長のレーザ光を発光して、第１波長のレーザ光の反射光と第２波長のレーザ光の反射光とを分離してそれぞれ受光し、第１波長のレーザ光の受光で飽和なしであれば第１波長のレーザ光の飛行時間から演算した距離値を採用し、第１波長のレーザ光の受光で飽和ありであれば第２波長のレーザ光の飛行時間から演算した距離値を採用することを開示している。

レーザレーダ装置はレーザビームを走査してレーザビームの照射角度ごとに距離を取得するが、広角度照射を行って距離を取得する装置として、複数の受光素子が二次元配列された撮像センサを用いて距離画像を生成する装置が知られている。

特許文献３は、複数の受光素子が二次元配列された撮像センサを用い、検出距離範囲を近距離側にシフトする場合には、光の照射量を減少させることにより撮像センサの全受光素子の飽和を回避し、検出距離範囲を遠距離側にシフトする場合には、光の照射量を増加させることにより撮像センサの全受光素子の感度不足を回避することを開示している。

距離画像とは、通常の二次元画像の色や濃淡の値の代わりに、撮像センサなどの入力装置から対象物までの距離の値を持った画像のことをいう。

特開２００８−２０２０３号公報 特開２００８−２７５３３１号公報 特開２０１０−２５９０６号公報

複数の受光素子が二次元配列された撮像センサを用いて距離画像を生成する場合に、測距領域内で近距離側の被写体の距離と遠距離側の被写体の距離とを同時に取得できることが求められている。

しかしながら、測距領域内で遠距離側の被写体の距離を確実に取得するために光の照射量を大きくすると、近距離側の被写体の反射光により白とびが発生して近距離側の被写体の距離を測定できない場合があり、測距領域内で近距離側の被写体の距離を確実に取得するために光の照射量を小さくすると、遠距離側の被写体に光が当たらずに遠距離側の被写体の距離を測定できない場合があるという問題があった。

特許文献１、２に記載されたレーザレーダ装置は、レーザビームを走査してレーザビームの照射角度ごとに距離を取得する原理を用いているので、近距離側の被写体の距離と遠距離側の被写体の距離とを同時に取得することができない。

特許文献３に記載された装置は、複数の受光素子が二次元配列された撮像センサを用いているが、撮像センサの全受光素子の飽和を回避するために光の照射量を減少させる近距離側の撮像と、撮像センサの全受光素子の感度不足を回避するために光の照射量を増加させる遠距離側の撮像とを、異なるタイミングで行う必要があるので、測距領域内の近距離側の被写体の距離と遠距離側の被写体の距離とを同時に取得することができない。

また、特許文献１、２に記載のレーザビームを走査してレーザビームの照射角度ごとに距離を取得するレーザレーダ装置と、特許文献３に記載の複数の受光素子が二次元配列された撮像センサを用いて距離画像を生成する装置とでは、原理が全く異なるので容易に組み合わせることができない。仮に、特許文献１、２に記載の構成において、レーザビーム走査の発光部を広角度照射の発光部に置換し、且つ高感度のフォトダイオード及び低感度のフォトダイオードを高感度の撮像センサ及び低感度の撮像センサに置換し、高感度の撮像センサの出力画像及び低感度の撮像センサの出力画像のうちでいずれの撮像センサの出力画像を用いるかを切替える構成、即ち特許文献１又は２に記載された構成に特許文献３の記載事項を適用した単純な組み合わせの構成を想定しても、二次元配列された複数の受光素子の配列位置ごとに精度よく距離を導出することができない。そもそも特許文献１〜３からは、上述の組み合わせの構成を示唆する記載を見つけ出すことができない。

本発明はこのような事情に鑑みてなされたもので、測距領域内に近距離側の被写体と遠距離側の被写体とが混在する場合でも近距離側の被写体までの距離と遠距離側の被写体までの距離とを同時に取得することができ、且つ距離の測定精度を向上させることができる距離画像取得装置及び距離画像取得方法を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る距離画像取得装置は、測距領域内の被写体に対して光を照射する発光部と、規定の受光量で飽和する高感度受光素子の素子群と規定の受光量で飽和しない少なくとも一種類の低感度受光素子の素子群とを含み、高感度受光素子と低感度受光素子とが隣接して配置され、且つ高感度受光素子の素子群と低感度受光素子の素子群とが同じ配列パターンで二次元状に配列された距離画像センサと、発光部から照射されて被写体で反射される光である反射光を距離画像センサに結像させる結像レンズと、高感度受光素子及び低感度受光素子のうちの少なくとも高感度受光素子が飽和したか否かを検出する飽和検出部と、高感度受光素子の素子群のうちの飽和検出部で飽和が検出されていない高感度受光素子の出力値を用いて飽和が検出されていない高感度受光素子の配列位置に対応する距離を導出し、且つ低感度受光素子の素子群のうちの飽和検出部で飽和が検出された高感度受光素子に隣接する低感度受光素子の出力値を用いて飽和が検出された高感度受光素子の配列位置に対応する距離を導出することにより、距離画像を生成する距離画像生成部と、を備える。

本態様によれば、高感度受光素子と低感度受光素子とが隣接して配置され、且つ高感度受光素子の素子群と低感度受光素子の素子群とが同じ配列パターンで二次元状に配列された距離画像センサが用いられ、高感度受光素子の素子群のうちの飽和検出部で飽和が検出されていない高感度受光素子の出力値から、飽和が検出されていない高感度受光素子の配列位置に対応する距離が導出され、且つ低感度受光素子の素子群のうちの飽和検出部で飽和が検出された高感度受光素子に隣接する低感度受光素子の出力値から、飽和が検出された高感度受光素子の配列位置に対応する距離が導出されて、距離画像が生成されるので、測距領域内で近距離側の被写体と遠距離側の被写体とが混在しても近距離側の被写体までの距離と遠距離側の被写体までの距離とを同時に取得することができ、且つ高感度受光素子の配列位置ごとに距離の測定精度を向上させることができる。

本発明の他の態様に係る距離画像取得装置において、発光部は、複数の波長域で光を発光し、距離画像センサは、複数の波長域のそれぞれで感光する複数の波長域受光素子群を含み、複数の波長域受光素子群は、それぞれ高感度受光素子の素子群及び低感度受光素子の素子群を有し、高感度受光素子の素子群及び低感度受光素子の素子群は、感光する波長域が異なる受光素子同士で隣接しており、飽和検出部は、複数の波長域受光素子群のうちの少なくとも一種類の波長域受光素子群の高感度受光素子が飽和したか否かを検出し、且つ複数の波長域受光素子群のうちの少なくとも一種類の波長域受光素子群の低感度受光素子が飽和したか否かを検出することが好ましい。本態様によれば、複数の波長域のそれぞれで感光する複数の波長域受光素子群は、それぞれ高感度受光素子の素子群及び低感度受光素子の素子群を有し、高感度受光素子の素子群及び低感度受光素子の素子群は、感光する波長域が異なる受光素子同士で隣接しており、且つ高感度受光素子の飽和だけでなく低感度受光素子の飽和も検出するので、高感度受光素子の配列位置ごとに（或いは距離画像の画素位置ごとに）、飽和しない波長域の出力値が選択されることになり、外光の波長や被写体の色の波長に起因して飽和し易い波長域が存在する環境でも精度の良い距離画像を得ることが可能になる。

本発明の更に他の態様に係る距離画像取得装置において、距離画像生成部は、飽和検出部で複数の波長域受光素子群のうちの第１の波長域受光素子群に属する高感度受光素子の飽和が検出されており、且つ飽和検出部で第１の波長域受光素子群に属する低感度受光素子の飽和が検出されていない場合には、飽和が検出されていない受光素子の出力値を用いて距離を導出することが好ましい。また、距離画像生成部は、飽和検出部で第１の波長域受光素子群に属する高感度受光素子及び低感度受光素子の飽和が検出され、且つ飽和検出部で複数の波長域受光素子群のうちの第２の波長域受光素子群に属する高感度受光素子又は低感度受光素子の飽和が検出されていない場合には、飽和が検出されていない受光素子の出力値を用いて距離を導出することが好ましい。本態様によれば、第１の波長域が外光の波長域又は被写体の色の波長と重なっていることに起因して、第１の波長域の高感度受光素子の飽和が発生している場合でも、第１の波長域の低感度受光素子の飽和が発生していない場合には、距離導出用の波長域を変えずに第１の波長域の低感度受光素子の出力値から距離が導出され、第１の波長域の低感度受光素子も飽和が発生している場合のみ、距離導出用の波長域が変わり、第２の波長域の受光素子の出力値から距離が導出されるので、距離画像の画素間で距離導出用の波長域が変わることに起因する、距離画像の画素間での距離のギャップの発生を防止することができる。

本発明の更に他の態様に係る距離画像取得装置において、距離画像生成部は、飽和検出部で複数の波長域受光素子群のうちの第１の波長域受光素子群に属する高感度受光素子の飽和が検出されており、且つ飽和検出部で複数の波長域受光素子群のうちの第２の波長域受光素子群に属する高感度受光素子の飽和が検出されていない場合には、飽和が検出されていない受光素子の出力値を用いて距離を導出することが好ましい。また、距離画像生成部は、飽和検出部で第１の波長域受光素子群及び第２の波長域受光素子群に属する高感度受光素子の飽和が検出されており、且つ飽和検出部で第１の波長域受光素子群又は第２の波長域受光素子群に属する低感度受光素子の飽和が検出されていない場合には、飽和が検出されていない受光素子の出力値を用いて距離を導出することが好ましい。本態様によれば、第１の波長域の高感度受光素子の飽和が発生している場合でも、第２の波長域の高感度受光素子の飽和が発生していない場合には、距離導出用の波長域が変わり、第２の波長域の高感度受光素子の出力値から距離が導出されるので、距離導出用の出力値が高感度受光素子の出力値から低感度受光素子に変わることに起因する、距離画像の画素間での距離のギャップの発生を防止することができる。

本発明の更に他の態様に係る距離画像取得装置において、高感度受光素子の出力値が閾値以下であるか否かを判定する低出力判定部と、低出力判定部で出力値が閾値以下であると判定された高感度受光素子の出力値と、出力値が閾値以下であると判定された高感度受光素子に隣接し且つ感光する波長域が異なる他の高感度受光素子の出力値とを加算することにより、加算値を取得する加算値取得部と、を備え、距離画像生成部は、低出力判定部で高感度受光素子の出力値が閾値以下であると判定された場合には加算値を用いて距離を導出することが好ましい。本態様によれば、被写体が遠い位置に存在する場合や、被写体の反射率が低い場合に、互いに隣接し且つ感光する波長域が異なる高感度受光素子同士で出力値が加算されることにより高感度受光素子の感度が実質的に高くなるので、精度の良い距離画像を得ることができる。

本発明の更に他の態様に係る距離画像取得装置において、発光部は、白色光を発光する白色発光素子で構成されていることが好ましい。本態様によれば、距離導出用の波長域を変える必要がある場合でも、発光部での発光色を変える必要が無いので発光状態が変わることに起因する距離画像の画素間でのギャップの発生を防止することができ、且つ波長域ごとに発光素子を設ける必要が無いのでハードウェアのサイズの増加及びハードウェアコストの増加を抑えることができる。

本発明の更に他の態様に係る距離画像取得装置において、距離画像センサは、互いに感度が異なる三種類以上の受光素子群を含み、飽和検出部は、３種類以上の受光素子群のうちの少なくとも一種類の受光素子群の飽和の有無を検出することが好ましい。

本発明の一の態様に係る距離画像取得方法は、測距領域内の被写体に対して光を照射する発光部と、規定の受光量で飽和する高感度受光素子の素子群と規定の受光量で飽和しない少なくとも一種類の低感度受光素子の素子群とを含み、高感度受光素子と低感度受光素子とが隣接して配置され、且つ高感度受光素子の素子群と低感度受光素子の素子群とが同じ配列パターンで二次元状に配列された距離画像センサと、発光部から照射されて被写体で反射される光である反射光を距離画像センサに結像させる結像レンズとを用いる距離画像取得方法であって、高感度受光素子及び低感度受光素子のうちの少なくとも高感度受光素子が飽和したか否かを検出する飽和検出工程と、高感度受光素子の素子群のうちの飽和検出工程が検出されていない高感度受光素子の出力値を用いて飽和が検出されていない高感度受光素子の配列位置に対応する距離を導出し、且つ低感度受光素子の素子群のうちの飽和検出工程で飽和が検出された高感度受光素子に隣接する低感度受光素子の出力値を用いて飽和が検出された高感度受光素子の配列位置に対応する距離を導出することにより、距離画像を生成する距離画像生成工程とを含む。

本発明の更に他の態様に係る距離画像取得方法において、発光部は複数の波長域で光を発光し、距離画像センサは複数の波長域のそれぞれで感光する複数の波長域受光素子群を含み、複数の波長域受光素子群は、それぞれ高感度受光素子の素子群及び低感度受光素子の素子群を有し、高感度受光素子の素子群及び低感度受光素子の素子群は感光する波長域が異なる受光素子同士で隣接しており、飽和検出工程は、複数の波長域受光素子群のうちの少なくとも一種類の波長域受光素子群の高感度受光素子が飽和したか否かを検出し、且つ複数の波長域受光素子群のうちの少なくとも一種類の波長域受光素子群の低感度受光素子が飽和したか否かを検出することが好ましい。

本発明の更に他の態様に係る距離画像取得方法において、高感度受光素子の出力値が閾値以下であるか否かを判定する低出力判定工程と、低出力判定工程で出力値が閾値以下であると判定された高感度受光素子の出力値と、高感度受光素子に隣接し且つ感光する波長域が異なる他の高感度受光素子の出力値とを加算し、加算値を取得する加算値取得工程と、を備え、距離画像生成工程は、低出力判定工程で高感度受光素子の出力値が閾値以下であると判定された場合には加算値を用いて距離を導出する、ことが好ましい。

本発明よれば、測距領域内に近距離側の被写体と遠距離側の被写体とが混在する場合でも近距離側の被写体までの距離と遠距離側の被写体までの距離とを同時に取得することができ、且つ距離の測定精度を向上させることができる。

第１実施形態の距離画像取得装置の構成例を示すブロック図である。 第１実施形態における距離画像センサの受光素子配列の一例を示す説明図である。 第１実施形態における距離画像センサの受光素子配列の他の例を示す説明図である。 第１実施形態の距離画像取得装置を用いた距離画像取得方法の一例について処理の流れを示すフローチャートである。 第２実施形態の距離画像取得装置の構成例を示すブロック図である。 第２実施形態における距離画像センサの受光素子のニ次元配列の一例を示す説明図である。 第２実施形態における距離画像センサの受光素子のニ次元配列の他の例を示す説明図である。 第２実施形態の距離画像取得装置を用いた距離画像取得方法の一例について処理の流れを示すフローチャートである。 第２実施形態の距離画像取得装置での距離画像取得方法の他の例について処理の流れを示すフローチャートである。 第３実施形態の距離画像取得装置の構成例を示すブロック図である。 第３実施形態の距離画像取得装置を用いた距離画像取得方法の一例について処理の流れを示すフローチャートである。 距離導出処理例の露光制御及び演算処理を示す説明図である。 距離画像取得装置の一例であるスマートフォンの外観図である。 スマートフォンの構成を示すブロック図である。

以下、添付図面に従って本発明に係る距離画像取得装置及び距離画像取得方法の実施の形態について説明する。

＜第１実施形態＞
図１は、本発明に係る第１実施形態の距離画像取得装置の構成例を示すブロック図である。

本実施形態の距離画像取得装置１０は、測距領域内の被写体に対して光を照射する発光部１２と、複数の受光素子が二次元状に配列された距離画像センサ１４と、発光部１２から照射されて被写体で反射される光である反射光を距離画像センサ１４に結像させる結像レンズ１６と、発光部１２の発光の開始及び終了のタイミングの制御、並びに距離画像センサ１４の受光の開始及び終了のタイミングの制御を行うタイミング制御部１８と、距離画像センサ１４から出力される撮像信号をアナログからデジタルに変換するＡＤ（analog-digital）変換器２０と、タイミング制御部１８への制御信号の出力、及びＡＤ変換器２０からのデジタルの撮像信号の入力を受け付けるインターフェース回路２２と、インターフェース回路２２で受け付けたデジタルの撮像信号を記憶する記憶部２８と、距離画像取得装置１０の各部の制御を行うＣＰＵ（central-processing-unit）３０を備える。本実施形態のＣＰＵ３０は、発光部１２による発光を制御する発光制御部３２と、距離画像センサ１４の複数の受光素子による受光を制御する受光制御部３４と、距離画像センサ１４の複数の受光素子が飽和したか否かを検出する飽和検出部３６と、距離画像センサ１４の複数の受光素子のうちで飽和検出部３６で飽和が検出されていない複数の受光素子の出力値を用いて被写体までの距離を導出することにより距離画像を生成する距離画像生成部４２を備える。

発光部１２は、例えばＬＥＤ（light-emitting-diode）を用いる。公知である他の種類の発光素子を用いてもよい。

図２は、第１実施形態における距離画像センサ１４の受光素子配列の一例を示す説明図である。

図２に示す距離画像センサ１４Ａは、互いに感度が異なる高感度受光素子Ｈの素子群（高感度受光素子群５１Ｈ）と低感度受光素子Ｌの素子群（低感度受光素子群５１Ｌ）とを含み、高感度受光素子Ｈと低感度受光素子ＬとがＸ方向及びＹ方向の両方向で互いに隣接して配置されている。また、高感度受光素子群５１Ｈと低感度受光素子群５１Ｌとが、同じ配列パターンで、同じ平面（受光面）上に、二次元状に配列されている。高感度受光素子Ｈは規定の受光量で飽和する受光素子であり、低感度受光素子Ｌは規定の受光量で飽和しない受光素子である。高感度受光素子Ｈ及び低感度受光素子Ｌとして、例えばフォトダイオードを用いる。

距離画像センサの受光素子が規定の受光量で飽和するか否かの感度の設定態様には各種ある。例えば、受光素子の受光用の開口の面積差で感度を設定する態様、受光素子に設けたフィルタの透光性能の差で感度を設定する態様、受光素子の電荷蓄積性能の差で感度を設定する態様、及び、受光素子に組み込まれた増幅器又は受光素子の後段に併設された増幅器の増幅率の差で感度を設定する態様などがある。本発明における受光素子の「感度」の設定態様は、いずれの態様でもよい。

また、「規定の受光量」は、固定の場合に特に限定されず、可変の場合でもよい。飽和に達する「規定の受光量」を可変にする態様として、例えば、受光素子の電荷蓄積性能を切換える、或いは増幅器の増幅率を切換えるなどにより、「規定の受光量」を可変にすることができる。規定の受光量の具体的な数値は、適宜設定してよい。例えば、外光、被写体の反射率などを考慮して規定の受光量を可変に設定することが可能である。

図２に示す距離画像センサ１４Ａを用いる場合、飽和検出部３６は、高感度受光素子Ｈ及び低感度受光素子Ｌのうちの少なくとも高感度受光素子Ｈが飽和したか否かを検出する。

本例の距離画像生成部４２は、高感度受光素子群５１Ｈのうちの飽和検出部３６で飽和が検出されていない高感度受光素子Ｈの出力値を用いて、その飽和が検出されていない高感度受光素子Ｈの配列位置に対応する距離を導出する。また、本例の距離画像生成部４２は、低感度受光素子群５１Ｌのうちの飽和検出部３６で飽和が検出された高感度受光素子Ｈに隣接する低感度受光素子Ｌの出力値を用いて、飽和が検出された高感度受光素子Ｈの配列位置に対応する距離を導出する。

距離画像は、通常の二次元画像の色や濃淡の値の代わりに、距離画像取得装置１０から対象物（本明細書では「被写体」という）までの距離の値を持った画像である。

図３は、第１実施形態における距離画像センサ１４の受光素子配列の他の例を示す説明図である。

図３に示す距離画像センサ１４Ｂは、第１の感度を持つ第１の受光素子ＶＨと、第１の感度よりも低い第２の感度を持つ第２の受光素子Ｈと、第２の感度よりも低い第３の感度を持つ第３の受光素子Ｌと、第３の感度よりも低い第４の感度を持つ第４の受光素子ＶＬとが、互いに隣接して配置されている。また、第１の感度を持つ第１の受光素子ＶＨと、第１の感度よりも低い感度を持つ第２〜第４の受光素子Ｈ、Ｌ、ＶＬとが、同じ平面（受光面）上の第１の方向Ｘ、第２の方向Ｙ及び第３の方向Ｓのうちのいずれかの方向で隣接しているともいえる。また、第１の受光素子ＶＨの素子群（第１の受光素子群５２ＶＨ）と、第２の受光素子Ｈの素子群（第２の受光素子群５２Ｈ）と、第３の受光素子Ｌの素子群（第３の受光素子群５２Ｌ）と、第４の受光素子ＶＬの素子群（第４の受光素子群５２ＶＬ）とが、同じ配列パターンで、同じ平面（受光面）上に、二次元状に配列されている。尚、本例の距離画像センサ１４Ｂは、互いに感度が異なる四種類の受光素子群を有しているが、本発明における距離画像センサは、互いに感度が異なる受光素子群が三種類の場合や五種類以上の場合でもよい。

図３に示す距離画像センサ１４Ｂを用いる場合、飽和検出部３６は、四種類の受光素子ＶＨ、Ｈ、Ｌ、ＶＬのうちの少なくとも第１〜第３の受光素子ＶＨ、Ｈ，Ｌがそれぞれ飽和しているか否かを検出する。本例の距離画像生成部４２は、第１の受光素子群５２ＶＨのうちの飽和検出部３６で飽和が検出されていない第１の受光素子ＶＨの出力値を用いて、その飽和が検出されていない第１の受光素子ＶＨの配列位置に対応する距離を導出する。また、本例の距離画像生成部４２は、第２の受光素子Ｈ、第３の受光素子Ｌ及び第４の受光素子ＶＬのうち、飽和検出部３６で飽和が検出された第１の受光素子ＶＨに隣接する受光素子であり且つ飽和検出部３６で飽和が検出されていない受光素子の出力値を用いて、第１の受光素子ＶＨの配列位置に対応する距離を導出する。

図１の記憶部２８は、距離画像生成部４２の距離導出で用いられる高感度距離導出情報２８Ａ及び低感度距離導出情報２８Ｂを記憶する。高感度距離導出情報２８Ａは、高感度受光素子の出力値から距離を導出するための情報である。低感度距離導出情報２８Ｂは、低感度受光素子の出力値から距離を導出するための情報である。高感度距離導出情報２８Ａ及び低感度距離導出情報２８Ｂの例として、受光素子の出力値と距離との対応関係を示すテーブル情報が挙げられる。

また、記憶部２８は、ＣＰＵ３０で実行されるプログラムを記憶する。ＣＰＵ３０は記憶部２８に記憶されたプログラムに従って、後述する本発明に係る距離画像取得方法の各処理を実行する。尚、記憶部２８に記憶された高感度距離導出情報２８Ａ及び低感度距離導出情報２８Ｂは、ＣＰＵ３０で実行されるプログラムに埋め込まれた情報であってもよい。

尚、距離の「導出」は、テーブル情報から導き出す場合に特に限定されない。例えば、計算式を用いて、受光素子の出力値を変数として距離を「算出」する場合でもよい。また、通信部を設け、図示しないサーバ装置から受光素子の出力値の情報に対応する距離を受信する場合でもよい。

次に第１実施形態の距離画像取得装置１０での距離画像取得方法の一例について処理の流れを説明する。

図４は第１実施形態の距離画像取得装置１０を用いた距離画像取得方法の一例について処理の流れを示すフローチャートであり、主として記憶部２８に記憶されたプログラムに従ってＣＰＵ３０で実行される処理の流れを示す。

本実施形態の理解を容易にするため、図２に示した高感度受光素子群５１Ｈ及び低感度受光素子群５１Ｌを持つ距離画像センサ１４Ａを図１の距離画像センサ１４として用いた場合を例に説明する。

まずＣＰＵ３０は、高感度受光素子Ｈ及び低感度受光素子Ｌの出力値を取得する（ステップＳ１０２）。本実施形態の距離画像取得装置１０では、発光制御部３２により、インターフェース回路２２及びタイミング制御部１８を介して、発光部１２から測距領域内に向けて照射光を発光させる制御を行い、受光制御部３４により、インターフェース回路２２及びタイミング制御部１８を介して、距離画像センサ１４に被写体からの反射光を受光させる制御を行うことにより、高感度受光素子Ｈの出力値と低感度受光素子Ｌの出力値とを同時に取得することができる。距離画像センサ１４の高感度受光素子Ｈの出力値及び低感度受光素子Ｌの出力値を含む撮像信号は、ＡＤ変換器２０によりアナログからデジタルに変換され、インターフェース回路２２を介して、記憶部２８に撮像データとして記憶される。

次に、飽和検出部３６により、撮像データに含まれている高感度受光素子Ｈの出力値が飽和を示す数値（例えば最大値）であるか否かを判定することにより、高感度受光素子Ｈが飽和したか否かを検出する（ステップＳ１０４:飽和検出工程）。出力値が閾値以上であるか否かを判定することにより、飽和したか否かを検出してもよい。

高感度受光素子Ｈの飽和が検出されていない場合（ステップＳ１０４でＮＯの場合）、距離画像生成部４２により、高感度受光素子Ｈの出力値を用いて、高感度距離導出情報２８Ａに基づき高感度受光素子Ｈの配列位置に対応する距離を導出する（ステップＳ１０６:距離画像生成工程）。

高感度受光素子Ｈの飽和が検出された場合（ステップＳ１０４でＹＥＳの場合）、距離画像生成部４２により、飽和が検出された高感度受光素子Ｈに隣接する低感度受光素子Ｌの出力値を用いて、低感度距離導出情報２８Ｂに基づき高感度受光素子Ｈの配列位置に対応する距離を導出する（ステップＳ１０８:距離画像生成工程）。

ＣＰＵ３０は、距離画像の生成に必要な全ての位置で距離を導出したか否かを判定し（ステップＳ１１０）、距離を未導出の位置がある場合（ステップＳ１１０でＮＯの場合）、注目する位置を次の位置へ移し（ステップＳ１１２）、ステップＳ１０４に戻る。全ての位置で距離を導出した場合（ステップＳ１１０でＹＥＳの場合）、距離画像の生成が終了し、本処理を終了する。即ち、距離画像の生成が終了した場合、本処理は終了する。ここで「位置」とは、距離画像における画素位置と受光面における高感度受光素子Ｈの配列位置とが一対一で対応する場合、画素位置に一対一で対応する配列位置である。距離画像における画素位置と受光面における高感度受光素子Ｈの配列位置とが一対一で対応しない場合でも、画素位置と配列位置には決められた関係が存在するので、画素位置に対応する配列位置といえる。

図４に示した処理により、距離画像センサ１４の複数の高感度受光素子Ｈの配列位置のうちで高感度受光素子Ｈの飽和が検出された配列位置では、飽和が検出された高感度受光素子Ｈに隣接する低感度受光素子の出力値を用いて、飽和が検出された高感度受光素子の配列位置に対応する距離が導出されるので、高感度受光素子Ｈが飽和しても精度があまり落ちない距離が得られる。また、高感度受光素子Ｈの飽和が検出されていない配列位置では、飽和が検出されていない高感度受光素子Ｈの出力値を用いて距離が導出されるので、複数の高感度受光素子Ｈのうちいずれかで飽和が発生した場合に全ての位置で低感度受光素子Ｌの出力値を用いて距離を導出する場合と比較して、高精度の距離が得られる。

次に、図３に示した距離画像センサ１４Ｂを図１の距離画像センサ１４として用いた場合を例に、図４の処理の流れについて説明する。

図３の距離画像センサ１４Ｂに含まれる四種類の受光素子ＶＨ、Ｈ、Ｌ、ＶＬのうちで第１の感度を持つ第１の受光素子ＶＨを「高感度受光素子」と分類し、第１の感度よりも低い感度を持つ第２の受光素子Ｈ、第３の受光素子Ｌ及び第４の受光素子ＶＬを「低感度受光素子」と分類すると、図３の距離画像センサ１４Ｂを用いた場合の図４の処理は、図２の距離画像センサ１４Ａを用いた場合と同様であるといえる。ステップＳ１０４では、「高感度受光素子」に分類した第１の受光素子ＶＨの飽和が飽和検出部３６で検出されたか否かを判定する。ステップＳ１０４でＮＯの場合、ステップＳ１０８では、「高感度受光素子」に分類した第１の受光素子ＶＨの出力値を用いて距離を導出する。ステップＳ１０４でＹＥＳの場合、「低感度受光素子」に分類した第２の受光素子Ｈ、第３の受光素子Ｌ及び第４の受光素子ＶＬのうちの飽和検出部３６で飽和が検出されていない受光素子の出力値を用いて、飽和検出部３６で飽和が検出された第１の受光素子ＶＨの配列位置に対応する距離を導出する。ただし、図３の距離画像センサ１４Ｂを用いる場合、ステップＳ１０６では、第２の受光素子Ｈの出力値、第３の受光素子Ｌの出力値、第４の受光素子ＶＬの出力値の順で、距離導出に用いる出力値を選択する。即ち、受光素子Ｈ，Ｌ，ＶＬの出力値のうちで飽和検出部３６で飽和が検出されていない受光素子の出力値であって、感度が最も高い受光素子の出力値が選択され、距離が導出される。

以上説明したように、本実施形態の距離画像取得装置１０は、測距領域内の被写体に対して光を照射する発光部１２と、規定の受光量で飽和する高感度受光素子の素子群と規定の受光量で飽和しない少なくとも一種類の低感度受光素子の素子群とを含み、高感度受光素子と低感度受光素子とが隣接して配置され、且つ高感度受光素子の素子群と低感度受光素子の素子群とが同じ配列パターンで二次元状に配列された距離画像センサ１４と、発光部１２から照射されて被写体で反射される光である反射光を距離画像センサ１４に結像させる結像レンズ１６と、高感度受光素子及び低感度受光素子のうちの少なくとも高感度受光素子が飽和したか否かを検出する飽和検出部３６と、高感度受光素子の素子群のうちの飽和検出部３６で飽和が検出されていない高感度受光素子の出力値を用いて飽和検出部３６で飽和が検出されていない高感度受光素子の配列位置に対応する距離を導出し、且つ低感度受光素子の素子群のうちの飽和検出部３６で飽和が検出された高感度受光素子に隣接する低感度受光素子の出力値を用いて飽和が検出された高感度受光素子の配列位置に対応する距離を導出することにより、距離画像を生成する距離画像生成部４２を備える。

したがって、測距領域内で近距離側の被写体と遠距離側の被写体とが混在する場合でも、近距離側の被写体までの距離と遠距離側の被写体までの距離とを同時に取得することができ、且つ高感度受光素子の配列位置ごとに距離の精度を向上させることができる。

＜第２実施形態＞
図５は、本発明に係る第２実施形態の距離画像取得装置１１０の構成例を示すブロック図である。図１に示した第１実施形態の距離画像取得装置１０と同一の構成要素には同一の符号を付してあり、また、発光部１１２、距離画像センサ１１４、記憶部１２８、発光制御部１３２、受光制御部１３４、飽和検出部１３６及び距離画像生成部１４２は、それぞれ、第１実施形態の距離画像取得装置１０の発光部１２、距離画像センサ１４、記憶部２８、発光制御部３２、受光制御部３４、飽和検出部３６及び距離画像生成部４２に対応する。既に説明した内容については以下では説明を省略する。

本実施形態の距離画像取得装置１１０は、少なくとも第１の波長域と第２の波長域とを含む複数の波長域で光を発光する発光部１１２と、少なくとも第１の波長域と第２の波長域とを含む複数の波長域のそれぞれで感光する複数の受光素子群（以下「波長域受光素子群」という）を含む距離画像センサ１１４と、波長域別の高感度距離導出情報１２８Ａ及び波長域別の低感度距離導出情報１２８Ｂを記憶する記憶部１２８を含む。ＣＰＵ１３０は、発光部１１２に複数の波長域で同時に発光させる発光制御部１３２と、距離画像センサ１１４に複数の波長域で同時に受光させる受光制御部１３４と、距離画像センサ１１４の複数の受光素子が飽和したか否かを検出する飽和検出部１３６と、距離画像センサ１１４の複数の受光素子のうちで飽和検出部１３６で飽和が検出されていない複数の受光素子の出力値を用いて距離を導出することにより距離画像を生成する距離画像生成部１４２を含む。

距離画像センサ１１４の複数の波長域受光素子群は、それぞれ、高感度受光素子群及び低感度受光素子群を有する。高感度受光素子群及び低感度受光素子群は、それぞれ、受光面上において、感光する波長域が異なる受光素子同士で隣接している。また、高感度受光素子と低感度受光素子とが、受光面上において、隣接している。複数の波長域受光素子群は、受光面上において、同じ配列パターンで、二次元状に配列されている。また、高感度受光素子群と低感度受光素子群とが、受光面上において、同じ配列パターンで、二次元状に配列されている。

飽和検出部１３６は、複数の波長域受光素子群のうちの少なくとも一種類の波長域受光素子群の高感度受光素子が飽和したか否かを検出し、且つ複数の波長域受光素子群のうちの少なくとも一種類の波長域受光素子群の低感度受光素子が飽和したか否かを検出する。

図６は、第２実施形態における距離画像センサ１１４の受光素子配列の一例を示す説明図である。

図６に示す距離画像センサ１１４Ａは、第１の波長域で感光する第１の波長域受光素子Ｈ１，Ｌ１の素子群（第１の波長域受光素子群５３Ａ）と、第１の波長域とは異なる第２の波長域で感光する第２の波長域受光素子Ｈ２，Ｌ２の素子群（第２の波長域受光素子群５３Ｂ）を含む。

例えば、近赤外光の波長域（０．７５〜１．４μｍ）に外乱光がほとんど存在しない環境、及び近赤外光の波長域に太陽光などの外乱光が存在する環境の両方の環境での距離画像取得が考えられる場合、発光部１１２に、近赤外光の波長域及び近赤外光とは異なる波長域の両方の波長域で発光する発光素子を設け、且つ距離画像センサ１１４に、近赤外光の波長域で感光する第１の波長域受光素子群及び近赤外光とは異なる波長域で感光する第２の波長域受光素子群を設けてよい。

第１の波長域受光素子群５３Ａは、複数の高感度受光素子Ｈ１からなる高感度受光素子群、及び複数の低感度受光素子Ｌ１からなる低感度受光素子群を有する。同様に、第２の波長域受光素子群５３Ｂは、複数の高感度受光素子Ｈ２からなる高感度受光素子群、及び複数の低感度受光素子Ｌ２からなる低感度受光素子群を有する。第１の波長域受光素子Ｈ１、Ｌ１は、受光面上において、感光する波長域が異なる第２の波長域受光素子Ｈ２及びＬ２と隣接して配置されている。また、高感度受光素子Ｈ１、Ｈ２は、受光面上において、低感度受光素子Ｌ１、Ｌ２と隣接して配置されている。第１の波長域受光素子群５３Ａ及び第２の波長域受光素子群５３Ｂは、受光面上において、同じ配列パターンで二次元状に配列されている。また、第１の波長域受光素子群５３Ａの高感度受光素子Ｈ１の素子群と低感度受光素子Ｌ１の素子群は、受光面上において、同じ配列パターンで二次元状に配列されている。同様に、第２の波長域受光素子群５３Ｂの高感度受光素子Ｈ２の素子群と低感度受光素子Ｌ２の素子群は、受光面上において、同じ配列パターンで二次元状に配列されている。

本例の飽和検出部１３６は、第１の波長域受光素子Ｈ１及びＬ１がそれぞれ飽和したか否か、及び第２の波長域受光素子Ｈ２、Ｌ２がそれぞれ飽和したか否かを検出する。

図７は、第２実施形態における距離画像センサ１１４の受光素子配列の他の例を示す説明図である。

図７に示す距離画像センサ１１４Ｂは、第１の波長域で感光する第１の波長域受光素子ＨＩＲ，ＬＩＲの素子群（第１の波長域受光素子群５４Ａ）と、第２の波長域で感光する第２の波長域受光素子ＨＲ，ＬＲの素子群（第２の波長域受光素子群５４Ｂ）と、第３の波長域で感光する第３の波長域受光素子ＨＧ，ＬＧの素子群（第３の波長域受光素子群５４Ｃ）と、第４の波長域で感光する第４の波長域受光素子ＨＢ，ＬＢの素子群（第４の波長域受光素子群５４Ｄ）を含む。ここで第１の波長域、第２の波長域、第３の波長域及び第４の波長域は、互いに波長域が異なる。

限定された波長域で「感光」させる態様（波長域別の感光態様）として、例えば、限定された波長域のみ透光するフィルタを設ける態様が知られている。本発明における波長域別の感光態様は、公知のいずれの態様でもよい。

尚、図７において受光素子の符号に含まれる「ＩＲ」、「Ｒ」，「Ｇ」，「Ｂ」は受光素子の感光する波長域が異なることを表すために便宜的に付した記号であり、本発明において、赤外（infrared）、赤 (red)、緑(green)及び青(blue)の波長域で感光することは、必須の条件ではない。例えば、青の波長域以下の短波長の光が被写体に照射されないようにカットフィルタを発光部１１２に設けてよい。青色光の波長以下の短波長で感光する受光素子を、設けない構成としてよい。

また、符号ＨＩＲ及びＬＩＲを付した受光素子が近赤外光に感光し、符号ＨＲ及びＬＲを付した受光素子が赤色光に感光し、符号ＨＧ及びＬＧを付した受光素子が緑色光に感光し、且つ符号ＨＢ及びＬＢを付した受光素子が青色光に感光する構成としてもよい。

発光部１１２として、白色光を発光する白色発光素子を用いてもよい。青の波長域以下の短波長側では光を被写体に照射しないように、発光部１１２にカットフィルタを設けてよい。

第１の波長域受光素子群５４Ａ、第２の波長域受光素子群５４Ｂ、第３の波長域受光素子群５４Ｃ及び第４の波長域受光素子群５４Ｄは、それぞれ、複数の高感度受光素子（ＨＩＲ，ＨＲ，ＨＧ又はＨＢ）からなる高感度受光素子群と、複数の低感度受光素子（ＬＩＲ，ＬＲ，ＬＧ又はＬＢ）からなる低感度受光素子群とを有する。第１の波長域受光素子（ＨＩＲ及びＬＩＲ）と、第２の波長域受光素子（ＨＲ及びＬＲ）と、第３の波長域受光素子（ＨＧ及びＬＧ）と、第４の波長域受光素子（ＨＢ及びＬＢ）とが、同一の受光面上で、隣接して配置されている。

本例のＣＰＵ３０の飽和検出部３６は、第１の波長域受光素子（ＨＩＲ及びＬＩＲ）、第２の波長域受光素子（ＨＲ及びＬＲ）、第３の波長域受光素子（ＨＧ及びＬＧ）、及び第４の波長域受光素子（ＨＢ及びＬＢ）が、それぞれ飽和したか否かを検出する。

次に第２実施形態の距離画像取得装置１１０での距離画像取得方法の一例について処理の流れを説明する。

図８は第２実施形態の距離画像取得装置１１０での距離画像取得方法の一例について処理の流れを示すフローチャートであり、主として記憶部１２８に記憶されたプログラムに従ってＣＰＵ１３０で実行される処理の流れを示す。尚、本実施形態の理解を容易にするため、図６に示した距離画像センサ１１４Ａを図５の距離画像センサ１１４として用いた場合を例に説明する。

まずＣＰＵ１３０は、第１の波長域受光素子Ｈ１，Ｌ１及び第２の波長域受光素子Ｈ２、Ｌ２の出力値を取得する（ステップＳ２０２）。本実施形態の距離画像取得装置１１０では、発光制御部１３２により、インターフェース回路２２及びタイミング制御部１８を介して、発光部１１２から第１の波長域及び第２の波長域で照射光を発光させる制御を行い、受光制御部１３４により、インターフェース回路２２及びタイミング制御部１８を介して、距離画像センサ１１４に被写体からの反射光を受光させる制御を行うことにより、高感度受光素子（Ｈ１及びＨ２）の出力値と低感度受光素子（Ｌ１及びＬ２）の出力値とを同時に取得することができる。距離画像センサ１１４の第１の波長域受光素子Ｈ１、Ｌ１の出力値及び第２の波長域受光素子Ｈ２、Ｌ２の出力値を含む撮像信号は、ＡＤ変換器２０によりアナログからデジタルに変換され、インターフェース回路２２を介して、記憶部１２８に撮像データとして記憶される。

次に飽和検出部１３６により、記憶部１２８に記憶された撮像データに含まれている第１の波長域受光素子群５３Ａの高感度受光素子Ｈ１の出力値が飽和を示す数値であるか否かを判定することにより、その高感度受光素子Ｈ１が飽和したか否かを検出する（ステップＳ２０４：飽和検出工程）。飽和が検出されていない場合（ステップＳ２０４でＮＯの場合）、距離画像生成部１４２により、高感度受光素子Ｈ１の出力値を用いて、第１の波長域用の高感度距離導出情報１２８Ａに基づき高感度受光素子Ｈ１の配列位置に対応する距離を導出する（ステップＳ２０６：画像生成工程）。

第１の波長域受光素子群５３Ａの高感度受光素子Ｈ１の飽和が検出された場合（ステップＳ２０４でＹＥＳの場合）、飽和検出部１３６により、第１の波長域受光素子群５３Ａの低感度受光素子Ｌ１が飽和したか否かを検出する（ステップＳ２０８：飽和検出工程）。飽和が検出されていない場合（ステップＳ２０８でＮＯの場合）、距離画像生成部１４２により、低感度受光素子Ｌ１の出力値を用いて、第１の波長域用の低感度距離導出情報１２８Ｂに基づき高感度受光素子Ｈ１の配列位置に対応する距離を導出する（ステップＳ２１０：画像生成工程）。ここで、距離導出に用いる出力値は、飽和が検出された高感度受光素子Ｈ１に隣接した受光素子の出力値である。

第１の波長域受光素子群５３Ａの高感度受光素子Ｈ１及び低感度受光素子Ｌ１の両方の飽和が検出された場合（ステップＳ２０８でＹＥＳの場合）、飽和検出部１３６により、第２の波長域受光素子群５３Ｂの高感度受光素子Ｈ２が飽和したか否かを検出する（ステップＳ２１２：飽和検出工程）。飽和が検出されていない場合（ステップＳ２１２でＮＯの場合）、距離画像生成部１４２により、高感度受光素子Ｈ２の出力値を用いて、第２の波長域用の高感度距離導出情報１２８Ａに基づき第１の波長域受光素子群５３Ａの高感度受光素子Ｈ１の配列位置に対応する距離を導出する（ステップＳ２１４：画像生成工程）。ここで、距離導出に用いる出力値は、飽和が検出された高感度受光素子Ｈ１に隣接した受光素子の出力値である。

第２の波長域受光素子群５３Ｂの高感度受光素子Ｈ２の飽和が検出された場合（ステップＳ２１２でＹＥＳの場合）、飽和検出部１３６により、第２の波長域受光素子群５３Ｂの低感度受光素子Ｌ２が飽和したか否かを検出する（ステップＳ２１６：飽和検出工程）。飽和が検出されていない場合（ステップＳ２１６でＮＯの場合）、距離画像生成部１４２により、低感度受光素子Ｌ２の出力値を用いて、第２の波長域用の低感度距離導出情報１２８Ｂに基づき第１の波長域受光素子群５３Ａの高感度受光素子Ｈ１の配列位置に対応する距離を導出する（ステップＳ２１８：画像生成工程）。ここで、距離導出に用いる出力値は、飽和が検出された高感度受光素子Ｈ１に隣接した受光素子の出力値である。

ＣＰＵ３０は、距離画像の生成に必要な全ての位置で飽和の有無の検出が実行されたか否かを判定し（ステップＳ２２０）、飽和の有無の検出を未実行の位置がある場合（ステップＳ２２０でＮＯの場合）、注目する位置を次の位置へ移し（ステップＳ２２２）、ステップＳ２０４に戻る。全ての位置で飽和の有無の検出が実行された場合（ステップＳ２２０でＹＥＳの場合）、ステップＳ２２４に進む。

本例では、互いに隣接する複数の受光素子Ｈ１、Ｌ１、Ｈ２及びＬ２の全てで飽和が検出された画素位置について、距離を補間する（ステップＳ２２４）。即ち、飽和が検出されていない受光素子が少なくとも一つ存在する位置の距離の値に基づいて、補間を行う。距離画像の生成が終了すると、本処理は終了する。

次に、図７の距離画像センサ１１４Ｂを用いた場合の処理の流れについて説明する。

図７の距離画像センサ１１４Ｂを用いた場合、第１の波長域受光素子及び第２の波長域受光素子について、既に説明したように飽和検出（ステップＳ２０４、Ｓ２０８、Ｓ２１２、Ｓ２１６）及び距離導出（ステップＳ２０６、Ｓ２１０、Ｓ２１４、Ｓ２１８）を必要に応じて行った後、同様に、第３の波長域受光素子及び第４の波長域受光素子について、飽和検出及び距離導出を必要に応じて行う。ここで、第１の波長域受光素子群５４Ａの高感度受光素子ＨＩＲの飽和が検出されていない場合には、その飽和が検出されていない高感度受光素子ＨＩＲの出力値を用いて距離を導出し、第１の波長域受光素子群５４Ａの高感度受光素子ＨＩＲの飽和が検出された場合には、飽和が検出された高感度受光素子ＨＩＲに隣接して配置され且つ飽和が検出されていない受光素子の出力値を用いて、飽和が検出された高感度受光素子ＨＩＲに対応する距離を導出する。

図８に示した本例によれば、第１の波長域で高感度受光素子の飽和が発生している場合でも、第１の波長域で低感度受光素子の飽和が発生していない場合には、距離導出用の波長域を変えずに第１の波長域での低感度受光素子の出力値から距離が導出され、第１の波長域で低感度受光素子も飽和が発生している場合のみ、距離導出用の波長域が変わり、第２の波長域での受光素子の出力値から距離が導出されるので、距離画像の画素間で距離導出用の波長域が変わることに起因して、距離画像の画素間で距離のギャップが発生する可能性を少なくすることができる。

次に第２実施形態の距離画像取得装置での距離画像取得方法の他の例について処理の流れを説明する。

図９は第２実施形態の距離画像取得装置１１０での距離画像取得方法の他の例について処理の流れを示すフローチャートであり、主として記憶部１２８に記憶されたプログラムに従ってＣＰＵ１３０で実行される処理の流れを示す。尚、本実施形態の理解を容易にするため、図６に示した距離画像センサ１１４Ａを図５の距離画像センサ１１４として用いた場合を例に説明する。

ステップＳ３０２、Ｓ３０４及びＳ３０６は、図８に示したステップＳ２０２、Ｓ２０４及びＳ２０６と同様であり、説明を省略する。

第１の波長域受光素子群５３Ａの高感度受光素子Ｈ１の飽和が検出された場合（ステップＳ３０４でＹＥＳの場合）、飽和検出部１３６により、第２の波長域受光素子群５３Ｂの高感度受光素子Ｈ２が飽和したか否かを検出する（ステップＳ３０８：飽和検出工程）。

第１の波長域受光素子群５３Ａの高感度受光素子Ｈ１の飽和が検出され、且つ第２の波長域受光素子群５３Ｂの高感度受光素子Ｈ２の飽和が検出されていない場合（ステップＳ３０８でＮＯの場合）、距離画像生成部４２により、第２の波長域受光素子群５３Ｂの高感度受光素子Ｈ２の出力値を用いて、第２の波長域用の高感度距離導出情報１２８Ａに基づき第１の波長域受光素子群５３Ａの高感度受光素子Ｈ１の配列位置に対応する距離を導出する（ステップＳ３１０：画像生成工程）。ここで、距離導出に用いる出力値は、飽和が検出された高感度受光素子Ｈ１に隣接した受光素子の出力値である。

第１の波長域受光素子群５３Ａの高感度受光素子Ｈ１及び第２の波長域受光素子群５３Ｂの高感度受光素子Ｈ２の飽和が検出された場合（ステップＳ３０８でＹＥＳの場合）、飽和検出部３６により、第１の波長域受光素子群５３Ａの低感度受光素子Ｌ１が飽和したか否かを検出する（ステップＳ３１２：飽和検出工程）。飽和が検出されていない場合（ステップＳ３１２でＮＯの場合）、距離画像生成部４２により、第１の波長域受光素子群５３Ａの低感度受光素子Ｌ１の出力値を用いて、第１の波長域用の低感度距離導出情報１２８Ｂに基づき第１の波長域受光素子群５３Ａの高感度受光素子Ｈ１の配列位置に対応する距離を導出する（ステップＳ３１４：画像生成工程）。ここで、距離導出に用いる出力値は、飽和が検出された高感度受光素子Ｈ１に隣接した受光素子の出力値である。

第１の波長域受光素子群５３Ａの低感度受光素子Ｌ１の飽和が検出された場合（ステップＳ３１２でＹＥＳの場合）、飽和検出部１３６により、第２の波長域受光素子群５３Ｂの低感度受光素子Ｌ２が飽和したか否かを検出する（ステップＳ３１６：飽和検出工程）。飽和が検出されていない場合（ステップＳ３１６でＮＯの場合）、距離画像生成部１４２により、第２の波長域受光素子群５３Ｂの低感度受光素子Ｌ２の出力値を用いて、第２の波長域用の低感度距離導出情報１２８Ｂに基づき第１の波長域受光素子群５３Ａの高感度受光素子Ｈ１の配列位置に対応する距離を導出する（ステップＳ３１８：画像生成工程）。ここで、距離導出に用いる出力値は、飽和が検出された高感度受光素子Ｈ１に隣接した受光素子の出力値である。

ステップＳ３２０、Ｓ３２２及びＳ３２４は、図８に示したステップＳ２２０、Ｓ２２２及びＳ２２４と同様の工程であり、説明を省略する。

次に、図７の距離画像センサ１１４Ｂを用いた場合の処理の流れについて説明する。

図７の距離画像センサ１１４Ｂを用いた場合、第１の波長域受光素子群５４Ａ及び第２の波長域受光素子群５４Ｂの高感度受光素子について、既に説明したように飽和検出（ステップＳ３０４、Ｓ３０８）及び距離導出（ステップＳ３０６、Ｓ３１０）を必要に応じて行った後、同様に、第３の波長域受光素子群５４Ｃ及び第４の波長域受光素子群５４Ｄの高感度受光素子について、飽和検出及び距離導出を必要に応じて行う。また、第１の波長域受光素子群５４Ａ及び第２の波長域受光素子群５４Ｂの低感度受光素子について、既に説明したように飽和検出（ステップＳ３１２、Ｓ３１６）及び距離導出（ステップＳ３１４、Ｓ３１８）を必要に応じて行った後、同様に、第３の波長域受光素子群５４Ｃ及び第４の波長域受光素子群５４Ｄの低感度受光素子について、飽和検出及び距離導出を必要に応じて行う。

図９に示した本例によれば、第１の波長域で高感度受光素子の飽和が発生している場合でも、第２の波長域で高感度受光素子の飽和が発生していない場合には、距離導出用の波長域が変わり、第２の波長域での高感度受光素子の出力値から距離が導出されるので、距離導出用の出力値が高感度受光素子の出力値から低感度受光素子に変わることに起因して、距離画像の画素間で距離のギャップが発生する可能性を少なくすることができる。

以上説明したように、本実施形態の距離画像取得装置１１０において、発光部１１２は、複数の波長域で光を発光し、距離画像センサ１１４は、複数の波長域のそれぞれで感光する複数の波長域受光素子群を含み、複数の波長域受光素子群は、それぞれ高感度受光素子の素子群及び低感度受光素子の素子群を有し、高感度受光素子の素子群及び低感度受光素子の素子群は、感光する波長域が異なる受光素子同士で隣接しており、飽和検出部１３６は、複数の波長域受光素子群のうちの少なくとも一種類の波長域受光素子群の高感度受光素子が飽和したか否かを検出し、且つ複数の波長域受光素子群のうちの少なくとも一種類の波長域受光素子群の低感度受光素子が飽和したか否かを検出する。したがって、高感度受光素子の配列位置ごとに（或いは距離画像の画素位置ごとに）、飽和しない波長域の出力値が選択されることになり、外光の波長や被写体の色の波長に起因して飽和し易い波長域が存在する環境でも精度の良い距離画像を得ることが可能になる。

＜第３実施形態＞
図１０は、本発明に係る第３実施形態の距離画像取得装置２１０の構成例を示すブロック図である。尚、図５に示した第２実施形態の距離画像取得装置１１０と同じ構成要素には同じ符号を付してあり、既に説明した内容を以下では省略している。

本実施形態の距離画像取得装置２１０のＣＰＵ２３０は、距離画像センサ１１４の高感度受光素子の出力値が閾値以下であるか否かを判定する低出力判定部２３８と、低出力判定部２３８で出力値が閾値以下であると判定された高感度受光素子の出力値と、低出力判定部２３８で閾値以下であると判定された高感度受光素子に隣接し且つ感光する波長域が異なる他の高感度受光素子の出力値とを加算することにより、加算値を取得する加算値取得部２４０と、低出力判定部２３８で高感度受光素子の出力値が低出力判定部で閾値以下であると判定された場合には、加算値を用いて距離を導出する距離画像生成部２４２を含む。

発光部１１２として、例えば白色光を発光する発光ダイオードを用いることができる。

受光素子の出力値の「加算」の態様（加算態様）としては、例えば、距離画像センサ１４内に加算回路を設ける態様、距離画像センサ１４から出力されたアナログの撮像信号で加算する態様、ＡＤ変換器２０でアナログからデジタルに変換された後にデジタルの撮像信号で加算する態様などがある。本発明は、いずれの加算態様で加算を行ってもよい。

次に第３実施形態の距離画像取得装置２１０での距離画像取得方法の一例について処理の流れを説明する。

図１１は第３実施形態の距離画像取得装置２１０での距離画像取得方法の一例について処理の流れを示すフローチャートであり、主として記憶部１２８に記憶されたプログラムに従ってＣＰＵ２３０で実行される処理の流れを示す。尚、本実施形態の理解を容易にするため、図６に示した距離画像センサ１１４Ａを図１０の距離画像センサ１１４として用いた場合を例に説明する。

まずＣＰＵ３０は、第１の波長域受光素子Ｈ１，Ｌ１及び第２の波長域受光素子Ｈ２、Ｌ２の出力値を取得する（ステップＳ４０２）。本ステップは、図８に示したステップＳ２０２と同様であり、詳細な説明を省略する。

次に低出力判定部２３８により、高感度受光素子の出力値が閾値以下であるか否かを判定する（ステップＳ４０４：低出力判定工程）。

高感度受光素子の出力値が閾値以下であると判定された場合（ステップＳ４０４でＹＥＳの場合）、加算値取得部２４０により、低出力判定部２３８で出力値が閾値以下であると判定された高感度受光素子の出力値と、その出力値が閾値以下であると判定された高感度受光素子に隣接し且つ感光する波長域が異なる他の高感度受光素子の出力値とを加算することにより、加算値を取得する（ステップＳ４０６：加算値取得工程）。そして、距離画像生成部２４２により、加算値を用いて距離を導出する（ステップＳ４０８）。

低出力判定部２３８で高感度受光素子の出力値が閾値よりも大きいと判定された場合（ステップＳ４０４でＮＯの場合）、加算しないで距離を導出する（ステップＳ４１０）。ステップＳ４１０の詳細処理としては、例えば図８に示したステップＳ２０４〜Ｓ２１８を行うことができる。ステップＳ４１０の詳細処理として図９に示したステップＳ３０４〜Ｓ３１８を行ってもよい。

ステップＳ４２０、Ｓ４２２及びＳ４２４は、図８に示したステップＳ２２０、Ｓ２２２及びＳ２２４と同様の工程であり、説明を省略する。

図７の距離画像センサ１１４Ｂを用いた場合も、図１１の処理を行うことができる。

尚、発光部１１２として白色光を発光する発光ダイオードを用いた場合を例に説明したが、複数の波長域のそれぞれで発光する複数種類の発光素子を用いることもできる。さらに、複数種類の発光素子のバンドパスフィルタを外す手段を設け、低出力判定部２３８で高感度受光素子の出力値が閾値以下であると判定された場合には、発光制御部１３２により、複数種類の発光素子のバンドパスフィルタを外して再発光を行う構成としてもよい。

以上説明したように、本実施形態の距離画像取得装置２１０において、距離画像センサ１１４の高感度受光素子の出力値が閾値以下であるか否かを判定する低出力判定部２３８と、低出力判定部２３８で出力値が閾値以下であると判定された高感度受光素子の出力値と、その出力値が閾値以下であると判定された高感度受光素子に隣接し且つ感光する波長域が異なる他の高感度受光素子の出力値とを加算することにより加算値を取得する加算値取得部２４０とを備え、距離画像生成部２４２は、高感度受光素子の出力値が低出力判定部で閾値以下であると判定された場合には加算値を用いて距離を導出する。したがって、被写体が遠い位置に存在する場合や、被写体の反射率が低い場合に、互いに隣接し且つ感光する波長域が異なる高感度受光素子同士で出力値が加算されることにより高感度受光素子の感度が実質的に高くなるので、精度の良い距離画像を得ることができる。

＜受光素子配列のバリエーション＞
本明細書で「高感度受光素子と低感度受光素子とが隣接」とは、図２、図３及び図６に示したように全ての高感度受光素子が一対一で低感度受光素子の隣りに配置されている場合には特に限定されない。例えば、図７に示すように複数種類の高感度受光素子のグループ５４Ｈと、複数種類の低感度受光素子のグループ５４Ｌとが隣りに配置されている場合も、本発明における「高感度受光素子と低感度受光素子とが隣接」に含まれる。同様に、「感光する波長域が異なる受光素子同士で隣接」とは、一対一で隣りに配置されている場合には特に限定されず、一の波長域で感光する複数の受光素子のグループと他の波長域で感光する複数の受光素子のグループとが隣りに配置されている場合が含まれる。要するに、飽和が検出された受光素子の配列位置に対応する距離を、飽和が検出されていない受光素子の出力値を用いて導出可能な受光素子配列であればよい。複数の受光素子のグループ間で隣接する場合、一つのグループが６４個以下の受光素子で構成されることが好ましく、２〜４個の受光素子で構成されることがより好ましい。また、物理的に受光素子間には一般に絶縁領域などが介在している。本明細書での「隣接」とは、受光素子単位或いは上記の受光素子の小グループ単位での隣接を意味しており、素子間になんらかの物質又は空間が介在してもよいことは、言うまでもない。

＜本発明を適用可能な測距方式のバリエーション＞
次に、本発明を適用可能な測距方式の具体例を紹介する。

第１の測距方式として、パルス波、正弦波、三角波などで変調した照射光を被写体に対して発光し、その照射光の位相に対して複数の位相差（例えば０度、９０度、１８０度、２７０度の４位相差）で被写体からの反射光の受光を行って、複数の位相差のそれぞれの受光で得られる複数の受光量に基づいて、照射光の発光に対する被写体からの反射光の受光の実際の位相差を求めることにより、距離を導出する方式（いわゆる「位相差法」）が挙げられる。

第２の測距方式として、パルス光を被写体に対して発光し、被写体までの距離に応じて受光量に差が生じるように露光期間を制御した受光を行い、その受光量に基づいて距離を導出する方式が挙げられる。

上記の第２の測距方式において、環境光の影響が存在する撮像環境では、図１２（Ａ）〜（Ｃ）にそれぞれ示す三種類の露光制御を行うことが好ましい。図１２（Ａ）の第１の露光制御では、パルス光を発光させて、被写体までの距離に応じて受光量に差が生じるように露光の期間を制御する。図１２（Ｂ）の第２の露光制御では、パルス光を発光させて、被写体からの反射光の全てを受け付けるように露光期間を制御する。図１２（Ｃ）の第３の露光制御では、パルス光を発光させずに、パルス光の非照射期間で受光するように露光の期間を制御する。図１２（Ｄ）に示すように、第１の露光制御、第２の露光制御及び第３の露光制御により距離画像センサから取得される各露光量に対応する出力データを、それぞれ第１のデータＬ_１、第２のデータＬ_２、及び第３のデータＬ_３とすると、被写体Ｔ_１、Ｔ_２の距離に対応する距離情報Ｄ_Ｒは、Ｄ_Ｒ＝（Ｌ_１−Ｌ_３）÷（Ｌ_２−Ｌ_３）により算出することができる。尚、反射率の影響がない環境では図１２（Ｂ）の第２の露光制御を省略することができる。また、環境光の影響がない環境では図１２（Ｃ）の第３の露光制御を省略することができる。このように撮像環境に応じて露光制御のモードを変えることで、ノイズの重畳を防止して距離の測定精度を高くし、且つ無駄な撮像や演算を省略することができる。

本発明を適用可能な測距方式は、上記の二つの測距方式には特に限定されない。光の飛行時間又は位相差を求めることで距離を導出するＴＯＦのどのような態様に、本発明を適用してもよい。また、被写体に対する照射光は、パルス波、三角波、或いは正弦波に限らず、他の波形の照射光を用いてよい。また、本発明をＴＯＦ以外の測距方式に適用してよい。

本発明は、被写体に照射して被写体で反射された光を複数の受光素子で受光し、受光素子の受光量に基づいて測距を行う装置又は方法であれば適用可能である。

また、本発明における距離画像は、距離画像取得装置から対象物（本明細書では「被写体」ともいう）までの距離の絶対値を持つ場合には限定されず、その距離の絶対値に対応する値を持つ場合でもよいし、複数の対象物間の距離の相対値を持つ場合でもよいし、その距離の相対値に対応する値を持つ場合でもよい。

＜本発明を適用可能な装置のバリエーション＞
本発明を適用可能な装置は、距離画像を取得する単独の機能を備えている距離画像取得装置に限らず、一般のカラー画像の取得が可能なデジタルカメラ、ビデオカメラが本距離画像取得機能を搭載しているものでもよく、また、距離画像取得を主たる機能とするカメラ類の他に、本距離画像取得機能に加えて他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図１３は、距離画像取得装置の実施形態であるスマートフォン５００の外観を示すものである。

図１３に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１と、ＬＥＤ発光部５４２とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用することや、折り畳み構造やスライド機構を有する構成を採用することもできる。

図１４は、図１３に示したスマートフォン５００の構成を示すブロック図である。図１４に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された三次元画像を鑑賞する場合には、表示パネル５２１は、三次元表示パネルであることが好ましい。

表示パネル５２１は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。

操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図１３に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１３に示すように、例えば、スピーカ５３１及びマイクロホン５３２を表示入力部５２０が設けられた面と同じ面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバスなど）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるPDA、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮像する撮像装置である。このカメラ部５４１を含んで距離画像取得装置１０、１１０、２１０を構成することができる。

この場合、距離画像取得装置は、１つの撮像素子内にカラー撮像用の受光素子（赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各波長域の光を透過させるＲＧＢの受光素子）と、距離画像用の近赤外光を透過させる受光素子とが混在したものが好ましい。即ち、カメラ部５４１の撮像素子としては、ＲＧＢのカラーフィルタが設けられたＲ画素、Ｇ画素及びＢ画素と、可視光カットフィルタが設けられた画素（赤外光のみに感度を有する画素）とが混在するものを使用することが好ましい。

ＬＥＤ発光部５４２は、白色ＬＥＤ及び／又は近赤外ＬＥＤを有する。また、近赤外ＬＥＤは、赤外線通信機能を有するスマートフォン５００の場合、赤外線通信の光源として使用することも可能である。

また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができ、同様に距離画像を示す距離画像データを記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１３に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮像に供するカメラ部５４１を切り替えて単独にて撮像したり、あるいは、複数のカメラ部５４１を同時に使用して撮像することもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

例えばＬＥＤ発光部５４２によって本発明における「発光部」を構成できる。例えばカメラ部５４１によって本発明における「距離画像センサ」及び「結像レンズ」を構成できる。例えば主制御部５０１によって本発明における「飽和検出部」、「距離画像生成部」、「低出力判定部」、及び「加算値取得部」を構成できる。

本発明は、上述した実施形態には限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０、１１０、２１０…距離画像取得装置、１２、１１２…発光部、１４、１１４…距離画像センサ、１６…結像レンズ、１８…タイミング制御部、２０…ＡＤ変換器、２２…インターフェース回路、２８、１２８…記憶部、３０、１３０、２３０…ＣＰＵ、３２、１３２…発光制御部、３４、１３４…受光制御部、３６、１３６…飽和検出部、２３８…低出力判定部、２４０…加算値取得部、４２、１４２、２４２…距離画像生成部

Claims (12)

1. 測距領域内の被写体に対して光を照射する発光部と、
   規定の受光量で飽和する高感度受光素子の素子群と前記規定の受光量で飽和しない少なくとも一種類の低感度受光素子の素子群とを含み、前記高感度受光素子と前記低感度受光素子とが隣接して配置され、且つ前記高感度受光素子の素子群と前記低感度受光素子の素子群とが同じ配列パターンで二次元状に配列された距離画像センサと、
   前記発光部から照射されて前記被写体で反射される光である反射光を前記距離画像センサに結像させる結像レンズと、
   前記高感度受光素子及び前記低感度受光素子のうちの少なくとも前記高感度受光素子が飽和したか否かを検出する飽和検出部と、
   前記高感度受光素子の素子群のうちの前記飽和検出部で飽和が検出されていない高感度受光素子の出力値を用いて該飽和が検出されていない高感度受光素子の配列位置に対応する距離を導出し、且つ前記低感度受光素子の素子群のうちの前記飽和検出部で飽和が検出された高感度受光素子に隣接する低感度受光素子の出力値を用いて前記飽和が検出された高感度受光素子の配列位置に対応する距離を導出することにより、距離画像を生成する距離画像生成部と、
   を備える距離画像取得装置。
2. 前記発光部は、複数の波長域で光を発光し、
   前記距離画像センサは、前記複数の波長域のそれぞれで感光する複数の波長域受光素子群を含み、
   前記複数の波長域受光素子群は、それぞれ前記高感度受光素子の素子群及び前記低感度受光素子の素子群を有し、
   前記高感度受光素子の素子群及び前記低感度受光素子の素子群は、感光する波長域が異なる受光素子同士で隣接しており、
   前記飽和検出部は、前記複数の波長域受光素子群のうちの少なくとも一種類の波長域受光素子群の前記高感度受光素子が飽和したか否かを検出し、且つ前記複数の波長域受光素子群のうちの少なくとも一種類の波長域受光素子群の前記低感度受光素子が飽和したか否かを検出する、
   請求項１に記載の距離画像取得装置。
3. 前記距離画像生成部は、前記飽和検出部で前記複数の波長域受光素子群のうちの第１の波長域受光素子群に属する前記高感度受光素子の飽和が検出されており、且つ前記飽和検出部で前記第１の波長域受光素子群に属する前記低感度受光素子の飽和が検出されていない場合には、該飽和が検出されていない受光素子の出力値を用いて距離を導出する、
   請求項２に記載の距離画像取得装置。
4. 前記距離画像生成部は、前記飽和検出部で前記第１の波長域受光素子群に属する前記高感度受光素子及び前記低感度受光素子の飽和が検出され、且つ前記飽和検出部で前記複数の波長域受光素子群のうちの第２の波長域受光素子群に属する前記高感度受光素子又は前記低感度受光素子の飽和が検出されていない場合には、該飽和が検出されていない受光素子の出力値を用いて距離を導出する、
   請求項３に記載の距離画像取得装置。
5. 前記距離画像生成部は、前記飽和検出部で前記複数の波長域受光素子群のうちの第１の波長域受光素子群に属する前記高感度受光素子の飽和が検出されており、且つ前記飽和検出部で前記複数の波長域受光素子群のうちの第２の波長域受光素子群に属する前記高感度受光素子の飽和が検出されていない場合には、該飽和が検出されていない受光素子の出力値を用いて距離を導出する、
   請求項２に記載の距離画像取得装置。
6. 前記距離画像生成部は、前記飽和検出部で前記第１の波長域受光素子群及び前記第２の波長域受光素子群に属する前記高感度受光素子の飽和が検出されており、且つ前記飽和検出部で前記第１の波長域受光素子群又は前記第２の波長域受光素子群に属する前記低感度受光素子の飽和が検出されていない場合には、該飽和が検出されていない受光素子の出力値を用いて距離を導出する、
   請求項５に記載の距離画像取得装置。
7. 前記高感度受光素子の出力値が閾値以下であるか否かを判定する低出力判定部と、
   前記低出力判定部で出力値が閾値以下であると判定された前記高感度受光素子の出力値と、前記出力値が閾値以下であると判定された高感度受光素子に隣接し且つ感光する波長域が異なる他の高感度受光素子の出力値とを加算することにより、加算値を取得する加算値取得部と、
   を備え、
   前記距離画像生成部は、前記低出力判定部で前記高感度受光素子の出力値が閾値以下であると判定された場合には前記加算値を用いて距離を導出する、
   請求項２から６のいずれか一項に記載の距離画像取得装置。
8. 前記発光部は、白色光を発光する白色発光素子で構成されている、
   請求項２から７のいずれか一項に記載の距離画像取得装置。
9. 前記距離画像センサは、互いに感度が異なる３種類以上の受光素子群を含み、
   前記飽和検出部は、前記３種類以上の受光素子群のうちの少なくとも一種類の受光素子群の飽和の有無を検出する、
   請求項１から８のいずれか一項に記載の距離画像取得装置。
10. 測距領域内の被写体に対して光を照射する発光部と、規定の受光量で飽和する高感度受光素子の素子群と前記規定の受光量で飽和しない少なくとも一種類の低感度受光素子の素子群とを含み、前記高感度受光素子と前記低感度受光素子とが隣接して配置され、且つ前記高感度受光素子の素子群と前記低感度受光素子の素子群とが同じ配列パターンで二次元状に配列された距離画像センサと、前記発光部から照射されて前記被写体で反射される光である反射光を前記距離画像センサに結像させる結像レンズとを用いる距離画像取得方法であって、
    前記高感度受光素子及び前記低感度受光素子のうちの少なくとも前記高感度受光素子が飽和したか否かを検出する飽和検出工程と、
    前記高感度受光素子の素子群のうちの前記飽和検出工程が検出されていない高感度受光素子の出力値を用いて該飽和が検出されていない高感度受光素子の配列位置に対応する距離を導出し、且つ前記低感度受光素子の素子群のうちの前記飽和検出工程で飽和が検出された高感度受光素子に隣接する低感度受光素子の出力値を用いて前記飽和が検出された高感度受光素子の配列位置に対応する距離を導出することにより、距離画像を生成する距離画像生成工程と、
    を含む距離画像取得方法。
11. 前記発光部は複数の波長域で光を発光し、前記距離画像センサは前記複数の波長域のそれぞれで感光する複数の波長域受光素子群を含み、前記複数の波長域受光素子群はそれぞれ前記高感度受光素子の素子群及び前記低感度受光素子の素子群を有し、前記高感度受光素子の素子群及び前記低感度受光素子の素子群は感光する波長域が異なる受光素子同士で隣接しており、
    前記飽和検出工程は、前記複数の波長域受光素子群のうちの少なくとも一種類の波長域受光素子群の前記高感度受光素子が飽和したか否かを検出し、且つ前記複数の波長域受光素子群のうちの少なくとも一種類の波長域受光素子群の前記低感度受光素子が飽和したか否かを検出する、
    請求項１０に記載の距離画像取得方法。
12. 前記高感度受光素子の出力値が閾値以下であるか否かを判定する低出力判定工程と、
    前記低出力判定工程で出力値が閾値以下であると判定された前記高感度受光素子の出力値と、該高感度受光素子に隣接し且つ感光する波長域が異なる他の高感度受光素子の出力値とを加算し、加算値を取得する加算値取得工程と、
    を備え、
    前記距離画像生成工程は、前記低出力判定工程で前記高感度受光素子の出力値が閾値以下であると判定された場合には前記加算値を用いて距離を導出する、
    請求項１０又は１１に記載の距離画像取得方法。

Images