JP2016065718A - 情報取得装置および物体検出装置 - Google Patents

Abstract

【課題】目標領域に対する距離に関する情報を簡素な構成により円滑に取得することができ、且つ、当該情報を取得するために目標領域に投射される光の撮像カメラに対する影響を抑制することが可能な情報取得装置および当該情報取得装置を備えた物体検出装置を提供する。
【解決手段】情報取得装置２は、赤外光を投射する投射部１００と、赤外撮像部２００と、赤外撮像部２００により取得される輝度値に基づいて、目標領域上の各位置の距離情報を取得する距離取得部２１ｂと、可視光撮像部３００と、を備える。赤外撮像部２００は、可視光を除去する可視光除去フィルタ２３０を備え、可視光撮像部３００は、赤外光を除去する赤外光除去フィルタ３３０を備える。投射部１００、赤外撮像部２００、可視光撮像部３００は、投射部１００と赤外撮像部２００との間に可視光撮像部３００が介在することのないように配置されている。
【選択図】図２

Description

本発明は、目標領域内の情報を取得する情報取得装置および当該情報取得装置を備えた物体検出装置に関する。

従来、光を用いた物体検出装置が種々の分野で開発されている。いわゆる距離画像センサを用いた物体検出装置では、２次元平面上の平面的な画像のみならず、検出対象物体の奥行き方向の形状や動きを検出することができる。

距離画像センサとして、所定のドットパターンを持つレーザ光を目標領域に照射するタイプの距離画像センサが知られている（たとえば、非特許文献１）。かかる距離画像センサでは、基準面にレーザ光を照射したときのドットパターンが撮像素子により撮像され、撮像されたドットパターンが基準ドットパターンとして保持される。そして、基準ドットパターンと、実測時に撮像された実測ドットパターンとが比較され、距離情報が取得される。具体的には、基準ドットパターン上に設定された参照領域の実測ドットパターン上における位置に基づいて、三角測量法により、当該参照領域に対する距離情報が取得される。

第１９回日本ロボット学会学術講演会（２００１年９月１８−２０日）予稿集、Ｐ１２７９−１２８０

しかしながら、上記距離画像センサでは、ドットパターンの光を生成する必要があるため、目標領域に光を投射する投射部の構成が複雑になるとの問題がある。

さらに、たとえば、物体検出装置がパーソナルコンピュータ等に搭載されるような場合には、パーソナルコンピュータに搭載されている撮像カメラに対する物体検出装置から投射される光の影響を考慮する必要がある。

上記課題に鑑み、本発明は、目標領域に対する距離に関する情報を簡素な構成により円滑に取得することができ、且つ、当該情報を取得するために目標領域に投射される光の撮像カメラに対する影響を抑制することが可能な情報取得装置および当該情報取得装置を備えた物体検出装置を提供することを目的とする。また、本発明は、目標領域に存在する物体を簡素な構成により円滑に検出することができ、且つ、物体を検出するために目標領域に投射される光の撮像カメラに対する影響を抑制することが可能な物体検出装置を提供することを目的とする。

本発明の第１の態様は、情報取得装置に関する。本態様に係る情報取得装置は、目標領域に赤外光を投射する投射部と、第１のイメージセンサを有し、前記目標領域を撮像する第１の撮像部と、前記第１のイメージセンサにより取得された輝度値に基づいて、前記目標領域上の各位置に対する距離に関する情報を取得する距離取得部と、第２のイメージセンサを有し、可視光により画像を撮像する第２の撮像部と、を備える。ここで、前記第１の撮像部は、可視光を除去し赤外光を透過する第１のフィルタを備え、前記第２の撮像部
は、可視光を透過し赤外光を除去する第２のフィルタを備える。前記投射部、前記第１の撮像部および前記第２の撮像部は、前記投射部と前記第１の撮像部との間に前記第２の撮像部が介在することのないように、配置されている。

本発明の第２の態様は、物体検出装置に関する。本態様に係る物体検出装置は、第１の態様に係る情報取得装置と、前記情報取得装置によって取得された前記距離に関する情報に基づいて、前記目標領域に存在する物体を検出する物体検出部と、を備える。

本発明の第３の態様は、物体検出装置に関する。本態様に係る物体検出装置は、目標領域に赤外光を投射する投射部と、第１のイメージセンサを有し、前記目標領域を撮像する第１の撮像部と、前記第１のイメージセンサによって取得される輝度値に基づいて、前記目標領域における物体を検出する物体検出部と、第２のイメージセンサを有し、可視光により画像を撮像する第２の撮像部と、を備える。ここで、前記第１の撮像部は、可視光を除去し赤外光を透過する第１のフィルタを備え、前記第２の撮像部は、可視光を透過し赤外光を除去する第２のフィルタを備える。前記投射部、前記第１の撮像部および前記第２の撮像部は、前記投射部と前記第１の撮像部との間に前記第２の撮像部が介在することのないように、配置されている。

本発明によれば、目標領域に対する距離に関する情報を簡素な構成により円滑に取得することができ、且つ、当該情報を取得するために目標領域に投射される光の撮像カメラに対する影響を抑制することが可能な情報取得装置および当該情報取得装置を備えた物体検出装置を提供することができる。また、本発明によれば、目標領域に存在する物体を簡素な構成により円滑に検出することができ、且つ、物体を検出するために目標領域に投射される光の撮像カメラに対する影響を抑制することが可能な物体検出装置を提供することができる。

本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態により何ら制限されるものではない。

実施の形態に係る物体検出装置を内蔵したパーソナルコンピュータの外観構成を示す図である。 実施の形態に係る情報取得装置および物体検出装置の構成を示す図である。 実施の形態に係る投射部、赤外撮像部および可視光撮像部の構成を示す図である。 実施の形態に係る目標領域に対する光の投射状態および赤外撮像部による目標領域の撮像状態を模式的に示す図である。 実施の形態に係る目標領域に対する光の投射状態および赤外撮像部と可視光撮像部による目標領域の撮像状態を模式的に示す図である。 実施の形態に係るイメージセンサの感度、および、輝度値と距離の関係を規定する距離変換関数の波形を示す図である。 実施の形態に係る距離情報の取得処理および物体検出処理を示すフローチャートである。 比較例に係る目標領域に対する光の投射状態および赤外撮像部と可視光撮像部による目標領域の撮像状態を模式的に示す図である。 変更例に係る目標領域に対する光の投射状態および赤外撮像部と可視光撮像部による目標領域の撮像状態を模式的に示す図である。 他の変更例に係る投射部と赤外撮像部の構成を示す図、当該変更例に係る目標領域に対する光の投射状態および目標領域の撮像状態を模式的に示す図、さらに他の変更例に係る投射部の構成を示す図、および、さらに他の変更例に係る赤外撮像部の構成を示す図である。 さらに他の変更例に係る投射部、赤外撮像部および可視光撮像部の配置状態を示す図である。 さらに他の変更例に係る輝度画像生成処理および物体検出処理を示すフローチャートである。 さらに他の変更例に係る物体検出装置および情報処理装置の構成を示す図である。 図１３に示す変更例に係る物体検出処理を示すフローチャートである。

以下、本発明の実施の形態につき図面を参照して説明する。

本実施の形態は、ノート型のパーソナルコンピュータに本発明に係る物体検出装置を適用したものである。この他、本発明に係る物体検出装置は、デスクトップ型のパーソナルコンピュータやテレビ等の他の機器にも適宜適用可能なものである。なお、本発明に係る情報取得装置および物体検出装置は、必ずしも、他の機器に一体的に搭載されなくとも良く、単独で一つの装置を構成するものであっても良い。

以下に示す実施の形態において、距離取得部２１ｂと撮像信号処理回路２３は、請求項に記載の「距離取得部」に相当する。レンズ面１１１ｃは、請求項に記載の「レンズ部」に相当する。赤外撮像部２００は、請求項に記載の「第１の撮像部」に相当する。可視光除去フィルタ２３０は、請求項に記載の「第１のフィルタ」に相当する。ＣＭＯＳイメージセンサ２４０は、請求項に記載の「第１のイメージセンサ」に相当する。可視光撮像部３００は、請求項に記載の「第２の撮像部」に相当する。赤外光除去フィルタ３３０は、請求項に記載の「第２のフィルタ」に相当する。ＣＭＯＳイメージセンサ３４０は、請求項に記載の「第２のイメージセンサ」に相当する。また、情報取得装置２と情報処理部３とを含む構成が、請求項１、８、９に記載の物体検出装置に相当する。ただし、上記請求項と本実施の形態との対応の記載は、あくまで一例であって、請求項に係る発明を本実施の形態に限定するものではない。

図１は、本実施の形態に係るパーソナルコンピュータ１の概略構成を示す図である。図１に示すように、パーソナルコンピュータ１は、情報取得装置２と、情報処理部３を備えている。この他、パーソナルコンピュータ１は、キーボード４と、操作パッド５と、モニタ６を備えている。

情報取得装置２は、目標領域全体に、可視光の波長帯よりも長い赤外の波長帯域の光（赤外光）を投射し、その反射光をＣＭＯＳイメージセンサにて受光することにより、目標領域に存在する物体各部までの距離（以下、「距離情報」という）を取得する。情報処理部３は、情報取得装置２により取得された距離情報に基づいて、目標領域に存在する所定の物体を検出し、さらに、当該物体の動きを検出する。そして、情報処理部３は、当該物体の動きに応じて、パーソナルコンピュータ１の機能を制御する。

たとえば、ユーザが手を用いて所定のジェスチャを行うと、情報取得装置２からジェスチャに応じた距離情報が情報処理部３に送信される。この情報に基づき、情報処理部３は、ユーザの手を検出対象物体として検出し、手の動きに対応付けられた機能（画面の拡大・縮小や、画面の明るさ調整、ページ送り、等）を実行する。

さらに、情報取得装置２は、パーソナルコンピュータ１に向き合うユーザの画像を取得
するためのカメラ（後述の可視光撮像部３００）を備えている。このカメラによって撮像された画像は、モニタ６上に表示され、あるいは、インターネット等のネットワークを介して他の機器（パーソナルコンピュータ等）に送信される。

図２は、情報取得装置２と情報処理部３の構成を示す図である。

情報取得装置２は、光学部の構成として、投射部１００と、赤外撮像部２００と、可視光撮像部３００を備えている。投射部１００、赤外撮像部２００および可視光撮像部３００は、Ｘ軸方向に直線状に並ぶように、配置されている。また、赤外撮像部２００と可視光撮像部３００は、投射部１００が介在することなく、互いに隣り合っている。

なお、このように投射部１００、赤外撮像部２００および可視光撮像部３００が、Ｘ軸方向に直線状に並ぶように配置される構成は、請求項２、１０に記載の構成の一例である。また、赤外撮像部２００と可視光撮像部３００が互いに隣り合う構成は、請求項３、１１に記載の構成の一例である。

投射部１００は、赤外の波長帯域の光を出射する光源１１０を備えている。

赤外撮像部２００は、アパーチャ２１０と、撮像レンズ２２０と、可視光除去フィルタ２３０と、ＣＭＯＳイメージセンサ２４０とを備えている。この他、情報取得装置２は、回路部の構成として、ＣＰＵ（Central Processing Unit）２１と、赤外光源駆動回路２
２と、撮像信号処理回路２３、２４と、入出力回路２５と、メモリ２６を備えている。

光源１１０から目標領域に投射された光は、目標領域に存在する物体によって反射され、アパーチャ２１０を介して撮像レンズ２２０に入射する。

アパーチャ２１０は、撮像レンズ２２０のＦナンバーに合うように、外部からの光を制限する。撮像レンズ２２０は、アパーチャ２１０を介して入射された光をＣＭＯＳイメージセンサ２４０上に集光する。可視光除去フィルタ２３０は、光源１１０の出射波長を含む波長帯域の光（赤外光）を透過し、可視光の波長帯域の光（可視光）をカットするバンドパスフィルタである。

ＣＭＯＳイメージセンサ２４０は、後述のように、可視光の波長帯域と、光源１１０から出射される赤外光の波長帯域に対して感度を有するカラーのイメージセンサである。ＣＭＯＳイメージセンサ２４０は、撮像レンズ２２０にて集光された光を受光して、画素毎に、受光量に応じた信号を撮像信号処理回路２３に出力する。ここで、ＣＭＯＳイメージセンサ２４０は、各画素における受光から高レスポンスでその画素の信号を撮像信号処理回路２３に出力できるよう、信号の出力速度が高速化されている。

本実施の形態において、ＣＭＯＳイメージセンサ２４０の撮像有効領域（センサとして信号を出力する領域）は、たとえば、ＶＧＡ（横６４０画素×縦４８０画素）のサイズである。ＣＭＯＳイメージセンサ２４０の撮像有効領域は、ＸＧＡ（横１０２４画素×縦７６８画素）のサイズや、ＳＸＧＡ（横１２８０画素×縦１０２４画素）のサイズ等、他のサイズであっても良い。

可視光撮像部３００は、上述のように、パーソナルコンピュータ１に向き合うユーザの画像を取得するためものである。可視光撮像部３００は、アパーチャ３１０と、撮像レンズ３２０と、赤外光除去フィルタ３３０と、ＣＭＯＳイメージセンサ２４０とを備えている。

アパーチャ３１０は、撮像レンズ３２０のＦナンバーに合うように、外部からの光を制限する。撮像レンズ３２０は、アパーチャ３１０を介して入射された光をＣＭＯＳイメージセンサ３４０上に集光する。赤外光除去フィルタ３３０は、光源１１０の出射波長を含む波長帯域の光（赤外光）をカットし、可視光の波長帯域の光（可視光）を透過するバンドパスフィルタである。

ＣＭＯＳイメージセンサ３４０は、可視光の波長帯域に対して感度を有する。ＣＭＯＳイメージセンサ３４０は、撮像レンズ３２０にて集光された光を受光して、画素毎に、受光量に応じた信号を撮像信号処理回路２４に出力する。

ＣＭＯＳイメージセンサ３４０の撮像有効領域（センサとして信号を出力する領域）は、たとえば、ＶＧＡ（横６４０画素×縦４８０画素）のサイズである。ＣＭＯＳイメージセンサ３４０の撮像有効領域は、ＸＧＡ（横１０２４画素×縦７６８画素）のサイズや、ＳＸＧＡ（横１２８０画素×縦１０２４画素）のサイズ等、他のサイズであっても良い。

ＣＰＵ２１は、メモリ２６に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、ＣＰＵ２１には、光源制御部２１ａと、距離取得部２１ｂと、画像処理部２１ｃの機能が付与される。

光源制御部２１ａは、赤外光源駆動回路２２を制御する。距離取得部２１ｂは、ＣＭＯＳイメージセンサ２４０から出力される信号に基づいて、後述のように距離情報を取得する。画像処理部２１ｃは、撮像信号処理回路２４から出力される画像信号を処理して画像データを生成する。

赤外光源駆動回路２２は、ＣＰＵ２１からの制御信号に応じて光源１１０を駆動する。

撮像信号処理回路２３は、ＣＰＵ２１からの制御を受けてＣＭＯＳイメージセンサ２４０を駆動し、ＣＭＯＳイメージセンサ２４０から出力される信号から、各画素の輝度信号を取得し、取得した輝度信号をＣＰＵ２１に出力する。後述のように、撮像信号処理回路２３は、ＣＰＵ２１により設定された露光時間をＣＭＯＳイメージセンサ２４０の各画素に適用し、さらに、ＣＭＯＳイメージセンサ２４０から出力される信号に対してＣＰＵ２１により設定されたゲインを適用して、画素毎に、輝度信号を取得する。

撮像信号処理回路２４は、ＣＰＵ２１からの制御を受けてＣＭＯＳイメージセンサ３４０を駆動し、ＣＭＯＳイメージセンサ３４０から出力される信号から画像信号を生成し、生成した画像信号をＣＰＵ２１に出力する。

ＣＰＵ２１は、撮像信号処理回路２３から供給される輝度信号をもとに、情報取得装置２から検出対象物体の各部までの距離を、距離取得部２１ｂによる処理によって算出する。距離情報は、ＣＭＯＳイメージセンサ２４０の画素毎に取得される。距離情報の取得処理については、追って、図７（ａ）を参照して説明する。

入出力回路２５は、情報処理部３とのデータ通信を制御する。

メモリ２６は、ＣＰＵ２１により実行される制御プログラムの他、距離情報の取得に用いられる距離変換関数を保持している。この他、メモリ２６は、ＣＰＵ２１における処理の際のワーク領域としても用いられる。なお、距離変換関数については、追って、図６（ｂ）を参照して説明する。

情報処理部３は、ＣＰＵ３１と、入出力回路３２と、メモリ３３を備えている。なお、
情報処理部３には、図２に示す構成の他、パーソナルコンピュータ１の各部を駆動および制御するための構成が配されるが、便宜上、これら周辺回路の構成は図示省略されている。

ＣＰＵ３１は、メモリ３３に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、ＣＰＵ３１には、物体検出部３１ａの機能と、当該物体検出部３１ａからの信号に応じて、パーソナルコンピュータ１の機能を制御するための機能制御部３１ｂの機能が付与される。

物体検出部３１ａは、距離取得部２１ｂによって取得される距離情報から物体の形状を抽出し、さらに、抽出した物体形状の動きを検出する。機能制御部３１ｂは、物体検出部３１ａにより検出された物体の動きが所定の動きパターンに合致しているかを判定し、物体の動きが所定の動きパターンに合致している場合に、当該動きパターンに対応する制御を実行する。

この他、ＣＰＵ３１は、画像処理部２１ｃから入力される画像データを処理する。ＣＰＵ２１は、画像データに基づく画像をモニタ６上に表示し、あるいは、ネットワークを介して他の装置に送信する。

図３（ａ）〜（ｃ）は、投射部１００、赤外撮像部２００および可視光撮像部３００の構成を示す図である。図３（ａ）は、光源１１０の構成を示す図、図３（ｂ）は、回路基板４００に設置された状態の投射部１００、赤外撮像部２００および可視光撮像部３００を示す平面図であり、図３（ｃ）は、図３（ｂ）のＡ−Ａ’断面図である。

図３（ａ）に示すように、本実施の形態において、光源１１０は、発光ダイオード（L
ＥＤ：Light Emitting Diode）からなっている。赤外光を発する発光素子（図示せず）は、ハウジング１１０ａ内に収容される。発光素子から発せられた赤外光は、上面の出射部１１０ｂから所定の放射角にて外部に出射される。図３（ｂ）、（ｃ）に示すように、光源１１０は、回路基板４００上に実装されている。

なお、このように、光源１１０がＬＥＤからなる構成は、請求項４、１２に記載の構成の一例である。

図３（ｂ）、（ｃ）を参照して、赤外撮像部２００は、上述のアパーチャ２１０、撮像レンズ２２０、可視光除去フィルタ２３０およびＣＭＯＳイメージセンサ２４０の他、レンズバレル２５０と、撮像レンズホルダ２６０を備えている。ＣＭＯＳイメージセンサ２４０は、回路基板４００上に実装されている。撮像レンズ２２０は、レンズバレル２５０に装着され、レンズバレル２５０は、撮像レンズ２２０を保持した状態で撮像レンズホルダ２６０に装着される。撮像レンズホルダ２６０は、下面に凹部を有し、この凹部に、可視光除去フィルタ２３０が装着される。こうして、撮像レンズ２２０と可視光除去フィルタ２３０とを保持した状態で、撮像レンズホルダ２６０が、ＣＭＯＳイメージセンサ２４０を覆うように、回路基板４００上に設置される。

可視光撮像部３００は、赤外撮像部２００と同様の構成を有する。すなわち、可視光撮像部３００は、上述のアパーチャ３１０、撮像レンズ３２０、赤外光除去フィルタ３３０およびＣＭＯＳイメージセンサ３４０の他、レンズバレル３５０と、撮像レンズホルダ３６０を備えている。ＣＭＯＳイメージセンサ３４０は、回路基板４００上に実装されている。撮像レンズ３２０は、レンズバレル３５０に装着され、レンズバレル３５０は、撮像レンズ３２０を保持した状態で撮像レンズホルダ３６０に装着される。撮像レンズホルダ３６０は、下面に凹部を有し、この凹部に、赤外光除去フィルタ３３０が装着される。こ
うして、撮像レンズ３２０と赤外光除去フィルタ３３０とを保持した状態で、撮像レンズホルダ３６０が、ＣＭＯＳイメージセンサ３４０を覆うように、回路基板４００上に設置される。

本実施の形態において、撮像レンズ２２０は、４枚のレンズにより構成されている。しかしながら、撮像レンズ２２０を構成するレンズの数はこれに限られるものではなく、他の枚数のレンズから撮像レンズ２２０が構成されても良い。この点は、撮像レンズ３２０についても同様である。

回路基板４００には、投射部１００、赤外撮像部２００および可視光撮像部３００の他、情報取得装置２を構成する回路部５００が実装される。図２に示すＣＰＵ２１、赤外光源駆動回路２２、撮像信号処理回路２３、撮像信号処理回路２４、入出力回路２５およびメモリ２６は、かかる回路部５００に含まれる。

図４（ａ）は、目標領域に対する赤外光の投射状態および赤外撮像部２００による目標領域の撮像状態を模式的に示す図である。

図４（ａ）の下部には、投射部１００による赤外光の投射状態と、赤外撮像部２００による目標領域の撮像状態が示されている。また、図４（ａ）の上部には、目標領域における赤外光の投射範囲と、目標領域に対する赤外撮像部２００の撮像範囲が模式的に示されている。さらに、図４（ａ）の上部には、赤外撮像部２００に配されたＣＭＯＳイメージセンサ２４０の撮像有効領域に対応する領域が示されている。図４（ａ）において、ΔＬは、情報取得装置２による距離取得範囲を示し、ＬｍａｘとＬｍｉｎは、それぞれ、情報取得装置２によって取得可能な最大距離と最小距離を示している。図４（ａ）の上部には、目標領域が最大距離Ｌｍａｘの位置にあるときの投射範囲、撮像範囲および撮像有効領域が示されている。

図４（ａ）に示すように、撮像範囲と投射範囲は、目標領域において互いに重なり合っており、撮像範囲と投射範囲とが重なる範囲に、撮像有効領域が位置付けられる。目標領域をＣＭＯＳイメージセンサ２４０で撮像するためには、ＣＭＯＳイメージセンサ２４０の撮像有効領域に対応する領域が、投射範囲内に含まれている必要がある。一方、距離が短くなるにつれて、投射範囲が狭くなり、やがて、投射範囲が撮像有効領域に対応する領域に掛らなくなる。したがって、最小距離Ｌｍｉｎは、少なくとも、投射範囲が撮像有効領域全体に掛かり得る最小の限界距離よりも長く設定される必要がある。

一方、最大距離Ｌｍａｘは、手等の検出対象物体が存在し得る距離範囲を想定して設定される。最大距離Ｌｍａｘが長すぎると、検出対象物体の背景が撮像画像に映り込み、これにより、検出対象物体の検出精度が低下する惧れがある。したがって、最大距離Ｌｍａｘは、検出対象物体の背景が撮像画像に映り込まないよう、手等の検出対象物体が存在し得る距離範囲を想定して設定される。

なお、図３（ａ）に示すＬＥＤが光源１１０として用いられる場合、図４（ａ）の下図に示すように、赤外光は、略均等に広がるように投射部１００から出射される。このため、図４（ａ）の上図に示すように、投射範囲のうち、撮像範囲および撮像有効領域に掛らない範囲が広くなり、赤外光の利用効率が低くなってしまう。

この問題は、図４（ｂ）に示すように、赤外光が目標領域において撮像範囲の近傍に集まるように、投射部１００から出射される赤外光を指向させることにより解消される。このような構成は、図３（ｄ）に示すＬＥＤ１１１を光源１１０として用いることにより実現され得る。

図３（ｄ）を参照して、ＬＥＤ１１１は、基部１１１ａと、ハウジング１１１ｂとを備える。赤外光を発する発光素子（図示せず）は、透光性のハウジング１１１ｂ内にモールドされる。ハウジング１１１ｂの上面は、レンズ面１１１ｃとなっており、このレンズ面１１１ｃによって、上面から外部に出射される赤外光の指向が調整される。レンズ面１１１ｃは、図４（ｂ）に示すように、目標領域において赤外光が撮像範囲の近傍に集まるように調整される。これにより、撮像有効領域に導かれない赤外光の光量が削減され、赤外光の利用効率が高められる。

なお、このように、ＬＥＤである光源１１０から出射される赤外光を赤外撮像部２００の撮像範囲の近傍に指向させる構成は、請求項５、１３に記載の構成の一例である。

図５は、図４（ａ）にさらに可視光撮像部３００の撮像範囲を重ねて表示したものである。図５の下部には、投射部１００による赤外光の投射状態と、赤外撮像部２００による目標領域の撮像状態と、可視光撮像部３００による撮像状態が示されている。また、図５の上部には、目標領域における赤外光の投射範囲と、目標領域に対する赤外撮像部２００の撮像範囲Ａと、可視光撮像部３００の撮像範囲Ｂが模式的に示されている。さらに、図５の上部には、赤外撮像部２００に配されたＣＭＯＳイメージセンサ２４０の撮像有効領域に対応する領域（撮像有効領域Ａ）と、可視光撮像部３００に配されたＣＭＯＳイメージセンサ３４０の撮像有効領域に対応する領域（撮像有効領域Ｂ）が示されている。

図５に示すように、赤外光の投射範囲は、可視光撮像部３００の撮像有効領域Ｂの一部に掛かる。このため、可視光撮像部３００により撮像される画像は、投射部１００から投射される赤外光が掛かる領域において、画質が損なわれることが起こり得る。これに対し、本実施の形態では、可視光撮像部３００に、赤外光を除去する赤外光除去フィルタ３３０が配置されている。これにより、投射部１００から投射された赤外光の投射領域が可視光撮像部３００の撮像画像に映り込むことが抑制される。よって、可視光撮像部３００の撮像画像の画質が投射部１００からの赤外光によって損なわれることが防止される。

図６（ａ）は、赤外撮像部２００に含まれるＣＭＯＳイメージセンサ２４０上の各画素の感度を模式的に示す図である。

本実施の形態では、ＣＭＯＳイメージセンサ２４０として、カラーセンサが用いられる。したがって、ＣＭＯＳイメージセンサ２４０には、赤、緑、青をそれぞれ検知する３種の画素が含まれる。

図６（ａ）において、Ｒ、Ｇ、Ｂは、それぞれ、ＣＭＯＳイメージセンサ２４０に含まれる赤、緑、青の画素の感度を示している。図６（ａ）に示すとおり、赤、緑、青の画素の感度は、赤外の波長帯域である８００ｎｍ以上の帯域において、略同じ感度となっている（図６（ａ）の斜線部分を参照）。したがって、図３（ｃ）に示す可視光除去フィルタ２３０によって、可視光の波長帯域が除去されると、ＣＭＯＳイメージセンサ２４０の赤、緑、青の画素の感度は、互いに略等しくなる。このため、赤、緑、青の画素に、それぞれ、同じ光量の赤外光が入射すると、各色の画素から出力される信号の値は略等しくなる。よって、各画素からの信号を画素間で調整する必要はなく、各画素からの信号をそのまま距離情報の取得に用いることができる。

なお、可視光撮像部３００に含まれるＣＭＯＳイメージセンサ３４０上の各画素の感度も、図６（ａ）と同様である。この場合、赤外光除去フィルタ３３０によって赤外の波長帯域の光が除去されないと、投射部１００から出射される赤外光によって、以下のように、可視光撮像部３００の撮像画像の画質が損なわれてしまう。たとえば、緑の物体を撮像
している場合に、投射部１００から赤外光が投射されると、図６（ａ）に示すようにＣＭＯＳイメージセンサ３４０上の赤と青の画素が赤外光に対しても感度を持つため、投射部１００から出射される赤外光によって、赤と青の画素が輝度を持つこととなる。その結果、撮像画像は、緑に赤と青の成分が混ざった画像となってしまう。

本実施の形態では、可視光撮像部３００に、赤外光を除去する赤外光除去フィルタ３３０が配置されているため、このような場合にも、投射部１００から出射される赤外光によって赤と青の画素が輝度を持つことが抑制される。よって、撮像画像は、赤外光による影響が抑制された適正な緑の画像となる。

図６（ｂ）は、メモリ２６に保持された距離変換関数の波形を模式的に示す図である。便宜上、図６（ｂ）には、図４（ａ）、（ｂ）に示す最大距離Ｌｍａｘおよび最小距離Ｌｍｉｎと、距離取得範囲ΔＬが併せて示されている。

図６（ｂ）に示すように、距離変換関数は、ＣＭＯＳイメージセンサ２４０を介して取得される輝度値と、当該輝度値に対応する距離の関係を規定する。一般に、直進する光の光量は、距離の２乗に反比例して減衰する。したがって、投射部１００から出射された赤外光は、投射部１００から目標領域までの距離と目標領域から赤外撮像部２００までの距離を加算した距離の２乗分の１に光量が減衰した状態で、赤外撮像部２００によって受光される。このため、図６（ｂ）に示すように、ＣＭＯＳイメージセンサ２４０を介して取得される輝度値は、物体までの距離が長いほど小さくなり、物体までの距離が短いほど大きくなる。したがって、距離と輝度との関係を規定する距離変換関数は、図６（ｂ）に示すような曲線波形になる。

情報取得装置２では、距離と輝度値との関係が距離変換関数に略整合するように、ＣＭＯＳイメージセンサ２４０の露光時間が調整され、同時に、輝度値の取得に適用にされるゲインが調整される。図６（ｂ）に示す例では、最小距離Ｌｍｉｎは３０ｃｍに設定され、最大距離Ｌｍａｘは８０ｃｍに設定されている。輝度値は、２５６階調で取得される。

この場合、最小距離Ｌｍｉｎに物体が存在するときの輝度値が２３０程度となり、最大距離Ｌｍａｘに物体が存在するときの輝度値が５０程度となり、さらに、距離取得範囲ΔＬ内の他の距離の位置に物体が存在するときの輝度値が図６（ｂ）の距離変換関数の波形に略整合するように、ＣＭＯＳイメージセンサ２４０の露光時間が調整され、同時に、輝度値の取得に適用にされるゲインが調整される。より詳細には、投射部１００から所定のパワーで赤外光を出射させた状態で、基準面（スクリーン）を最小距離Ｌｍｉｎの位置から最大距離Ｌｍａｘの位置まで移動させて順次輝度値（階調）を取得する。このとき、取得した各輝度値が、図６（ｂ）の波形に略整合するように、ＣＭＯＳイメージセンサ２４０の露光時間が調整され、同時に、輝度値の取得に適用にされるゲインが調整される。

なお、露光時間とゲインのうち露光時間の調整のみによって、輝度値と距離の関係を図６（ｂ）に示す距離変換関数に略整合させることが可能である場合には、露光時間の調整のみが行われれば良い。あるいは、ゲインの調整のみによって輝度値と距離の関係を図６（ｂ）に示す距離変換関数に略整合させることが可能である場合には、ゲインの調整のみが行われれば良い。さらに、露光時間とゲイン以外の他のパラメータが調整されても良い。

かかる調整は、情報取得装置２の製造時に行われる。そして、調整された露光時間とゲインは、メモリ２６に保持され、距離情報の取得の際に用いられる。

図７（ａ）は、距離情報の取得処理を示すフローチャートである。図７（ａ）の処理は
、図２に示すＣＰＵ２１の機能のうち、距離取得部２１ｂの機能によって実行される。

距離情報の取得タイミングが到来すると（Ｓ１０１：ＹＥＳ）、ＣＰＵ２１は、上記のように設定された露光時間とゲインをメモリ２６から読み出して、撮像信号処理回路２３に設定する。これにより撮像信号処理回路２３は、設定された露光時間とゲインでもって、ＣＭＯＳイメージセンサ２４０から撮像画像を取得し（Ｓ１０２）、取得した撮像画像から、画素毎に輝度値を取得する（Ｓ１０３）。取得された輝度値は、ＣＰＵ２１に送信される。ＣＰＵ２１は、撮像信号処理回路２３から受信した各画素の輝度値をメモリ２６に保持し、さらに、各画素の輝度値を所定の閾値Ｂｓｈと比較する。そして、ＣＰＵ２１は、輝度値が閾値Ｂｓｈに満たない画素に対してエラーを設定する（Ｓ１０４）。

続いて、ＣＰＵ２１は、閾値Ｂｓｈ以上の輝度値を、メモリ２６に保持された距離変換関数に基づく演算により距離に変換し（Ｓ１０５）、かかる変換により取得された距離を、それぞれ、対応する画素に設定して距離画像を生成する（Ｓ１０６）。この際、ＣＰＵ２１は、Ｓ１０４においてエラーとなった画素に、エラーを示す値（たとえば、０）を設定する。

こうして、距離画像が生成された後、ＣＰＵ２１は、距離情報の取得動作が終了したか否かを判定する（Ｓ１０７）。そして、距離情報の取得動作が終了していなければ（Ｓ１０７：ＮＯ）、ＣＰＵ２１は、処理をＳ１０１に戻して、次の距離情報の取得タイミングを待つ。

なお、Ｓ１０４における閾値Ｂｓｈは、たとえば、図６（ｂ）に示す距離変換関数において、最大距離Ｌｍａｘに対応する輝度値に設定される。これにより、最大距離Ｌｍａｘよりも遠方にある物体から反射された赤外光に基づく輝度値が、距離情報の取得対象から除外されることとなる。このため、検出対象物体の背景にある物体が撮像画像に映り込むことによって検出対象物体の検出精度が低下することが抑制される。

図７（ｂ）は、物体検出処理を示すフローチャートである。図７（ｂ）の処理は、図２に示すＣＰＵ３１の機能のうち、物体検出部３１ａの機能によって実行される。

図７（ａ）のＳ１０６において距離画像が取得されると（Ｓ２０１：ＹＥＳ）、ＣＰＵ３１は、距離画像における最高階調の距離値（最も情報取得装置２に接近することを表す距離値）から所定の値ΔＤを減じた値を距離閾値Ｄｓｈに設定する（Ｓ２０２）。

次に、ＣＰＵ３１は、距離画像上において、距離値（階調値）が距離閾値Ｄｓｈよりも高い領域を、対象領域として区分する（Ｓ２０３）。そして、ＣＰＵ３１は、輪郭抽出エンジンを実行し、区分した対象領域の輪郭と、メモリ２６に保持された物体形状抽出テンプレートとを比較して、物体形状抽出テンプレートに保持された輪郭に対応する輪郭の対象領域を、検出対象物体に対応する領域として抽出する（Ｓ２０４）。なお、Ｓ２０４において検出対象物体が抽出されない場合、当該距離画像に対する検出対象物体の抽出は、エラーとされる。

こうして、検出対象物体の抽出処理が終了すると、ＣＰＵ３１は、物体検出動作が終了したか否かを判定する（Ｓ２０５）。物体検出動作が終了していない場合（Ｓ２０５：ＮＯ）、ＣＰＵ３１は、Ｓ２０１に戻り、次の距離画像が取得されるのを待つ。そして、次の距離画像が取得されると（Ｓ２０１：ＹＥＳ）、ＣＰＵ２１は、Ｓ２０２以降の処理を実行し、当該距離画像から検出対象物体を抽出する（Ｓ２０２〜Ｓ２０４）。

＜実施の形態の効果＞
以上、本実施の形態によれば、目標領域に投射される光をドットパターンに変換する必要がないため、投射部１００の構成を簡素なものとすることができる。また、輝度値に基づいて各画素の距離情報が取得されるため、簡素な演算処理により距離情報を取得することができる。

また、可視光撮像部３００に赤外光を除去する赤外光除去フィルタ３３０が配されているため、投射部１００から出射された赤外光によって、可視光撮像部３００の撮像画像の画質が損なわれることが抑制される。

さらに、本実施の形態では、可視光撮像部３００が、投射部１００と赤外撮像部２００との間に介在することなく配置されているため、可視光撮像部３００が投射部１００と赤外撮像部２００との間に配置される場合に比べて、可視光撮像部３００の撮像画像に対する赤外光の影響を抑制することができる。

図８の下図は、投射部１００と赤外撮像部２００との間に可視光撮像部３００が配置される場合（比較例）の、投射部１００から出射される赤外光の投射状態と、赤外撮像部２００による目標領域の撮像状態と、可視光撮像部３００による撮像状態を示す図である。図８の上部には、目標領域における赤外光の投射範囲と、目標領域に対する赤外撮像部２００の撮像範囲Ａと、可視光撮像部３００の撮像範囲Ｂが模式的に示されている。また、図８の上部には、赤外撮像部２００に配されたＣＭＯＳイメージセンサ２４０の撮像有効領域に対応する領域（撮像有効領域Ａ）と、可視光撮像部３００に配されたＣＭＯＳイメージセンサ３４０の撮像有効領域に対応する領域（撮像有効領域Ｂ）が示されている。

図８に示すように、比較例では、上記実施の形態のように投射部１００と可視光撮像部３００とが赤外撮像部２００を挟んで離れている場合（図５参照）に比べて、赤外光の投射領域が可視光撮像部３００の撮像有効領域Ｂに多く掛かる。上記のように、赤外光は、可視光撮像部３００内の赤外光除去フィルタ３３０によって大部分が除去されるものの、その全てを完全に除去することが困難な場合がある。このような場合、比較例では、赤外光の投射領域が可視光撮像部３００の撮像有効領域Ｂに多く掛かるため、可視光撮像部３００の撮像画像の画質が投射部１００から出射された赤外光によって損なわれ易い。これに対し、上記実施の形態のように投射部１００と可視光撮像部３００とが赤外撮像部２００を挟んで離れている場合は、赤外光の投射領域が可視光撮像部３００の撮像有効領域Ｂに掛かる領域が抑えられるため、可視光撮像部３００の撮像画像に対する投射部１００から出射された赤外光の影響を抑制することができる。

なお、実施の形態は、たとえば、図９に示すように、赤外撮像部２００と可視光撮像部３００との間に投射部１００を配置する構成（変更例）に変更され得る。図９に示す変更例によれば、上記比較例に比べて、投射部１００からの赤外光が可視光撮像部３００の撮像範囲Ｂに入射する範囲が小さくなるため、赤外光による可視光撮像部３００の撮像画像に対する影響を抑制することができる。

しかしながら、図９に示す変更例では、赤外撮像部２００と可視光撮像部３００との間に投射部１００が介在するため、上記実施の形態に比べて、赤外撮像部２００と可視光撮像部３００とが互いに離れることになる。このため、この変更例では、以下のように、ユーザのジェスチャがやや検出されにくくなるとの問題がある。

すなわち、パーソナルコンピュータ１の前にユーザが対峙すると、可視光撮像部３００によって撮像されたユーザの画像がモニタ６上に表示される。このとき、ユーザは、しばしば、モニタ６に表示された自身の画像を見ながらジェスチャを入力する。この場合、ユーザは、表示された画像を見ることにより、自身が可視光撮像部３００によって撮像され
ていることを認識する。このため、パーソナルコンピュータ１にジェスチャを入力する場合も、自ずと、可視光撮像部３００に向かってジェスチャを行うようになる。しかしながら、ジェスチャは、可視光撮像部３００ではなく、赤外撮像部２００によって取得された画像により検出される。図９に示すように、変更例では、赤外撮像部２００と可視光撮像部３００との間に投射部１００が介在することにより、赤外撮像部２００の撮像範囲が可視光撮像部３００の撮像範囲の中心からずれるため、このようにユーザが可視光撮像部３００に向けてジェスチャを行った場合には、このジェスチャが、赤外撮像部２００によって撮像されにくくなってしまう。このため、変更例では、上記実施の形態に比べて、ユーザのジェスチャがやや検出されにくくなる。

これに対し、本実施の形態では、赤外撮像部２００と可視光撮像部３００が互いに隣り合っており、赤外撮像部２００が可視光撮像部３００に接近しているため、赤外撮像部２００の撮像範囲が、可視光撮像部３００の撮像範囲の中心に近付く。このため、上記のようにユーザが、モニタ６の画像を見ながら、可視光撮像部３００に向けてジェスチャを行った場合にも、可視光撮像部３００によって、円滑に、ユーザのジェスチャが検出され得る。

このように、本実施の形態では、たとえば、インターネット電話等、可視光撮像部３００により自身の画像を撮像しながら相手と通話を行う間に、同時に、赤外撮像部２００によりジェスチャを検出してパーソナルコンピュータ１に所定の機能を実行させるような場合にも、可視光撮像部３００により撮像される画像の画質を損なうことなく、所望の機能をパーソナルコンピュータ１に適正に実行させることが可能となるとの効果が奏され得る。

また、本実施の形態では、距離取得範囲ΔＬに対応した輝度値が各画素から得られるように、ＣＭＯＳイメージセンサ２４０の露光時間とゲインが設定されるため、最大距離Ｌｍａｘよりも遠方の物体から反射され画素に入射する赤外光の輝度は、図７（ａ）のＳ１０４における閾値Ｂｓｈよりも小さくなり、距離情報の取得対象から除外される。これにより、距離取得範囲ΔＬよりも遠方にある物体の画像が撮像画像に映り込むことにより検出対象物体の検出精度が低下することを抑制することができる。

以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に何ら制限されるものではなく、本発明の構成例も他に種々の変更が可能である。

たとえば、上記実施の形態では、光源１１０としてＬＥＤを用いたが、ＬＥＤに代えて半導体レーザを光源１１０として用いることも可能である。

図１０（ａ）、（ｂ）は、光源１１０に半導体レーザを用いる場合の投射部１００と赤外撮像部２００の構成例を示す図である。図１０（ａ）は、回路基板４００に設置された状態の投射部１００および赤外撮像部２００を示す平面図であり、図１０（ｂ）は、図１０（ａ）のＡ−Ａ’断面図である。図１０（ａ）、（ｂ）では、便宜上、可視光撮像部３００と、回路部５００の部分の図示が省略されている。

図１０（ａ）、（ｂ）において、図３（ｂ）、（ｃ）の各部材と同一の部材には同一の符号が付されている。本変更における赤外撮像部２００の構成は、図３（ｂ）、（ｃ）に示す実施の形態の赤外撮像部２００の構成と同じである。また、可視光撮像部３００の構成も、図３（ｂ）、（ｃ）に示す実施の形態と同じである。

本変更例では、半導体レーザからなる光源１１２と、凹レンズ１２０と、レンズホルダ１３０が配されている。光源１１２は、ＣＡＮタイプの半導体レーザであり、赤外の波長
帯のレーザ光を出射する。光源１１２は、回路基板４００上に実装される。凹レンズ１２０は、レンズホルダ１３０に保持される。凹レンズ１２０を保持したレンズホルダ１３０が、光源１１２を覆うように、回路基板４００に設置される。凹レンズ１２０は、光源１１２から出射されたレーザ光が、目標領域において、図１０（ｃ）に示すように撮像範囲の近傍に集まるように、レーザ光を指向させる。

なお、このように、光源１１０が半導体レーザからなり、光源１１０から出射されたレーザ光を凹レンズ１２０により目標領域に投射する構成は、請求項６、１４に記載の構成の一例である。

本変更例においても、上記実施の形態と同様、目標領域に投射される光をドットパターンとする必要がないため、投射部１００の構成を簡素なものとすることができる。

なお、図１０（ａ）、（ｂ）の構成例では、凹レンズ１２０を保持するレンズホルダ１３０が用いられたが、図１０（ｄ）のように、光源１１２である半導体レーザのＣＡＮの出射面に凹レンズ１４０が装着され、凹レンズ１４０と光源１１２が一体化されていても良い。こうすると、レンズホルダ１３０を省略することができ、投射部１００の構成をより簡素化することができる。

また、上記実施の形態では、赤外撮像部２００において、可視光の波長帯域の光を除去するために可視光除去フィルタ２３０が用いられたが、撮像レンズ２２０の材料として可視光の波長帯域の光を吸収する材料を用い、撮像レンズ２２０にフィルタの機能を付与しても良い。

図１０（ｅ）は、この場合の赤外撮像部２００の構成例を示す図である。

この構成例では、撮像レンズ２２１が、樹脂材料に染料を混ぜ込んだ材料から形成されている、染料としては、可視光の波長帯域の光の吸収が高く、赤外の波長帯域の光の吸収が低いものが用いられる。なお、ここでは、撮像レンズ２２１の材料に染料が混ぜ込まれたが、可視光の波長帯域の光の吸収が高く、赤外の波長帯域の光の吸収が低い材料であれば、染料以外の材料が混ぜ込まれても良い。また、図１０（ｅ）のように４枚のレンズから撮像レンズ２２１が形成される場合、必ずしも、全てのレンズに染料が混ぜ込まれなくても良く、可視光を適正に除去可能であれば、１つ、２つまたは３つのレンズに染料が混ぜ込まれても良い。

この構成例によれば、可視光除去フィルタ２３０を省略できるため、赤外撮像部２００の構成をより簡素化することができ、また、赤外撮像部２００の背高を低くすることができる。

なお、このように、撮像レンズ２２０が、可視光の波長帯域の光の吸収が高く、赤外の波長帯域の光の吸収が低い染料を樹脂材料に混ぜ込んだ材料から形成される構成は、請求項７、１５に記載の構成の一例である。

ここでは、赤外撮像部２００の撮像レンズ２２１に、可視光除去フィルタ２３０の機能を持たせたが、可視光撮像部３００の撮像レンズ３２０に染料等を混ぜ込むことにより、撮像レンズ３２０に赤外光除去フィルタ３３０の機能を持たせても良い。

また、上記実施の形態では、投射部１００、赤外撮像部２００および可視光撮像部３００が、Ｘ軸方向に直線状に並ぶように配置されたが、投射部１００と赤外撮像部２００との間に可視光撮像部３００が介在しなければ、投射部１００、赤外撮像部２００および可
視光撮像部３００が他のレイアウトによって配置されても良い。たとえば、図１１（ａ）のように、投射部１００が、赤外撮像部２００にＹ軸負側に配置されても良く、あるいは、図１１（ｂ）のように、投射部１００、赤外撮像部２００および可視光撮像部３００が、Ｘ軸負側から順番に直線状に並ぶように配置されても良い。

ただし、図１１（ａ）の構成では、回路基板４００のＹ軸方向の幅が大きくなるため、図１に示すようにパーソナルコンピュータ１のフレーム部分等に情報取得装置２を配置する場合には、この構成は不向きである。また、図１１（ａ）の構成では、投射部１００と可視光撮像部３００との距離Ｄが短くなるため、可視光撮像部３００の撮像画像が赤外光による影響を受け易くなる。よって、投射部１００、赤外撮像部２００および可視光撮像部３００は、図３（ｂ）、（ｃ）または図１１（ｂ）のように、直線状に並ぶように配置されるのが望ましい。

また、上記実施の形態では、距離変換関数を用いた演算により輝度値が距離に変換されたが、輝度値と距離とを対応付けたテーブルをメモリ２６に保持しておき、このテーブルに基づいて、輝度値から距離を取得するようにしても良い。また、図７（ａ）の処理では、Ｓ１０５において距離が取得されたが、ここで取得される距離は、距離値でなくとも良く、距離を表すことが可能な情報であれば良い。

また、上記実施の形態では、距離変換関数に基づいて輝度値を距離に変換して距離情報を取得したが、輝度値をそのまま距離に関する情報として取得しても良い。

図１２（ａ）は、輝度値をそのまま距離に関する情報として取得する場合の輝度画像生成処理を示すフローチャートである。

図１２（ａ）のフローチャートでは、図７（ａ）のＳ１０５が省略され、さらに、図７（ａ）のＳ１０６がＳ１１１に変更されている。すなわち、図１２（ａ）のフローチャートでは、各画素の輝度値が距離値に変換されることなく、対応する画素に輝度値が設定されて輝度画像が生成される（Ｓ１１１）。上記実施の形態と同様、Ｓ１０４においてエラーが設定された画素には、エラーを示す値（たとえば、０）が設定される。

図１２（ｂ）は、物体検出処理を示すフローチャートである。図１２（ｂ）のフローチャートでは、距離画像に代えて輝度画像が参照される。

すなわち、図１２（ａ）のＳ１１１において輝度画像が取得されると（Ｓ２１１：ＹＥＳ）、ＣＰＵ３１は、輝度画像における最高階調の輝度値（最も情報取得装置２に接近することを表す輝度値）から所定の値ΔＢを減じた値を輝度閾値Ｂｓｈ２に設定する（Ｓ２１２）。

次に、ＣＰＵ３１は、輝度画像上において、輝度値（階調値）が輝度閾値Ｂｓｈ２よりも高い領域を、対象領域として区分する（Ｓ２１３）。そして、ＣＰＵ３１は、輪郭抽出エンジンを実行し、区分した対象領域の輪郭と、メモリ２６に保持された物体形状抽出テンプレートとを比較して、物体形状抽出テンプレートに保持された輪郭に対応する輪郭の対象領域を、検出対象物体に対応する領域として抽出する（Ｓ２１４）。Ｓ２１４において検出対象物体が抽出されない場合、当該距離画像に対する検出対象物体の抽出は、エラーとされる。ＣＰＵ３１は、Ｓ２１１〜Ｓ２１４の処理を物体検出動作が終了するまで繰り返す（Ｓ２１５）。

図１２（ａ）のフローチャートでは、距離変換関数に基づいて輝度値が距離に変換されないため、輝度画像上の各画素の輝度値は、正確な距離を表現するものとはならない。す
なわち、図６（ｂ）に示すように、輝度と距離は、曲線状のグラフによって表わされる関係を有するため、輝度値を正確な距離として取得するためには、輝度値をこの曲線に従って調整する必要がある。図１２（ａ）のフローチャートでは、取得された輝度値がそのまま輝度画像に設定されるため、輝度画像上の各画素の輝度値は、正確な距離を表わさず、誤差を含むものとなる。

しかしながら、この場合も、各画素の輝度値は、大まかな距離を表わすものとなるため、輝度画像を用いて検出対象物体を検出することは可能である。したがって、本変更例によっても、図１２（ｂ）のフローチャートによって、検出対象物体を検出することができる。

なお、図１２（ａ）のフローチャートでは、Ｓ１０３で取得された輝度値が、Ｓ１１１において、そのまま輝度画像に設定されたが、輝度画像に設定される値は、輝度値でなくとも良く、輝度を表わすことが可能な情報であれば良い。

また、上記実施の形態では、情報取得装置２と情報処理装置３側の物体検出部３１ａによって物体検出装置が構成されたが、一つの装置によって物体検出装置が構成されても良い。

図１３は、この場合の構成例を示す図である。図１３の構成例では、図２の情報取得装置２が物体検出装置７に置き換えられている。なお、説明の便宜上、図１０において、図２の構成と同一の構成には同一の符号が付されている。

図１３の構成例では、ＣＰＵ３１から物体検出部３１ａの機能が除かれ、ＣＰＵ２１に物体検出部２１ｅの機能が付加されている。また、メモリ３３から物体形状抽出テンプレートが除かれ、メモリ２６に物体形状抽出テンプレートが追加されている。さらに、図１３の構成例では、図２の距離取得部２１ｂが輝度情報取得部２１ｄに置き換えられている。輝度情報取得部２１ｄは、ＣＭＯＳイメージセンサ２４０から取得される輝度値に基づいて輝度画像を生成する。

なお、図１３に示す物体検出装置７もまた、請求項９に記載の構成の一例である。また、輝度情報取得部２１ｅと物体検出部２１ｅは、請求項９に記載の「物体検出部」に相当する。

図１４は、本変更例における物体検出処理を示すフローチャートである。図１４のフローチャートのうち、Ｓ１０２〜Ｓ１１１は、図１３の輝度情報取得部２１ｄにより行われ、Ｓ１１２〜Ｓ１１４は、図１３の物体検出部２１ｅにより行われる。Ｓ１０２〜Ｓ１１１の処理は、図１２（ａ）のＳ１０２〜Ｓ１１１と同じであり、Ｓ１１２〜Ｓ１１４の処理は、図１２（ｂ）のＳ２１２〜Ｓ２１４と同じであるので、ここでは、これらステップの説明は省略する。

物体検出タイミングが到来すると（Ｓ２０１：ＹＥＳ）、ＣＰＵ２１は、Ｓ１０２〜Ｓ１１１の処理により輝度画像を生成する。そして、ＣＰＵ２１は、生成した輝度画像を参照してＳ１１２〜Ｓ１１４の処理を実行し、検出対象物体を検出する。Ｓ２０１〜Ｓ１１４の処理は、物体検出動作が終了するまで繰り返し実行される（Ｓ１１５）。

本変更例においても、上記実施の形態と同様、目標領域に投射される光をドットパターンに変換する必要がないため、投射部１００の構成を簡素なものとすることができる。また、輝度値に基づいて各画素の距離情報が取得されるため、簡素な演算処理により距離情報を取得することができる。また、距離変換関数により輝度値を距離に変換することなく
、輝度値をそのまま用いて、物体検出が行われるため、物体検出の処理が簡素となる。

また、上記実施の形態および変更例では、ＣＭＯＳイメージセンサ２４０上の全ての画素について距離および輝度値が取得されたが、必ずしも全ての画素について距離および輝度値が取得されなくとも良く、たとえば、数画素おきに距離および輝度値が取得されても良い。

また、上記実施の形態では、赤外撮像部２００の可視光除去フィルタ２３０が撮像レンズ２２０とＣＭＯＳイメージセンサ２４０との間に配置されたが、可視光除去フィルタ２３０の配置位置は、これに限られるものではなく、撮像レンズ２２０よりも目標領域側であっても良い。同様に、可視光撮像部３００の赤外光除去フィルタ３３０に配置位置も適宜変更可能である。

また、上記実施の形態では、ＣＰＵ２１による機能によってソフトウエア処理により距離情報が取得されたが、距離情報の取得が回路によるハードウエア処理により実現されても良い。

さらに、上記実施の形態では、受光素子として、ＣＭＯＳイメージセンサ２４０を用いたが、これに替えて、ＣＣＤイメージセンサを用いることもできる。また、赤外以外の波長帯域の光を距離取得に用いることもできる。

この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。

１ … パーソナルコンピュータ
２ … 距離取得装置
２１ｂ … 距離取得部
２１ｄ … 輝度情報取得部（物体検出部）
２１ｅ … 物体検出部（物体検出部）
３１ａ … 物体検出部
１００ … 投射部
１１０ … 光源
１１１ … ＬＥＤ（発光ダイオード）
１１１ｃ … レンズ面（レンズ部）
１１２ … 半導体レーザ
１２０、１４０ … 凹レンズ
２００ … 赤外撮像部（第１の撮像部）
２２１ … 撮像レンズ（第１のフィルタ）
２３０ … 可視光除去フィルタ（第１のフィルタ）
２４０ … ＣＭＯＳイメージセンサ（第１のイメージセンサ）
３００ … 可視光撮像部（第２の撮像部）
３３０ … 赤外光除去フィルタ（第２のフィルタ）
３４０ … ＣＭＯＳイメージセンサ（第２のイメージセンサ）

Claims (15)

1. 目標領域に赤外光を投射する投射部と、
   第１のイメージセンサを有し、前記目標領域を撮像する第１の撮像部と、
   前記第１のイメージセンサにより取得された輝度値に基づいて、前記目標領域上の各位置に対する距離に関する情報を取得する距離取得部と、
   第２のイメージセンサを有し、可視光により画像を撮像する第２の撮像部と、を備え、
   前記第１の撮像部は、可視光を除去し赤外光を透過する第１のフィルタを備え、
   前記第２の撮像部は、可視光を透過し赤外光を除去する第２のフィルタを備え、
   前記投射部、前記第１の撮像部および前記第２の撮像部は、前記投射部と前記第１の撮像部との間に前記第２の撮像部が介在することのないように、配置されている、
   ことを特徴とする情報取得装置。
2. 請求項１に記載の情報取得装置において、
   前記第１の撮像部、前記第２の撮像部および前記投射部が直線状に並ぶように配置されている、
   ことを特徴とする情報取得装置。
3. 請求項１または２に記載の情報取得装置において、
   前記第１の撮像部と前記第２の撮像部が互いに隣り合うように配置されている、
   ことを特徴とする情報取得装置。
4. 請求項１ないし３の何れか一項に記載の情報取得装置において、
   前記投射部は、前記赤外光の光源である発光ダイオードを含む、
   ことを特徴とする情報取得装置。
5. 請求項４に記載の情報取得装置において、
   前記投射部は、前記発光ダイオードから出射される前記赤外光を前記目標領域に指向させるレンズ部をさらに含む、
   ことを特徴とする情報取得装置。
6. 請求項１ないし３の何れか一項に記載の情報取得装置において、
   前記投射部は、前記赤外光の光源である半導体レーザと、前記半導体レーザから出射されるレーザ光を前記目標領域に投射する凹レンズとを含む、
   ことを特徴とする情報取得装置。
7. 請求項１ないし６の何れか一項に記載の情報取得装置において、
   前記第１の撮像部は、前記目標領域に照射された前記赤外光を前記第１のイメージセンサに集光する撮像レンズを含み、
   前記撮像レンズは、可視光を吸収し、前記赤外の波長帯域の光を透過する材料からなり、前記第１のフィルタが前記撮像レンズに一体的に含まれている、
   ことを特徴とする情報取得装置。
8. 請求項１ないし７の何れか一項に記載の情報取得装置と、
   前記情報取得装置によって取得された前記距離に関する情報に基づいて、前記目標領域に存在する物体を検出する物体検出部と、を備える、
   ことを特徴とする物体検出装置。
9. 目標領域に赤外光を投射する投射部と、
   第１のイメージセンサを有し、前記目標領域を撮像する第１の撮像部と、
   前記第１のイメージセンサによって取得される輝度値に基づいて、前記目標領域における物体を検出する物体検出部と、
   第２のイメージセンサを有し、可視光により画像を撮像する第２の撮像部と、を備え、
   前記第１の撮像部は、可視光を除去し赤外光を透過する第１のフィルタを備え、
   前記第２の撮像部は、可視光を透過し赤外光を除去する第２のフィルタを備え、
   前記投射部、前記第１の撮像部および前記第２の撮像部は、前記投射部と前記第１の撮像部との間に前記第２の撮像部が介在することのないように、配置されている、
   ことを特徴とする物体検出装置。
10. 請求項９に記載の物体検出装置において、
    前記第１の撮像部、前記第２の撮像部および前記投射部が直線状に並ぶように配置されている、
    ことを特徴とする物体検出装置。
11. 請求項９または１０に記載の物体検出装置において、
    前記第１の撮像部と前記第２の撮像部が互いに隣り合うように配置されている、
    ことを特徴とする物体検出装置。
12. 請求項９ないし１１の何れか一項に記載の物体検出装置において、
    前記投射部は、前記赤外光の光源である発光ダイオードを含む、
    ことを特徴とする物体検出装置。
13. 請求項１２に記載の物体検出装置において、
    前記投射部は、前記発光ダイオードから出射される前記赤外光を前記目標領域に指向させるレンズ部をさらに含む、
    ことを特徴とする物体検出装置。
14. 請求項９ないし１１の何れか一項に記載の物体検出装置において、
    前記投射部は、前記赤外光の光源である半導体レーザと、前記半導体レーザから出射されるレーザ光を前記目標領域に投射する凹レンズとを含む、
    ことを特徴とする物体検出装置。
15. 請求項９ないし１４の何れか一項に記載の物体検出装置において、
    前記第１の撮像部は、前記目標領域に照射された前記赤外光を前記第１のイメージセンサに集光する撮像レンズを含み、
    前記撮像レンズは、可視光を吸収し、前記赤外の波長帯域の光を透過する材料からなり、前記第１のフィルタが前記撮像レンズに一体的に含まれている、
    ことを特徴とする物体検出装置。

Images