JP2014153288A

JP2014153288A - 撮像装置

Info

Publication number: JP2014153288A
Application number: JP2013025080A
Authority: JP
Inventors: Nobuyori Tanaka; 信頼田中; Makoto Watanabe; 慎渡邉
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2013-02-13
Filing date: 2013-02-13
Publication date: 2014-08-25
Anticipated expiration: 2033-02-13
Also published as: JP6127558B2

Abstract

【課題】発光素子の発光強度の変化にかかる影響を抑えた受光強度画像を撮像することができる撮像装置を提供する。
【解決手段】投光部３が、発光素子３１を発光させて、正弦波変調光を撮像エリアに投光する。受光部４が、複数の受光素子をマトリクス状に配置したイメージセンサ４１で、投光部３が撮像エリアに投光した正弦波変調光の拡散反射光を受光する。画像取得部５が、イメージセンサ４１の各受光素子の受光光量に基づき、撮像エリアの受光強度画像を得る。また、投光部３が撮像エリアに投光している正弦波変調光の強度がモニタリングされる。制御部２は、モニタリングされた正弦波変調光の強度に基づき、イメージセンサ４１の各受光素子の露光時間を制御する。
【選択図】図１

Description

この発明は、正弦波変調光を撮像エリアに投光し、拡散反射光を受光することにより、撮像エリアの受光強度画像を得る撮像装置に関する。

従来、正弦波変調光を撮像エリアに投光し、拡散反射光を受光することにより、撮像エリアの受光強度画像、および距離画像を同じタイミングで撮像した一対の撮像画像として取得するＴＯＦ（Time Of Flight）カメラがある（例えば、特許文献１参照）。ＴＯＦカメラは、正弦波変調光（赤外光）を撮像エリアに投光する発光素子を有する投光部、およびｎ×ｍ個の受光素子をマトリクス状に配置したイメージセンサ（ｎ×ｍ画素のイメージセンサ）を有する受光部、を備えている。

ＴＯＦカメラは、赤外光を撮像エリアに投光し、その反射光（拡散反射光）をイメージセンサの各受光素子で受光する。ＴＯＦカメラは、受光素子毎に、その受光素子の受光光量を対応付けた画像を受光強度画像として取得する。

また、ＴＯＦカメラは、受光素子毎に、赤外光を撮像エリアに投光してから、その反射光を受光するまでの時間（飛行時間）を画素毎（受光素子毎）に計測する。ＴＯＦカメラは、撮像エリアに照射した赤外光と、受光した反射光と、の位相差を計測することによって、飛行時間を得る。ＴＯＦカメラは、画素毎に、その画素について得た飛行時間から、投光した光を反射した反射面までの距離を算出する。ＴＯＦカメラは、画素毎に、反射面までの距離を対応付けた画像を距離画像として取得する。

特表２０１０−５３４０００号公報

しかしながら、撮像エリアからの反射光の強度（単位時間あたりの反射光の光量）は、撮像エリアに投光した赤外光の強度（単位時間あたりの赤外光の光量）の変化に応じて変化する。また、撮像エリアに投光される赤外光の強度は、発光素子の経年劣化や環境温度等により変化する。このため、従来のＴＯＦカメラにより撮像される撮像エリアの受光強度画像は、投光部が撮像エリアに投光した赤外光の強度変化の影響を受けていた。

なお、特許文献１は、イメージセンサの各受光素子における拡散反射光の受光光量に基づき、レンズ等に付着している塵、埃等による汚れを検出する構成を開示しているが、発光素子の発光強度の変化にかかる影響を抑えた受光強度画像を撮像するものではない。

この発明の目的は、発光素子の発光強度の変化にかかる影響を抑えた受光強度画像を撮像することができる撮像装置を提供することにある。

この発明の撮像装置は、上述の目的を達するために以下のように構成している。

投光部が、発光素子を発光させて、正弦波変調光を撮像エリアに投光する。受光部が、複数の受光素子をマトリクス状に配置したイメージセンサで、投光部が撮像エリアに投光した正弦波変調光の拡散反射光を受光する。画像取得部が、イメージセンサの各受光素子の受光光量に基づき、撮像エリアの受光強度画像を得る。

また、モニタリング部において、投光部が撮像エリアに投光している正弦波変調光の強度がモニタリングされる。ここで言う正弦波変調光の強度とは、単位時間あたりの正弦波変調光の光量である。モニタリング部は、例えば、発光素子から出力された正弦波変調光をフォトダイオード等の受光素子で受光することによって正弦波変調光の強度をモニタリングする構成であってもよいし、発光素子から出力された正弦波変調光をイメージセンサの一部の受光素子で受光することによって正弦波変調光の強度をモニタリングする構成であってもよい。

露光時間制御部は、モニタリング部によりモニタリングされた正弦波変調光の強度に基づき、イメージセンサの各受光素子の露光時間を制御する。すなわち、イメージセンサの各受光素子の露光時間は、投光部が撮像エリアに投光している正弦波変調光の強度に応じて制御される。

したがって、発光素子の発光強度の変化にかかる影響を抑えた受光強度画像を撮像することができる。

また、撮像装置は、モニタリング部においてモニタリングしている正弦波変調光の強度が予め定めた閾値を未満であれば、発光素子の光量低下を示すアラーム出力を行う出力部を備える構成としてもよい。このように構成すれば、発光素子により撮像エリアに投光している正弦波変調光の光量不足により、適正な受光強度画像を得ることができないことを、撮像された受光強度画像を処理する画像処理装置等の上位装置に通知できる。また、係員等に、撮像装置のメンテナンスを促すこともできる。

さらに、画像取得部は、イメージセンサの各受光素子で受光した拡散反射光と、発光素子の発光にともなう正弦波変調光と、の位相差に基づき、撮像エリアの距離画像を得る構成としてもよい。

この発明によれば、発光素子の発光強度の変化にかかる影響を抑えた受光強度画像を撮像することができる。

撮像装置の主要部の構成を示すブロック図である。投光部と、受光部との構成を示す概略図である。イメージセンサを示す図である。撮像処理を示すフローチャートである。露光時間決定処理を示すフローチャートである。

以下、この発明の実施形態である撮像装置の実施形態について説明する。

図１は、この例にかかる撮像装置の主要部の構成を示すブロック図である。撮像装置１は、制御部２と、投光部３と、受光部４と、画像取得部５と、出力部６と、を備えている。この撮像装置１は、同じタイミングで撮像した撮像エリアの受光強度画像および距離画像を一対の撮像画像として取得するＴＯＦ（Time Of Flight）カメラである。

制御部２は、撮像装置１本体各部の動作を制御する。

投光部３は、撮像エリアに対して赤外光（この発明で言う正弦波変調光）を投光する。

受光部４は、投光部３が撮像エリアに投光した赤外光の反射光（この発明で言う拡散反射光）を受光する。

図２は、投光部と、受光部との構成を示す概略図である。

投光部３は、発光素子３１と、投光レンズ３２とを有する。制御部２が、発光素子３１の発光を制御する。発光素子３１は、周波数ｆｍの赤外光を出力する。投光レンズ３２は、発光素子３１から出力された赤外光を撮像エリアに投光する。撮像エリアに投光された赤外光は、この撮像エリアに位置するオブジェクト（物体）の表面で反射される。

受光部４は、イメージセンサ４１と、受光レンズ４２とを有する。イメージセンサ４１は、図３に示すように、複数の受光素子をマトリクス状に配置したものである。図３では、ｍ×ｎ個の受光素子をマトリクス状に配置したイメージセンサ４１（ｍ×ｎ画素のイメージセンサ４１）を図示している。イメージセンサ４１は、例えばＣＭＯＳイメージセンサである。

イメージセンサ４１は、画像取得領域と、モニタリング領域との２つに分割している。例えば、図３に示すｎ列に位置するｍ個の受光素子がモニタリング領域を構成し、残りの受光素子が画像取得領域を構成する。

イメージセンサ４１の画像取得領域には、受光レンズ４２を通して、撮像エリアが投影される。イメージセンサ４１の画像取得領域に位置する各受光素子は、撮像エリアの対応する位置で反射された赤外光（投光部３が撮像エリアに投光した赤外光）の反射光を受光する。また、イメージセンサ４１のモニタリング領域に位置する各受光素子は、ファイバ３５を介して発光素子３１が出力した赤外光を受光する。

遮蔽板４５は、受光レンズ４２を通してイメージセンサ４１の画像取得領域に投影される撮像エリアからの反射光が、イメージセンサ４１のモニタリング領域に照射されるのを防止する。また、遮蔽板４５は、ファイバ３５を介してイメージセンサ４１のモニタリング領域に受光させる発光素子３１が出力した赤外光がイメージセンサ４１の画像取得領域に照射されるのを防止する。

制御部２は、イメージセンサ４１の各受光素子の露光時間を制御する。この制御部２による露光時間の制御については、後述する。

画像取得部５は、イメージセンサ４１の画像取得領域に位置する受光素子毎に、その受光素子の受光光量を対応付けた画像を、撮像エリアの受光強度画像として取得する。また、画像取得部５は、イメージセンサ４１の画像取得領域に位置する受光素子毎に、その受光素子で受光した反射光と、イメージセンサ４１のモニタリング領域で受光している発光素子３１が発光した赤外光と、の位相差Δφを計測し、この計測した位相差Δφを用いて、投光部３が撮像エリアに投光した赤外光を反射した反射面（オブジェクトの表面）までの距離ｄを算出する。距離ｄは、
ｄ＝（ｃ／２ｆｍ）×（Δφ／２π）
ｃ：光速、ｆｍ：赤外光の周波数、Δφ：計測した位相差（ｒａｄ）
により算出できる。画像取得部５は、イメージセンサ４１の画像取得領域に位置する受光素子毎に、反射面までの距離を対応付けた撮像エリアの距離画像を取得する。

これにより、画像取得部５は、撮像エリアを同じタイミングで撮像した受光強度画像、および距離画像を一対の撮像画像として取得する。

出力部６は、画像取得部５が取得した一対の撮像画像（受光強度画像、および距離画像）を上位装置に出力する。また、出力部６は、発光素子３１の発光光量が予め定めた閾値未満になれば、発光光量低下を示すアラームを上位装置に出力する。

上位装置は、例えば画像処理装置であり、画像取得部５が取得した一対の撮像画像を処理し、撮像エリア内に進入した人や車両等のオブジェクトを検出する処理（所謂、オブジェクト検出処理）を行う。このオブジェクト検出処理としては、背景との差分画像（背景差分画像）を生成して行う処理や、フレーム間の差分画像（フレーム間差分画像）を生成して行う処理等が公知である。ここでは、上位装置における画像処理の詳細については、説明を省略する。

なお、上位装置は、上述の画像処理装置に限らず、撮像エリアを同じタイミングで撮像した受光強度画像、および距離画像を一対の撮像画像として蓄積的に記録保存する装置であってもよいし、他の機能を有する装置であってもよい。

一般的な発光素子３１は、経年劣化により出力する赤外光の発光強度（単位時間あたりの発光量）が低下する。また、発光素子３１は、周囲温度の上昇により出力する赤外光の発光強度（単位時間あたりの発光量）が低下する。

また、受光素子は、受光している拡散反射光の強度が一定である場合、露光時間に比例して受光光量が増大する。

制御部２は、撮像エリアの受光強度画像、および距離画像を適正に撮像することができないと判断する発光素子３１の発光強度の上限値（この発明で言う閾値に相当する。）を記憶している。

また、制御部２は、発光素子３１から出力された赤外光の発光強度ｘを変数とし、イメージセンサ４１の各受光素子の露光時間Ｔを算出する関数ｇ（ｘ）（Ｔ＝ｇ（ｘ））を記憶している。ｘは、発光素子３１の発光強度である。この関数ｇ（ｘ）は、撮像装置１本体の特性や撮像エリアの環境等に応じて設定するのが好ましい。

例えば、関数ｇ（ｘ）は、
Ｔ＝ｇ（ｘ）＝ａｘ²＋ｂｘ＋ｃ
の二次関数である。ａ、ｂ、ｃは、発光素子３１から出力された赤外光の発光強度をｘ１、ｘ２、ｘ３とした場合のそれぞれについて、イメージセンサ４１の特定の受光素子における受光光量が適値になる露光時間Ｔ１、Ｔ２、Ｔ３を計測し、
Ｔ１＝ａｘ１²＋ｂｘ１＋ｃ
Ｔ２＝ａｘ２²＋ｂｘ２＋ｃ
Ｔ３＝ａｘ３²＋ｂｘ３＋ｃ
の連立方程式を解くことによって求めればよい。

なお、ここでは、関数ｇ（ｘ）を二次関数としているが、一次関数であってもよいし、３次以上の関数であってもよいし、さらには指数関数等であってもよい。

さらに、制御部２は、上述の関数ｇ（ｘ）により算出したイメージセンサ４１の各受光素子の露光時間Ｔを記憶する。

以下、この撮像装置１の動作について説明する。まず、撮像装置１による撮像エリアの受光強度画像、および距離画像を撮像する撮像処理について説明する。図４は、撮像処理を示すフローチャートである。

制御部２は、イメージセンサ４１の各受光素子の露光時間を、この時点において記憶している露光時間Ｔに設定する（ｓ１）。制御部２は、投光部３を制御して発光素子３１を発光させ、撮像エリアへの赤外光の投光を開始する（ｓ２）。このとき、発光素子３１から出力された赤外光は、ファイバ３５を介してイメージセンサ４１のモニタリング領域に位置する受光素子にも照射される。撮像エリアへの赤外光の投光は、予め定められた時間行う。

画像取得部５は、撮像エリアへの赤外光の投光が開始されてから、ｓ１で設定された露光時間Ｔが経過するまでの間、受光部４のイメージセンサ４１の受光素子毎に、その受光素子における受光光量の積算、および受光している光の位相の検出を行う（ｓ３）。ｓ３にかかる処理は、イメージセンサ４１の画像取得領域に位置する受光素子だけでなく、モニタリング領域に位置する受光素子についても行う。イメージセンサ４１の画像取得領域に位置する受光素子では、ｓ２で撮像エリアに投光された赤外光の反射光が受光される。また、イメージセンサ４１のモニタリング領域に位置する受光素子では、発光素子３１から出力された赤外光がファイバ３５を介して受光される。

画像取得部５は、受光部４のイメージセンサ４１の画像取得領域に位置する受光素子毎に、その受光素子における受光光量の積算値を対応付けた受光強度画像を取得する（ｓ４）。また、画像取得部５は、受光部４のイメージセンサ４１の画像取得領域に位置する受光素子毎に、その受光素子で受光した光と、イメージセンサ４１のモニタリング領域に位置する受光素子で受光した光（ファイバ３５を介して照射された発光素子３１から出力された赤外光）と、の位相差を用いて算出した反射面までの距離を対応付けた距離画像を取得する（ｓ５）。

撮像装置１は、ｓ４で取得した撮像エリアの受光強度画像と、ｓ５で取得した撮像エリアの距離画像と、を一対の撮像画像として出力部６から上位装置に出力する（ｓ６）。

次に、イメージセンサ４１の各受光素子の露光時間を決定する露光時間決定処理について説明する。この露光時間決定処理は、上述した撮像処理において撮像エリアの受光強度画像および距離画像を撮像する毎に行ってもよいし、予め定めたフレーム数の撮像毎に行ってもよい。また、予め定めた時刻に行うようにしてもよい。図５は、露光時間決定処理を示すフローチャートである。

制御部２は、前回行った上述の撮像処理において、イメージセンサ４１のモニタリング領域に位置する受光素子の受光光量の平均値を算出する（ｓ１１）。ｓ１１は、イメージセンサ４１のモニタリング領域に位置する特定の受光素子の受光光量を読み出す処理としてもよい。

制御部２は、ｓ１１で算出した受光光量の平均値を、前回行った上述の撮像処理におけるイメージセンサ４１の各受光素子の露光時間Ｔで除算することにより、受光強度を算出する（ｓ１２）。ｓ１２では、実際には、前回の撮像処理において、発光素子３１から出力された赤外光の発光強度ｘを算出している。

制御部２は、ｓ１２で算出した発光素子３１から出力された赤外光の発光強度ｘが、撮像エリアの受光強度画像、および距離画像を適正に撮像することができないと判断する発光素子３１から出力される赤外光の強度の上限値未満であるかどうかを判定する（ｓ１３）。

制御部２は、ｓ１３で上限値未満でないと判定すると、ｓ１２算出した発光素子３１から出力された赤外光の発光強度ｘを、上述の関数ｇ（ｘ）に代入し、イメージセンサ４１の各受光素子の露光時間Ｔを算出する（ｓ１４）。制御部２は、記憶している露光時間Ｔを、ｓ１４で算出した露光時間Ｔに更新し（ｓ１５）、本処理を終了する。

また、制御部２は、ｓ１３で上限値未満であると判定すると、出力部６において上位装置に発光素子３１の発光量の低下を示すアラーム出力を行い（ｓ１６）、本処理を終了する。

このように、この例にかかる撮像装置１は、イメージセンサ４１の各受光素子の露光時間Ｔを、発光素子３１が撮像エリアに投光する赤外光の発光強度ｘに応じて制御する。したがって、この例にかかる撮像装置１は、発光素子３１が撮像エリアに投光する赤外光の発光強度ｘの変化にかかる影響を抑えた受光強度画像を撮像することができる。

また、発光素子３１から出力された赤外光の発光強度ｘが低下し、撮像エリアの受光強度画像、および距離画像を適正に撮像することができないと判断したときには、アラーム出力を行う構成としたので、係員等に、撮像装置１本体のメンテナンスを促すことができる。また、上位装置において、適正に撮像されていない受光強度画像、および距離画像に対する処理を無駄に行わせるのを防止できる。

なお、上記の例では、撮像装置１が、距離画像を生成し取得する構成としたが、イメージセンサ４１の各受光素子の位相データ（ｓ３で取得した生データ）を上位装置に出力し、上位装置が距離画像を生成する構成としてもよい。

また、上記の例では、イメージセンサ４１の一部の受光素子（モニタリング領域に位置する受光素子）で、発光素子３１から出力された赤外光の発光強度ｘをモニタリングする構成を例示したが、フォトダイオード等の受光素子を別途設け、この受光素子で発光素子３１から出力された赤外光の発光強度ｘをモニタリングする構成としてもよい。

また、上記の例では、イメージセンサ４１の一部の受光素子（モニタリング領域に位置する受光素子）を用いて、発光素子３１から出力された赤外光の位相を得る構成としたが、発光素子３１の発光を制御するドライブ回路のドライブ信号によって、発光素子３１から出力された赤外光の位相を推定する構成としてもよい。

また、発光素子３１に温度センサを取り付け、発光素子３１から出力された赤外光の強度の低下が経年劣化によるものであるか、周辺環境の温度上昇によるものであるか、を区別して検出できるようにしてもよい。また、この場合には、発光素子３１から出力された赤外光の強度の低下の要因も、ｓ１６で出力するアラーム出力に含ませればよい。

１…撮像装置
２…制御部
３…投光部
４…受光部
５…画像取得部
６…出力部
３１…発光素子
３２…投光レンズ
３５…ファイバ
４１…イメージセンサ
４２…受光レンズ
４５…遮蔽板

Claims

発光素子を発光させて、正弦波変調光を撮像エリアに投光する投光部と、
複数の受光素子をマトリクス状に配置したイメージセンサで、前記投光部が前記撮像エリアに投光した正弦波変調光の拡散反射光を受光する受光部と、
前記イメージセンサの各受光素子の受光光量に基づき、前記撮像エリアの受光強度画像を得る画像取得部と、
前記投光部が撮像エリアに投光している正弦波変調光の強度をモニタリングするモニタリング部と、
前記モニタリング部によりモニタリングされた正弦波変調光の強度に基づき、前記イメージセンサの各受光素子の露光時間を制御する露光時間制御部と、を備えた撮像装置。
前記モニタリングは、前記投光部が前記撮像エリアに投光している正弦波変調光を、前記イメージセンサの一部の受光素子で受光し、正弦波変調光の強度をモニタリングする、請求項１に記載の撮像装置。
前記モニタリング部においてモニタリングしている正弦波変調光の強度が予め定めた閾値を未満であれば、前記発光素子の光量低下を示すアラーム出力を行う出力部を備えた請求項１、または２に記載の撮像装置。
前記画像取得部は、前記イメージセンサの各受光素子で受光した拡散反射光と、前記発光素子の発光にともなう正弦波変調光と、の位相差に基づき、前記撮像エリアの距離画像を得る、請求項１〜３のいずれかに記載の撮像装置。