JP2011133320A - 距離画像処理システム - Google Patents

Abstract

【課題】 距離画像センサの設置位置を変更した場合でも、容易に背景画像を生成することができるとともに、環境温度や経年変化が生じた場合でも、常に正確な距離測定を行うことのできる距離画像処理システムを提供する。
【解決手段】 所定の被測定対象の距離値を検出する距離画像センサ１と、距離画像センサ１から入力される各画素の距離値に基づいて背景画像を生成するとともに、この背景画像の距離値の差分から距離画像を生成する画像処理回路４６を備えた画像データ処理装置２と、を備え、画像処理回路４６は、距離画像センサ１により取得された各画素の距離値が最大となる距離値を保存しておき、各画素の最大の距離値に基づいて背景画像を生成するように構成されている。
【選択図】 図１

Description

本発明は距離画像処理システムに係り、特に、プレーナ型アクチュエータなどの二次元スキャナを用いた距離画像センサを用いて、絶対距離値を得ることを可能とした距離画像処理システムに関するものである。

従来から、枠状の固定部に平板状の可動部を回動可能に軸支する構造のアクチュエータとして、例えば半導体製造技術を利用し、シリコン基板を異方性エッチングし、枠状の固定部と平板状の可動部と固定部に可動部を軸支するトーションバーとを一体に形成し、可動部に駆動コイルを設け、可動部の駆動コイルに静磁界を付与する例えば永久磁石のような静磁界発生手段を設け、通電により駆動コイルに発生する磁界と静磁界発生手段による静磁界との相互作用により発生するローレンツ力を利用して可動部を回動させる電磁駆動タイプのプレーナ型アクチュエータがある。そして、このようなアクチュエータを駆動しながら、このアクチュエータに光を照射することにより、光を二次元領域に走査させてその反射光を受光することにより、画像を撮影するようにした技術が開示されている（例えば、特許文献１参照）。

そして、近年、このような画像を形成するデバイスとして、アクチュエータに光を照射して検出対象領域を走査させ、その反射光を受光することにより、検出対象となる二次元領域の距離値を取得する距離画像センサが開発されており、この距離画像センサにより得られた距離値に基づいてフレーム画像を生成することにより、種々の画像処理を行うようになっている。

特許第４２１４３６４号公報

しかしながら、前記従来の技術において、距離画像センサにより距離を正確に測定するためには、絶対距離値が必要であるが、距離画像センサが設置される環境温度や距離画像センサの経年変化などにより発光タイミングのずれが生じ、常に絶対距離値を測定することは極めて困難であるという問題を有している。

また、距離画像センサにおいては、距離画像センサにより得られた距離値に基づいて生成された背景画像との差分画像により、人物や物などを抽出するものであるが、人物などがいない状態で、あらかじめ背景画像を設定するものであるため、距離画像センサの設置位置の変更などにより、背景が変化した場合には、その都度背景画像を設定しなければならず、手間がかかるというという問題を有している。

本発明は前記した点に鑑みてなされたものであり、距離画像センサの設置位置を変更した場合でも、容易に背景画像を生成することができるとともに、環境温度や経年変化が生じた場合でも、常に正確な距離測定を行うことのできる距離画像処理システムを提供することを目的とするものである。

本発明は前記目的を達成するために、請求項１の発明に係る距離画像処理システムは、所定の被測定対象に光を走査させてこの走査領域における各画素の距離値を検出する距離画像センサと、
前記距離画像センサから入力される各画素の距離値に基づいて背景画像を生成するとともに、この背景画像の距離値の差分から距離画像を生成する画像処理回路を備えた画像データ処理装置と、を備え、
前記画像処理回路は、前記距離画像センサにより取得された各画素の距離値が最大となる距離値を保存しておき、各画素の最大の距離値に基づいて背景画像を生成するように構成されていることを特徴とする。

請求項２に係る発明は、請求項１において、前記距離画像センサは、プレーナ型アクチュエータからなり、二次元領域に光を走査させる二次元スキャナを備えていることを特徴とする。

請求項３に係る発明は、請求項１または請求項２において、前記画像処理回路は、生成リフレッシュタイミングごとに保存した最大となる距離値をリセットするように構成されていることを特徴とする。

請求項４に係る発明は、請求項１から請求項３のいずれか一項において、前記画像処理回路は、前記距離画像センサにより取得された基準となる画素の距離値と、あらかじめ測定しておいた距離画像センサの設置位置から基準点までの測定距離との差を演算して、この差に基づいて前記距離画像センサによる全ての画素の距離値を補正するように構成されていることを特徴とする。

請求項５に係る発明は、請求項１から請求項４のいずれか一項において、前記画像処理回路は、前記距離画像センサにより測定された最大となる距離値に対して前記距離画像センサ側に近寄った距離の範囲である測距ゆらぎ範囲を設定し、距離画像センサにより測定された距離値が前記測距ゆらぎ範囲にある場合に、この距離値を用いないように構成されていることを特徴とする。

請求項１に係る発明によれば、画像処理回路により、距離画像センサにより取得された各画素の距離値が最大となる距離値を保存しておき、各画素の最大の距離値に基づいて背景画像を生成するようにしているので、距離画像センサの設置位置を変更した場合でも、容易に背景画像を生成することができる。

請求項２に係る発明によれば、距離画像センサが、プレーナ型アクチュエータからなり、二次元領域に光を走査させる二次元スキャナを備えているので、光の走査を高速にかつ確実に行うことができる。

請求項３に係る発明によれば、画像処理回路により、生成リフレッシュタイミングごとに保存した最大となる距離値をリセットするようにしているので、生成リフレッシュタイミングごとに背景画像を生成するための距離値を新たに取得することができる。

請求項４に係る発明によれば、画像処理回路により、距離画像センサにより取得された基準となる画素の距離値と、あらかじめ測定しておいた距離画像センサの設置位置から基準点までの測定距離との差を演算して、この差に基づいて距離画像センサによる全ての画素の距離値を補正するようにしているので、環境温度や経年変化により距離画像センサにより測定された距離値が変動した場合でも、確実に絶対距離値に補正することができ、常に、正確な距離測定を行うことができる。

請求項５に係る発明によれば、画像処理回路により、距離画像センサにより測定された最大となる距離値に対して距離画像センサ側に近寄った距離の範囲である測距ゆらぎ範囲を設定し、距離画像センサにより測定された距離値が前記測距ゆらぎ範囲にある場合に、この距離値を用いないようにしているので、本来の距離より大きく測定された異常な距離値を用いずに最大となる距離値を取得することができ、背景画像の精度を高めることができる。

本発明に係る距離画像処理システムの第１実施形態を示す概略構成図である。 本発明に係る距離画像処理システムに用いられる二次元スキャナの実施形態を示す概略図である。 本発明に係る距離画像処理システムによる距離値の取得例を示す説明図である。 本発明に係る距離画像処理システムによる基準点を用いた補正例を示す説明図である。 本発明に係る距離画像処理システムによる複数の基準点を用いた補正例を示す説明図である。 本発明に係る距離画像処理システムによる背景画像の生成動作を示すフローチャートである。 本発明に係る距離画像処理システムによる距離値の補正動作を示すフローチャートである。 本発明に係る距離画像処理システムによる測距ゆらぎ範囲を用いた距離値の取得例を示す説明図である。

以下、本発明の実施の形態について図面を参照しながら説明する。

図１は本発明に係る距離画像処理システムの第１実施形態を示したものであり、距離画像処理システムは、距離画像センサ１およびこの距離画像センサ１から送られる距離値に基づいて画像処理を行う画像データ処理装置２を備えている。

また、距離画像センサ１は、二次元スキャナ１０を備えており、本実施形態においては、二次元スキャナ１０として、プレーナ型アクチュエータを用いている。

本実施形態の二次元スキャナ１０は、図２に示すように、図示しないデバイス基板上に設置された枠状の固定部１１を備えている。この固定部１１の内側には、第２トーションバー１２を介して枠状の第２可動部１３が揺動自在に支持されており、この第２可動部１３の内側には、第１トーションバー１４を介して第１可動部１５が揺動自在に支持されている。すなわち、第１可動部１５と第２可動部１３とは、第２トーションバー１２を介して互いに直交する方向に揺動自在とされており、第１可動部１５と第２可動部１３とは、異なる駆動周波数で駆動されるように構成されている。なお、これら固定部１１、第２可動部１３、第１可動部１５、第１トーションバー１４および第２トーションバー１２は、一体的に形成されている。

第１可動部１５上には、第１可動部１５を駆動するための図示しない駆動コイルが、第２可動部１３上には、第２可動部１３を駆動するための図示しない駆動コイルがそれぞれ設けられており、固定部１１の周囲には、第１可動部１５を挟んで互いに反対磁極を対向させて配置される二対の静磁界発生部材（図示せず）が配置されている。なお、静磁界発生部材は、永久磁石でも電磁石でもよい。

また、図１に示すように、距離画像センサ１は、制御部２０を備えており、この制御部２０には、レーザ光およびスキャナを制御するためのレーザコントローラ２１が設けられている。制御部２０には、レーザコントローラ２１からの内軸駆動信号および外軸駆動信号が入力されるスキャナドライバ２２が設けられており、このスキャナドライバ２２は、二次元スキャナ１０に対して、レーザコントローラ２１から出力される内軸駆動信号および外軸駆動信号に基づいて、第１可動部１５を駆動させるための内軸駆動パルスを出力するとともに、第２可動部１３を駆動させるための外軸駆動パルスを出力するように構成されている。制御部２０のレーザコントローラ２１には、二次元スキャナ１０の図示しない検出装置から第１可動部１５および第２可動部１３の駆動位置を検出するためのスキャナ同期信号がフィルタ２３を介して送られるように構成されている。

また、距離画像センサ１は、レーザ投光部２４を備えており、レーザ投光部２４には、レーザ光を発光するためのレーザ素子２５が設けられている。レーザ投光部２４には、レーザコントローラ２１から送られるレーザ放射タイミング信号に基づいてレーザ素子２５に投光駆動パルスを出力するレーザドライバ２６が設けられている。レーザ投光部２４には、レーザ素子２５から出射されるレーザ光をビームスプリッタ２７を介して二次元スキャナ１０に投光させるための、例えば、ミラーやレンズなどで構成される投光光学装置２８が設けられている。さらに、投光光学装置２８には、レーザ光の投光タイミングを監視する発光モニタ２９が接続されている。発光モニタ２９は、図示しない受光素子を備えており、この受光素子により、投光光学装置２８から投光されるレーザ光を受光することにより、投光光学装置２８による投光タイミングを監視して、後述する時間計測回路３８に投光タイミング信号を出力するように構成されている。

さらに、距離画像センサ１は、レーザ受光部３０を備えており、レーザ受光部３０には、レーザ光を受光するための受光素子３１が設けられている。レーザ受光部３０には、レーザ素子２５から投光光学装置２８を介して投光され二次元スキャナ１０で反射されたレーザ光を受光素子３１に受光させるための、例えば、ミラーやレンズなどで構成される受光光学装置３２が設けられている。レーザ受光部３０には、受光素子３１からの受光信号を増幅するプリアンプ３３が設けられている。

距離画像センサ１は、測距計測部３４を備えており、この測距計測部３４には、レーザ受光部３０のプリアンプ３３から送られる受光信号を検出するための共振回路３５および立ち上がり回路３６がそれぞれ設けられている。共振回路３５は、主として測定する距離が比較的長い場合に用いられ、立ち上がり回路３６は、主として測定する距離が比較的短い場合に用いられるものである。測距計測部３４には、共振回路３５および立ち上がり回路３６を介して送られる受光信号に基づいて受光素子３１により受光したタイミングを生成するストップタイミング生成回路３７，３７が設けられている。測距計測部３４には、ストップタイミング生成回路３７により生成された受光タイミングと、発光モニタ２９から送られる投光タイミング信号とから、投光タイミングから受光タイミングまでの時間を計測するための時間計測回路３８，３８が設けられている。

また、制御部２０には、距離値算出回路３９が設けられており、時間計測回路３８による時間データは、Ａ／Ｄ変換器４０，４０を介して距離値算出回路３９に送られるようになっている。そして、距離値算出回路３９は、時間計測回路３８による時間データに基づいて、距離値を取得することができるように構成されており、取得した距離値は、外部インタフェース４１を介して後述する画像データ処理装置２に出力されるように構成されている。すなわち、二次元スキャナ１０の第１可動部１５および第２可動部１３を動作させながら、この二次元スキャナ１０にレーザ投光部２４からレーザ光を投光させることにより、二次元領域でレーザ光を走査させ、二次元スキャナ１０から投光されて物体で反射されたレーザ光を二次元スキャナ１０で反射されてレーザ受光部３０により受光することにより、二次元スキャナ１０により走査した範囲における各画素における距離値を取得することができるものである。なお、レーザ受光部３０には、プリアンプ３３から出力される受光信号をＡ／Ｄ変換して受光量として距離値算出回路３９に送るＡ／Ｄ変換器４２が設けられている。

さらに、制御部２０には、制御部２０および測距計測部３４に電源を供給するための主電源４３が設けられており、さらに、主電源４３からの電源供給を受けてレーザドライバ２６、プリアンプ３３およびスキャナドライバ２２に電源を供給するＨＶ電源４４が設けられている。

また、画像データ処理装置２には、距離画像センサ１から入力インタフェース４５を介して入力される各画素において取得された距離値に基づいて、二次元のフレーム画像を生成する画像処理回路４６が設けられている。この画像処理回路４６は、例えば、各画素における距離値を、二次元スキャナ１０による各走査によるフレームごとに記憶するように構成されており、各画素において距離値の最も大きい値、すなわち最も遠い距離値により生成される画像を背景画像として記憶するとともに、この背景画像を基準として、背景画像の距離値と新たに取得された距離値との差分を求めることにより、距離画像を生成するように構成されている。

さらに詳細に説明すると、図３に示すように、本実施形態においては、画像処理回路４６は、距離画像センサ１から入力インタフェース４５を介して入力される各画素において取得された距離値に基づいて、これら各距離値が最大値となる距離値を距離値用メモリ４７に保存し、これを生成リフレッシュタイミングが来るまで繰り返して行うように構成されている。そして、生成リフレッシュタイミングとなった時点で、距離値用メモリ４７に保存されている各画素の最大の距離値に基づいて背景画像を生成するように構成されている。生成リフレッシュタイミングは、例えば、何フレームごとに生成リフレッシュタイミングを設けるかを適宜設定することができるものである。

そして、画像処理回路４６は、背景画像を生成した後、図４に示すように、距離画像センサ１により取得された基準となる画素の距離値と、あらかじめ測定しておいた距離画像センサ１の設置位置から基準点までの測定距離とを比較し、この差を演算するものである。この距離値の差が実際の距離との誤差であることから、この誤差に基づいて距離画像センサ１による全ての画素の距離値を補正するように構成されている。そして、この補正後の距離値に基づいて背景画像も補正するようになっている。これにより、背景となる距離値が確定することになり、この補正後の距離値に基づいて背景画像を生成するように構成されている。

画像処理回路４６は、補正後の距離値に基づいて背景画像を生成するとともに、距離値用メモリ４７に保存された距離値をリセットし、前述と同様の動作を行い、次の生成リフレッシュタイミングまで、同様の動作を繰り返して行い、各距離値が最大値となる距離値を距離値用メモリ４７に保存するように構成されている。そして、この画像処理回路４６による画像情報は、出力インタフェース４８を介して外部装置（図示せず）に出力されるように構成されている。

なお、前記実施形態では、１つの画素を基準点として補正量を演算するようにしたが、例えば、１つの画素についての距離値が異常となった場合に、この異常距離値に基づいて補正量が演算されてしまうと、正確な補正を行うことができなくなるおそれがある。そのため、例えば、図５に示すように、基準点の周囲に存在する複数の画素についての距離値に基づいて、これら各距離値の平均値を基準点についての距離値として採用するようにしてもよい。この場合に、複数の画素における距離値にうち、大きく外れた距離値が測定された場合は、その外れた距離値は、平均値の算出に用いないようにして、他の距離値に基づいて補正量を算出するようにすればよい。これにより、補正量を正確に演算することが可能となる。

次に、本実施形態の作用について説明する。

まず、レーザコントローラ２１からスキャナドライバ２２に内軸駆動信号および外軸駆動信号を出力させることにより、スキャナドライバ２２から二次元スキャナ１０に内軸駆動パルスおよび外軸駆動パルスを出力させることにより、二次元スキャナ１０の駆動コイルに通電させ、これにより、第１可動部１５および第２可動部１３を揺動動作させる。

この状態で、まず、レーザコントローラ２１からレーザ投光部２４にレーザ放射タイミング信号を出力させる。レーザ投光部２４にレーザ放射タイミング信号が入力されたら、レーザドライバ２６から投光駆動パルスをレーザ素子２５に出力させることにより、レーザ素子２５から投光光学装置２８を介してレーザ光が二次元スキャナ１０に投光される。

そして、二次元スキャナ１０により二次元領域でレーザ光を走査させ、二次元スキャナ１０から投光されて物体で反射されたレーザ光は、二次元スキャナ１０で反射されて受光光学装置３２を介してレーザ受光部３０により受光される。この受光信号は、共振回路３５または立ち上がり回路３６およびストップタイミング生成回路３７を介して時間計測回路３８に出力される。

そして、時間計測回路３８により、ストップタイミング生成回路３７により生成された受光タイミングと、発光モニタ２９から送られる投光タイミングとから、投光タイミングから受光タイミングまでの時間が計測されて距離値算出回路３９に出力される。そして、距離値算出回路３９により、時間計測回路３８による時間データに基づいて、二次元スキャナ１０により走査した範囲における各画素における距離値を算出し、この距離値は、画像データ処理装置２に送られる。

次に、画像データ処理装置２による背景画像の生成動作について、図６に示すフローチャートを参照して説明する。

前述の動作により、画像データ処理装置２により距離値が取得されると（ＳＴ１）、画像処理回路４６により、前のフレームにおける距離値が大きいか否かを判断し（ＳＴ２）、前のフレームにおける距離値より今回取得した距離値の方が大きい場合は、前のフレームにおける距離値に換えて今回取得した距離値を距離値用メモリ４７に保存する（ＳＴ３）。前のフレームにおける距離値より今回取得した距離値の方が小さい場合は、距離値の置き換えは行わない。この動作を生成リフレッシュタイミングまで繰り返し行い、生成リフレッシュタイミングになったら（ＳＴ４）、距離値用メモリ４７に保存された距離値に基づいて背景画像を生成する。その後、距離値用メモリ４７に保存された距離値をリセットし（ＳＴ５）、次のフレームの距離値測定を行う（ＳＴ６）。

次に、画像データ処理装置による距離値の補正動作について、図７に示すフローチャートを参照して説明する。

最初のリフレッシュタイミングとなるまでは（ＳＴ１０：ＹＥＳ）、背景画像の基準点となる画素の距離値を取得し（ＳＴ１１）、この基準点となる画素の距離値と、距離画像センサ１の設置位置から基準点までの測定距離との差を演算して、補正量を決定する（ＳＴ１２）。そして、補正量に基づいて全画素の距離値を補正する（ＳＴ１３）。その後、次のフレームの補正を行う（ＳＴ１４）。

また、次の生成リフレッシュタイミングとなったら（ＳＴ１５：ＹＥＳ）、前述の動作と同様に、背景画像の基準点となる画素の距離値を取得し（ＳＴ１１）、基準点となる画素の距離値と、距離画像センサ１の設置位置から基準点までの測定距離との差を演算して補正量を決定し（ＳＴ１２）、この補正量に基づいて全画素の距離値を補正する（ＳＴ１３）。

以上述べたように、本実施形態においては、距離画像センサ１により取得された最大となる距離値を保存し、この距離値に基づいて背景画像を生成するようにしているので、距離画像センサ１の設置位置を変更した場合でも、容易に背景画像を生成することができる。また、離画像センサにより取得された基準となる画素の距離値と、あらかじめ測定しておいた距離画像センサ１の設置位置から基準点までの測定距離との差に基づいて、距離画像センサ１による全ての画素の距離値を補正するようにしているので、環境温度や経年変化により距離画像センサ１により測定された距離値が変動した場合でも、確実に絶対距離値に補正することができ、常に、正確な距離測定を行うことができる。

なお、図８に示すように、距離画像センサ１により測定された最大となる距離値に対して距離画像センサ１側に近寄った距離の範囲である測距ゆらぎ範囲を設定し、距離画像センサ１により測定された距離値が、測距ゆらぎ範囲にある場合に、この距離値を用いないようにしてもよい。

例えば、最大となる距離値を保存する際に、一度、何らかの異常により本来の距離よりも大きい距離値が測定された場合に、この距離値に基づいて背景画像を生成してしまうと、背景画像の精度が損なわれるおそれがある。しかしながら、このように、測距ゆらぎ範囲にある距離値を用いないようにすれば、本来の距離より大きく測定された異常な距離値を用いずに最大となる距離値を取得することができ、背景画像の精度を高めることができるものである。

なお、本発明は前記実施形態に限定されるものではなく、本発明の趣旨に基づいて種々の変形が可能である。

１ 距離画像センサ
２ 画像データ処理装置
３ 出力装置
１０ 二次元スキャナ
１１ 固定部
１３ 第２可動部
１５ 第１可動部
２０ 制御部
２１ レーザコントローラ
２２ スキャナドライバ
２４ レーザ投光部
２５ レーザ素子
２６ レーザドライバ
２８ 投光光学装置
２９ 発光モニタ
３０ レーザ受光部
３１ 受光素子
３２ 受光光学装置
３４ 測距計測部
３７ ストップタイミング生成回路
３８ 時間計測回路
３９ 距離値算出回路
４６ 画像処理回路
４７ 距離値用メモリ

Claims (5)

1. 所定の被測定対象に光を走査させてこの走査領域における各画素の距離値を検出する距離画像センサと、
   前記距離画像センサから入力される各画素の距離値に基づいて背景画像を生成するとともに、この背景画像の距離値の差分から距離画像を生成する画像処理回路を備えた画像データ処理装置と、を備え、
   前記画像処理回路は、前記距離画像センサにより取得された各画素の距離値が最大となる距離値を保存しておき、各画素の最大の距離値に基づいて背景画像を生成するように構成されていることを特徴とする距離画像処理システム。
2. 前記距離画像センサは、プレーナ型アクチュエータからなり、前記二次元領域に光を走査させる二次元スキャナを備えていることを特徴とする請求項１に記載の距離画像処理システム。
3. 前記画像処理回路は、生成リフレッシュタイミングごとに保存した最大となる距離値をリセットするように構成されていることを特徴とする請求項１または請求項２に記載の距離画像処理システム。
4. 前記画像処理回路は、前記距離画像センサにより取得された基準となる画素の距離値と、あらかじめ測定しておいた距離画像センサの設置位置から基準点までの測定距離との差を演算して、この差に基づいて前記距離画像センサによる全ての画素の距離値を補正するように構成されていることを特徴とする請求項１から請求項３のいずれか一項に記載の距離画像処理システム。
5. 前記画像処理回路は、前記距離画像センサにより測定された最大となる距離値に対して前記距離画像センサ側に近寄った距離の範囲である測距ゆらぎ範囲を設定し、距離画像センサにより測定された距離値が前記測距ゆらぎ範囲にある場合に、この距離値を用いないように構成されていることを特徴とする請求項１から請求項４のいずれか一項に記載の距離画像処理システム。

Images