JP2005216160A - 画像生成装置、侵入者監視装置及び画像生成方法 - Google Patents

Abstract

【課題】 レーザ光を走査して画像を得る装置において、１フレームの走査に時間を要するため、移動物体の像にぶれが生じる。
【解決手段】 １フレームを取得する走査周期を複数期間に分割し、各期間にてサンプリングされる画素でサブフレームを形成する（Ｓ６５）。１フレームの走査にて得られた複数のサブフレーム内に物体の像を抽出し、サブフレーム間で同一の物体の像を関連付ける。その像の位置の変化とサブフレームの取得タイミングとに基づいて物体の移動速度を求める（Ｓ７０）。その移動速度と各画素の走査時刻とに基づいて、各画素の座標を基準時刻における位置に変換し、各サブフレームの物体像を補正する（Ｓ７５）。各サブフレームで得られる補正像を合成して、基準時刻でのぶれの抑制された像を得る（Ｓ８０）。
【選択図】 図６

Description

本発明は、画素情報の取得タイミングが異なる画素を含む原画像における被写体の動きによる画像上のぶれを抑制した画像を生成する装置及び方法と、当該画像を用いた侵入監視装置に関する。

従来の侵入監視装置には、監視対象領域をＣＣＤカメラ等の撮像装置で撮影し、得られた監視画像に基づいて、侵入者等の検知を行うものがある。そのような装置に用いられるＣＣＤイメージセンサ等の撮像素子は、受光画素が二次元配列され、画像を構成する各画素情報を同時並列的に取得することができる。

一方、従来の侵入監視装置には、特開２００２−２０８０７３号公報に示されるように、レーザ光を二次元的に走査し、走査範囲内からの物体からの反射光を受光部にて検知するものも存在する。例えば、このレーザ光の反射を利用した装置では、各画素に対応する方向へのレーザパルス出射から反射光検知までの時間に基づいて対象物までの距離が測定され、その距離を画素情報とする画像（距離画像）が生成され、当該距離画像の変化に基づいて侵入者等が検知される。ここで、レーザ光の走査は、ガルバノミラーやポリゴンミラーを光走査装置として用いて行われる。このような走査を行うのは、現在の技術では、侵入監視に十分な解像度を与える画素数の画素情報を、レーザ光を投光して同時並列的に取得することが、装置の規模やコスト等の面で現実的ではないからである。
特開２００２−２０８０７３号公報

しかし、レーザ光を走査して画像を得る装置では、撮像対象範囲全体の走査に或る程度の時間（走査周期）を要する。この走査周期は、取得しようとする画像の解像度とトレードオフの関係にあり、解像度の低い画像ならば走査周期を短時間に抑えることが可能であるが、侵入者判定等に十分な解像度を確保しようとすると比較的長い走査周期を要することとなる。また、レーザパルスを用いて測距を行う装置においては、レーザ駆動装置自体の制限やレーザを照射される生体等に対する安全性に関する制約から、レーザの強度を上げてパルス発生の時間間隔を短縮することに限界があり、これが、例えばＣＣＤイメージセンサ等を用いたビデオカメラにおける３０フレーム／秒のような高いフレームレートでの走査を困難としている。

このように１フレームの完成した画像を取得するのに時間を要する結果、撮像対象範囲内を移動する物体の像はぶれにより移動方向に拡大される。そのため、画像内の像が実際に大きな物体なのか、ぶれにより大きく写っているのかを判別することが難しく、物体の大きさや形状が精度良く把握できないという問題があった。また、そのような画像に基づいて侵入監視を行う装置においては、画像に写った物体が監視目的とするものであるか否かの判定が困難となり、監視精度が低下するという問題があった。

本発明は上述の問題点を解決するためになされたものであり、１フレームの走査周期の短縮に制約がある場合であっても、移動物体のぶれが少なく高解像度の画像を得ることができる画像生成装置、侵入監視装置及び画像生成方法を提供することを目的とする。

本発明に係る画像生成装置は、一単位の画像中でそれぞれの画素配置が互いに補完的な複数の粗画像を取得する画像取得手段と、前記各粗画像それぞれから同一の関心被写体に対応する関心像を抽出する抽出手段と、前記各粗画像の取得時刻と前記各粗画像での前記関心像の位置とに基づいて前記関心被写体の速度情報を生成する速度情報生成手段と、前記速度情報に基づいて、前記各粗画像の前記関心像それぞれを、所定の基準時刻での前記関心被写体の位置に対応した補正像に変換する補正手段と、複数の前記補正像を合成して前記基準時刻での前記関心被写体の推定像を求める合成手段と、を有する。

本発明によれば、粗画像を構成する画素は単位画像全体に分散した配置を有し、これにより、粗画像は、単位画像を構成する画素を間引いた、解像度の粗い画像を構成する。また、単位画像に対応して得られる複数の粗画像の画素の和集合は当該単位画像全体を構成する。単位画像の取得に要する走査周期を分割した各期間毎に粗画像が順次取得される。すなわち、各期間内にて画素情報を取得される画素群がそれぞれ粗画像を構成する。各期間内での画素の走査タイミングの分布は一様であってもよいし、ある時刻に集中するものであってもよい。各期間内にて所定の時刻を粗画像の取得時刻と定めることができ、例えば、各期間での画素の走査タイミングの重心に応じた時刻を粗画像の取得時刻と定めることができる。各粗画像からの同一被写体に対応する関心像の抽出は、例えば粗画像間での位置、大きさ、形状及び画素情報の類似性などに基づいて行うことができる。各粗画像の取得時刻と関心像の位置とに基づいて、関心被写体の速度情報のうち少なくとも画像に投影される二次元的な速度成分が得られる。この速度成分と、関心像が得られた時刻と基準時刻との差とに基づいて、関心像を構成する画素位置から補正像を構成する画素位置が逆算される。各粗画像の関心像から得られた補正像を重ね合わせることにより、単位画像に応じた解像度であって、走査周期内での関心被写体の移動に伴うぶれが抑制された関心被写体の推定像が生成される。

他の本発明に係る画像生成装置においては、前記画像取得手段が、撮像対象範囲を非線形曲線に沿って走査して画素単位で順次得た前記画像を取得する。本発明によれば、各粗画像を構成する画素群が単位画像内にて分散配置されやすい。本発明の好適な態様は、前記非線形曲線がリサジュ曲線である画像生成装置である。

さらに他の本発明に係る画像生成装置においては、前記画像取得手段が、画素単位に順次得られた前記各粗画像を構成する画素情報を取得すると共に、各画素の前記画素情報の取得時刻を記憶し、前記補正手段が、前記関心像を構成する画素毎に当該画素の前記取得時刻と前記基準時刻との間での前記関心被写体の移動を補正して、前記補正像を構成する補正画素を求める。

本発明によれば、関心像を構成する画素位置から補正像を構成する画素位置を速度情報を用いて逆算する際に、関心像の各画素の取得時刻の相違が考慮され、補正画素の位置が精度良く求められる。

別の本発明に係る画像生成装置においては、前記画像取得手段が、画素情報として、各画素に対応する方向における被写体までの距離を取得する。

さらに別の本発明に係る画像生成装置においては、前記画像取得手段が、前記画素情報として、各画素に対応する方向の被写体までの距離を取得し、前記速度情報生成手段が、前記関心像の画素情報を用い、前記速度情報として、三次元的な速度を求め、前記補正手段が、当該速度情報に基づいて、前記補正画素を求めると共に、当該補正画素の画素情報として距離を求める。

本発明によれば、画像に投影された二次元的な速度成分に加えて、奥行き方向の速度成分が得られ、三次元的な速度が求められる。この三次元的な速度を用いることにより、関心像の位置を距離方向にも補正して補正像が生成される。この補正像を合成することにより、距離方向に関してもぶれが抑制された推定像が得られる。

本発明に係る侵入監視装置は、上述の画像生成装置を用いたものであって、前記推定像の大きさ及び形状の少なくとも一方に基づいて、前記関心被写体を侵入物と判定する判定手段を有する。本発明によれば、関心被写体が走査周期内に移動するものであっても、推定像においては画像のぶれが抑制される。その結果、推定像の大きさや形状が関心被写体本来の大きさや形状に近似し、侵入物の判定を精度良く行うことができる。

他の本発明に係る侵入監視装置においては、前記推定像の大きさ及び当該推定像の前記画素情報に基づいて、前記関心被写体を侵入物と判定する判定手段を有する。本発明においては画素情報は奥行き方向への距離の情報を含む。本発明によれば、推定像の距離と画像内での二次元的な大きさとから、遠近によらない関心被写体の大きさを把握することができる。当該把握された大きさに基づいて、関心被写体が監視対象とする侵入物であるか否かの判定を精度良く行うことができる。

さらに他の本発明に係る侵入監視装置においては、前記判定手段が、さらに前記速度情報を用いて前記侵入物の判定を行う。本発明によれば、関心被写体の速度を考慮することで、一層の判定精度の向上が図られる。

本発明に係る画像生成方法は、撮像対象範囲を走査して得られた一単位の画像中で走査周期を分割した期間毎の走査により得た画素からなる複数の粗画像を取得する粗画像取得ステップと、前記各粗画像それぞれから同一の関心被写体に対応する関心像を抽出する抽出ステップと、前記各粗画像の取得時刻と前記各粗画像での前記関心像の位置とに基づいて前記関心被写体の速度情報を生成する速度情報生成ステップと、前記速度情報に基づいて、前記各粗画像の前記関心像それぞれを、所定の基準時刻での前記関心被写体の位置に対応した補正像に変換する補正ステップと、複数の前記補正像を合成して前記基準時刻での前記関心被写体の推定像を求める合成ステップと、を有する。

他の本発明に係る画像生成方法においては、前記各粗画像を構成する画素毎の取得時刻を得る時刻取得ステップを有し、前記補正ステップが、前記関心像を構成する画素毎に当該画素の前記取得時刻と前記基準時刻との間での前記関心被写体の移動を補正して、前記補正像を構成する補正画素を求める。

以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。

［実施形態１］
図１は本発明の第１の実施形態である画像生成装置の概略のブロック構成図である。本装置は、投光部２、投光タイミングテーブル４、二軸走査ミラー６、ミラー制御部８、走査角度出力部１０、受光部１２、距離算出部１４、距離画像生成部１６、距離画像記憶部１８、ＣＰＵ（central processing unit）２０及びメモリ２２を含んで構成される。

本装置は、投光部２が放射するレーザ光を二軸走査ミラー６で反射させ、二軸走査ミラー６がレーザ光を反射してリサジュ図形（リサジュ曲線）に沿って撮像対象範囲を走査し、対象物にて反射したレーザ光を受光部１２で受光し、例えば、飛行時間法により対象物までの距離を測定する。

図２は、このレーザ光に関する光学系の構成を示す模式図である。まず、画像を撮像及び記憶する手段について説明する。投光部２は半導体レーザを光源として備える。投光部２から放射されたレーザ光は投光側レンズ３０によって平行光となるように調節された後、ハーフミラー３２を透過し、ミラー３４にて反射されて、二軸走査ミラー６に入射する。二軸走査ミラー６は例えばガルバノミラーを用いて構成され、ミラー３４から入射したレーザ光で撮像対象範囲を二次元的に走査する。ガルバノミラーにより二次元的な光走査を実現する装置としては、電磁力により駆動されるレゾナントミラーが知られており、その技術は、例えば、特開平７−１７５００５号公報に開示されている。

二軸走査ミラー６は、レーザ光を物体３６へ出射すると共に、物体３６で反射されたレーザ光を本装置に取り込む。物体３６からのレーザ光は二軸走査ミラー６によりミラー３４へ反射され、ミラー３４にて反射されたレーザ光はさらにハーフミラー３２にて反射されて受光部１２へ向かう。受光部１２の手前には受光側レンズ３８が設けられ、当該レンズ３８によって集光された光が受光部１２に入射する。

投光部２及び二軸走査ミラー６はミラー制御部８により制御される。投光部２は、ミラー制御部８が出力するリサジュ周期開始パルスに連動して半導体レーザのパルス駆動を開始する。投光部２は、投光タイミングテーブル４に記録された投光タイミングに基づいて、半導体レーザをパルス駆動させレーザパルスを放射すると共に、パルス駆動したタイミングに同期して投光タイミングパルスを走査角度出力部１０、距離算出部１４及び距離画像生成部１６へ出力する。

二軸走査ミラー６は、ミラー制御部８によって２つの軸それぞれについての走査角度、周期を制御される。ちなみに、二軸走査ミラー６は共振周波数において駆動される場合に走査振幅が大きくなり、また駆動効率もよい。この理由から、二軸走査ミラー６を共振周波数近傍の周波数において駆動するように制御することが好適である。二軸走査ミラー６を共振周波数にて駆動した場合、二軸走査ミラー６による二次元的な走査の軌跡はリサジュ図形となる。図３はリサジュ図形の一例である。

投光タイミングテーブル４は、二軸走査ミラー６の走査角度に応じた投光タイミングを指定する情報を格納する。例えば、二軸走査ミラー６により描かれリサジュ図形となる走査線上に、レーザ光の送受を行うサンプリング点群が配列され、各サンプリング点の走査タイミングが投光タイミングとして投光タイミングテーブル４に格納される。サンプリング点群は、それらにてサンプリングされる情報で画像を構成し得るように、走査対象範囲全体に分散配置され、基本的に走査対象範囲内で均一又はそれに近い分布となるように設定される。なお、走査線としてリサジュ図形以外に、走査対象範囲全体を満遍なく通過する非線形曲線を用いてもよい。

受光部１２は、アバランシェフォトダイオードやピンフォトダイオードなどにより構成され、物体３６にて反射されたレーザ光を上述の光学系によって入射され、電気信号に変換する。これにより得られた電気信号は受光信号として距離算出部１４へ出力される。

距離算出部１４は、投光部２からの投光タイミングパルスと、受光部１２からの受光信号とに基づいて、本装置から物体３６までの距離を算出し、当該距離を表す距離信号を生成し出力する。例えば、投光タイミングパルス及び受光信号それぞれの発生タイミングの時間差から、本装置と物体３６との間での光の往復時間が得られ、距離算出部１４は、この時間差から飛行時間法により物体３６までの距離を求めることができる。

ミラー制御部８は、ＣＰＵ２０から走査の開始・停止の指示を受け、二軸走査ミラー６の走査の開始及び停止を行う。また、現在の走査角度に応じた電圧値を有する信号を走査角度出力部１０へ出力すると共に、リサジュ図形による走査の開始タイミングに同期してリサジュ周期開始パルスを投光部２へ出力する。

走査角度出力部１０は、投光部２からの投光タイミングパルスに同期して、ミラー制御部８が出力する走査角度信号の電圧値をＡ／Ｄ（Analog to Digital）変換し、レーザパルスの送受により距離が測定されるサンプリング点に対応する走査角度データを生成する。この走査角度データは距離画像生成部１６へ出力される。

本実施形態では、本装置により１２８×１２８画素の画像を生成する場合を例として説明する。その場合には、例えば、走査範囲を水平方向（ｘ軸方向）、垂直方向（ｙ軸方向）それぞれについて１２７等分し、走査範囲の水平方向に関する両端及び分割位置に対して左から右へ順にｘ座標をｘ＝０，１，…，１２７と定義し、また走査範囲の垂直方向に関する両端及び分割位置に対して下から上へ順にｙ座標をｙ＝０，１，…，１２７と定義する。ここでは、走査角度出力部１０は、Ａ／Ｄ変換に際して、各サンプリング点に対応する方位角方向の走査角度、仰角方向の走査角度がそれぞれ当該サンプリング点に対応する画素のｘ座標、ｙ座標と同じ値となるようにスケーリングを行い、得られた値を走査角度データとして出力するものとする。なお、画像を構成する上記画素数は一例であり、本装置により生成される画像の画素数はこの例に限定されない。

距離画像生成部１６は、距離算出部１４からの距離信号及び走査角度出力部１０からの走査角度に基づいて、物体３６までの距離を画素情報とする画像である距離画像を生成する。例えば、或る時刻にて距離算出部１４からの距離信号の値がｄ、走査角度出力部１０から出力される走査角度が（ｘ，ｙ）である場合、距離画像生成部１６は距離画像中の画素位置（ｘ，ｙ）の画素情報として距離ｄを与える。ちなみに、距離画像生成部１６は距離画像の生成処理において投光部２から出力される投光タイミングパルスをカウントし、カウント数が投光タイミングテーブル４内の走査点数に達した時点で、１フレームの距離画像の生成が完了したと判断し、当該距離画像を距離画像記憶部１８に記録し、ＣＰＵ２０へ距離画像取得信号を出力する。

また、距離画像生成部１６は、投光タイミングテーブル４のデータに基づいて、距離画像の各画素の走査時刻、すなわち各画素に対応する距離ｄが取得された時刻（測距時刻）を求め、各画素に対応付けて距離画像記憶部１８に記録する。測距時刻データの生成は、距離画像の各フレーム毎に行うことができる。また、その一方で、例えば各フレームの走査開始タイミングを基準とした測距時刻は各フレームにて同じであるので、装置の動作開始時に１フレーム内での測距時刻データを予め生成し、撮影される距離画像の各フレームにて共通に利用する構成とすることもできる。

ＣＰＵ２０は本装置全体の制御を行い、ミラー制御部８に対しては上述のように走査の開始・停止を指示する他、走査振幅、走査周期などの走査パラメータを与える。また、ＣＰＵ２０は、距離画像生成部１６から距離画像取得信号を得ると、距離画像記憶部１８に記録された距離画像及び測距時刻データに基づいて、走査範囲内に存在する移動物体の画像上でのぶれが抑制された画像を生成したり、物体の大きさを算出する等の処理を行う。ＣＰＵ２０にて得られた処理結果は各種出力装置へ出力することができ、例えば、表示装置上に距離画像を物体の大きさを表す数値と共に表示させることができる。ＣＰＵ２０の処理については後に詳述する。メモリ２２はＣＰＵ２０に接続され、過去の距離画像を保存する用途などに用いられる。

図４は、二軸走査ミラー６の走査及びレーザ光の送受動作を説明するタイミング図である。また図５は、投光タイミングテーブル４の内容を示す模式図である。ミラー制御部８はＣＰＵ２０からの走査開始指令に基づき二軸走査ミラー６の駆動を開始させると同時に、ｘ軸方向、ｙ軸方向それぞれに関する走査角度（アナログ値）を出力する。ミラー制御部８は走査角度に基づいてリサジュ周期の開始タイミングを検出し、そのタイミングにてリサジュ周期開始パルスを出力する。リサジュ周期の開始タイミングはリサジュ図形の軌跡上の任意の或る特定の位置を走査する時刻であるが、ここではｘ軸、ｙ軸それぞれの走査角度が０となる時刻としている。

投光部２はミラー制御部８からリサジュ周期開始パルスを受信すると、投光タイミングテーブル４の最初のデータ“ｔ_０”に基づいて、ｔ_０秒後に半導体レーザをパルス駆動すると共に、最初の投光タイミングパルスを出力する。次に、投光部２は投光タイミングテーブル４の２つ目のデータ“ｔ_１”に基づいて、最初の投光タイミングパルスからｔ_１秒後に半導体レーザをパルス駆動すると共に２番目の投光タイミングパルスを出力する。以降同様の動作が繰り返され、投光部２は投光タイミングテーブル４の（ｎ＋１）番目のデータ“ｔ_ｎ”に基づいて、ｎ番目の投光タイミングパルスからｔ_ｎ秒後に半導体レーザをパルス駆動すると共に（ｎ＋１）番目の投光タイミングパルスを出力する。投光タイミングテーブル４内のデータの数（Ｎ＋１）だけ半導体レーザのパルス駆動が繰り返されると、当該フレームについての投光動作が完了し、投光部２はミラー制御部８からの次のリサジュ周期開始パルスを待つ。そして、リサジュ周期開始パルスを受信すると、同様の動作を繰り返す。

ここで、基本的に、リサジュ図形の１周期に対応して距離画像１フレームが取得されるように投光タイミングテーブル４のデータは設定される。その一方で、リサジュ図形の複数周期にまたがって（周期相互間でサンプリング点の位置が重ならないようにしつつ）距離画像１フレームを取得するように、投光タイミングテーブル４のデータを設定することもできる。その場合、投光部２はその複数周期中はリサジュ周期開始パルスを無視する。

距離算出部１４は、半導体レーザの各パルス駆動に対応して生じ得る受光信号の受信時刻を検知し、（ｎ＋１）番目の投光タイミングパルス（ｎ＝０〜Ｎ）の取得時刻とこれに対応する受光信号の受信時刻との時刻差Δｔ_ｎを求める。このΔｔ_ｎは本装置と物体との間でのレーザ光の往復の伝播時間（ＴＯＦ：Time of Flight）である。距離算出部１４はこの伝播時間に基づいて物体までの距離を算出し、距離画像生成部１６へ出力する。受信信号の受信時刻は、例えば、受信信号のピーク位置の時刻や、受信信号が予め設定した閾値を超えた時刻などに定めることができる。

次に、１フレームの距離画像に基づいて、物体の移動速度を算出する処理及びぶれの抑制された距離画像を生成する処理について述べる。これらの処理はＣＰＵ２０により行われる。図６はＣＰＵ２０にて行われるこれらの処理の概略のフロー図である。まずＣＰＵ２０は動作を開始して最初の距離画像取得時、或いは任意のタイミングで距離画像記憶部１８に記録された距離画像を基準距離画像としてメモリ２２に格納する（Ｓ５０）。ここでメモリ２２に格納される距離画像は１つでもよいし、また、連続した若しくは任意のタイミングでの複数の距離画像でもよい。

次にＣＰＵ２０は基準画像取得後に撮影される１フレームの距離画像及び当該画像に対応する測距時刻データを処理対象として距離画像記憶部１８から取得する（Ｓ５５）。この処理対象の距離画像とメモリ２２に格納される基準距離画像とが比較され、差分距離画像が生成される（Ｓ６０）。例えば、基準距離画像が１フレームのみである場合には、画素毎に基準距離画像と処理対象の距離画像との画素値（画像情報）の差を計算し、この差を画素値とする画像を差分距離画像とする。ここで、距離画像において画素値は当該画素に対応する方向に位置する物体までの距離であり、差分距離画像にて画素値が０でない画素は、その方向の物体の位置に変化があったことを意味する。そこで、この差分距離画像の画素値が０でない領域を、関心のある被写体の像として抽出することができる。また、基準距離画像と処理対象の距離画像との画素値の差が所定の範囲にある画素以外の画素値を０とした差分距離画像を定義することもできる。この結果、距離測定の誤差により生じる誤抽出を排除することができる。なお、複数の基準距離画像が設定されている場合には、例えば、画素値の平均を求める等により平均的な基準距離画像を生成し、これとの差分距離画像を求めてもよい。

このようにして生成された１フレームの差分距離画像から、ＣＰＵ２０は複数のサブフレームを生成する（Ｓ６５）。サブフレームとは元の一単位の差分距離画像の画素を間引いた解像度の粗い画像（粗画像）である。ちなみに、元の差分距離画像の解像度が目的の対象物の撮影に十分なものであるのに比べ、サブフレームの解像度はそれより低く、必ずしも目的対象物の撮影に十分なものでなくてもよい。サブフレームに対比させて、以下、一単位の差分距離画像を単純にフレームとも称する。

複数のサブフレームそれぞれは、フレームの走査周期を分割した複数の期間のうち対応する期間内にて走査された画素から構成される。このように１つのフレームを構成する画素は複数のサブフレームに振り分けられ、各サブフレームに振り分けられた画素の和集合がフレームの全画素に一致する。この意味で、複数のサブフレームの画像は互いに補完的である。ただし、処理の都合上、サブフレームは、フレームから振り分けられる画素（実効画素）だけでなく、形式的にフレームと同じ画素配列で構成されるものとする。サブフレームの実効画素間の画素は単にスペーサーとして実効画素間を補う補助画素であり、例えば画素値０に設定される。なお、走査周期を分割する際、隣り合う期間の一部が重複するようにしてもよい。

以下、一例として１つのフレームから４つのサブフレームを生成する処理について説明する。フレームの走査周期（フレームの取得時間）をＴ秒とし、この走査周期を４等分した期間Ｐ_１〜Ｐ_４を設定する。リサジュ周期開始パルスの時刻を０とすると、各期間Ｐ_１〜Ｐ_４をそれぞれ［０，Ｔ/４）、［Ｔ/４，Ｔ/２）、［Ｔ/２，３Ｔ/４）、［３Ｔ/４，Ｔ）と表すことができる。期間Ｐ_i（ｉ＝１〜４）内での取得画素から構成されるサブフレームを第ｉサブフレームとする。フレーム、すなわち差分距離画像は、その生成処理Ｓ６０にて元の距離画像から各画素の測距時刻データを引き継いで有しており、ＣＰＵ２０は、この測距時刻データに基づいて、各期間Ｐ_ｉに属する画素をフレームから抽出する。ＣＰＵ２０は、この抽出した画素を実効画素とし、元のフレームでの画素値を当該画素値として格納する一方、それ以外の画素である補助画素には０を設定して第ｉサブフレームを生成する。その結果、第ｉサブフレームは実効画素においてのみ０以外の値を取り得る。ここで、リサジュ図形のｘ方向、ｙ方向の振動周期を適当に定めることにより、各サブフレーム内の実効画素を走査範囲全体に均一に近い分布で配置させることができる。

図７は、フレームとサブフレームとの関係を示す模式図であり、この図では距離画像を理解容易に表現するために三次元データとして表している。図において各点が三次元データであり三次元座標で表される。当該三次元座標は、各点の距離画像上の画素位置、すなわち方位（レーザの投光方向）と、画素情報として得られる距離値とから容易に算出できる。ここでは、走査範囲内に静止した人と、移動する小動物とが存在する場合を例示する。

図７（ａ）は、処理Ｓ６０にて生成される差分距離画像、すなわちフレームを三次元データとして表したものであり、既に規定したｘ方向、ｙ方向に加えて距離をｚ方向で表している。図７（ｂ）は処理Ｓ６５にて、このフレームから生成される第１〜第４サブフレームを三次元データ９０-1〜９０-4として表したものである。図７（ａ）において、静止する人９２は密な点の集合として現れるのに対し、移動する小動物９４はまばらな点の集合として現れる。このように移動物体が疎に表されるのは、本装置がリサジュ図形に沿って１点ずつ測距を行うことに起因する。また、リサジュ図形により分割周期間で得た画素位置も略均等に分布するため、各サブフレームでの人や小動物を表す画素数を略均一にすることができる。

以上の処理Ｓ５５〜Ｓ６５が、本発明の画像取得手段（ステップ）に相当する。なお、ここでは、本発明の画像取得手段（ステップ）は、距離画像記憶部１８から距離画像等を取得するものとして説明したが、さらに上述した画像を撮像する手段を含んでいてもよい。

ＣＰＵ２０はサブフレームを生成すると、それらに基づいてフレームに写った物体の移動速度を算出する（Ｓ７０）。図８は、サブフレームに基づいて移動速度を算出する処理の概略のフロー図である。ＣＰＵ２０は各サブフレームにおいて画素値が０以外の画素（以後、要素点と呼ぶ）のグループ分けを行う（Ｓ１００）。グループ分けとは図形融合、ラベリング等の画像処理の一般的な手法を用いて、比較的、要素点同士の距離が近いものを同じグループとしてまとめることである。例えば、各サブフレームから後述する二値化三次元画像Ｂを生成する。そして、この三次元画像に対して三次元的に拡張した図形融合を施した後、三次元に拡張したラベリングを行って三次元ラベル画像Ｌを生成する。三次元ラベル画像Ｌはその画素値がラベル番号を表す。このラベリング結果に基づいて、元のサブフレームの点のグループ分けを行うことができる。なお、通常の画像がｘ、ｙ座標で定義される二次元の配列として表されるのに対して、三次元画像は、ｘ、ｙ、ｚ座標で定義される三次元の配列として表される。各要素点がどのグループに属するかは、三次元ラベル画像Ｌのラベル番号により識別される。例えば、三次元ラベル画像Ｌのの画素（ｘ，ｙ，ｚ）の画素値がｋである場合には、サブフレームの要素点（画素（ｘ，ｙ）、画素値ｚ）はグループｋに属する。

さて、上述した二値化三次元画像Ｂは、サブフレームの画素（ｘ，ｙ）において画素値ｄ（ｄ≠０）である場合に、画素（ｘ，ｙ，ｄ）の画素値を１、それ以外の画素（ｘ，ｙ，ｚ）（ｚ≠ｄ）の画素値を０とした三次元画像である。

また上述した三次元に拡張した図形融合は、三次元に拡張した画素膨張処理と、三次元に拡張した画素収縮処理との組み合わせにより実現できる。ここで、三次元に拡張した画素膨張処理は、二値化三次元画像Ｂの或る注目画素（ｘ，ｙ，ｚ）について、画素値が１である場合には当該注目画素と接する２６個又は６個の画素の画素値を１とする処理である。一方、三次元に拡張した画素収縮処理は、二値化三次元画像Ｂの或る注目画素（ｘ，ｙ，ｚ）について、当該注目画素と接する２６個又は６個の画素の画素値が全て１の場合には注目画素の画素値を１とし、それ以外の場合には注目画素の画素値を０とする処理である。例えば、三次元に拡張した図形融合として、まず、二値化三次元画像Ｂを基にして上記画素膨張処理をｒ回（例えば３回）繰り返して行い、得られた三次元画像について、今度は上記画素収縮処理をｒ回繰り返して行う処理を行うことができる。

上述の三次元に拡張したラベリングとは、二値化三次元画像Ｂにおいて画素値が１である画素にラベル番号を付与する処理であり、画素値１の画素が互いに接する場合には、それらの画素には同一のラベル番号が付与される。一方、二値化三次元画像Ｂにおいて画素値が０である画素に対してはラベル番号は付与されない。このラベル番号を付与されなかった画素にはラベル番号と混同されない画素値、例えば０を設定する。この処理の結果、画素値にラベル番号が格納された上記三次元ラベル画像Ｌが得られる。

以上のグループ分け処理により、各サブフレーム毎に要素点がグループ分けされ（Ｓ１００）、同一のグループに所属する要素点は同一の物体（関心被写体）に対応するものとされる。図９は、上述のグループ分けの結果を示す模式図である。この例では、第１〜第４サブフレームの三次元データ９０-1〜９０-4それぞれに２つのグループ、すなわちラベル番号が１であるグループ１及びラベル番号が２であるグループ２が定義される。

この段階では、サブフレーム間でのグループの関連付けは行われていないため、或るサブフレームの例えばグループ１に対応する物体が他のサブフレームのいずれのグループに対応する物体と同じものであるかは不定である。ＣＰＵ２０は、移動速度算出処理の次のステップとして、このサブフレーム間でのグループの関連付けを行う（Ｓ１０５）。このグループの関連付けは、各グループの特徴量を抽出し、それをサブフレーム間で比較することにより実現することができる。例えば、グループに所属する各要素点の座標に基づいて、それら要素点を全て包含する最小の直方体の各辺の長さや、それら要素点の重心座標を求めたり、また測距時刻データに基づいてグループ内の要素点の測距時刻の平均値を求め、これらを特徴量として利用することができる。

なお、画素（ｘ，ｙ）、画素値ｚで表される距離画像の要素点の直交座標系（ＸＹＺ座標系）での座標（Ｘ，Ｙ，Ｚ）は以下のように求めることができる。図１０、図１１は、レーザの投光方向と直交座標系との関係を示す説明図であり、図１０は斜視図、図１１（ａ）は直交座標系のＹＺ平面への投影図、図１１（ｂ）はＸＺ平面への投影図である。二軸走査ミラー６の走査中心Ｏがｘｙｚ座標系及びＸＹＺ座標系の共通の原点に設定され、レーザ光走査の中心方向に向けてＺ軸の正の向きが設定される。またＸ軸は走査中心から見て右向きに正の向きが設定され、Ｙ軸は走査中心から見て上向きに正の向きが設定される。上述のように画素（ｘ，ｙ）は走査角度（ｘ，ｙ）に対応して定義されている。角度ｙは仰角方向の走査角度範囲の上限角度２００を原点として下限角度２１０に向けて増加するように定義し、角度ｘは方位角方向の走査角度範囲の左側限度２２０を原点として右側限度２３０に向けて増加するように定義する。

例えば、走査角度範囲をｘ、ｙ双方とも６０゜とする。ｘ、ｙは共に当該角度範囲にて上述のように０〜１２７の整数値を取るように定義されている。また、ｚはその値１が例えば０．１ｍに対応するものとする。この場合、画素（ｘ，ｙ）、画素値ｚから座標（Ｘ，Ｙ，Ｚ）への変換式は次式となる。なお、Ｘ，Ｙ，Ｚの単位はそれぞれメートルである。
Ｘ＝0.1・ｚ・cos(30゜−60゜/127・ｙ)・cos(120゜-60゜/127・ｘ)
Ｙ＝0.1・ｚ・sin(30゜−60゜/127・ｙ)
Ｚ＝0.1・ｚ・cos(30゜−60゜/127・ｙ)・sin(120゜-60゜/127・ｘ)

サブフレーム間での特徴量の比較においては、例えば、比較対象のグループ間にて前記直方体の各辺の長さの差を求め、各辺の差が所定の閾値以下であれば、それらグループは同一の物体と判断することができる。この他、サブフレーム間でグループの重心座標の差とグループに含まれる要素点の測距時刻の平均値の差とを求め、前者を後者で除算した値が所定の閾値以下であれば同一の物体と判断してもよいし、またこの判断基準と先に述べた直方体の辺の差に基づく判断基準とを組み合わせて判断してもよい。これらの判断基準に基づく関連付けの処理により、例えば、図９に示す例において、各サブフレームそれぞれのグループ１が互いに関連付けられ、また各サブフレームそれぞれのグループ２が互いに関連付けられる。以上に説明した処理Ｓ１００、Ｓ１０５が本発明の抽出手段（ステップ）に相当する。

ＣＰＵ２０はこの関連付けの処理Ｓ１０５を行った後、関連付けられたグループ毎に移動速度を算出する（Ｓ１１０）。まず、ＣＰＵ２０は、関連付けられたグループ毎に、各サブフレームでの座標を求める。グループの座標としては、例えば、当該グループに属する要素点の重心座標を用いることができる。また、各グループに属する要素点のｘ座標、ｙ座標、ｚ座標それぞれの例えば、最小値を求め、それらを組み合わせた座標をグループの座標として代表させてもよい。

また、ＣＰＵ２０は、関連付けられたグループ毎に、各サブフレームでの測距時刻を求める。グループの測距時刻としては、例えば、当該グループに属する要素点の測距時刻の平均値を用いることができる。また、各グループに属する要素点の測距時刻の例えば最小値や平均値をグループの測距時刻として代表させてもよい。

これら関連付けられたグループの各サブフレームでの座標及び測距時刻に基づいて、各グループに対応する物体の移動速度が算出される。例えば、２つのサブフレームの組み合わせそれぞれにおいて、グループの座標の差及び測距時刻の差を求め、前者を後者で除してこれら２つのサブフレーム間での移動速度を求める。この移動速度を２つのサブフレームの組み合わせ全てについて平均し、その平均移動速度を、対応するフレームにおける物体の移動速度（ｖｘ，ｖｙ，ｖｚ）とすることができる。また、測距タイミングが隣り合う２つのサブフレーム間それぞれについて移動速度を求め、それらの平均値を、対応するフレームにおける物体の移動速度とすることもできる。以上に説明した処理Ｓ１１０が本発明の速度情報生成手段（ステップ）に相当する。

以上のようにして、ＣＰＵ２０は各物体の移動速度を算出すると（Ｓ７０）、次にぶれの抑制された距離画像を生成する処理を行う。まず、サブフレーム毎の距離画像を補正する（Ｓ７５）。この処理では、各サブフレームのグループそれぞれについて、処理Ｓ７０にて求めた当該グループの移動速度（ｖｘ，ｖｙ，ｖｚ）を用いて以下の補正が行われる。ここで、ｔｓはぶれの抑制された距離画像が定義される基準時刻である。基準時刻ｔｓは各サブフレーム、また各グループについて共通に設定され、通常は、対応するフレームの走査期間内の時刻に設定される。以下の補正は処理対象のグループに属する要素点毎に行われ、その要素点の補正前の直交座標系での座標を（ｘｐ，ｙｐ，ｚｐ）、測距時刻をｔｐ、補正後の座標を（ｘｐ’，ｙｐ’，ｚｐ’）と表している。
ｘｐ’＝ｘｐ＋（ｔｓ−ｔｐ）・ｖｘ
ｙｐ’＝ｙｐ＋（ｔｓ−ｔｐ）・ｖｙ
ｚｐ’＝ｚｐ＋（ｔｓ−ｔｐ）・ｖｚ
以上に説明した処理Ｓ７５が本発明の補正手段（ステップ）に相当する。

この補正により、サブフレームに現れた物体の像（関心像）が、基準時刻における像（補正像）に変換される。次に、各サブフレームの距離画像を合成する（Ｓ８０）。ＣＰＵ２０は各サブフレーム毎に生成した補正像を合成して、各グループ毎に基準時刻における物体の推定像を得る（Ｓ８０）。この推定像は、各要素点の走査タイミングの相違が補償され、ぶれが抑制されたものとなっている。この段階では処理結果は直交座標系にて得られているが、上述のｘｙｚ座標系から直交座標系への座標変換の逆変換を行うことにより、推定像をｘｙｚ座標系に変換することができ、ぶれの抑制された距離画像を生成することができる。以上に説明した処理Ｓ８０が本発明の合成手段（ステップ）に相当する。

図１２は、ＣＰＵ２０で処理を行う前の距離画像とＣＰＵ２０での処理で得られる像とを対比する説明図である。図１２（ａ）は処理前の差分距離画像である。図１２（ｂ）はＣＰＵ２０での処理で生成された三次元データであり、直交座標系での推定像を表している。また図１２（ｃ）は同図（ｂ）の処理結果を座標変換して得られた差分距離画像であり、ぶれの抑制された距離画像である。具体的には図１２（ａ）には移動する小動物がぶれた像１２０で得られ、これを処理した結果、図１２（ｃ）に示すように小動物の像１２５はぶれを補償され、本来の大きさ、形状を好適に表すものとなる。

さらにＣＰＵ２０はぶれの抑制された距離画像に基づいて物体の大きさなどを求め、表示装置等へ出力して距離画像と共に表示等させることができる（Ｓ８５）。この処理の段階では、先行する処理にて距離画像の各画素がどの物体を表しているかが把握されている。そこで、ＣＰＵ２０は目的とする物体に対応する画素のみを抽出して、それら画素で構成される画素領域の大きさ及びそれら画素の距離値から物体の大きさを求めることができる。

本装置は、上記処理Ｓ５５〜Ｓ８５を１フレーム毎に繰り返してぶれのない距離画像を生成し、それらを順次、表示装置等へ出力して動画表示させることができる。

なお、上述の処理では直交座標系の推定像を座標変換して距離画像を生成した。しかし、例えば、物体の大きさなどの情報が必要であって、距離画像が必要でない場合には、その座標変換を行わず、直交座標系での三次元データに基づいて物体の大きさなどを求めてもよい。

また、上述の補正像は各要素点毎にその測距時刻を用いて位置の補正を行った。しかし、簡略化した処理として、或るサブフレームの同じグループに属する要素点、又は同じサブフレームに属する要素点の測距時刻を共通の時刻で置き換えた処理が可能である。共通の時刻としては、例えばグループ内での測距時刻の平均値やサブフレームの取得タイミングなどを用いることができる。また、各要素点毎に位置の補正を行うのではなく、サブフレームの同じグループに属する要素点を、その共通時刻を利用して一括で位置の補正を行うこともできる。

また、ここでは画素情報として物体までの距離が得られ、それにより物体の三次元的な移動速度を求め、ぶれの抑制された推定像の生成を行った。一方、撮像手段には、画素情報として距離の情報が得られないものがある。例えば、視野内の物体の輝度や温度を画素情報として取得するものがある。そのような撮像手段により得られた画像にて物体像のぶれを抑制する場合や、奥行き方向の物体の移動を無視し得る場合などには、物体の移動速度として画像内での二次元的な速度を求め、当該速度に基づく画像内の物体像のぶれの抑制処理を行ってもよい。

上述の構成では、二次元の光走査装置として二軸走査するガルバノミラーを用いたが、これに代えて一軸走査のガルバノミラーを２つ利用してもよいし、ポリゴンミラーの光走査装置を２つ用いて二次元的に走査する構成としてもよい。また、投光部２から出射されるレーザの光路と受光部１２へレーザの光路とを分離するための構成として、ハーフミラーに代えて、例えば穴あきミラー等の他の手段を用いることもできる。この他、投光部２のみ走査を行う構成とし、受光部１２は受光画素が二次元配列された受光素子を用いて走査を不要とすることもできる。

［実施形態２］
本発明の第２の実施形態は、上記第１の実施形態に係る画像生成装置を用いて侵入者等の監視を行う侵入監視装置である。本装置の概略のブロック構成は図１に示すものと同じであり、以下、これを援用して説明を行う。本装置を構成する各部は、基本的に上述の画像生成装置と共通であり、共通点については説明を省略する。本装置が上述の画像生成装置と異なる点はＣＰＵ２０内での処理にある。図１３は、本装置のＣＰＵにて行われる処理の概略のフロー図である。上記画像生成装置における処理Ｓ５０〜Ｓ８５は本装置にも共通であり、図１３においても同じ記号で表している。本装置のＣＰＵ２０は、処理Ｓ８０にて物体の大きさや形状を求めると、その大きさや形状と監視目的とする侵入者・侵入物に応じた閾値とを比較する（Ｓ１３０）。例えば、検知された大きさが閾値以上である場合、フレームに捉えられた関心被写体が目的とする侵入者等であると判断し、表示装置の画面への警告表示やブザー等の動作により警報を発し（Ｓ１３５）、図示しない警備センタへ電話回線等を介して通報する。

ここで、画素情報として距離を測定しているため、ここで求めた大きさや形状は、単に画面上の大きさではなく、それにより実際の物体の大きさや形状を求めることができる。また、侵入者等の判断基準として物体の速度情報を利用することで、より正確に目的とする侵入者等を検出することができる。

例えば、上述の走査範囲内に静止した人と移動する小動物とが存在する例においては、元の差分距離画像では、図１２（ａ）のように、小動物が移動する横方向にぶれて大きく写る。そのため、人のような大きな物体を検出対象とする場合に、従来は、ぶれた小動物の像を誤検出するおそれがあった。これに対し、本装置では、小動物のぶれが補償され、小動物本来の大きさ・形状の像が得られるので、誤検出の可能性が低下する。

なお、既に述べたように、レーザ光の走査周期と画像の解像度とはトレードオフの関係にある。また装置からの距離が遠いほどレーザが投光される方向間の間隔が広がる。そのため、距離画像に捉えたい関心被写体の大きさ、距離画像を取得する方位角方向、仰角方向、奥行き方向それぞれの範囲、レーザの放射時間間隔の制限などの要因に応じてサンプリング点数、走査周期が定められる。例えば、侵入者を監視する目的では、走査周期は１０^−１秒のオーダーが好適であり、また、奥行き方向には１０〜２０ｍ程度まで侵入者の像を捕捉できることが一般的に要求され得る。

侵入判定は、検知された物体の大きさの他、物体の形状、移動速度、数、位置などを用いて行うことができる。また、上述の測距装置以外の計測装置、例えば、熱赤外線検出装置やカメラなどを併用し、それらにて得られる情報を複合して侵入判定を行う構成とすることもできる。

本発明の第１の実施形態である画像生成装置の概略のブロック構成図である。 レーザ光に関する光学系の構成を示す模式図である。 走査線として用いられるリサジュ図形の一例を示す説明図である。 二軸走査ミラーの走査及びレーザ光の送受動作を説明するタイミング図である。 投光タイミングテーブルの内容を示す模式図である。 第１の実施形態に係る画像生成装置のＣＰＵにて行われる処理の概略のフロー図である。 フレームとサブフレームとの関係を示す模式図である。 サブフレームに基づいて移動速度を算出する処理の概略のフロー図である。 サブフレーム内の要素点をグループ分けした結果の一例を示す模式図である。 レーザの投光方向と直交座標系との関係を示す説明図である。 レーザの投光方向と直交座標系との関係を示す説明図である。 ＣＰＵで処理を行う前の距離画像とＣＰＵでの処理で得られる像とを対比する説明図である。 第２の実施形態に係る侵入監視装置のＣＰＵにて行われる処理の概略のフロー図である。

符号の説明

２ 投光部、４ 投光タイミングテーブル、６ 二軸走査ミラー、８ ミラー制御部、１０ 走査角度出力部、１２ 受光部、１４ 距離算出部、１６ 距離画像生成部、１８ 距離画像記憶部、２０ ＣＰＵ、２２ メモリ、３２ハーフミラー、３４ ミラー。

Claims (11)

1. 一単位の画像中でそれぞれの画素配置が互いに補完的な複数の粗画像を取得する画像取得手段と、
   前記各粗画像それぞれから同一の関心被写体に対応する関心像を抽出する抽出手段と、
   前記各粗画像の取得時刻と前記各粗画像での前記関心像の位置とに基づいて前記関心被写体の速度情報を生成する速度情報生成手段と、
   前記速度情報に基づいて、前記各粗画像の前記関心像それぞれを、所定の基準時刻での前記関心被写体の位置に対応した補正像に変換する補正手段と、
   複数の前記補正像を合成して前記基準時刻での前記関心被写体の推定像を求める合成手段と、
   を有することを特徴とする画像生成装置。
2. 請求項１に記載の画像生成装置において、
   前記画像取得手段は、撮像対象範囲を非線形曲線に沿って走査して画素単位で順次得た前記画像を取得することを特徴とする画像生成装置。
3. 請求項２に記載の画像生成装置において、
   前記非線形曲線はリサジュ曲線であることを特徴とする画像生成装置。
4. 請求項１から請求項３のいずれか１つに記載の画像生成装置において、
   前記画像取得手段は、画素単位に順次得られた前記各粗画像を構成する画素情報を取得すると共に、各画素の前記画素情報の取得時刻を記憶し、
   前記補正手段は、前記関心像を構成する画素毎に当該画素の前記取得時刻と前記基準時刻との間での前記関心被写体の移動を補正して、前記補正像を構成する補正画素を求めること、
   を特徴とする画像生成装置。
5. 請求項１から請求項４のいずれか１つに記載の画像生成装置において、
   前記画像取得手段は、画素情報として、各画素に対応する方向における被写体までの距離を取得すること、
   を特徴とする画像生成装置。
6. 請求項４に記載の画像生成装置において、
   前記画像取得手段は、前記画素情報として、各画素に対応する方向の被写体までの距離を取得し、
   前記速度情報生成手段は、前記関心像の画素情報を用い、前記速度情報として、三次元的な速度を求め、
   前記補正手段は、当該速度情報に基づいて、前記補正画素を求めると共に、当該補正画素の画素情報として距離を求めること、
   を特徴とする画像生成装置。
7. 請求項１から請求項６のいずれか１つに記載の画像生成装置を用いた侵入監視装置であって、
   前記推定像の大きさ及び形状の少なくとも一方に基づいて、前記関心被写体を侵入物と判定する判定手段を有することを特徴とする侵入監視装置。
8. 請求項５又は請求項６に記載の画像生成装置を用いた侵入監視装置であって、
   前記推定像の大きさ及び当該推定像の前記画素情報に基づいて、前記関心被写体を侵入物と判定する判定手段を有することを特徴とする侵入監視装置。
9. 請求項７又は請求項８に記載の侵入監視装置において、
   前記判定手段は、さらに前記速度情報を用いて前記侵入物の判定を行うことを特徴とする侵入監視装置。
10. 撮像対象範囲を走査して得られた一単位の画像中で走査周期を分割した期間毎の走査により得た画素からなる複数の粗画像を取得する粗画像取得ステップと、
    前記各粗画像それぞれから同一の関心被写体に対応する関心像を抽出する抽出ステップと、
    前記各粗画像の取得時刻と前記各粗画像での前記関心像の位置とに基づいて前記関心被写体の速度情報を生成する速度情報生成ステップと、
    前記速度情報に基づいて、前記各粗画像の前記関心像それぞれを、所定の基準時刻での前記関心被写体の位置に対応した補正像に変換する補正ステップと、
    複数の前記補正像を合成して前記基準時刻での前記関心被写体の推定像を求める合成ステップと、
    を有することを特徴とする画像生成方法。
11. 請求項１０に記載の画像生成方法において、
    前記各粗画像を構成する画素毎の取得時刻を得る時刻取得ステップを有し、
    前記補正ステップは、前記関心像を構成する画素毎に当該画素の前記取得時刻と前記基準時刻との間での前記関心被写体の移動を補正して、前記補正像を構成する補正画素を求めること、
    を特徴とする画像生成方法。

Images