JP2021189599A - 監視用画像処理装置、3次元レーザスキャナシステムおよびプログラム - Google Patents

監視用画像処理装置、3次元レーザスキャナシステムおよびプログラム Download PDF

Info

Publication number
JP2021189599A
JP2021189599A JP2020092348A JP2020092348A JP2021189599A JP 2021189599 A JP2021189599 A JP 2021189599A JP 2020092348 A JP2020092348 A JP 2020092348A JP 2020092348 A JP2020092348 A JP 2020092348A JP 2021189599 A JP2021189599 A JP 2021189599A
Authority
JP
Japan
Prior art keywords
pixels
pixel
change
monitoring
volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2020092348A
Other languages
English (en)
Inventor
健一 新房
Kenichi Shinbo
哲朗 和田
Tetsuro Wada
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2020092348A priority Critical patent/JP2021189599A/ja
Publication of JP2021189599A publication Critical patent/JP2021189599A/ja
Ceased legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】3次元レーザスキャナからの干渉ノイズに起因した誤認識を低減できる監視用画像処理装置、3次元レーザスキャナシステムおよびプログラムを提供する。【解決手段】監視用画像処理装置(102)は、背景画像との間で距離値が有意に変化した画素を示す変化画素情報を生成する画素情報生成部(40)と、画素の座標値および距離値が一定の条件を満たす画素の累計数である体積を、変化画素情報が示す全画素に渡って計算する体積計算部(50)と、変化画素情報が示す画素から体積が既定値未満である画素を取り除くフィルタ部(60)と、取り除かれずに残った画素のうち、隣接した画素同士に同一のラベル番号を付与するラベリング部(70)と、同一のラベル番号が付与された画素からなる変化領域に基づいて、報知対象の物体(201)を認識する認識部(80)を備える。【選択図】図1

Description

本開示は、監視用画像処理装置、3次元レーザスキャナシステムおよびプログラムに関する。
レーザスキャン型センサを用いて監視領域に存在する対象物を検知および認識する従来の技術が知られている。例えば、特許文献1には、3次元領域内における監視対象の侵入物体を検知し、検知した侵入物体に対応する検知情報を出力する検知手段を備えた装置が記載されている。検知手段には、レーザスキャン型センサが用いられる。レーザスキャン型センサは、監視領域をレーザ光パルスで繰り返しスキャンし、物体で反射されたレーザ光の反射光を受光することにより、監視領域を3次元で撮像する。なお、レーザスキャン型センサは、3次元レーザスキャナとも呼ばれる。以下、3次元は、「3D」と適宜記載する。
特開2003−272061号公報
例えば、第1の3Dレーザスキャナと第2の3Dレーザスキャナとが隣接している場合、第2の3Dレーザスキャナから照射されて物体で反射したレーザ光の反射光が、第1の3Dレーザスキャナにも受光されることがある。第1の3Dレーザスキャナによって撮像された画像において、第2の3Dレーザスキャナに由来した反射光の受光分は、第2の3Dレーザスキャナからの干渉ノイズとなる。従来の監視装置では、第2の3Dレーザスキャナからの干渉ノイズによって第1の3Dレーザスキャナの撮像画像で局所的に集中して画素値が変化すると、高い頻度で、監視対象の物体に由来して画素値が変化したものと誤認識されるという課題があった。
本開示は、上記課題を解決するものであり、3Dレーザスキャナからの干渉ノイズに由来した誤認識を低減できる監視用画像処理装置、3Dレーザスキャナシステムおよびプログラムを得ることを目的とする。
本開示に係る監視用画像処理装置は、レーザ光を監視範囲に照射し、監視範囲内に存在する物体で反射されたレーザ光を受光することにより、監視範囲内に存在する物体までの距離値を画素ごとの3D情報に含む監視用画像を撮像する3Dレーザスキャナから監視用画像を取得し、監視用画像を画像処理する監視用画像処理装置であって、監視用画像と当該監視用画像内の背景を示す背景画像とにおける同一の座標の画素同士の距離値の差分を計算し、計算した距離値の差分値に基づいて、監視用画像における画素のうち、背景画像との間で距離値が有意に変化した画素を示す変化画素情報を生成する画素情報生成部と、3D情報に含まれる画素の座標値および距離値が一定の条件を満たす画素の累計数である体積を、変化画素情報が示す全画素に渡って計算する体積計算部と、変化画素情報が示す画素から体積が既定値未満である画素を取り除くフィルタ部と、変化画素情報が示す画素から取り除かれずに残った画素のうち、隣接した画素同士に同一のラベル番号を付与するラベリング部と、監視用画像において同一のラベル番号が付与された画素からなる変化領域に基づいて、報知対象の物体を認識する認識部を備える。
本開示によれば、背景画像との間で距離値が有意に変化した画素を示す変化画素情報を生成し、画素の座標値および距離値が一定の条件を満たす画素の累計数である体積を、変化画素情報が示す全画素に渡って計算し、変化画素情報が示す画素から体積が既定値未満である画素を取り除き、取り除かれずに残った画素のうち、隣接した画素同士に同一のラベル番号を付与し、同一のラベル番号が付与された画素からなる変化領域に基づいて、報知対象の物体が認識される。背景画像との間の距離値が有意に変化した画素のうち、体積が既定値未満である画素は干渉ノイズに対応するので、本開示に係る監視用画像処理装置は、3Dレーザスキャナからの干渉ノイズに由来した誤認識を低減することができる。
実施の形態1に係る3Dレーザスキャナシステムの構成を示すブロック図である。 3Dレーザスキャナの構成を示す図である。 3Dレーザスキャナの分散機構を示す説明図である。 図4Aは、3Dレーザスキャナの照射波と反射波を示す波形図であり、図4Bは、3Dレーザスキャナにおけるレーザ光照射軌跡とレーザ照射ポイントの関係を示す図である。 第1の3Dレーザスキャナと対象物の位置関係と、第2の3Dレーザスキャナと対象物の位置関係とを示すイメージ図である。 図6Aは、第1の3Dレーザスキャナの照射波および反射波を示す波形図であり、図6Bは、第2の3Dレーザスキャナの照射波および反射波を示す波形図であり、図6Cは、第1の3Dレーザスキャナの照射波、反射波および干渉波を示す波形図である。 3Dキューブモデルの例1を示す説明図である。 図8Aは、図7の3Dキューブモデルを示すXY座標面図であり、図8Bは、図7の3Dキューブモデルを示すXZ座標面図であり、図8Cは、ノイズ除去後の図7の3Dキューブモデルを示すXY座標面図であり、図8Dは、ノイズ除去後の図7の3Dキューブモデルを示すXZ座標面図である。 3Dキューブモデルの例2を示す説明図である。 図10Aは、図9の3Dキューブモデルを示すXY座標面図であり、図10Bは、図9の3Dキューブモデルを示すXZ座標面図であり、図10Cは、ノイズ除去後の図9の3Dキューブモデルを示すXY座標面図であり、図10Dは、ノイズ除去後の図9の3Dキューブモデルを示すXZ座標面図である。 3Dキューブモデルの例3を示す説明図である。 図12Aは、図11の3Dキューブモデルを示すXY座標面図であり、図12Bは、図11の3Dキューブモデルを示すXZ座標面図であり、図12Cは、体積による選別後の図11の3Dキューブモデルを示すXY座標面図であり、図12Dは、体積による選別後の図11の3Dキューブモデルを示すXZ座標面図である。 図13Aは、ノイズ除去後の図12Cの3Dキューブモデルを示すXY座標面図であり、図13Bは、ノイズ除去後の図12Dの3Dキューブモデルを示すXZ座標面図である。 実施の形態1に係る監視用画像処理方法を示すフローチャートである。 図14のステップST4の処理の詳細を示すフローチャートである。 図16Aは、実施の形態1に係る監視用画像処理装置の機能を実現するハードウェア構成を示すブロック図であり、図16Bは、実施の形態1に係る監視用画像処理装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。 3Dキューブモデルの例4を示す説明図である。 図18Aは、図17の3Dキューブモデルを示すXY座標面図であり、図18Bは、図17の3Dキューブモデルを示すXZ座標面図であり、図18Cは、体積による選別後の図17の3Dキューブモデルを示すXY座標面図であり、図18Dは、体積による選別後の図17の3Dキューブモデルを示すXZ座標面図である。 図19Aは、ノイズ除去後の図18Cの3Dキューブモデルを示すXY座標面図であり、図19Bは、ノイズ除去後の図18Dの3Dキューブモデルを示すXZ座標面図である。 3Dキューブモデルの例5を示す説明図である。 図21Aは、図20の3Dキューブモデルを示すXY座標面図であり、図21Bは、図20の3Dキューブモデルを示すXZ座標面図であり、図21Cは、体積による選別後の図20の3Dキューブモデルを示すXY座標面図であり、図21Dは、体積による選別後の図20の3Dキューブモデルを示すXZ座標面図である。 図22Aは、ノイズ除去後の図21Cの3Dキューブモデルを示すXY座標面図であり、図22Bは、ノイズ除去後の図21Dの3Dキューブモデルを示すXZ座標面図である。
実施の形態1.
図1は、実施の形態1に係る3次元(以下、3Dと記載する)レーザスキャナシステム100の構成を示すブロック図である。図1において、3Dレーザスキャナシステム100は、3Dレーザスキャナ101によって撮像された監視用画像を画像処理することにより、監視範囲内に存在する報知対象の物体を認識する装置であり、3Dレーザスキャナ101および監視用画像処理装置102を備える。監視用画像処理装置102は、過去画像記憶部20、背景画像生成部30、画素情報生成部40、体積計算部50、フィルタ部60、ラベリング部70および認識部80を備える。背景200は、3Dレーザスキャナ101から照射されたレーザ光によるスキャンが行われる監視範囲内の背景である。物体201は、監視範囲内に存在する報知対象の物体である。
3Dレーザスキャナ101は、レーザ光のパルスを照射して監視範囲をスキャンし、監視範囲内に存在する物体で反射されたレーザ光を受光することにより、監視範囲の監視用画像を撮像する。また、3Dレーザスキャナ101は、レーザ光のパルスを監視範囲に照射するための光学機構を有しており、光学機構の動きに同期した一定のスキャン角度間隔で照射したレーザ光のパルスによって監視範囲をスキャンする。
また、3Dレーザスキャナ101は、画像をX方向にα本で区切り、Y方向にβ本で区切った計α×β個の小領域の解像度で背景200を3Dで撮像する。この小領域は、グリッドと呼ばれ、監視用画像の画素に相当する。例えば、監視用画像は、X方向に80本とY方向に60本の計4800グリッド(画素)の解像度で撮像される。
監視用画像における各画素は3D情報を有する。各画素の3D情報は、監視用画像における画素の座標値であるX座標およびY座標の値と、Z座標のパラメータとして画素の距離値を含んだ情報である。距離値は、3Dレーザスキャナ101から監視範囲内に存在する物体(例えば、物体201)までの距離を示している。また、3D情報には、監視範囲内に存在する物体によってレーザ光が反射された反射光の受光光量である強度値が含まれてもよい。なお、以下の説明では、監視用画像における各画素の3D情報を点群データと適宜記載する。
過去画像記憶部20は、3Dレーザスキャナ101によって撮像された監視範囲の監視用画像の点群データ(各画素の3D情報)を記憶する記憶部である。なお、過去画像記憶部20には、過去に撮像された監視用画像の点群データがそのまま記憶されてもよいが、加工された点群データが記憶されてもよい。ただし、過去画像記憶部20には、過去に撮像された監視用画像における全ての画素についての、画素のX座標とY座標の値である座標値と、Z座標の値である距離値とが認識可能なデータが記憶される。以下の説明では、過去画像記憶部20に記憶されるデータを「過去画像」と呼称する。
背景画像生成部30は、過去画像記憶部20に記憶された過去画像を用いて、背景画像を生成する。背景画像は、監視用画像内の背景200を示す画像であって、各画素は、画素のX座標とY座標の値である座標値と、Z座標の値である距離値とを含む3D情報を有する。
例えば、背景画像生成部30は、過去画像記憶部20から、過去に連続して撮像された複数枚(例えば、8枚)の過去画像を読み出し、複数枚の過去画像で同一の座標にある画素についての距離値の平均値を、背景画像における同一の座標にある画素の距離値として設定する。この処理が全画素に渡って実施された画像が、背景画像である。
背景画像における各画素の距離値は、過去に撮像された複数の監視用画像における距離値の平均値で置き換えられるので、監視範囲内で移動する物体に由来した短時間での距離値の変化が吸収される。このように、背景画像は背景200の画像成分のみを有した画像である。なお、実際の監視用画像には、人のように、背景以外の被写体もランダムに映り込む。このため、例えば、背景画像生成部30は、過去の10フレーム分の監視用画像における各画素の距離値の平均を算出することにより、10フレームの間に人が映り込んだ画像が1、2フレームあったとしても、人が映り込んでいない8から9フレーム分の画像によって平均化され、背景200に近い画像を背景画像として算出することができる。
なお、過去画像記憶部20は、監視用画像処理装置102とは別に設けられた記憶装置に設けられてもよい。背景画像は、監視用画像の画像処理において、背景画像生成部30が新たに生成するものに限らず、監視用画像の画像処理前に生成されて、監視用画像処理装置102とは別に設けられた記憶装置に記憶されてもよい。すなわち、過去画像記憶部20と背景画像生成部30は、監視用画像処理装置102に必須な構成要素ではなく、監視用画像処理装置102とは別に設けられた装置が備えてもよい。
画素情報生成部40は、3Dレーザスキャナ101によって撮像された監視用画像と、これに対応する背景画像とにおける同一の座標の画素同士の距離値の差分値に基づいて、監視用画像における画素のうち、背景画像との間で距離値が有意に変化した画素である、変化画素を示す変化画素情報を生成する。
例えば、画素情報生成部40は、監視用画像と背景画像とにおける、同一の座標の画素同士の距離値の差分を計算する。そして、画像生成部131は、計算した距離値の差分値が閾値(例えば1m)以上であると、その座標の画素の距離値として過去画像の該当する座標の画素の距離値を設定し、計算した距離値の差分値が閾値未満であれば、その座標の画素の距離値として0を設定する。これにより、監視用画像において背景画像との間で距離値が有意に変化した画素のみを示す変化画素情報が生成される。
体積計算部50は、3D情報に含まれる画素の座標値と距離値が一定の条件を満たす画素の累計数である体積を、変化画素情報が示す全ての画素に渡って計算する。例えば、体積計算部50は、変化画素情報が示す全ての画素から、画素ごとの3D情報に含まれるX座標値が±1以内でかつZ座標の距離値が±1m以内であるという条件を満たす画素の累計数を計算する。
体積計算部50によって計算された体積は体積テーブルに記憶される。体積テーブルには、変化画素情報が示す全ての画素の体積が記憶される。例えば、3Dレーザスキャナ101による撮像の分解能がX軸160およびY軸120であり、撮像距離値が0から255mの範囲である場合、体積テーブルにおける座標値(X,Z)は、(0,0)から(159,255)までの値をとり得る。
フィルタ部60は、変化画素情報が示す画素から、体積が既定値未満である画素を取り除く。例えば、フィルタ部60は、体積テーブルに記憶された各画素の体積と既定値(例えば、体積が2)とを比較して体積が2未満である画素を、変化画素情報が示す画素から取り除く。
ラベリング部70は、フィルタ部60によって変化画素情報から取り除かれずに残った画素のうち、隣接した画素同士に同一のラベル番号を付与する。例えば、ラベリング部70は、X座標値が一定の条件(例えば、X±2以内)を満たして隣接し、かつZ座標値も一定の条件(例えば、Z±1m以内)で類似している画素に対して同一のラベル番号nを付与する。
ノイズ除去部71は、監視用画像において、同一のラベル番号nが付与された画素からなる変化領域のうち、画素の総数が閾値未満である変化領域を除去する。同一のラベル番号nが付与された変化画素の総数を「ラベル面積」と呼称する。例えば、閾値を2とした場合、ノイズ除去部71は、ラベル面積が2未満である変化領域を除去し、除去した領域に付与されたラベル番号nも除去する。なお、ノイズ除去部71は、ラベリング部70に必須の構成要素ではなく、認識部80によってノイズ除去部71の機能が実行される場合は、ラベリング部70は、ノイズ除去部71を備えていなくてもよい。
認識部80は、監視用画像において除去されずに残った変化領域に基づいて、報知対象の物体を認識する。例えば、ノイズ除去部71によって除去されずに残った変化領域が、監視範囲内の領域に対応し、基準面積以上を有し、基準の縦横寸法を有し、判定条件を満たす速度で移動する物体に対応する場合、この変化領域に対応する物体が報知対象であると判定される。認識部80は、報知対象の物体を認識すると、物体の存在を発報する必要があることを、図1において図示しない警報装置に通知する。これにより、警報装置は、発報を行う。
図2は、3Dレーザスキャナ101の構成を示す図である。図2に示すように、3Dレーザスキャナ101は、レーザ光パルスを背景200に照射してスキャンすることにより、背景200の監視用画像を撮像する。3Dレーザスキャナ101は、レーザ発光ユニット11、分散機構13A、分散機構13B、レーザ受光ユニット16およびロジック部18を備える。レーザ発光ユニット11は、ロジック部18から指示された態様で、レーザ光パルス12を出力する。例えば、レーザ光パルス12は、レーザ発光ユニット11によって等角度間隔(一定のスキャン角度間隔)で出力される。
分散機構13Aおよび13Bは、レーザ発光ユニット11から出力されたレーザ光パルス12を、背景200に照射する光学系であり、回転ミラーを用いて、レーザ光パルス12をY軸方向およびX軸方向に反射することでレーザ光パルス14を照射する。例えば、分散機構13Bの回転ミラーを高速で回動させることによって、レーザ光パルス14は、Y軸方向(上下方向)に高速で振幅する正弦波状の軌跡を描いて照射される。また、分散機構13Aの回転ミラーを低速で回転させることによって、レーザ光パルス14は、X軸方向(左右方向)に低速で振幅する正弦波状の軌跡を描いて照射される。なお、分散機構13Aおよび分散機構13Bには、回転ミラーの代わりに半導体ミラーまたはプリズムが用いられる場合もある。
背景200は、レーザ光パルス14が照射される。背景200側で反射されたレーザ光パルス14のレーザ反射光15は、レーザ受光ユニット16によって受光される。レーザ受光ユニット16は、レーザ光パルス14が照射されてからレーザ反射光15を受光するまでの時間差に基づいて、監視用画像の画素ごとの3D情報17を算出する。例えば、レーザ受光ユニット16は、レーザ光パルス14を反射した物体までの距離値を含む3D情報17を反射点ごとに算出する。なお、この反射点が、監視用画像における各画素に対応している。
ロジック部18は、分散機構13Aおよび13Bの動きに同期した一定のスキャン角度間隔でレーザ光パルス14が背景200に照射されるように、レーザ発光ユニット11によるレーザ光パルス12の出力を制御する。例えば、スキャン角度は、分散機構13Bの回転ミラーの回転角度である。ロジック部18は、分散機構13Bの回転ミラーの回転に同期した一定の回転角度間隔で、レーザ光パルス14が背景200に照射されるように、レーザ発光ユニット11によるレーザ光パルス12の出力を制御する。
図3は、3Dレーザスキャナ101の分散機構13Aおよび13Bを示す説明図である。図3に示すように、分散機構13Aは回転ミラー13aおよびモータ13bを備え、分散機構13Bは回転ミラー13cおよびモータ13dを備える。回転ミラー13aは、モータ13bの回転力により、レーザ光パルス12のパルス周波数に同期して矢印方向に回転する。レーザ光パルス12は、回転ミラー13aのミラー面に対して水平な面上で、常に同一の角度間隔で分散される。
回転ミラー13cは、モータ13dの回転力によって、レーザ光パルス12aのパルス周波数に同期して、両矢印で示す方向に回動する。レーザ光パルス12aは、回転ミラー13cのミラー面に対して垂直な面上で、常に同一の角度間隔で分散される。なお、分散機構13Aおよび分散機構13Bは、モータを用いずにレーザ光のスキャンが可能な光学系であってもよい。
図4Aは、3Dレーザスキャナ101の照射波と反射波を示す波形図である。図4Aにおいて、照射波は、レーザ光パルス14であり、反射波は、レーザ反射光15である。以下の説明では、照射波14および反射波15と適宜記載される。図4Aに示すように、照射波14は、時間軸上で非等間隔な波形になる。同様に、照射波14が物体で反射した反射波も、時間軸上で非等間隔な波形になる。ΔTは、照射波14が照射されてから反射波15が受光されるまでの時間差である。
図4Bは、3Dレーザスキャナ101におけるレーザ光照射軌跡130とレーザ照射ポイント14aとの関係を示す図である。レーザ光照射軌跡130は、照射波14を照射するジグザグの経路である。分散機構13Bの回転ミラー13cがY軸方向(上下方向)に高速で振幅運動することにより、照射波14は、正弦波状のレーザ光照射軌跡130に沿って照射される。ただし、振幅運動は往復運動であり、分散機構13Aおよび13Bは、物理的な質量を持つ機構であるため、回転ミラー13aおよび13cの運動速度は一定ではない。
例えば、レーザ光照射軌跡130の振幅の頂点位置(折り返し点)において回転ミラー13cの運動速度が0にならないと、次の頂点へ折り返せない。すなわち、回転ミラー13cは、照射波14の走査が、レーザ光照射軌跡130の振幅の折り返し点に近づくほど速度が低下し、折り返し点で速度が0となり、折り返し点を過ぎると徐々に加速していき、通過した折り返し点と次の折り返し点との間の中央付近で最も速くなるという、規則的な“変動速度”で運動していると言える。
なお、分散機構13Aの回転ミラー13aにおける左右の振幅運動も、同様に、規則的な「変動速度」で運動していると言える。ただし、回転ミラー13aの振幅運動は低速であるため、頂点位置までに変動する運動速度の差が小さい。そこで、以降、分散機構13Bの回転ミラー13cの運動に伴うレーザ光の照射態様についてのみ説明する。
ロジック部18は、レーザ光照射軌跡130において、レーザ照射ポイント14aが等角度間隔に並ぶようにレーザ光パルス14を照射するために、レーザ発光ユニット11の出力間隔を、回転ミラー13cの運動の変動速度に合わせる。例えば、ロジック部18は、レーザ光パルス14を、レーザ光照射軌跡130の振幅の頂点に走査するときには、レーザ発光ユニット11の出力間隔を最も長くし、レーザ光パルス14を、レーザ光照射軌跡130の振幅における頂点と頂点との間の中央付近に走査するときには、レーザ発光ユニット11の出力間隔を最も短くする。これにより、図4Bに示すように、背景200に照射されたレーザ光パルス14によって、レーザ照射ポイント14aは、レーザ光照射軌跡130において均一な間隔に並ぶ。
レーザ光照射軌跡130において等間隔で並ぶレーザ照射ポイント14aは、レーザ光パルス14が反射される反射点となる。反射点における反射波15は、レーザ受光ユニット16によって受光される。照射波14が照射された時刻と、反射波15が受光された時刻との時間差ΔTが、3Dレーザスキャナ101から照射されたレーザ光が、3Dレーザスキャナ101に戻るまでの時間である。この時間差ΔTに光速を乗ずることで、3Dレーザスキャナ101から背景200までの距離値が算出可能である。例えば、光速を3×10(m/秒)とし、時間差ΔTが100(ナノ秒)である場合、背景200までの距離値は30(m)(=3×10(m/秒)×100×10−9(秒))となる。
図5は、第1の3Dレーザスキャナ101Aと物体201Aの位置関係と、第2の3Dレーザスキャナ101Bと物体201Bの位置関係とを示すイメージ図である。図5において、床面200Aには、第1の3Dレーザスキャナ101Aと、第2の3Dレーザスキャナ101Bが配置されている。第1の3Dレーザスキャナ101Aは、視野202Aをスキャンしており、第2の3Dレーザスキャナ101Bは、視野202Bをスキャンしている。視野202A内には物体201Aが存在し、視野202B内には物体201Bが存在する。
第1の3Dレーザスキャナ101Aは、視野202Aに照射波を照射し、物体201Aで照射波が反射された反射波を受光することにより、照射波が照射された時刻と反射波が受光された時刻との時間差に基づいて物体201Aまでの距離を算出する。第2の3Dレーザスキャナ101Bは、視野202Bに照射波を照射し、物体201Bで照射波が反射された反射波を受光することにより、照射波が照射された時刻と反射波が受光された時刻との時間差に基づいて物体201Bまでの距離を算出する。
図5において、第1の3Dレーザスキャナ101Aおよび第2の3Dレーザスキャナ101Bは隣接して配置されており、視野202Aおよび視野202Bについても近接している。このため、第2の3Dレーザスキャナ101Bによって視野202Bに照射された照射波の反射波が、第1の3Dレーザスキャナ101Aによって受光される場合がある。第2の3Dレーザスキャナ101Bに由来した反射波の受光分は、第1の3Dレーザスキャナ101Aによって撮像された監視用画像において、第2の3Dレーザスキャナ101Bからの干渉成分になる。
図6Aは、第1の3Dレーザスキャナ101Aの照射波および反射波を示す波形図である。図6Bは、第2の3Dレーザスキャナ101Bの照射波および反射波を示す波形図である。図6Cは、第1の3Dレーザスキャナ101Aの照射波、反射波および干渉波を示す波形図である。図6A、図6Bおよび図6Cは、図5に示した第1の3Dレーザスキャナ101Aおよび第2の3Dレーザスキャナ101Bが、実施の形態1に係る3Dレーザスキャナ101である場合を示している。
第1の3Dレーザスキャナ101Aは、分散機構13Aおよび13Bの動きに同期した一定のスキャン角度間隔で、照射波14Aを視野202Aに照射する。照射波14Aの波形は、図6Aに示すように時間軸上で非等間隔になる。また、照射波14Aが物体201Aで反射して得られた反射波15Aの波形も時間軸上で非等間隔になる。第1の3Dレーザスキャナ101Aは、視野202Aに照射された照射波14Aの反射波15Aを受光する。第1の3Dレーザスキャナ101Aは、照射波14Aが照射されてから反射波15Aが受光されるまでの時間差ΔTAに基づいて物体201Aまでの距離値を算出し、算出した距離値を画素ごとの3D情報に含む監視用画像を撮像する。
同様に、第2の3Dレーザスキャナ101Bは、図6Bに示すように、分散機構13Aおよび13Bの動きに同期した一定のスキャン角度間隔で視野202Bに照射された照射波14Bの反射波15Bを受光する。第2の3Dレーザスキャナ101Bは、照射波14Bが照射されてから反射波15Bが受光されるまでの時間差ΔTAに基づいて、物体201Bまでの距離値を算出し、算出した距離値を画素ごとの3D情報に含む監視用画像を撮像する。
しかしながら、第1の3Dレーザスキャナ101Aおよび第2の3Dレーザスキャナ101Bは隣接し、視野202Aおよび視野202Bも近接しているので、第1の3Dレーザスキャナ101Aは、反射波15Aに加え、若干量の反射波15Bも受光する。この場合、第1の3Dレーザスキャナ101Aによって受光された反射波は、図6Cに示すように、反射波15Aに対し、減衰した反射波15Bである干渉波15Cが重なった波形となる。例えば、第1の3Dレーザスキャナ101Aと第2の3Dレーザスキャナ101Bとの間が100(m)離れていた場合、干渉波15Cは、100(m)の距離だけ減衰し、その結果、振幅の小さい波形になる。
図6Cにおいて、物体201Aで反射された反射波15Aに対し、物体201Bで反射された反射波15Bに由来する、4つの干渉波15Cが重なっている。第1の3Dレーザスキャナ101Aから照射波14Aが照射された時刻と、4つの干渉波15Cがそれぞれ受光された時刻との時間差は、ΔTC1、ΔTC2、ΔTC3およびΔTC4である。
第1の3Dレーザスキャナ101Aと物体201Bとの間の距離が200(m)であると仮定した場合、時間差ΔTC1、ΔTC2、ΔTC3およびΔTC4は、200(m)に対応する時間間隔になると考えられる。しかしながら、図6Cにおいて、時間差ΔTC1、ΔTC2、ΔTC3およびΔTC4は、様々な時間間隔になっている。これは、ロジック部18が、分散機構13Aおよび13Bの回転ミラーの変動速度に同期して常に等角度間隔でレーザ光が照射されるように、レーザ発光ユニット11を制御していることに由来する。
例えば、分散機構13Bの回転ミラー13cはY軸方向(上下方向)に高速で振幅運動する。ロジック部18は、レーザ光パルス14がレーザ光照射軌跡130の振幅の頂点に近づくほどパルス間隔が広がり、振幅の頂点から遠ざかるほどパルス間隔が狭くなるようにレーザ発光ユニット11を制御する。この制御は、第1の3Dレーザスキャナ101Aと第2の3Dレーザスキャナ101Bとの間で独立しており、同期または連動は行われない。このため、干渉波15Cは、元の照射波の照射時刻とは無関係にばらばらの時間差となる。
例えば、図6Cにおいて、時間差ΔTC1が、200(m)の距離値に対応する時間差であり、時間差ΔTC2が、50(m)の距離値に対応する時間差であり、時間差ΔTC3が、150(m)の距離値に対応する時間差であり、時間差ΔTC4が、200(m)の距離値に対応する時間差である。このように、干渉波15Cは、共通の物体201Bからの反射波15Bに由来するにもかかわらず、第1の3Dレーザスキャナ101Aからは、距離値がばらばらなノイズであると判断される。
監視用画像処理装置102は、監視用画像と背景画像における同一の座標の画素同士の距離値の差分値が閾値以上であれば、その座標の画素の距離値として過去画像の該当する座標の画素の距離値を設定し、計算した距離値の差分値が閾値未満であれば、その座標の画素の距離値として0を設定する。これにより、監視用画像において背景画像との間で距離値が有意に変化した画素のみを示す変化画素情報が生成される。
変化画素情報は、例えば、X座標の範囲が0〜159であり、Y座標の範囲が0〜119である配列のうち、物体201で反射された反射波15に由来する画素の3D情報に対して、物体201までの実際の距離値(例えば、0〜255(m))が設定され、物体201以外の背景200からの反射波15に由来する画素の3D情報に距離値0が設定された情報である。
図7は、3Dキューブモデル300を示す説明図である。図7において、3Dキューブモデル300は、X軸方向に等間隔に8つに区分けされ、Y軸方向に等間隔に4つに区分けされ、Z軸方向に等間隔に6つに区分けされた、直方体状の空間を示すモデルであり、8×4×6個のキューブを有する。3Dキューブモデル300が有するキューブは、監視用画像における同じ座標値(X座標およびY座標)の画素に対応しており、変化画素情報が示す変化画素が設定される。
例えば、変化画素情報が示す画素には、図6Cに示した反射波15Aに由来する変化画素に加え、4つの干渉波15Cである干渉ノイズa、干渉ノイズb、干渉ノイズcおよび干渉ノイズdに由来した変化画素が含まれている。さらに、3Dキューブモデル300におけるキューブ301には干渉ノイズaに由来する変化画素が設定され、キューブ302には干渉ノイズbに由来する変化画素が設定され、キューブ303には干渉ノイズcに由来する変化画素が設定され、キューブ304には干渉ノイズdに由来する変化画素が設定されている。
図8Aは、3Dキューブモデル300を示すXY座標面図(正面視図)である。図8Aに示すように、反射波15Aに由来する変化画素は、距離値が等しい隣接した7個の画素であるので、3Dキューブモデル300において、これらの画素は、隣接した7個のキューブ305に設定される。なお、干渉ノイズa、干渉ノイズb、干渉ノイズcおよび干渉ノイズdに由来した画素は、図6Cを用いて前述したように距離値がばらばらであり、3Dキューブモデル300において、距離値がばらばらな孤立したキューブに設定されている。
図8Bは、3Dキューブモデル300を示すXZ座標面図(上方視図)である。ラベリング部70は、変化画素情報が示す画素のうち、X座標が隣接し、かつZ座標も隣接している画素同士に同一のラベル番号を付与する。例えば、図8Bにおいて、反射波15Aに由来する2つの変化画素は、X軸方向に隣接した2つのキューブに設定されており、Z座標値も同一であるので、同一のラベル番号「1」が付与されている。また、上述したように、ラベル番号「1」が付与された反射波15Aに由来する変化画素は7個あるため、ラベル面積は「7」である。
図8Bに示すように、3Dキューブモデル300において、干渉ノイズaに由来した画素には、ラベル番号「2」が付与され、干渉ノイズbに由来した画素には、ラベル番号「3」が付与され、干渉ノイズcに由来した画素には、ラベル番号「4」が付与され、干渉ノイズdに由来した画素には、ラベル番号「5」が付与されている。同じラベル番号の画素が存在しない場合、そのラベル番号の画素のラベル面積は1である。
図8Cは、ノイズ除去後の3Dキューブモデル300を示すXY座標面図である。図8Dは、ノイズ除去後の3Dキューブモデル300を示すXZ座標面図である。ラベル面積が1以下である画素がノイズであるという条件で、3Dキューブモデル300からノイズを除去する場合、図8Cおよび図8Dに示すように、干渉ノイズa、干渉ノイズb、干渉ノイズcおよび干渉ノイズdに由来した画素は、上記条件を満たすので除去される。
反射波15Aに由来する変化画素は、上記条件を満たさないので、3Dキューブモデル300から除去されない。これにより、3Dキューブモデル300には、反射波15Aに由来する変化画素のみが残る。これは、図6Cに示した、干渉ノイズにおける照射時刻と受光時刻との時間差ΔTC1、ΔTC2、ΔTC3およびΔTC4がばらばらの距離値を示すため、上記条件を満たすラベル面積が得られなかったことに由来する。
しかしながら、図6Cに示した、時間差ΔTC1、ΔTC2、ΔTC3およびΔTC4のうちのいずれかが、偶然に、同一または類似した距離値を示す場合がある。この事象は一定の確率で存在し、確率0にはならない。
図9は、3Dキューブモデル400を示す説明図である。図9において、3Dキューブモデル400は、X軸方向に等間隔に8つに区分けされ、Y軸方向に等間隔に4つに区分けされ、Z軸方向に等間隔に6つに区分けされた、直方体状の空間を示すモデルであり、8×4×6個のキューブを有する。3Dキューブモデル400が有するキューブは、監視用画像における同じ座標値(X座標およびY座標)の画素に対応しており、変化画素情報が示す変化画素が設定される。
例えば、変化画素情報が示す画素には、反射波15Aに由来する変化画素に加え、4つの干渉波15Cである干渉ノイズa、干渉ノイズb、干渉ノイズcおよび干渉ノイズdに由来した変化画素が含まれている。反射波15Aに由来する変化画素は、距離値が等しい隣接した7個の画素であるので、3Dキューブモデル400において、これらの画素は、隣接した7個のキューブ405に設定される。また、3Dキューブモデル400におけるキューブ401には、干渉ノイズaに由来する変化画素が設定され、キューブ402には干渉ノイズbに由来する変化画素が設定され、キューブ403には、干渉ノイズcに由来する変化画素が設定され、キューブ404には、干渉ノイズdに由来する変化画素が設定される。
図10Aは、3Dキューブモデル400を示すXY座標面図である。図10Aに示すように、反射波15Aに由来する変化画素は、距離値が等しい隣接した7個の画素であるので、3Dキューブモデル400において、これらの画素は、隣接した7個のキューブ405に設定される。なお、干渉ノイズa、干渉ノイズb、干渉ノイズcおよび干渉ノイズdに由来した画素は、図6Cを用いて前述したように距離値がばらばらであり、3Dキューブモデル400において、距離値がばらばらな孤立したキューブに設定される。
図10Bは、3Dキューブモデル400を示すXZ座標面図(上方視図)であり、キューブに記載された数値はラベル番号である。図10Bに示すように、例えば、干渉ノイズaに由来した画素と干渉ノイズcに由来した画素が、偶然にX座標値が同一でかつZ座標において隣接している(類似した距離値を示す)ので、ラベリング部70は、これらの画素に対して同一のラベル番号「2」を付与する。この場合、ラベル番号「2」の画素のラベル面積は2である。
干渉ノイズbに由来した画素には、ラベル番号「3」が付与され、干渉ノイズdに由来した画素には、ラベル番号「5」が付与される。同じラベル番号の画素が存在しない場合、そのラベル番号の画素のラベル面積は1である。図10Bにおいて、反射波15Aに由来する2つの変化画素は、X軸方向に隣接した2つのキューブに設定されており、Z座標値も同一であるので、同一のラベル番号「1」が付与される。
図10Cは、ノイズ除去後の3Dキューブモデル400を示すXY座標面図である。図10Dは、ノイズ除去後の3Dキューブモデル400を示すXZ座標面図であり、キューブに記載された数値はラベル番号である。ラベル面積が1以下である画素がノイズであるという条件で、3Dキューブモデル400からノイズを除去する。この場合、干渉ノイズbおよび干渉ノイズdに由来した画素は、条件を満たすので除去される。しかしながら、干渉ノイズaおよび干渉ノイズcに由来した画素は、ラベル面積が2であり、上記条件を満たさないので、図10Cおよび図10Dに示すように、3Dキューブモデル400に除去されず残ることになる。
監視用画像処理装置102においては、体積計算部50およびフィルタ部60によって干渉ノイズを確実に除去することができる。体積計算部50およびフィルタ部60による処理の概要は、以下の通りである。図11は、3Dキューブモデル500を示す説明図である。図11において、3Dキューブモデル500は、X軸方向に等間隔に8つに区分けされ、Y軸方向に等間隔に4つに区分けされ、Z軸方向に等間隔に6つに区分けされた、直方体状の空間を示すモデルであり、8×4×6個のキューブを有する。3Dキューブモデル500が有するキューブは、監視用画像における同じ座標値(X座標およびY座標)の画素に対応しており、変化画素情報が示す変化画素が設定される。
図12Aは、3Dキューブモデル500を示すXY座標面図である。図12Aに示すように、変化画素情報が示す画素には、反射波15Aに由来する変化画素に加え、4つの干渉波15Cである干渉ノイズa、干渉ノイズb、干渉ノイズcおよび干渉ノイズdに由来した変化画素が含まれている。反射波15Aに由来する変化画素は、距離値が等しい隣接した7個の画素であるので、3Dキューブモデル500において、これらの画素は、隣接した7個のキューブ505に設定される。
3Dキューブモデル500におけるキューブ501には、干渉ノイズaに由来する変化画素が設定され、キューブ502には、干渉ノイズbに由来する変化画素が設定され、キューブ503には、干渉ノイズcに由来する変化画素が設定され、キューブ504には、干渉ノイズdに由来する変化画素が設定される。ただし、干渉ノイズaに由来する画素(キューブ501)と干渉ノイズcに由来する画素(キューブ503)は、偶然に、X座標値が同一であり、かつZ座標において隣接している。
体積計算部50は、変化画素情報が示す全ての画素の3D情報を参照することにより、X座標およびZ座標が同一とみなす範囲内であるという条件を満たした画素の累計数を、変化画素情報が示す全ての画素に渡って計算する。X座標およびZ座標が同一とみなす範囲とは、例えば、X±1以内でかつZ±1m以内であり、距離値が0の画素は、この条件の判定対象から除かれる。
上記条件を満たす画素の累計数が「体積」であり、理論上、体積はY座標の値をとる。例えば、体積は、Y=0〜119の範囲の値である。また、体積は、体積テーブルに保存される。図12Bは、3Dキューブモデル500を示すXZ座標面図であり、キューブに記載された数値は体積値である。体積計算部50は、図12Bに示すように反射波15Aに由来する7個の画素のうち、X座標値が同一でかつZ座標値が同一の3個の画素について体積「3」を計算し、同様にX座標値が同一でかつZ座標値が同一の4個の画素について体積「4」を計算する。
また、体積計算部50は、干渉ノイズaに由来する画素、干渉ノイズbに由来する画素、干渉ノイズcに由来する画素および干渉ノイズdに由来する画素がそれぞれ一つずつであるので、それぞれについて体積「1」を計算する。体積テーブルの内容は、図12Bに示す3Dキューブモデル500の上方視に相当する。
フィルタ部60は、体積テーブルの内容を参照し、変化画素情報が示す画素から、体積が既定値未満である画素を取り除く。既定値は、例えば体積「2」である。「画素を取り除く」とは、画素の3D情報に含まれる距離値を0に上書きすることを意味する。これにより、変化画素情報から体積が2未満の画素が取り除かれる。
図12Cは、ノイズ除去後の3Dキューブモデル500を示すXY座標面図である。図12Dは、ノイズ除去後の3Dキューブモデル500を示すXZ座標面図であり、キューブに記載された数値は体積値である。前述のように、フィルタ部60は、体積が2未満の画素がノイズであるという条件で、3Dキューブモデル500からノイズを除去する。これにより、3Dキューブモデル500から、干渉ノイズa、干渉ノイズb、干渉ノイズcおよび干渉ノイズdが除去される。
図13Aは、ノイズ除去後の3Dキューブモデル500を示すXY座標面図である。図13Bは、ノイズ除去後の3Dキューブモデル500を示すXZ座標面図であり、キューブに記載された数値はラベル番号である。ラベリング部70は、フィルタ部60によって干渉ノイズに由来する画素が取り除かれた変化画素情報が示す画素のうち、X座標が隣接し、かつZ座標も隣接している画素同士に同一のラベル番号を付与する。例えば、図13Bにおいて、反射波15Aに由来する変化画素に同一のラベル番号「1」が付与されている。また、ラベル番号「1」が付与された反射波15Aに由来する変化画素は7個あるため、ラベル面積は「7」である。
実施の形態1に係る監視用画像処理方法は、以下の通りである。
図14は、実施の形態1に係る監視用画像処理方法を示すフローチャートであり、監視用画像処理装置102による一連の処理を示している。まず、画素情報生成部40は、監視用画像における変化画素情報を生成する(ステップST1)。例えば、画素情報生成部40は、過去画像記憶部20から読み出した過去画像と、背景画像生成部30によって生成された背景画像を用いて、3Dレーザスキャナ101によって撮像された監視用画像における変化画素を示す変化画素情報を生成する。変化画素は、監視用画像における画素のうち、背景画像との差分値が閾値以上である距離値が、過去画像の該当する座標の画素の距離値に置き換えられた画素である。また、監視用画像における変化画素以外の画素については、画素情報生成部40によってその3D情報に含まれる距離値が0に置き換えられる。
体積計算部50は、変化画素情報が示す全ての画素に渡って体積を計算する(ステップST2)。例えば、体積計算部50は、変化画素情報が示す全ての画素から、画素ごとの3D情報に含まれるX座標値が±1以内でかつZ座標の距離値が±1m以内であるという条件を満たす画素の累計数である体積を計算する。体積計算部50によって計算された、変化画素情報が示す全ての画素の体積は、体積テーブルに記憶される。
フィルタ部60は、変化画素情報が示す画素から、体積が既定値未満である画素を取り除く(ステップST3)。例えば、既定値を2とした場合、フィルタ部60は、体積テーブルに記憶された各画素のうち、体積が2未満である画素を取り除く。これにより、干渉ノイズに由来する変化画素が取り除かれる。
ラベリング部70は、変化画素情報から取り除かれなかった画素のうち、隣接した画素同士に同一のラベル番号を付与する(ステップST4)。例えば、ラベリング部70は、X座標値が一定の条件(例えば、X±2以内)を満たして隣接し、かつZ座標値も一定の条件(例えば、Z±1m以内)で隣接している画素に同一のラベル番号nを付与する。
認識部80は、監視用画像において同一のラベル番号nが付与された画素からなる変化領域に基づいて、監視範囲内に存在する報知対象の物体を認識する(ステップST5)。認識部80は、報知対象の物体を認識すると、物体の存在を発報する必要があることを、警報装置に通知する。これにより、警報装置は発報を行う。
なお、ノイズ除去部71が、認識部80による認識処理の前段階に、監視用画像において、同一のラベル番号nが付与された画素からなる変化領域のうち、画素の総数が閾値未満である変化領域を除去してもよい。なお、この変化領域の除去処理は認識部80が実行してもよい。例えば、閾値を2とした場合に、ラベル面積が2未満である変化領域が除去され、除去された領域に付与されたラベル番号nも除去される。
図15は、図14のステップST4の処理の詳細を示すフローチャートである。
認識部80は、同一のラベル番号nが付与された画素からなる変化領域が監視範囲内に存在するか否かを判定する(ステップST1a)。例えば、認識部80は、変化領域における各画素の座標値が、監視範囲における座標範囲(背景画像の画素のXY座標範囲)に含まれるか否かを判定する。変化領域が監視範囲内に存在しない場合(ステップST1a;NO)、認識部80は、この変化領域がノイズによるものであると判定し、ステップST1aの処理に戻る。
変化領域が監視範囲内に存在すると判定した場合(ステップST1a;YES)、認識部80は、この変化領域が基準面積以上であるか否かを判定する(ステップST2a)。例えば、認識部80には、報知対象の物体201であると推定される画像領域の下限面積が基準面積として設定されている。認識部80は、この基準面積と変化領域とを比較し、変化領域が基準面積未満であれば(ステップST2a;NO)、背景の動き(例えば、風で動いた木の葉など)といった報知対象ではない物体に対応する変化領域であるか、または干渉ノイズに由来する変化領域であると判定し、ステップST1aの処理に戻る。
変化領域が基準面積以上であると判定した場合(ステップST2a;YES)、認識部80は、この変化領域が一定の縦横寸法であるか否かを判定する(ステップST3a)。例えば、報知対象の物体201が人である場合、変化領域は、横寸法よりも縦寸法が大きいものとなる。報知対象の物体201に特有な縦横寸法があり、この縦横寸法が、認識部80に設定されている。認識部80は、この縦横寸法と変化領域とを比較し、変化領域が縦横寸法に合致しない場合(ステップST3a;NO)、報知対象ではない物体に対応する変化領域であるか、または干渉ノイズに由来する変化領域であると判定し、ステップST1aの処理に戻る。
変化領域が一定の縦横寸法であると判定した場合(ステップST3a;YES)、認識部80は、この変化領域が判定条件を満たす速度で移動する物体に対応するか否かを判定する(ステップST4a)。例えば、報知対象の物体201が人である場合、3Dレーザスキャナ101によって順次撮像された複数のフレームの監視用画像間での変化領域の重心位置の移動速度は、人の移動速度と推定される速度で位置が変化する。認識部80は、報知対象の物体201に対応する速度と変化領域の重心位置の移動速度とを比較し、変化領域の重心位置の移動速度が、報知対象の物体201に対応する速度に合致しない場合(ステップST4a;NO)、報知対象ではない物体に対応する変化領域であるか、または干渉ノイズに由来する変化領域であると判定し、ステップST1aの処理に戻る。
変化領域が判定条件を満たす速度で移動する物体に対応すると判定した場合(ステップST4a;YES)、認識部80は、この変化領域が報知対象の物体201に対応すると判定する。認識部80は、報知対象の物体を認識すると、発報処理を行う(ステップST5a)。発報処理とは、認識部80から、物体の存在を発報する必要があることを、警報装置に通知する処理である。これにより、警報装置は発報を行う。
監視用画像処理装置102の機能を実現するハードウェア構成は、以下の通りである。
図16Aは、監視用画像処理装置102の機能を実現するハードウェア構成を示すブロック図である。図16Bは、監視用画像処理装置102の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図16Aおよび図16Bにおいて、入力インタフェース1000は、3Dレーザスキャナ101によって撮影された監視用画像の入力を受け付けるインタフェースである。出力インタフェース1100は、認識部80によって警報装置へ通知される通知情報を中継するインタフェースである。
監視用画像処理装置102が備える過去画像記憶部20、背景画像生成部30、画素情報生成部40、体積計算部50、フィルタ部60、ラベリング部70および認識部80の機能は、処理回路により実現される。すなわち、監視用画像処理装置102は、図14に示したステップST1からステップST5の各処理を実行する処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するCPU(Central Processing Unit)であってもよい。
処理回路が図16Aに示す専用のハードウェアの処理回路1200である場合、処理回路1200は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)、または、これらを組み合わせたものが該当する。監視用画像処理装置102が備える過去画像記憶部20、背景画像生成部30、画素情報生成部40、体積計算部50、フィルタ部60、ラベリング部70および認識部80の機能は、別々の処理回路で実現されてもよく、これらの機能がまとめて1つの処理回路で実現されてもよい。
処理回路が図16Bに示すプロセッサ1300である場合、監視用画像処理装置102が備える過去画像記憶部20、背景画像生成部30、画素情報生成部40、体積計算部50、フィルタ部60、ラベリング部70および認識部80の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせにより実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ1400に記憶される。
プロセッサ1300は、メモリ1400に記憶されたプログラムを読み出して実行することにより、監視用画像処理装置102が備える過去画像記憶部20、背景画像生成部30、画素情報生成部40、体積計算部50、フィルタ部60、ラベリング部70および認識部80の機能を実現する。例えば、監視用画像処理装置102は、プロセッサ1300によって実行されるときに、図14に示したステップST1からステップST5の処理が結果的に実行されるプログラムを記憶するメモリ1400を備える。これらのプログラムは、過去画像記憶部20、背景画像生成部30、画素情報生成部40、体積計算部50、フィルタ部60、ラベリング部70および認識部80の手順または方法をコンピュータに実行させる。メモリ1400は、コンピュータを、過去画像記憶部20、背景画像生成部30、画素情報生成部40、体積計算部50、フィルタ部60、ラベリング部70および認識部80として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。
メモリ1400は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically−EPROM)などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVDなどが該当する。
監視用画像処理装置102が備える過去画像記憶部20、背景画像生成部30、画素情報生成部40、体積計算部50、フィルタ部60、ラベリング部70および認識部80の機能の一部が専用のハードウェアで実現され、残りの一部がソフトウェアまたはファームウェアで実現されてもよい。例えば、過去画像記憶部20および背景画像生成部30は、専用のハードウェアである処理回路1200によって機能が実現され、画素情報生成部40、体積計算部50、フィルタ部60、ラベリング部70および認識部80は、プロセッサ1300がメモリ1400に記憶されたプログラムを読み出して実行することによって機能が実現される。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって、上記機能を実現することができる。
なお、フィルタ部60による体積を基準とした画素の除去処理のアルゴリズムは、以下のようであってもよい。図17は、3Dキューブモデル600を示す説明図である。図17において、3Dキューブモデル600は、X軸方向に等間隔に8つに区分けされ、Y軸方向に等間隔に4つに区分けされ、Z軸方向に等間隔に6つに区分けされた、直方体状の空間を示すモデルであり、8×4×6個のキューブを有する。3Dキューブモデル600が有するキューブは、監視用画像における同じ座標値(X座標およびY座標)の画素に対応しており、変化画素情報が示す変化画素が設定される。
例えば、変化画素情報が示す画素には、反射波15Aに由来する変化画素に加え、4つの干渉波15Cである干渉ノイズa、干渉ノイズb、干渉ノイズcおよび干渉ノイズdに由来した変化画素が含まれている。反射波15Aに由来する変化画素は、距離値が等しい隣接した7個の画素であるので、3Dキューブモデル600において、これらの画素は、隣接した7個のキューブ605に設定される。また、3Dキューブモデル600におけるキューブ601には、干渉ノイズaに由来する変化画素が設定され、キューブ602には干渉ノイズbに由来する変化画素が設定され、キューブ603には、干渉ノイズcに由来する変化画素が設定され、キューブ604には、干渉ノイズdに由来する変化画素が設定される。
図18Aは、3Dキューブモデル600を示すXY座標面図である。図18Aに示すように、反射波15Aに由来する変化画素は、距離値が等しい隣接した7個の画素であるので、3Dキューブモデル600において、これらの画素は、隣接した7個のキューブ605に設定される。干渉ノイズbおよび干渉ノイズdに由来した画素は、図6Cを用いて前述したように距離値がばらばらであり、3Dキューブモデル600において、距離値がばらばらな孤立したキューブに設定される。ただし、極めて稀であるが、互いに異なる干渉ノイズaに由来する画素と干渉ノイズcに由来する画素のX座標およびZ座標が同時に同じ値になる事象が発生することがある。
図18Bは、3Dキューブモデル600を示すXZ座標面図であり、キューブに記載された数値は体積値である。図18Bに示すように、干渉ノイズaに由来した画素と干渉ノイズcに由来した画素は、X座標値およびZ座標値が同一であるキューブ601およびキューブ603に設定される。この場合、体積計算部50は、これらの画素について体積「2」を計算する。
図18Cは、ノイズ除去後の3Dキューブモデル600を示すXY座標面図である。図18Dは、ノイズ除去後の3Dキューブモデル600を示すXZ座標面図であり、キューブに記載された数値は体積値である。フィルタ部60は、体積が2未満の画素がノイズであるという条件で3Dキューブモデル600からノイズを除去する。このため、X座標値およびZ座標値が一致している干渉ノイズaに由来した画素が設定されたキューブ601と干渉ノイズcに由来した画素が設定されたキューブ603が、3Dキューブモデル600から除去されずに残る。
図19Aは、ノイズ除去後の3Dキューブモデル600を示すXY座標面図である。図19Bは、ノイズ除去後の3Dキューブモデル600を示すXZ座標面図であり、キューブに記載された数値はラベル番号である。図19Aに示すように、反射波15Aに由来する変化画素のキューブ605についての外接矩形であるフェレ径F1は、縦4画素および横2画素である。このフェレ径F1に隣接して、干渉ノイズaに由来した画素のキューブ601と干渉ノイズcに由来した画素のキューブ603についてのフェレ径F2が設定されてしまう。このフェレ径F2が設定された画素についても、ラベリング部70によってラベル番号「2」が付与されるので、認識部80は、このフェレ径F2が設定された干渉ノイズaおよび干渉ノイズcに由来する変化領域を、報知対象の物体201に由来するものと誤認識する可能性がある。
そこで、監視用画像処理装置102は、偶然にX座標値およびZ座標値が一致した干渉ノイズに由来する画素を取り除くアルゴリズムを提供する。
図20は、3Dキューブモデル700を示す説明図である。図20において、3Dキューブモデル700は、X軸方向に等間隔に8つに区分けされ、Y軸方向に等間隔に4つに区分けされ、Z軸方向に等間隔に6つに区分けされた、直方体状の空間を示すモデルであり、8×4×6個のキューブを有する。3Dキューブモデル700が有するキューブは、監視用画像における同じ座標値(X座標およびY座標)の画素に対応しており、変化画素情報が示す変化画素が設定される。
例えば、変化画素情報が示す画素には、反射波15Aに由来する変化画素に加え、4つの干渉波15Cである干渉ノイズa、干渉ノイズb、干渉ノイズcおよび干渉ノイズdに由来した変化画素が含まれている。反射波15Aに由来する変化画素は、距離値が等しい隣接した7個の画素であるので、3Dキューブモデル700において、これらの画素は、隣接した7個のキューブ705に設定される。また、3Dキューブモデル700におけるキューブ701には、干渉ノイズaに由来する変化画素が設定され、キューブ702には干渉ノイズbに由来する変化画素が設定され、キューブ703には、干渉ノイズcに由来する変化画素が設定され、キューブ704には、干渉ノイズdに由来する変化画素が設定される。
変化画素情報が示す画素には、反射波15Aに由来する変化画素に加え、4つの干渉波15Cである干渉ノイズa、干渉ノイズb、干渉ノイズcおよび干渉ノイズdに由来した変化画素が含まれている。反射波15Aに由来する変化画素は、距離値が等しい隣接した7個の画素であるので、3Dキューブモデル700において、これらの画素は、隣接した7個のキューブ705に設定される。また、3Dキューブモデル700におけるキューブ701には、干渉ノイズaに由来する変化画素が設定され、キューブ602には干渉ノイズbに由来する変化画素が設定され、キューブ703には、干渉ノイズcに由来する変化画素が設定され、キューブ704には、干渉ノイズdに由来する変化画素が設定される。
図21Aは、3Dキューブモデル700を示すXY座標面図である。図21Aに示すように、反射波15Aに由来する変化画素は、距離値が等しい隣接した7個の画素であるので、3Dキューブモデル700において、これらの画素は、隣接した7個のキューブ705に設定される。干渉ノイズbおよび干渉ノイズdに由来した画素は、図6Cを用いて前述したように距離値がばらばらであり、3Dキューブモデル700において、距離値がばらばらな孤立したキューブに設定される。ただし、図21Aにおいては、互いに異なる干渉ノイズaに由来する画素と干渉ノイズcに由来する画素のX座標およびZ座標が同時に同じ値になる事象が発生している。
図21Bは、3Dキューブモデル700を示すXZ座標面図であり、キューブに記載された数値は体積値である。図21Bに示すように、干渉ノイズaに由来した画素と干渉ノイズcに由来した画素は、X座標値およびZ座標値が同一であるキューブ701およびキューブ703に設定されている。この場合、体積計算部50は、まず、これらの画素について体積「2」を計算する。この体積を「暫定体積」と呼称する。
次に、体積計算部50は、干渉ノイズaに由来する画素と干渉ノイズcに由来する画素のY座標を参照する。図21Aに示すように、干渉ノイズaに由来する画素のY座標は、1であり、干渉ノイズcに由来する画素のY座標は、4である。すなわち、干渉ノイズaに由来する画素から干渉ノイズcに由来する画素までにおいて、本来あるべき体積の想定値は「4」である。この体積の想定値を「想定最大体積値」と呼称する。
体積計算部50は、想定最大体積値に対する暫定体積の比率を計算し、その比率が許容値未満である場合、暫定体積を0に置き換える。例えば、許容値を66(%)とした場合に、体積計算部50は、想定最大体積値「4」に対する暫定体積「2」の比率が50(%)であることから、干渉ノイズaに由来した画素と干渉ノイズcに由来した画素の体積(暫定体積)を0に置き換える。
反射波15Aに由来する変化画素については想定最大体積値が「4」であるので、X座標が「3」である画素について暫定体積が「4」であり、X座標が「2」である画素について暫定体積が「3」である。これにより、X座標が「3」である画素についての想定最大体積値に対する暫定体積の比率は100(%)であり、X座標が「2」である画素についての想定最大体積値に対する暫定体積の比率は75(%)である。従って、反射波15Aに由来する変化画素は、暫定体積がそのまま設定される。
図21Cは、ノイズ除去後の3Dキューブモデル700を示すXY座標面図である。図21Dは、ノイズ除去後の3Dキューブモデル700を示すXZ座標面図であり、キューブに記載された数値は体積値である。フィルタ部60は、体積が2未満の画素がノイズであるという条件で3Dキューブモデル700からノイズを除去する。これにより、3Dキューブモデル700から、干渉ノイズa、干渉ノイズb、干渉ノイズcおよび干渉ノイズdが除去される。
図22Aは、ノイズ除去後の3Dキューブモデル700を示すXY座標面図である。図22Bは、ノイズ除去後の3Dキューブモデル700を示すXZ座標面図であり、キューブに記載された数値はラベル番号である。図22Aに示すように、干渉ノイズa、干渉ノイズb、干渉ノイズcおよび干渉ノイズdが除去されるので、3Dキューブモデル700には、反射波15Aに由来する変化画素のキューブ705についてのフェレ径F1のみが設定される。このフェレ径F1が設定された画素について、ラベリング部70によってラベル番号「1」が付与される。これにより、認識部80は、フェレ径F1が設定された反射波15Aに由来する変化領域を、報知対象の物体201に由来するものと認識する。
以上のように、実施の形態1に係る監視用画像処理装置102において、背景画像との間で距離値が有意に変化した画素を示す変化画素情報を生成し、画素の座標値および距離値が一定の条件を満たす画素の累計数である体積を、変化画素情報が示す全画素に渡って計算し、変化画素情報が示す画素から体積が既定値未満である画素を取り除き、取り除かれずに残った画素のうち、隣接した画素同士に同一のラベル番号を付与し、同一のラベル番号が付与された画素からなる変化領域に基づいて報知対象の物体201が認識される。背景画像との間の距離値が有意に変化した画素のうち、体積が既定値未満である画素は、干渉ノイズに対応するので、監視用画像処理装置102は、3Dレーザスキャナ101からの干渉ノイズに由来した誤認識を低減することができる。
なお、3Dレーザスキャナ101には、プローブ信号を監視範囲に送信する光学系を駆動させる駆動機構を有し、光学系の動きに同期した一定のスキャン角度間隔でプローブ信号を送信して監視範囲をスキャンできる距離測定装置であればよい。例えば、距離測定装置には、超音波センサを用いた装置を用いることができる。超音波センサは、超音波をプローブ信号として監視領域に送信し、監視領域に存在する物体で反射した超音波の反射信号を受信することにより、物体までの距離を測定する。
なお、実施の形態の任意の構成要素の変形もしくは実施の形態の任意の構成要素の省略が可能である。
11 レーザ発光ユニット、12 レーザ光パルス、12a レーザ光パルス、13A,13B 分散機構、13a,13c 回転ミラー、13b,13d モータ、14 レーザ光パルス(照射波)、14A,14B 照射波、14a レーザ照射ポイント、15 レーザ反射光(反射波)、15A,15B 反射波、15C 干渉波、16 レーザ受光ユニット、17 3D情報、18 ロジック部、20 過去画像記憶部、30 背景画像生成部、40 画素情報生成部、50 体積計算部、60 フィルタ部、70 ラベリング部、71 ノイズ除去部、80 認識部、100 3Dレーザスキャナシステム、101 3Dレーザスキャナ、101A 第1の3Dレーザスキャナ、101B 第2の3Dレーザスキャナ、102 監視用画像処理装置、130 レーザ光照射軌跡、131 画像生成部、200 背景、200A 床面、201,201A,201B 物体、201a レーザ照射ポイント、202A,202B 視野、300、400,500,600,700 3Dキューブモデル、301、302,303,304,305,401,402,403,404,405,501,502,503,504,505,601,602,603,604,605,701,702,703,704,705 キューブ、1000 入力インタフェース、1100 出力インタフェース、1200 処理回路、1300 プロセッサ、1400 メモリ。

Claims (8)

  1. レーザ光を監視範囲に照射し、前記監視範囲内に存在する物体で反射されたレーザ光を受光することにより、前記監視範囲内に存在する物体までの距離値を画素ごとの3次元情報に含む監視用画像を撮像する3次元レーザスキャナから前記監視用画像を取得し、前記監視用画像を画像処理する監視用画像処理装置であって、
    前記監視用画像と当該監視用画像内の背景を示す背景画像とにおける同一の座標の画素同士の前記距離値の差分を計算し、計算した前記距離値の差分値に基づいて、前記監視用画像における画素のうち、前記背景画像との間で前記距離値が有意に変化した画素を示す変化画素情報を生成する画素情報生成部と、
    前記3次元情報に含まれる画素の座標値および前記距離値が一定の条件を満たす画素の累計数である体積を、前記変化画素情報が示す全画素に渡って計算する体積計算部と、
    前記変化画素情報が示す画素から前記体積が既定値未満である画素を取り除くフィルタ部と、
    前記変化画素情報が示す画素から取り除かれずに残った画素のうち、隣接した画素同士に同一のラベル番号を付与するラベリング部と、
    前記監視用画像において同一のラベル番号が付与された画素からなる変化領域に基づいて、報知対象の物体を認識する認識部と、
    を備えたことを特徴とする監視用画像処理装置。
  2. 前記認識部は、前記監視用画像における変化領域のうち、画素の総数が閾値未満である変化領域を除去し、除去されずに残った変化領域に基づいて、報知対象の物体を認識すること
    を特徴とする請求項1記載の監視用画像処理装置。
  3. 前記3次元レーザスキャナは、レーザ光を前記監視範囲に照射する光学系の動きに同期した一定のスキャン角度間隔でレーザ光を照射して前記監視範囲をスキャンし、前記監視範囲内で反射されたレーザ光を受光することにより、前記監視用画像を撮像すること
    を特徴とする請求項1または請求項2記載の監視用画像処理装置。
  4. 前記認識部は、除去されずに残った変化領域が前記監視範囲内の領域に対応するか否かを判定し、前記監視範囲内の領域に対応すると判定した変化領域の面積が基準面積以上であるか否かを判定し、前記基準面積以上であると判定した変化領域が、基準の縦横寸法を有するか否かを判定し、基準の前記縦横寸法を有すると判定した変化領域が、判定条件を満たす速度で移動する物体に対応するか否かを判定し、前記判定条件を満たす速度で移動する物体に対応する変化領域であると判定した場合、変化領域に対応する物体が報知対象であると判定すること
    を特徴とする請求項2記載の監視用画像処理装置。
  5. 前記体積計算部は、前記座標値および前記距離値が同一であるとみなす条件を満たした画素の累計数である前記体積を、前記変化画素情報が示す全画素に渡って計算すること
    を特徴とする請求項1から請求項4のいずれか1項記載の監視用画像処理装置。
  6. 前記体積計算部は、前記体積が前記既定値以上である画素のうち、前記体積の想定値に対する比率が許容値未満である画素を、前記体積が0の画素に変更すること
    を特徴とする請求項5記載の監視用画像処理装置。
  7. レーザ光を監視範囲に照射する光学系の動きに同期した一定のスキャン角度間隔でレーザ光を照射して前記監視範囲をスキャンし、前記監視範囲内で反射されたレーザ光を受光することにより、前記監視範囲内に存在する物体までの距離値を画素ごとの3次元情報に含む監視用画像を撮像する3次元レーザスキャナと、
    前記監視用画像と当該監視用画像内の背景を示す背景画像とにおける同一の座標の画素同士の前記距離値の差分を計算し、計算した前記距離値の差分値に基づいて、前記監視用画像における画素のうち、前記背景画像との間で前記距離値が有意に変化した画素を示す変化画素情報を生成する画素情報生成部と、
    前記3次元情報に含まれる画素の座標値および前記距離値が一定の条件を満たす画素の累計数である体積を、前記変化画素情報が示す全画素に渡って計算する体積計算部と、
    前記変化画素情報が示す画素から前記体積が既定値未満である画素を取り除くフィルタ部と、
    前記変化画素情報が示す画素から取り除かれずに残った画素のうち、隣接した画素同士に同一のラベル番号を付与するラベリング部と、
    前記監視用画像において同一のラベル番号が付与された画素からなる変化領域に基づいて、報知対象の物体を認識する認識部と、
    を備えたことを特徴とする3次元レーザスキャナシステム。
  8. レーザ光を監視範囲に照射し、前記監視範囲内に存在する物体で反射されたレーザ光を受光することにより、前記監視範囲内に存在する物体までの距離値を画素ごとの3次元情報に含む監視用画像を撮像する3次元レーザスキャナに接続されたコンピュータを、
    前記監視用画像と当該監視用画像内の背景を示す背景画像とにおける同一の座標の画素同士の前記距離値の差分を計算し、計算した前記距離値の差分値に基づいて、前記監視用画像における画素のうち、前記背景画像との間で前記距離値が有意に変化した画素を示す変化画素情報を生成する画素情報生成部、
    前記3次元情報に含まれる画素の座標値および前記距離値が一定の条件を満たす画素の累計数である体積を、前記変化画素情報が示す全画素に渡って計算する体積計算部と、
    前記変化画素情報が示す画素から前記体積が既定値未満である画素を取り除くフィルタ部、
    前記変化画素情報が示す画素から取り除かれずに残った画素のうち、隣接した画素同士に同一のラベル番号を付与するラベリング部、
    前記監視用画像において同一のラベル番号が付与された画素からなる変化領域に基づいて、報知対象の物体を認識する認識部、
    として機能させるためのプログラム。
JP2020092348A 2020-05-27 2020-05-27 監視用画像処理装置、3次元レーザスキャナシステムおよびプログラム Ceased JP2021189599A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020092348A JP2021189599A (ja) 2020-05-27 2020-05-27 監視用画像処理装置、3次元レーザスキャナシステムおよびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020092348A JP2021189599A (ja) 2020-05-27 2020-05-27 監視用画像処理装置、3次元レーザスキャナシステムおよびプログラム

Publications (1)

Publication Number Publication Date
JP2021189599A true JP2021189599A (ja) 2021-12-13

Family

ID=78849753

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020092348A Ceased JP2021189599A (ja) 2020-05-27 2020-05-27 監視用画像処理装置、3次元レーザスキャナシステムおよびプログラム

Country Status (1)

Country Link
JP (1) JP2021189599A (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003272061A (ja) * 2002-03-13 2003-09-26 Omron Corp 監視装置
JP2013182496A (ja) * 2012-03-02 2013-09-12 Ihi Corp 車両検出方法及び車両検出装置
JP2018067127A (ja) * 2016-10-19 2018-04-26 三菱電機株式会社 監視用画像処理装置および監視装置
JP2019100985A (ja) * 2017-12-07 2019-06-24 コニカミノルタ株式会社 3次元情報取得システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003272061A (ja) * 2002-03-13 2003-09-26 Omron Corp 監視装置
JP2013182496A (ja) * 2012-03-02 2013-09-12 Ihi Corp 車両検出方法及び車両検出装置
JP2018067127A (ja) * 2016-10-19 2018-04-26 三菱電機株式会社 監視用画像処理装置および監視装置
JP2019100985A (ja) * 2017-12-07 2019-06-24 コニカミノルタ株式会社 3次元情報取得システム

Similar Documents

Publication Publication Date Title
US20060115113A1 (en) Method for the recognition and tracking of objects
JP5145986B2 (ja) 物体検出装置及び測距方法
JP6505470B2 (ja) ノイズ除去方法および物体認識装置
US7092075B2 (en) Apparatus and method for detecting obstacles
JP4985306B2 (ja) 障害物判定装置および方法、並びに障害物判定装置を備えた車両
JP2011232325A (ja) 物体認識装置
US12077161B2 (en) Method and processing unit for determining information with respect to an object in an environment of a vehicle
JP2004170354A (ja) 反射体自動追尾装置
JP2000266539A (ja) 車間距離計測装置
JP2019105654A (ja) ノイズ除去方法および物体認識装置
JP2009288055A (ja) 物体の位置情報算出方法
CN112193208A (zh) 车辆传感器增强
JP5320880B2 (ja) 距離計測装置、距離計測方法および車両
JP7361496B2 (ja) 監視装置
WO2020049892A1 (ja) 車載レーダシステム
JP2021189599A (ja) 監視用画像処理装置、3次元レーザスキャナシステムおよびプログラム
JP2007233440A (ja) 車載用画像処理装置
WO2018074357A1 (ja) 位置認識装置
JP2022001832A (ja) 監視用画像処理装置、3次元レーザスキャナシステムおよびプログラム
JP2011149856A (ja) 物体識別方法及び物体識別装置
JP2006521557A (ja) 検出システム、物体を検出するための方法、およびそのためのコンピュータプログラム
JP6988797B2 (ja) 監視システム
JP2006284179A (ja) 寸法計測装置および車両の寸法計測装置ならびに車両の寸法計測方法
JP2019105550A (ja) 物体検出装置、物体検出装置の制御方法、および物体検出装置の制御プログラム
JP2006258507A (ja) 前方物体認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231206

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240123

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20240528