JP2016170076A - オブジェクト検知装置、オブジェクト検知方法、およびオブジェクト検知プログラム - Google Patents

オブジェクト検知装置、オブジェクト検知方法、およびオブジェクト検知プログラム Download PDF

Info

Publication number
JP2016170076A
JP2016170076A JP2015050433A JP2015050433A JP2016170076A JP 2016170076 A JP2016170076 A JP 2016170076A JP 2015050433 A JP2015050433 A JP 2015050433A JP 2015050433 A JP2015050433 A JP 2015050433A JP 2016170076 A JP2016170076 A JP 2016170076A
Authority
JP
Japan
Prior art keywords
distance
imaging device
image
candidate
object candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015050433A
Other languages
English (en)
Other versions
JP6406076B2 (ja
Inventor
慎 渡邉
Makoto Watanabe
慎 渡邉
信頼 田中
Nobuyori Tanaka
信頼 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2015050433A priority Critical patent/JP6406076B2/ja
Publication of JP2016170076A publication Critical patent/JP2016170076A/ja
Application granted granted Critical
Publication of JP6406076B2 publication Critical patent/JP6406076B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】照射光と反射光との位相差の計測によって撮像した距離画像に、撮像されている検知エリア外に位置するオブジェクトを、検知エリア内に位置するオブジェクトとして誤検知するのを抑える。【解決手段】撮像装置10が検知エリアに正弦波変調光を照射し、受光した反射光との位相差を計測することにより検知エリアの距離画像を撮像する。画像処理部3は、画像入力部2に入力された検知エリアの距離画像と、検知エリアの背景距離画像と、の距離差分画像を生成し、撮像されているオブジェクト候補を抽出する。画像処理部3は、各画素の属性情報を用いて、抽出したオブジェクト候補が撮像装置10の測距可能範囲を超える遠方に位置する可能性がある第1のオブジェクト候補であるかを判定する。画像処理部3は、第1のオブジェクト候補について、撮像装置10の測距可能範囲内に位置するか、位置しないかを判定する。【選択図】図1

Description

この発明は、検知エリアに照射した正弦波変調光と、その反射光との位相差を計測することによって撮像した検知エリアの距離画像を処理して検知エリア内に位置するオブジェクトを検知する技術に関する。
従来、撮像エリアの距離画像を取得する3Dセンサ(Three Dimensional Sensor)の1つとして、TOF(Time Of Flight)センサがある(例えば、特許文献1参照)。TOFセンサは、正弦波変調光を撮像エリアに照射し、その反射光を受光することにより、同じタイミングで撮像エリアの距離画像、および受光強度画像を撮像することができる。TOFセンサは、正弦波変調光(赤外光)を撮像エリアに照射する発光素子を有する照射部、およびn×m個の受光素子をマトリクス状に配置したイメージセンサを有する受光部、を備えている。
TOFセンサは、赤外光を撮像エリアに照射してから、各受光素子で反射光を受光するまでの時間(飛行時間)を計測する。TOFセンサは、撮像エリアに照射した赤外光と、受光した反射光と、の位相差を計測することによって、飛行時間を得る。TOFセンサは、各受光素子で得た飛行時間から、照射した赤外光を反射した反射面までの距離を算出することによって、撮像エリアの距離画像を取得する。また、TOFセンサは、各受光素子で受光した反射光の強度から、撮像エリアの受光強度画像を取得する。
また、撮像エリアをレーザ光で走査し、その反射光を受光することによって、同じタイミングで撮像した距離画像、および受光強度画像を取得する3Dセンサ(Three Dimensional Sensor)もある。
最近では、オブジェクトの有無を検知することができない死角が生じるのを防止する観点(オブジェクトの見逃しを防止する観点)から、透過型や反射型の光電センサを用いるのではなく、上述のTOFセンサ等で撮像した距離画像を処理して、撮像されているオブジェクト(撮像エリア内に位置するオブジェクト)を検知することが検討されている(特許文献2等参照)。
特表2010−534000号公報 特開2014−178186号公報
しかしながら、照射した正弦波変調光(赤外光)と、受光した反射光と、の位相差を計測することによって、照射した赤外光を反射した反射面までの距離を算出する場合、測距可能な最大距離Lmax(測距可能範囲Lmax)は、
Lmax=c/fm
である。但し、cは、光速、fmは、正弦波変調光の変調周波数である。例えば変調周波数が20MHzであれば、Lmaxは15mであり、変調周波数が10MHzであれば、Lmaxは30mである。
反射面(オブジェクト)の位置がLmaxを超える距離Lであると、計測される距離Laは、
La=L−n×Lmax
になる。但し、nは正の整数であり、0<La<Lmaxの条件を満たす値である。
通常、Lmax(正弦波変調光の変調周波数)は、オブジェクトを検知する領域(検知領域)の大きさに応じて決定している。距離画像は、Lmaxを超える距離Lに位置するオブジェクト(検知エリア外に位置するオブジェクト)が、Lmaxを超えない距離Laに位置するオブジェクト(検知エリア内に位置するオブジェクト)として撮像したものになることがある。したがって、距離画像を処理して撮像されているオブジェクトの検知を行うと、Lmaxを超える距離Lに位置するオブジェクト(すなわち検知エリア外に位置するオブジェクト)が、検知エリア内に位置するオブジェクトとして誤検知されることがある。
この発明の目的は、照射光と反射光との位相差の計測によって撮像した距離画像に、撮像されている検知エリア外に位置するオブジェクトを、検知エリア内に位置するオブジェクトとして誤検知するのを抑えることができる技術を提供することにある。
この発明のオブジェクト検知装置は、上記目的を達するために以下のように構成している。
画像入力部には、撮像装置によって撮像された検知エリアの距離画像が入力される。撮像装置は、検知エリアに正弦波変調光を照射し、この正弦波変調光と受光した反射光との位相差を計測することにより、この検知エリアの距離画像を撮像する。撮像装置は、例えばTOF(Time Of Flight)センサを利用したものであってもよいし、検知エリアをレーザ光で走査し、その反射光を受光する3Dセンサ(Three Dimensional Sensor)を利用したものであってもよい。
属性情報記憶部は、画像入力部に入力される検知エリアの距離画像の画素毎に、撮像装置の測距可能範囲を超える遠方が撮像される可能性がない画素であるかどうかを対応づけた属性情報を記憶する。例えば、属性情報は、検知エリアの距離画像の画素毎に、撮像装置の測距可能範囲を超える遠方が撮像される可能性の有無を対応付けたものである。
測距可能範囲とは、以下に示すLmax未満の距離である。
Lmax=c/fm
但し、cは、光速、fmは、検知エリアに照射する正弦波変調光の変調周波数である。
また、背景距離画像記憶部は、検知エリアの背景距離画像を記憶する。オブジェクト候補抽出部は、画像入力部に入力された検知エリアの距離画像と、背景距離画像記憶部が記憶する検知エリアの背景距離画像と、の距離差分画像を生成し、画像入力部に入力された検知エリアの距離画像に撮像されているオブジェクト候補を抽出する。
候補種別判定部は、属性情報記憶部が記憶する各画素の属性情報を用いて、オブジェクト候補抽出部が抽出したオブジェクト候補が、撮像装置の測距可能範囲を超える遠方に位置する可能性がある第1のオブジェクト候補であるか、撮像装置の測距可能範囲を超える遠方に位置する可能性がない第2のオブジェクト候補であるかを判定する。この候補種別判定部は、例えば、撮像装置の測距可能範囲を超える遠方が撮像される可能性がない画素を含まないオブジェクト候補を第1のオブジェクト候補であると判定し、撮像装置の測距可能範囲を超える遠方が撮像される可能性がない画素を含むオブジェクト候補を第2のオブジェクト候補であると判定する。
ノイズ判定部は、候補種別判定部によって判定された第1のオブジェクト候補について、この第1のオブジェクト候補が撮像装置の測距可能範囲内に位置するオブジェクトであるか、撮像装置の測距可能範囲を超える遠方に位置するオブジェクト(すなわち、検知エリア外に位置するオブジェクト等によるノイズ)であるかを判定する。ノイズ判定部は、例えば画像入力部に入力された検知エリアの距離画像における、第1のオブジェクト候補の距離と画素数を用いて、第1のオブジェクト候補がノイズであるかどうかを判定する。また、画像入力部に入力された検知エリアの距離画像における、第1のオブジェクト候補にかかる画素の受光強度や、受光強度のばらつきを示す分散にかかる値(分散や標準偏差)を用いて、第1のオブジェクト候補がノイズであるかどうかを判定してもよい。また、ノイズ判定部は、複数項目の判定を組み合わせて、第1のオブジェクト候補がノイズであるかどうかを判定してもよい。
また、ノイズ判定部は、候補種別判定部によって判定された第1のオブジェクト候補については、例えば画像入力部に入力された検知エリアの距離画像における、第2のオブジェクト候補の距離と画素数を用いて、第2のオブジェクト候補がノイズであるかどうかを判定すればよい。
このように、オブジェクト検知装置は、撮像装置の測距可能範囲を超える遠方に位置する可能性がある第1のオブジェクト候補について、この第1のオブジェクト候補が撮像装置の測距可能範囲を超える遠方に位置するオブジェクト等によるノイズであるかどうかの判定を行う。したがって、オブジェクト検知装置は、検知エリア外に位置するオブジェクトを、検知エリア内に位置するオブジェクトとして誤検知するのを抑えることができる。
また、オブジェクト検知装置は、検知エリア内にオブジェクトが位置していないときに、撮像装置が撮像した検知エリアの距離画像(すなわち検知エリアの背景距離画像)を用いて、背景距離画像記憶部が記憶する検知エリアの背景距離画像を更新する背景距離画像更新部を備えてもよい。この場合、背景距離画像更新部は、画像入力部に入力された検知エリアの背景距離画像を用いて、属性情報記憶部が記憶する属性情報も更新する構成とするのが好ましい。このように構成すれば、背景距離画像や属性情報の更新が、手間をかけることなく適正に行える。
この発明によれば、照射光と反射光との位相差の計測によって撮像した距離画像に、撮像されている検知エリア外に位置するオブジェクトを、検知エリア内に位置するオブジェクトとして誤検知するのを抑えることができる。
オブジェクト検知装置の主要部の構成を示すブロック図である。 図2(A)、(B)は、オブジェクトまでの距離を求める公知の技術を説明する図である。 撮像エリアを説明する図である。 撮像エリアにおける第1の領域と、第2の領域を説明する図である。 判定条件Aを示す図である。 判定条件Bを示す図である。 図7(A)(B)は、判定条件Cを示す図である。 判定条件Dを示す図である。 判定条件Eを示す図である。 オブジェクト検知処理を示すフローチャートである。 ノイズ判定処理を示すフローチャートである。 オブジェクト候補の種別判定を説明する図である。 背景距離画像更新処理を示すフローチャートである。
以下、この発明の実施形態であるオブジェクト検知装置について説明する。
図1は、この例にかかるオブジェクト検知装置の主要部の構成を示すブロック図である。オブジェクト検知装置1には、撮像装置10が接続されている。オブジェクト検知装置1は、接続されている撮像装置10によって撮像された検知エリアの距離画像、および受光強度画像を処理し、撮像されているオブジェクト(検知エリア内に位置するオブジェクト)を検知する。このオブジェクト検知装置1は、図1に示すように、画像入力部2と、画像処理部3と、背景画像記憶部4と、属性情報記憶部5と、判定条件記憶部6と、出力部7と、を備えている。
オブジェクト検知装置1に接続されている撮像装置10は、TOF(Time OfFlight)センサを有し、撮像エリアの距離画像、および受光強度画像を撮像するものである。具体的には、撮像装置10は、撮像エリアに赤外光を照射する光源、およびn×m個の受光素子をマトリクス状に配置した撮像素子を有する。撮像装置10は、赤外光を撮像エリアに照射してから、その反射光を受光するまでの時間(飛行時間)を画素毎に計測する。撮像装置10は、撮像エリアに照射した光と、受光した反射光と、の位相差を計測することにより、飛行時間を得る。撮像装置10は、画素毎に計測した飛行時間からオブジェクト(照射光を反射したオブジェクトの反射面)までの距離を得る。撮像装置10は、例えば、1秒間に5〜10フレーム程度の距離画像の撮像が行える。
公知ではあるが、オブジェクトまでの距離を求める手法を簡単に説明する。光源から照射される光は、発光強度が変調されている。撮像エリアからの反射光を受光する際に伝播距離に応じて変調位相がずれる。光源からの光の一部を受光素子の一部で直接受光することで照射した光の位相をモニタし、反射光として受光した光の位相とのずれを計測する。位相ずれは、図2(A)に示すように、照射した光の変調周期Tに対してT/2期間ごとにサンプリングした受光信号(A0、A2)と、さらに図2(B)に示すように、T/4ずらしたタイミングでサンプリングした受光信号(A1,A3)と、に基づいて伝播距離によって位相のずれ量φを算出する。位相のずれ量φは、
φ=arctan{(A3−A1)/(A0−A2)}
により算出できる。
また、ここで求めた位相のずれ量φからオブジェクトまでの距離Lを求めることができる。オブジェクトまでの距離Lは、
L=Lmax×φ/2π
により算出できる。ここでLmaxはφ=2πとなるときの物体までの往復距離(測距可能な最大距離)であり、変調周波数が20MHzであればLmaxは7.5m、10MHzであれば15mとなる。
ここで、撮像素子について説明する。撮像素子は、上述したようにn×m個の受光素子をマトリクス状に配置したものである。この例では、隣接する縦横それぞれ2つずつ(合計4つ)の受光素子を1組とし、これを1画素として扱う。各受光素子は、T/4期間ごとずらしたサンプリングタイミングで光電変換された電荷を蓄積する。これにより、T/4期間ごとの蓄積電荷に基づいて、前述のA0,A1,A2,A3の受光信号を得る方式である。なお、他の手法として、2つの受光素子を1画素として扱い、前述のA0〜A3の受光信号を得る方式もある。
ここでいう「画素」とは、上述したように、位相のずれまたは距離を求めてオブジェクトを検知するために画像処理を行うときの単位となる受光素子のブロックであり、1つの受光素子であってもよいし、隣接する複数の受光素子(例えば、縦横2ずつの受光素子)で構成されるブロックであってもよい。
撮像装置10は、前述の照射光の変調の1周期だけの受光電荷では量的に少なすぎるので、露光時間を適宜設定し、その期間に蓄積された電荷量を用いて位相のずれを算出し、距離画像を得る。
また、撮像装置10は、画素毎に所定期間分(複数周期分)の蓄積電荷を全て集めることにより、画素毎にその画素が受光した反射光の強度(反射光量)を対応付けた受光強度画像を取得することもできる。すなわち、撮像装置10は、同じ露光タイミング(露光期間)で撮像した撮像エリアの距離画像、および受光強度画像を取得することができる。
なお、撮像装置10は、レーザ光を照射する光源、反射光を受光する受光素子、および撮像エリア内において光源から照射されたレーザ光を走査する走査部を有する構成のものであってもよい。撮像装置10は、撮像エリアの距離画像を、位相差を計測することにより撮像する構成のものであれば、その構成は特に制限されない。
画像入力部2には、撮像装置10が撮像した撮像エリアの距離画像と、受光強度画像が入力される。図3は、撮像装置の撮像エリアを説明する図である。ここでは、撮像装置10の撮像エリアを駅ホームの端部とした例である。但し、図3は、撮像装置10によって撮像される距離画像や受光強度画像を示すものではない(便宜的に可視光画像を示している。)。
この例では、撮像装置10の撮像エリアが、オブジェクトの有無を検知する検知エリアである。但し、撮像装置10の撮像エリアの一部を検知エリアに設定してもよい。また、検知エリアは、撮像装置10の測距可能範囲内であり、撮像装置10の測距可能範囲を超える領域は、検知エリア外である。
画像処理部3は、画像入力部2に入力された撮像エリアの距離画像を処理し、この距離画像に撮像されているオブジェクトを検知する。画像処理部3におけるオブジェクトの検知処理の詳細については後述する。画像処理部3が、この発明で言う、オブジェクト候補抽出部、候補種別判定部、ノイズ判定部、および背景距離画像更新部にかかる構成を有する。また、この画像処理部3が、この発明で言うオブジェクト検知方法を実行する。さらに、画像処理部3は、この発明にかかるオブジェクト検知プログラムをインストールするコンピュータを有する。
背景画像記憶部4は、撮像装置10の撮像エリアの背景距離画像を記憶する。背景画像記憶部4が記憶する背景距離画像は、適当なタイミングで更新される。背景画像記憶部4が、この発明で言う背景距離画像記憶部に相当する。撮像装置10によって撮像される撮像エリアの背景距離画像の画素には、測距可能な最大距離Lmax(測距可能範囲Lmax)を超える遠方が撮像される可能性がある画素が存在する。この例では、背景画像記憶部4が記憶する背景距離画像は、測距可能範囲を超える遠方が撮像される可能性がある画素の距離は測距可能な最大距離Lmaxである。また、測距可能範囲を超える遠方が撮像される可能性がない画素(図3に示す例では、測距可能範囲内に位置する駅ホームの床面や、駅ホームに設置されている構造物が背景として撮像される画素)の距離は、その画素が対応する背景までの距離である。
属性情報記憶部5は、撮像装置10によって撮像される撮像エリアの距離画像の画素毎に、その画素が測距可能範囲Lmaxを超える遠方が撮像される可能性がある画素であるかどうかを対応付けた属性情報を記憶する。上述したように、測距可能範囲Lmaxは、撮像エリアに照射する照射光の変調周波数によって決まる。図3に示す撮像エリアの場合、図4においてハッチングで示す第2の領域が撮像装置10の測距可能範囲を超える遠方が撮像される可能性がない領域であり、その他の領域(第1の領域)が測距可能範囲を超える遠方が撮像される可能性がある領域である。第1の領域内に位置する画素が、撮像装置10の測距可能範囲を超える遠方が撮像される可能性がある画素であり、第2の領域に位置する画素が、撮像装置10の測距可能範囲を超える遠方が撮像される可能性がない画素である。すなわち、属性情報記憶部5が記憶する属性情報は、その画素が第1領域に位置するか、第2の領域に位置するかを示す情報である。
また、上述したように、背景画像記憶部4が記憶する撮像エリアの背景距離画像においては、第1の領域に位置する画素の距離が測距可能範囲Lmaxである。
判定条件記憶部6は、後述する処理で抽出したオブジェクト候補が、オブジェクトであるか、ノイズであるかを判定する判定条件A〜Dと、撮像装置10が測距可能な範囲を超える遠方が撮像される可能性があるかどうかを判定する判定条件Eを記憶している。この判定条件は、以下に示す4つである。
判定条件A:オブジェクト候補が撮像装置10の測距可能範囲を超える遠方が撮像される可能性がない画素を含み、且つオブジェクト候補の画素数nが第1の閾値画素数n1よりも大きい。
判定条件B:オブジェクト候補が撮像装置10の測距可能範囲を超える遠方が撮像される可能性がない画素を含まず、且つオブジェクト候補の画素数nが第2の閾値画素数n2よりも大きい。
判定条件C:オブジェクト候補が撮像装置10の測距可能範囲を超える遠方が撮像される可能性がない画素を含まず、且つオブジェクト候補の画素数nが第3の閾値画素数n3(n2<n3)よりも大きい、または、オブジェクト候補の画素の受光強度の標準偏差δが偏差閾値δthよりも小さい。
判定条件D:オブジェクト候補が撮像装置10の測距可能範囲を超える遠方が撮像される可能性がない画素を含まず、オブジェクト候補の画素の受光強度の平均Paveが第1の受光強度閾値Pth1よりも大きい。
判定条件E:受光強度が第2の受光強度閾値Pth2よりも大きい。
判定条件Aは、撮像装置10の測距可能範囲を超える遠方が撮像される可能性がない画素を含むオブジェクト候補(後述する第2のオブジェクト候補)に対するものであり、判定条件B、C、Dは、撮像装置10の測距可能範囲を超える遠方が撮像される可能性がない画素を含まないオブジェクト候補(後述する第1のオブジェクト候補)に対するものである。
図5は、判定条件Aを示す図である。第1の閾値画素数n1は、距離を変数とする一次関数であり、距離が長くなるにつれて減少する。第1の閾値画素数n1の最小値は、予め定められている。この最小値は、例えば3〜5画素である。図5において、ハッチングで示す領域が、判定条件Aを満足しない領域である。
図6は、判定条件Bを示す図である。第2の閾値画素数n2は、上述した判定条件Aの第1の閾値画素数n1と同様に、距離を変数とする一次関数であり、距離が長くなるにつれて減少する。第2の閾値画素数n2の最小値も、予め定められている。この最小値は、例えば5〜10画素である。図6において、ハッチングで示す領域が、判定条件Bを満足しない領域である。
なお、第1の閾値画素数n1と、第2の閾値画素数n2とは同じであってもよい。
図7(A)、(B)は、判定条件Cを示す図である。図7(A)は、オブジェクト候補の画素数nが第3の閾値画素数n3(n2<n3)よりも大きいとした判定条件C−1を示し、図7(B)は、オブジェクト候補の画素の受光強度の標準偏差δが偏差閾値δthよりも小さいとした判定条件C−2を示している。第3の閾値画素数n3は、上述した判定条件Aの第1の閾値画素数n1や、判定条件Bの第2の閾値画素数n2と同様に、距離を変数とする一次関数であり、距離が長くなるにつれて減少する。第3の閾値画素数n3の最小値も、予め定められている。例えば第3の閾値画素数n3は、第2の閾値画素数n2よりも常に3〜5画素大きくなるように設定している。図7(A)において、ハッチングで示す領域が、判定条件C−1を満足しない領域である。また、偏差閾値δthも、図7(B)に示すように、距離を変数とする一次関数であり、距離が長くなるにつれて減少する。偏差閾値δthの最小値は、予め定められている。この最小値は、例えば5〜8である。図7(B)において、ハッチングで示す領域が、判定条件C−2を満足する領域である。
なお、判定条件C−2は、標準偏差δではなく、分散δ2を用いた条件にしてもよい。
図8は、判定条件Dを示す図である。第1の受光強度閾値Pth1は、距離を変数とする一次関数であり、距離が長くなるにつれて減少する。第1の受光強度閾値Pth1の最小値は、予め定められている。この最小値は、撮像装置10が撮像エリアに照射する正弦波変調光の照度等に応じて定められる。図8において、ハッチングで示す領域が、判定条件Dを満足しない領域である。
図9は、判定条件Eを示す図である。第2の受光強度閾値Pth2は、距離を変数とする一次関数であり、距離が長くなるにつれて減少する。第2の受光強度閾値Pth2の最小値は、予め定められている。この最小値は、撮像装置10が撮像エリアに照射する正弦波変調光の照度等に応じて定められる。図9において、ハッチングで示す領域が、判定条件Eを満足しない領域である。
なお、図5〜図9において示した、第1の閾値画素数n1、第2の閾値画素数n2、第3の閾値画素数n3、偏差閾値δth、第1の受光強度閾値Pth1、および第2の受光強度閾値Pth2は一例である。第1の閾値画素数n1、第2の閾値画素数n2、第3の閾値画素数n3、偏差閾値δth、第1の受光強度閾値Pth1、および第2の受光強度閾値Pth2は、距離よって変化しない一定値にしてもよいし、距離の二次関数等で設定されるものであってもよい。
出力部7は、オブジェクト検知装置1本体におけるオブジェクトの検知結果を出力する。この検知結果は、接続されている警報装置(不図示)に入力される。警報装置は、入力された検知結果に応じた音声メッセージ等を出力する。
以下、この例にかかるオブジェクト検知装置1の動作について説明する。図10は、オブジェクト検知処理を示すフローチャートである。
オブジェクト検知装置1は、撮像装置10によって撮像された撮像エリアの距離画像、および受光強度画像が画像入力部2に入力されると(s1)、画像処理部3において入力された撮像エリアの距離画像と背景画像記憶部4に記憶している背景距離画像との差分画像(距離差分画像)を生成する(s2)。
画像処理部3は、s2で生成した差分画像の前景画素を撮像エリアの位置、および測距した距離に基づいてグルーピングすることにより、オブジェクト候補を抽出する(s3)。画像処理部3は、s3で複数のオブジェクト候補を抽出することもあれば、オブジェクト候補を抽出しないこともある。すなわち、s3で抽出されるオブジェクト候補は、1つであるとは限らない。画像処理部3は、s3で抽出したオブジェクト候補毎に、そのオブジェクト候補がノイズであるかどうかを判定するノイズ判定処理を行う(s4)。
図11は、s4にかかるノイズ判定処理を示すフローチャートである。図11では、s3で抽出された1つのオブジェクト候補に対するノイズ判定処理を示している。すなわち、s4では、s3で抽出されたオブジェクト候補毎に、図11に示す処理を行う。
画像処理部3は、処理対象であるオブジェクト候補が撮像装置10の測距可能範囲を超える遠方に位置する可能性がある第1のオブジェクト候補であるか、撮像装置10の測距可能範囲を超える遠方に位置する可能性がない第2のオブジェクト候補であるか、を判定する(s11)。第1のオブジェクト候補は、撮像装置10の測距可能範囲を超える遠方に位置する場合もあれば、撮像装置10の測距可能範囲内に位置する場合もある。第2のオブジェクト候補は、撮像装置10の測距可能範囲内に位置する。
s11では、処理対象であるオブジェクト候補が、撮像装置10の測距可能範囲を超える遠方が撮像される可能性がない画素を含まないオブジェクト候補である場合、第1のオブジェクト候補と判定し、それ以外を第2のオブジェクト候補と判定する。具体的には、画像処理部3は、図12に示すように、全体が第2の領域内に位置するオブジェクト候補X、および第1の領域と第2の領域とにまたがるオブジェクト候補Yを第2のオブジェクト候補と判定し、全体が第1の領域内に位置するオブジェクト候補Zを第1のオブジェクト候補と判定する。
画像処理部3は、s11で第2のオブジェクト候補であると判定すると、このオブジェクト候補が判定条件記憶部6に記憶している判定条件Aを満足するかどうかを判定する(s12)。画像処理部3は、判定条件Aを満足すれば、処理対象のオブジェクト候補をオブジェクトであると判定する(s13)。反対に、画像処理部3は、判定条件Aを満足しなければ、処理対象のオブジェクト候補をオブジェクトではなく、ノイズであると判定する(s14)。
また、画像処理部3は、s11で第1のオブジェクト候補であると判定すると、このオブジェクト候補が判定条件記憶部6に記憶している判定条件B、C、Dを全て満足するかどうかを判定する(s15〜s17)。s16では、判定条件C−1、または判定条件C−2の少なくとも一方を満足した場合に、判定条件Cを満足すると判定する。逆に言えば、判定条件C−1、および判定条件C−2の両方を満足しなかった場合に、判定条件Cを満足しないと判定する。
画像処理部3は、処理対象のオブジェクト候補が判定条件B、C、Dを全て満足すると判定すると、s13で測距可能範囲内に位置するオブジェクトであると判定する。反対に、画像処理部3は、処理対象のオブジェクト候補が判定条件B、C、Dの少なくとも1つについて満足しないと判定すると、s14で測距可能範囲内に位置するオブジェクトではなく、ノイズであると判定する。なお、ここでノイズと判定されたオブジェクト候補は、光の乱反射等によるノイズだけに限らず、撮像装置10の測距可能範囲を超える遠方に位置するオブジェクトである場合もある。
なお、画像処理部3は、判定条件記憶部6に記憶している判定条件B、C、Dの2つ以上を満足したときに、s13でオブジェクトであると判定する構成にしてもよいし、判定条件記憶部6に記憶している判定条件B、C、Dの少なくとも1つを満足したときに、s13でオブジェクトであると判定する構成にしてもよい。
図10に戻って、オブジェクト検知装置1は、s4にかかるノイズ判定処理を完了すると、出力部7から今回のオブジェクト検知結果を出力する(s5)。
このように、この例にかかるオブジェクト検知装置1は、撮像装置10の測距可能範囲を超える位置に存在するオブジェクトを、撮像装置10の測距可能範囲内に位置するオブジェクトであるとする誤検知を抑えることができる。
次に、背景画像記憶部4が記憶する背景距離画像の更新について説明する。この例にかかるオブジェクト検知装置1は、背景画像記憶部4が記憶する背景距離画像の更新時に、属性情報記憶部5が記憶する属性情報の更新も行う。図13は、背景距離画像更新処理を示すフローチャートである。
オブジェクト検知装置1は、撮像装置10が撮像エリア内にオブジェクトが位置していないときに撮像した撮像エリアの距離画像、および受光強度画像の入力を受け付ける(s21)。
オブジェクト検知装置1は、処理対象の画素を決定する(s22)。s22では、以下に示すs23〜s25にかかる処理を行っていない画素(未処理画素)の中から、選択した1つの画素を処理対象の画素に決定する。
画像処理部3は、処理対象の画素が、判定条件記憶部6に記憶している判定条件Eを満足する画素であるかどうかを判定する(s23)。画像処理部3は、判定条件Eを満足する画素であれば、撮像装置10が測距可能な範囲を超える遠方が撮像される可能性がない第2画素と判定し(s24)、反対に判定条件Eを満足しない画素であれば、撮像装置10が測距可能な範囲を超える遠方が撮像される可能性がある第1の画素と判定する(s25)。
画像処理部3は、未処理画素があれば(s26)、s22に戻って上記処理を繰り返す。画像処理部3は、未処理画素が無ければ、属性情報を生成し、今回生成した属性情報を属性情報記憶部5に記憶する(s27)。s27で生成する属性情報は、画素毎に、s24、またはs25の判定結果を対応づけたものである。
また、画像処理部3は、背景距離画像を生成し、今回生成した背景距離画像を背景画像記憶部4に記憶する(s28)。s28では、s25で第1画素と判定した画素については、撮像装置10で測距可能範囲Lmaxを対応付け、s24で第2画素と判定した画素については、その画素について今回入力された距離画像において測距されている距離を対応づけた背景距離画像を生成する。
このように、この例にかかるオブジェクト検知装置1は、属性情報記憶部5が記憶する属性情報を自動的に更新できる。すなわち、背景距離画像や属性情報の更新が、手間をかけることなく適正に行える。
なお、属性情報については、オペレータが、図4に示した第1の領域と、第2の領域とを設定することによって、登録できる構成にしてもよい。
1…オブジェクト検知装置
2…画像入力部
3…画像処理部
4…背景画像記憶部
5…属性情報記憶部
6…判定条件記憶部
7…出力部
10…撮像装置

Claims (11)

  1. 撮像装置が検知エリアに正弦波変調光を照射し、前記正弦波変調光と受光した反射光との位相差を計測することにより撮像した、前記検知エリアの距離画像を入力する画像入力部と、
    前記検知エリアの距離画像の画素毎に、前記撮像装置の測距可能範囲を超える遠方が撮像される可能性がない画素であるかどうかを対応づけた属性情報を記憶する属性情報記憶部と、
    前記検知エリアの背景距離画像を記憶する背景距離画像記憶部と、
    前記画像入力部に入力された前記検知エリアの距離画像と、前記背景距離画像記憶部が記憶する前記検知エリアの背景距離画像と、の距離差分画像を生成し、撮像されているオブジェクト候補を抽出するオブジェクト候補抽出部と、
    前記属性情報記憶部が記憶する各画素の属性情報を用いて、前記オブジェクト候補抽出部が抽出したオブジェクト候補が、前記撮像装置の測距可能範囲を超える遠方に位置する可能性がある第1のオブジェクト候補であるか、前記撮像装置の測距可能範囲を超える遠方に位置する可能性がない第2のオブジェクト候補であるかを判定する候補種別判定部と、
    前記候補種別判定部によって判定された前記第1のオブジェクト候補について、この第1のオブジェクト候補が前記撮像装置の測距可能範囲内に位置するオブジェクトであるか、前記撮像装置の測距可能範囲を超える遠方に位置するオブジェクトであるかを判定するノイズ判定部と、を備えたオブジェクト検知装置。
  2. 前記検知エリア内にオブジェクトが位置していないときに、前記撮像装置が撮像した前記検知エリアの距離画像を用いて、前記背景距離画像記憶部が記憶する前記検知エリアの背景距離画像を更新するとともに、前記属性情報記憶部が記憶する前記属性情報を更新する背景距離画像更新部を備えた、請求項1に記載のオブジェクト検知装置。
  3. 前記ノイズ判定部は、前記第1のオブジェクト候補について、この第1のオブジェクト候補が前記撮像装置の測距可能範囲内に位置するオブジェクトであるか、前記撮像装置の測距可能範囲を超える遠方に位置するオブジェクトであるかを、この第1のオブジェクト候補の距離と画素数を用いて判定する、請求項1、または2に記載のオブジェクト検知装置。
  4. 前記画像入力部には、前記撮像装置が前記検知エリアの距離画像と同じタイミングで撮像した前記検知エリアの受光強度画像も入力され、
    前記ノイズ判定部は、前記第1のオブジェクト候補について、この第1のオブジェクト候補が前記撮像装置の測距可能範囲内に位置するオブジェクトであるか、前記撮像装置の測距可能範囲を超える遠方に位置するオブジェクトであるかを、この第1のオブジェクト候補にかかる画素の受光強度のばらつきを示す分散にかかる値を用いて判定する、請求項1〜3のいずれかに記載のオブジェクト検知装置。
  5. 前記ノイズ判定部は、前記第1のオブジェクト候補について、この第1のオブジェクト候補が前記撮像装置の測距可能範囲内に位置するオブジェクトであるか、前記撮像装置の測距可能範囲を超える遠方に位置するオブジェクトであるかを、この第1のオブジェクト候補にかかる画素の受光強度を用いて判定する、請求項4に記載のオブジェクト検知装置。
  6. 前記画像入力部には、前記撮像装置が前記検知エリアの距離画像と同じタイミングで撮像した前記検知エリアの受光強度画像も入力され、
    前記ノイズ判定部は、前記第1のオブジェクト候補について、この第1のオブジェクト候補が前記撮像装置の測距可能範囲内に位置するオブジェクトであるか、前記撮像装置の測距可能範囲を超える遠方に位置するオブジェクトであるかを、この第1のオブジェクト候補にかかる画素の受光強度を用いて判定する、請求項1〜3のいずれかに記載のオブジェクト検知装置。
  7. 前記ノイズ判定部は、前記候補種別判定部によって判定された前記第2のオブジェクト候補について、この第2のオブジェクト候補の画素数を用いて、前記撮像装置の測距可能範囲内に位置するオブジェクトであるかどうかを判定する、請求項1〜6のいずれかに記載のオブジェクト検知装置。
  8. 前記候補種別判定部は、前記撮像装置の測距可能範囲を超える遠方が撮像される可能性がない画素を含まないオブジェクト候補を、前記第1のオブジェクト候補であると判定する、請求項1〜7のいずれかに記載のオブジェクト検知装置。
  9. 前記候補種別判定部は、前記撮像装置の測距可能範囲を超える遠方が撮像される可能性がない画素を含むオブジェクト候補を、前記第2のオブジェクト候補であると判定する、請求項1〜8のいずれかに記載のオブジェクト検知装置。
  10. 画像入力部に入力された検知エリアの距離画像であって、撮像装置が検知エリアに正弦波変調光を照射し、前記正弦波変調光と受光した反射光との位相差を計測することにより撮像した距離画像と、背景距離画像記憶部が記憶する前記検知エリアの背景距離画像と、の距離差分画像を生成し、撮像されているオブジェクト候補を抽出するオブジェクト候補抽出ステップと、
    属性情報記憶部が各画素について記憶する、前記撮像装置の測距可能範囲を超える遠方が撮像される可能性がない画素であるかどうかを対応づけた属性情報を用いて、前記オブジェクト候補抽出ステップで抽出したオブジェクト候補が、前記撮像装置の測距可能範囲を超える遠方に位置する可能性がある第1のオブジェクト候補であるか、前記撮像装置の測距可能範囲を超える遠方に位置する可能性がない第2のオブジェクト候補であるかを判定する候補種別判定ステップと、
    前記候補種別判定ステップによって判定された前記第1のオブジェクト候補について、この第1のオブジェクト候補が前記撮像装置の測距可能範囲内に位置するオブジェクトであるか、前記撮像装置の測距可能範囲を超える遠方に位置するオブジェクトであるかを判定するノイズ判定ステップと、を備えたオブジェクト検知方法。
  11. 画像入力部に入力された検知エリアの距離画像であって、撮像装置が検知エリアに正弦波変調光を照射し、前記正弦波変調光と受光した反射光との位相差を計測することにより撮像した距離画像と、背景距離画像記憶部が記憶する前記検知エリアの背景距離画像と、の距離差分画像を生成し、撮像されているオブジェクト候補を抽出するオブジェクト候補抽出ステップと、
    属性情報記憶部が各画素について記憶する、前記撮像装置の測距可能範囲を超える遠方が撮像される可能性がない画素であるかどうかを対応づけた属性情報を用いて、前記オブジェクト候補抽出ステップで抽出したオブジェクト候補が、前記撮像装置の測距可能範囲を超える遠方に位置する可能性がある第1のオブジェクト候補であるか、前記撮像装置の測距可能範囲を超える遠方に位置する可能性がない第2のオブジェクト候補であるかを判定する候補種別判定ステップと、
    前記候補種別判定ステップによって判定された前記第1のオブジェクト候補について、この第1のオブジェクト候補が前記撮像装置の測距可能範囲内に位置するオブジェクトであるか、前記撮像装置の測距可能範囲を超える遠方に位置するオブジェクトであるかを判定するノイズ判定ステップと、をコンピュータに実行させるオブジェクト検知プログラム。
JP2015050433A 2015-03-13 2015-03-13 オブジェクト検知装置、オブジェクト検知方法、およびオブジェクト検知プログラム Active JP6406076B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015050433A JP6406076B2 (ja) 2015-03-13 2015-03-13 オブジェクト検知装置、オブジェクト検知方法、およびオブジェクト検知プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015050433A JP6406076B2 (ja) 2015-03-13 2015-03-13 オブジェクト検知装置、オブジェクト検知方法、およびオブジェクト検知プログラム

Publications (2)

Publication Number Publication Date
JP2016170076A true JP2016170076A (ja) 2016-09-23
JP6406076B2 JP6406076B2 (ja) 2018-10-17

Family

ID=56983581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015050433A Active JP6406076B2 (ja) 2015-03-13 2015-03-13 オブジェクト検知装置、オブジェクト検知方法、およびオブジェクト検知プログラム

Country Status (1)

Country Link
JP (1) JP6406076B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018163096A (ja) * 2017-03-27 2018-10-18 沖電気工業株式会社 情報処理方法および情報処理装置
JP2020148074A (ja) * 2019-03-15 2020-09-17 ヤンマーパワーテクノロジー株式会社 作業機械の接触防止装置
CN113973554A (zh) * 2021-11-29 2022-01-28 广西民族大学 一种甘蔗横向种植机的实时补种机构及其控制方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008241259A (ja) * 2007-03-23 2008-10-09 Fujifilm Corp 測距装置及び測距方法
JP2009093428A (ja) * 2007-10-09 2009-04-30 Optex Co Ltd レーザエリアセンサ
JP2011002339A (ja) * 2009-06-18 2011-01-06 Panasonic Electric Works Co Ltd 物体検知装置
JP2011016421A (ja) * 2009-07-08 2011-01-27 Higashi Nippon Transportec Kk 支障物検知装置及びこれを備えたプラットホームドアシステム並びに支障物検知方法
JP2012173073A (ja) * 2011-02-21 2012-09-10 Omron Corp 物体検出ユニット
US20130222543A1 (en) * 2012-02-27 2013-08-29 Samsung Electronics Co., Ltd. Method and apparatus for generating depth information from image
WO2014042168A1 (ja) * 2012-09-14 2014-03-20 オムロン株式会社 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム
JP2014130086A (ja) * 2012-12-28 2014-07-10 Panasonic Corp 距離画像センサ、処理装置、プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008241259A (ja) * 2007-03-23 2008-10-09 Fujifilm Corp 測距装置及び測距方法
JP2009093428A (ja) * 2007-10-09 2009-04-30 Optex Co Ltd レーザエリアセンサ
JP2011002339A (ja) * 2009-06-18 2011-01-06 Panasonic Electric Works Co Ltd 物体検知装置
JP2011016421A (ja) * 2009-07-08 2011-01-27 Higashi Nippon Transportec Kk 支障物検知装置及びこれを備えたプラットホームドアシステム並びに支障物検知方法
JP2012173073A (ja) * 2011-02-21 2012-09-10 Omron Corp 物体検出ユニット
US20130222543A1 (en) * 2012-02-27 2013-08-29 Samsung Electronics Co., Ltd. Method and apparatus for generating depth information from image
WO2014042168A1 (ja) * 2012-09-14 2014-03-20 オムロン株式会社 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム
JP2014130086A (ja) * 2012-12-28 2014-07-10 Panasonic Corp 距離画像センサ、処理装置、プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018163096A (ja) * 2017-03-27 2018-10-18 沖電気工業株式会社 情報処理方法および情報処理装置
JP7062878B2 (ja) 2017-03-27 2022-05-09 沖電気工業株式会社 情報処理方法および情報処理装置
JP2020148074A (ja) * 2019-03-15 2020-09-17 ヤンマーパワーテクノロジー株式会社 作業機械の接触防止装置
WO2020189194A1 (ja) * 2019-03-15 2020-09-24 ヤンマー株式会社 作業機械の接触防止装置
EP3940148A4 (en) * 2019-03-15 2022-12-21 Yanmar Power Technology Co., Ltd. CONTACT PROTECTION DEVICE FOR A WORKING MACHINE
CN113973554A (zh) * 2021-11-29 2022-01-28 广西民族大学 一种甘蔗横向种植机的实时补种机构及其控制方法

Also Published As

Publication number Publication date
JP6406076B2 (ja) 2018-10-17

Similar Documents

Publication Publication Date Title
JP7191921B2 (ja) Tofカメラシステムおよび該システムにより距離を測定するための方法
CN107430187B (zh) 深度传感器模块和深度感测方法
US20210405158A1 (en) Depth sensing using optical time-of-flight techniques through a transmissive cover
JP6621767B2 (ja) 飛行時間データをビニングするための方法
CN103998949A (zh) 对飞行时间信号处理的改进或与之相关的改进
JP6261681B2 (ja) タイムオブフライト信号の処理における又はこれに関する改良
JP5760167B2 (ja) 空間情報検出装置
JP2020003446A (ja) 光測距装置
JP6406076B2 (ja) オブジェクト検知装置、オブジェクト検知方法、およびオブジェクト検知プログラム
JPWO2012115083A1 (ja) 空間情報検出装置
EP3721261B1 (en) Distance time-of-flight modules
JP6070306B2 (ja) 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム
JP6772639B2 (ja) 視差演算システム、移動体及びプログラム
JP2014070936A (ja) 誤差画素検出装置、誤差画素検出方法、および誤差画素検出プログラム
JP2015222234A (ja) レーザレーダ装置
JP2017181291A (ja) 距離測定装置、距離測定方法及びプログラム
JP2008275379A (ja) レーザ測距装置およびレーザ測距方法
JP2022168956A (ja) レーザ計測装置およびその計測方法
JP2014153288A (ja) 撮像装置
RU2014153034A (ru) Устройство и способ обработки данных сканирования в случае входного электростатического разряда (esd)
JP2018159685A (ja) 距離測定装置
WO2020084851A1 (ja) 演算処理装置、測距装置及び演算処理方法
JP5802917B2 (ja) 距離画像カメラおよびこれを用いた距離測定方法
JP2014163884A (ja) 距離測定装置
JP2015200566A (ja) 距離測定装置、距離測定方法および距離測定プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180903

R150 Certificate of patent or registration of utility model

Ref document number: 6406076

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250