JP2020013291A - 物体検出システム及び物体検出プログラム - Google Patents
物体検出システム及び物体検出プログラム Download PDFInfo
- Publication number
- JP2020013291A JP2020013291A JP2018134616A JP2018134616A JP2020013291A JP 2020013291 A JP2020013291 A JP 2020013291A JP 2018134616 A JP2018134616 A JP 2018134616A JP 2018134616 A JP2018134616 A JP 2018134616A JP 2020013291 A JP2020013291 A JP 2020013291A
- Authority
- JP
- Japan
- Prior art keywords
- edge
- value
- replacement
- pixel
- distance value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
Description
距離画像データに対してクラスタリングを行うことで各物体を検出するが、物体のエッジ部分では、尾引きが発生する可能性がある。
ここで尾引きの発生について考える。図6に示すようにレーザーレーダー装置21により物体41,42が存在する対象領域30をX方向に走査し距離画像データを得る。前方物体41を走査するとき、仮に前方物体41のみがあった場合には、前方物体41からの反射光を受光検出した信号波形41Sが図7(A)に示すように得られる。仮に後方物体42のみがあった場合には、後方物体42からの反射光を受光検出した信号波形42Sが図7(B)に示すように得られる。実際には信号波形41Sと信号波形42Sが重なり合ったような、2つのピーク43T1,43T2とその間の一つのボトムピーク43Bを持った信号波形43S(図7(C))が取得される。ボトムピーク43Bが閾値THを超えている場合、一つのピーク43T1を持った波形と他の一つのピーク43T2を持った波形とに分離できず一つのパルスと判定してしまうことがある。一つのパルスと判定した場合、距離値は2つの物体41,42の中間的な値が算出される。これが尾引きである。尾引きにより実際の物体に対応しない画素43Gが生じる。
一方、尾引き画素43Gが生じると、図8(B)に示すように前方物体41と後方物体42が結合された形でクラスタリングされてしまい一つのオブジェクト43Jとして検出してしまう可能性があり、物体の検出精度が低下してしまう。
対象領域の距離値又は同距離値その他の測定値の分布データを取得するデータ取得手段と、
前記対象領域を分割した要素であって一の測定値のある要素を画素と称して、前記分布データに基づきエッジ画素を含むエッジ領域を検出するエッジ検出手段と、
前記エッジ領域内の距離値の分布データに基づき、前記エッジ画素の距離値を置換処理するか否か及び置き換える場合に置換値を判定する判定手段と、
前記判定手段の判定結果に基づき前記エッジ画素の距離値を置換値に置換処理する置換処理手段と、
前記置換処理手段により置換処理された距離値の分布データに対してクラスタリングを行って物体を検出する物体検出処理手段と、を備える物体検出システムである。
前記移動体特定手段によって移動体が特定された後に取得した前記分布データについて、前記エッジ検出手段は移動体を含む領域に対して複数種類の画像処理を実行してエッジを検出する、請求項1から請求項10のうちいずれか一に記載の物体検出システムである。
前記移動体特定手段によって移動体が特定された後に取得した前記分布データについて、前記エッジ検出手段は移動体を含む領域に対して複数種類の前記分布データに基づきエッジを検出する、請求項1から請求項10のうちいずれか一に記載の物体検出システムである。
コンピューターを、
対象領域の距離値又は同距離値その他の測定値の分布データを取得するデータ取得手段と、
前記対象領域を分割した要素であって一の測定値のある要素を画素と称して、前記分布データに基づきエッジ画素を含むエッジ領域を検出するエッジ検出手段と、
前記エッジ領域内の距離値の分布データに基づき、前記エッジ画素の距離値を置換処理するか否か及び置き換える場合に置換値を判定する判定手段と、
前記判定手段の判定結果に基づき前記エッジ画素の距離値を置換値に置換処理する置換処理手段と、
前記置換処理手段により置換処理された距離値の分布データに対してクラスタリングを行って物体を検出する物体検出処理手段として機能させるための物体検出プログラムである。
以上の画像データ以外の分布データについても、対象領域を分割した要素であって一の測定値のある要素を画素と称する。すなわち、以上の画像データ以外の分布データについても、広義の画像の概念で捉え、一の測定値に対応する小領域に指して「画素」の用語を用いる。
データ取得手段11は、上記の距離データ及び輝度データをレーザーレーダー装置21から取得し、温度データをサーマルカメラ22から取得し、画像データをカメラ23から取得する。データ取得手段11は、これらのデータを一定時間レートで連続的に取得する。一面のデータをフレームと称する。
移動体特定手段12は、物体検出処理手段16による検出結果の複数フレームに基づき移動体を特定する。
エッジ検出手段13は、いずれか1種又は2以上の種類の分布データに基づきエッジ画素を含むエッジ領域を検出する。
判定手段14は、エッジ領域内の距離データに基づき、エッジ画素の距離値を置換処理するか否か及び置き換える場合に置換値を判定する。
置換処理手段15は、判定手段14の判定結果に基づきエッジ画素の距離値を置換値に置換処理する。
物体検出処理手段16は、置換処理手段15により置換処理された距離データに対してクラスタリングを行って物体を検出する。
出力手段17は、必要に応じて他の情報処理手段に物体検出処理手段16の検出結果を出力する。
選択手段18は、エッジ検出手段13がエッジ検出する基礎データの種類をユーザーに選択させる。すなわち、エッジ検出手段13は、ユーザーインターフェースを介して入力されるユーザーからの選択指令に基づき、エッジ検出手段13がエッジ検出する基礎データを、距離データ、輝度データ、温度データ及び画像データのうちから選択設定する。
尾引きが発生しない場合は、図2(A)に示すように前方物体41に対応した画素群41Pと、後方物体42に対応した画素群42Pが含まれる距離データがデータ取得手段11で取得され、図2(B)に示すように前方物体41をオブジェクト41Jとして、後方物体42をオブジェクト42Jとしてそれぞれ物体検出処理手段16により検出する。
この尾引き画素43Gが含まれる距離データに基づきクラスタリングを行うと、図8(B)に示して上述したように前方物体41と後方物体42が結合された形でクラスタリングされてしまい一つのオブジェクト43Jとして検出してしまう可能性がある。
置換後、図3(C)に示すように前方物体41をオブジェクト41Jとして、後方物体42をオブジェクト42Jとしてそれぞれ物体検出処理手段16により検出できる。
処理例1につき図4のフローチャートを参照して説明する。
まず、データ取得手段11は、距離データ、輝度データ、温度データ及び画像データからなる1フレーム分の測定データを取得する(S11)。
次に、エッジ検出に使用する画素群を測定データから抽出する(S12)。当該画素群は、注目画素とその周辺画素からなる。また、抽出元の測定データは、データ取得手段11が取得した距離データ、輝度データ、温度データ及び画像データのうち、選択手段18によって選択されたデータである。例えば、距離データが選ばれる。
次に、移動体特定手段12は、ステップS12で抽出した画素群が移動体を含む領域のものか否かを判断する(ステップS13)、
ステップS13でYESの場合、エッジ検出手段13は、ステップS12で抽出した画素群に対し、複数種類の画像処理(エッジ検出フィルタ)を実行してエッジを検出する(S14)。複数種類の画像処理(エッジ検出フィルタ)を使用することにより、移動体が含まれる場合のエッジ検出精度を向上する。
ステップS13でNOの場合、エッジ検出手段13は、ステップS12で抽出した画素群に対し、単一の画像処理(エッジ検出フィルタ)を実行してエッジを検出する(S15)。
ステップS17で判定手段14は、エッジ領域(当該画素群)に無限遠の距離値をとる画素が含まれているか否か判定する。エッジ領域(当該画素群)に無限遠の距離値をとる画素が含まれている場合は、置換処理を実行しない(S17でYES)。無限遠と測定される画素は、対象物で反射したレーザー光がレーザーレーダー装置21に返って来ていない可能性があり、距離データが正しく測定されていない画素がある可能性があるから本発明による置換処理を実行しない。
ステップS18で判定手段14は、エッジ領域(当該画素群)に距離値が所定の距離値を超える画素があるか否か判定する。エッジ領域(当該画素群)に距離値が所定の距離値を超える画素がある場合は、置換処理を実行しない(S18でYES)。遠距離の物体に関しては、近距離の物体に比較してエッジ検出精度及び物体検出精度が低下するが、遠距離の物体に関して本発明による置換処理を実行してしまうと、さらにエッジ検出精度及び物体検出精度が低下するおそれがあるので置換処理を実行しない。
第1置換処理(S21)では、エッジ画素の距離値を、エッジ領域を構成する画素群における最小値に置き換える。ここで、エッジ画素は、エッジ領域と判断された画素群内の注目画素である。
第2置換処理(S22)では、エッジ画素の距離値を、エッジ領域を構成する画素群における最大値に置き換える。
第3置換処理(S23)では、エッジ画素をクラスタリング対象から除去する。
本実施形態ではステップS19で判定手段14が、最小値に近い値と最大値に近い値とがそれぞれ所定数以上あるか否判定する。判定手段14は、最小値に近い値と最大値に近い値とがそれぞれ所定数以上の場合に、置換処理手段15に実行させる置換処理を第3置換処理と判定する。近い値か否かは所定の閾値を定めて判断する。所定数と閾値は、両者の兼ね合いも考慮して適度に設定される。
1フレームの処理が実行されると、そのフレームに関しては図3(A)に示した尾引き画素43Gは置換処理され、例えば図3(B)に示すように尾引き画素が無い状態の距離データとなる。
次に物体検出処理手段16は、置換処理された距離データに対してクラスタリングを行って物体を検出する(S25)。これにより図3(C)に示すように前方物体41をオブジェクト41Jとして、後方物体42をオブジェクト42Jとしてそれぞれ検出する。
続けて次フレームの取得に移行する(S26からからS11に回帰)。処理終了指令が入力されれば処理を終了する。
処理例2につき図5のフローチャートを参照して説明する。
処理例2は、ステップS11−S13、S16−S26は上記処理例1と同じである。処理例2は、ステップS13でYESの後のステップS31及びステップS13でNOの後のステップS32が処理例1とは異なる。また、処理例2は、ステップS18でYESの後にステップS33が入る点で処理例1とは異なる。また、ステップS12での抽出元の測定データは、以下に説明する通りである。
ステップS13でNOの場合、エッジ検出手段13は、ステップS12で抽出した距離データの画素群に対し、単一の画像処理(エッジ検出フィルタ)を実行してエッジを検出する(S32)。
ステップS33で判定手段14は、距離値以外の測定データに基づきエッジ検出手段13にエッジ検出を行わせて画素群がエッジ領域と判定されたか否かを判定する。
判定手段14は、その結果としてエッジ領域と判定されない場合に置換処理を実行しないと判定する(S33でNO→S24)。
判定手段14は、ステップS33でYESの場合、ステップS19に処理を移行させる。これにより、尾引きの解消率を上げ、物体検出精度を向上する。
なお、以上の実施形態において、温度データを使用しない場合は、サーマルカメラ22を本物体検出システム1に接続する必要はなく、画像データを使用しない場合は、カメラ23を本物体検出システム1に接続する必要はない。
11 データ取得手段
12 移動体特定手段
13 エッジ検出手段
14 判定手段
15 置換処理手段
16 物体検出処理手段
17 出力手段
18 選択手段
21 レーザーレーダー装置
22 サーマルカメラ
23 カメラ
30 対象領域
41 前方物体
42 後方物体
43G 尾引き画素
43GI 置換後の画素
Claims (14)
- 対象領域の距離値の分布データに基づき当該対象領域中の物体を検出する物体検出システムであって、
対象領域の距離値又は同距離値その他の測定値の分布データを取得するデータ取得手段と、
前記対象領域を分割した要素であって一の測定値のある要素を画素と称して、前記分布データに基づきエッジ画素を含むエッジ領域を検出するエッジ検出手段と、
前記エッジ領域内の距離値の分布データに基づき、前記エッジ画素の距離値を置換処理するか否か及び置き換える場合に置換値を判定する判定手段と、
前記判定手段の判定結果に基づき前記エッジ画素の距離値を置換値に置換処理する置換処理手段と、
前記置換処理手段により置換処理された距離値の分布データに対してクラスタリングを行って物体を検出する物体検出処理手段と、を備える物体検出システム。 - 前記エッジ領域は前記エッジ画素とその周辺画素を含む請求項1に記載の物体検出システム。
- 前記データ取得手段は、画像データを取得し、前記エッジ検出手段は、前記画像データに基づきエッジ画素を含むエッジ領域を検出する請求項2に記載の物体検出システム。
- 前記データ取得手段は、温度値の分布データを取得し、前記エッジ検出手段は、前記温度値の分布データに基づきエッジ画素を含むエッジ領域を検出する請求項2又は請求項3に記載の物体検出システム。
- 前記データ取得手段は、距離測定光の受光した輝度値の分布データを取得し、前記エッジ検出手段は、前記輝度値の分布データに基づきエッジ画素を含むエッジ領域を検出する請求項2から請求項4のうちいずれか一に記載の物体検出システム。
- 前記判定手段が判定し前記置換処理手段が実行する置換処理として、エッジ画素の距離値を、エッジ領域を構成する画素群における最小値に置き換える第1置換処理と、エッジ画素の距離値を、エッジ領域を構成する画素群における最大値に置き換える第2置換処理と、エッジ画素を除去する第3置換処理とを含む請求項2から請求項5のうちいずれか一に記載の物体検出システム。
- 前記判定手段は、エッジ領域を構成する画素群において最小値に近い距離値の方が多い場合には、前記置換処理手段に実行させる置換処理を前記第1置換処理と判定し、最大値に近い距離値の方が多い場合には、前記置換処理手段に実行させる置換処理を前記第2置換処理と判定し、最小値に近い値と最大値に近い値とが同数もしくはそれぞれが所定数以上の場合には、前記置換処理手段に実行させる置換処理を前記第3置換処理と判定する、請求項6に記載の物体検出システム。
- 前記判定手段は、エッジ領域に無限遠の距離値をとる画素が含まれる場合に、置換処理を実行しないと判定する、請求項2から請求項7のうちいずれか一に記載の物体検出システム。
- 前記判定手段は、エッジ領域に距離値が所定の距離値を超える画素がある場合には、置換処理を実行しないと判定する、請求項2から請求項8のうちいずれか一に記載の物体検出システム。
- 前記判定手段は、エッジ領域に距離値が所定の距離値を超える画素がある場合には、距離値以外の前記分布データに基づき前記エッジ検出手段にエッジ検出を行わせてその結果としてエッジ領域と判定されない場合に置換処理を実行しないと判定する、請求項2から請求項8のうちいずれか一に記載の物体検出システム。
- 前記物体検出処理手段による検出結果の複数フレームに基づき移動体を特定する移動体特定手段をさらに備え、
前記移動体特定手段によって移動体が特定された後に取得した前記分布データについて、前記エッジ検出手段は移動体を含む領域に対して複数種類の画像処理を実行してエッジを検出する、請求項1から請求項10のうちいずれか一に記載の物体検出システム。 - 前記物体検出処理手段による検出結果の複数フレームに基づき移動体を特定する移動体特定手段をさらに備え、
前記移動体特定手段によって移動体が特定された後に取得した前記分布データについて、前記エッジ検出手段は移動体を含む領域に対して複数種類の前記分布データに基づきエッジを検出する、請求項1から請求項10のうちいずれか一に記載の物体検出システム。 - 前記エッジ検出手段がエッジ検出する基礎データの種類をユーザーに選択させる選択手段を備える請求項1から請求項12のうちいずれか一に記載の物体検出システム。
- コンピューターに、対象領域の距離値の分布データに基づき当該対象領域中の物体を検出させるための物体検出プログラムであって、
コンピューターを、
対象領域の距離値又は同距離値その他の測定値の分布データを取得するデータ取得手段と、
前記対象領域を分割した要素であって一の測定値のある要素を画素と称して、前記分布データに基づきエッジ画素を含むエッジ領域を検出するエッジ検出手段と、
前記エッジ領域内の距離値の分布データに基づき、前記エッジ画素の距離値を置換処理するか否か及び置き換える場合に置換値を判定する判定手段と、
前記判定手段の判定結果に基づき前記エッジ画素の距離値を置換値に置換処理する置換処理手段と、
前記置換処理手段により置換処理された距離値の分布データに対してクラスタリングを行って物体を検出する物体検出処理手段として機能させるための物体検出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018134616A JP2020013291A (ja) | 2018-07-18 | 2018-07-18 | 物体検出システム及び物体検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018134616A JP2020013291A (ja) | 2018-07-18 | 2018-07-18 | 物体検出システム及び物体検出プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020013291A true JP2020013291A (ja) | 2020-01-23 |
Family
ID=69170048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018134616A Pending JP2020013291A (ja) | 2018-07-18 | 2018-07-18 | 物体検出システム及び物体検出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020013291A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022202298A1 (ja) * | 2021-03-22 | 2022-09-29 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009156776A (ja) * | 2007-12-27 | 2009-07-16 | Ihi Corp | 人体検出装置及び人体検出方法 |
JP2013235537A (ja) * | 2012-05-11 | 2013-11-21 | Nikon Corp | 画像作成装置、画像作成プログラム、及び記録媒体 |
JP2014524016A (ja) * | 2011-06-24 | 2014-09-18 | ソフトキネティック ソフトウェア | 深度測定の品質の向上 |
-
2018
- 2018-07-18 JP JP2018134616A patent/JP2020013291A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009156776A (ja) * | 2007-12-27 | 2009-07-16 | Ihi Corp | 人体検出装置及び人体検出方法 |
JP2014524016A (ja) * | 2011-06-24 | 2014-09-18 | ソフトキネティック ソフトウェア | 深度測定の品質の向上 |
JP2013235537A (ja) * | 2012-05-11 | 2013-11-21 | Nikon Corp | 画像作成装置、画像作成プログラム、及び記録媒体 |
Non-Patent Citations (1)
Title |
---|
XU,YATONG,ET AL.: "Spatial-temporal Depth De-noising for Kinect based on Texture Edge-assisted Depth Classification", PROCEEDINGS OF THE 19TH INTERNATIONAL CONFERENCE ON DIGITAL SIGNAL PROCESSING, JPN6022002974, 23 August 2014 (2014-08-23), US, pages 327 - 332, XP032644090, ISSN: 0004695405, DOI: 10.1109/ICDSP.2014.6900681 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022202298A1 (ja) * | 2021-03-22 | 2022-09-29 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10636130B2 (en) | Image processing device | |
US10726539B2 (en) | Image processing apparatus, image processing method and storage medium | |
US9652855B2 (en) | Image processing apparatus that identifies image area, and image processing method | |
US10194130B2 (en) | Image processing apparatus, image processing method, and program | |
EP3855395A1 (en) | Depth acquisition device, depth acquisition method and program | |
US9047673B2 (en) | Apparatus and method for extracting target, and recording medium storing program for performing the method | |
EP3629288B1 (en) | Method for detecting flying spot on edge of depth image, electronic device, and computer readable storage medium | |
EP3139343B1 (en) | Image processing apparatus, image processing method, and a program | |
EP3690800A2 (en) | Information processing apparatus, information processing method, and program | |
US20220084225A1 (en) | Depth Map Processing Method, Electronic Device and Readable Storage Medium | |
JP2005242488A (ja) | 物体検出装置、物体検出方法、プログラム | |
JP2016178608A5 (ja) | ||
US8897521B2 (en) | Ultrasound image registration apparatus and method thereof | |
US20150206024A1 (en) | Image processing apparatus, image processing method, and storage medium | |
US20190266392A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2020013291A (ja) | 物体検出システム及び物体検出プログラム | |
US11887315B2 (en) | Method and apparatus for tracking an object | |
US10755389B2 (en) | Image processing apparatus, image processing method, and medium | |
JP7375838B2 (ja) | 測距補正装置、測距補正方法、測距補正プログラム、および測距装置 | |
JP5754931B2 (ja) | 画像解析装置、画像解析方法及びプログラム | |
JP2018160024A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6584083B2 (ja) | 画像処理装置および画像処理プログラム | |
JP7300331B2 (ja) | 機械学習用情報処理装置、機械学習用情報処理方法、および機械学習用情報処理プログラム | |
US20200342575A1 (en) | Image processing apparatus, control method of same, and non-transitory computer-readable storage medium | |
JP5616743B2 (ja) | 撮像装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201223 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220201 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220331 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220726 |