JP2017201493A - 柱状物体認識方法、柱状物体認識装置および無人走行車 - Google Patents

柱状物体認識方法、柱状物体認識装置および無人走行車 Download PDF

Info

Publication number
JP2017201493A
JP2017201493A JP2016093498A JP2016093498A JP2017201493A JP 2017201493 A JP2017201493 A JP 2017201493A JP 2016093498 A JP2016093498 A JP 2016093498A JP 2016093498 A JP2016093498 A JP 2016093498A JP 2017201493 A JP2017201493 A JP 2017201493A
Authority
JP
Japan
Prior art keywords
point
dimensional
points
edge candidate
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016093498A
Other languages
English (en)
Inventor
要 秀紀
Hidenori Kaname
秀紀 要
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murata Machinery Ltd
Original Assignee
Murata Machinery Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murata Machinery Ltd filed Critical Murata Machinery Ltd
Priority to JP2016093498A priority Critical patent/JP2017201493A/ja
Publication of JP2017201493A publication Critical patent/JP2017201493A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】ノイズを含む3次元データからであっても、精度よく物体を検出することができる柱状物体認識方法などを提供する。【解決手段】柱状物体認識方法であって、物体の表面の複数箇所までのZ軸方向の距離を含む3次元距離を計測するセンサ120から当該3次元距離を示す距離データを取得し(S111)、距離データから得られる複数の3次元点のそれぞれにおいて、X軸方向の第1範囲内にある他の3次元点に対して第1距離以上の奥行き差がある3次元点を、エッジ候補点として抽出し(S112)、複数のエッジ候補点をX−Z平面上に投影し(S113)、X−Z平面が均等に分割された複数の分割領域のうちで、投影した複数のエッジ候補点を最も多く含む最多点領域を特定し(S114)、最多点領域内の所定の基準点から所定範囲の領域である対象領域に含まれる複数の3次元点のZ軸方向およびX軸方向に係る2次元座標の重心点を算出する(S115)。【選択図】図8

Description

本発明は、柱状物体認識方法、柱状物体認識装置および無人走行車に関する。
従来、ステレオ画像(3次元データ)から縦エッジを抽出し、抽出した縦エッジを用いて障害物(物体)を検出する障害物検出装置が開示されている(例えば、特許文献1参照)。
特開平3−27405号公報
しかしながら、特許文献1の技術では、3次元画像にノイズが含まれる場合があり、ノイズの影響によって、精度よく物体の位置を検出することができないという課題がある。
そこで、本発明は、ノイズを含む3次元データからであっても、精度よく物体の位置を検出することができる柱状物体認識方法などを提供する。
上記目的を達成するために、本発明の一態様に係る柱状物体認識方法は、柱状物体認識装置により行われる柱状物体認識方法であって、柱状物体を含む物体の表面の複数箇所までの奥行き方向の距離を含む3次元距離を計測するセンサから当該3次元距離を示す距離データを取得し、取得した前記距離データから得られる前記複数箇所の3次元座標で示される複数の3次元点のそれぞれにおいて、前記奥行き方向に垂直な第1方向の第1範囲内にある他の3次元点に対して第1距離以上の奥行き差がある3次元点を、エッジ候補点として抽出し、抽出した複数の前記エッジ候補点を前記奥行き方向および前記第1方向により規定される2次元平面上に投影し、前記2次元平面が均等に分割された複数の分割領域のうちで、投影した前記複数のエッジ候補点を最も多く含む最多点領域を特定し、特定した前記最多点領域内の所定の基準点から所定範囲の領域である対象領域に含まれる複数の前記3次元点の少なくとも一部の前記奥行き方向および前記第1方向に係る2次元座標の重心点を算出する。
このため、奥行き方向および第1方向における座標値が互いに近い位置にあり、かつ、多数のエッジ候補点の塊となっているエッジ候補群の近くに配置されている3次元点群を容易に特定することができる。このため、ノイズを含む3次元データからであっても、奥行き方向および第1方向に垂直な第2方向に延びる柱状物体のエッジの位置を特定することが容易にでき、精度よく柱状物体の位置を検出することができる。
また、前記抽出では、前記複数の3次元点において、前記第1方向の一方側の前記第1範囲内にある他の3次元点に対して前記第1距離以上手前側にあり、かつ、前記第1方向の他方側の前記第1範囲内にある他の3次元点に対して奥行き差の絶対値が第2距離以下である3次元点を前記エッジ候補点として抽出してもよい。
このため、抽出では、第1方向の一方側に物体が存在しない、または、奥側に物体がオフセットして存在する3次元点であって、抽出したエッジ候補点よりも第1方向の他方側に物体の平面が連続している可能性が高い3次元点をエッジ候補点として抽出できる。よって、抽出では、柱状部材の第1方向の一方側の端部に相当する可能性が高い3次元点(エッジ)である可能性が高いエッジ候補点を抽出できる。
また、前記算出では、前記対象領域に含まれる前記複数の3次元点の全ての前記奥行き方向および前記第1方向に係る2次元座標の重心点を算出してもよい。
このため、簡単な処理で柱状物体のエッジの位置を特定することができる。
また、前記算出では、前記対象領域に含まれる前記複数の3次元点のうちの前記抽出により抽出された前記複数のエッジ候補点の前記奥行き方向および前記第1方向の座標の重心点を算出してもよい。
このため、精度よく柱状物体のエッジの位置を特定することができる。
また、さらに、(i)前記複数のエッジ候補点のうち、前記奥行き方向および前記第1方向のそれぞれにおいて前記基準点から第2範囲内にあるエッジ候補点の1つを所定のクラスタの構成点として登録する第1登録を行い、(ii)前記所定のクラスタに新たに登録した前記エッジ候補点を新たな基準点として、当該新たな基準点よりも前記奥行き方向および前記第1方向に垂直な第2方向の一方側の第3範囲内に位置し、かつ、前記奥行き方向および前記第1方向のそれぞれにおいて、前記第2範囲内にある前記エッジ候補点を前記所定のクラスタの構成点として登録する第2登録を、該当するエッジ候補点がなくなるまで繰り返し行う、クラスタリングを行い、前記算出では、前記クラスタリングにおいて前記所定のクラスタの構成点として登録された複数の前記エッジ候補点の前記奥行き方向および前記第1方向の座標の重心点を算出してもよい。
このため、柱状物体のエッジが検出されることにより得られた3次元点である可能性が高いエッジ候補点を抽出することができる。よって、精度よく柱状物体のエッジの位置を特定することができる。
また、前記抽出では、(i)前記複数の3次元点において、前記第1方向の一方側の前記第1範囲内にある他の3次元点に対して前記第1距離以上手前側にあり、かつ、前記第1方向の他方側の前記第1範囲内にある他の3次元点に対して奥行き差の絶対値が第2距離以下である3次元点を第1のエッジ候補点として抽出し、かつ、(ii)前記第1方向の他方側の前記第1範囲内にある他の3次元点に対して前記第1距離以上手前側にあり、かつ、前記第1方向の一方側の前記第1範囲内にある他の3次元点に対して奥行き差の絶対値が第2距離以下である3次元点を第2のエッジ候補点として抽出し、前記特定では、(i)前記複数の分割領域のうちで、投影した前記複数のエッジ候補点のうち複数の前記第1のエッジ候補点を最も多く含む第1最多点領域を特定し、かつ、(ii)前記複数の分割領域のうちで、投影した前記複数のエッジ候補点のうち複数の前記第2のエッジ候補点を最も多く含む第2最多点領域を特定し、前記算出では、(i)特定した前記第1最多点領域内の第1の基準点から前記所定範囲の第1対象領域に含まれる複数の前記3次元点の少なくとも一部の前記奥行き方向および前記第1方向の座標の第1重心点を算出し、かつ、(ii)特定した前記第2最多点領域内の第2の基準点から前記所定範囲の第2対象領域に含まれる複数の前記3次元点の少なくとも一部の前記奥行き方向および前記第1方向の座標の第2重心点を算出し、(iii)前記第1重心点及び前記第2重心点を結ぶ線分と前記第1方向とが為す角度を算出してもよい。
このため、柱状物体に対する柱状物体認識装置の位置および姿勢を容易に特定することができる。
本発明の一態様に係る無人走行車は、柱状物体が含まれる3次元オブジェクトの表面の複数箇所までの3次元距離を計測するセンサと、柱状物体を含む物体の表面の複数箇所までの奥行き方向の距離を含む3次元距離を計測するセンサから当該3次元距離を示す距離データを取得する取得部と、前記取得部が取得した前記距離データから得られる前記複数箇所の3次元座標で示される複数の3次元点のそれぞれにおいて、前記奥行き方向に垂直な第1方向の第1範囲内にある他の3次元点に対して第1距離以上の奥行き差がある3次元点を、エッジ候補点として抽出する抽出部と、前記抽出部が抽出した複数の前記エッジ候補点を前記奥行き方向および前記第1方向により規定される2次元平面上に投影する投影部と、前記2次元平面が均等に分割された複数の分割領域のうちで、前記投影部が投影した前記複数のエッジ候補点を最も多く含む最多点領域を特定する特定部と、前記特定部が特定した前記最多点領域内の所定の基準点から所定範囲の対象領域に含まれる複数の前記3次元点の少なくとも一部の前記奥行き方向および前記第1方向に係る2次元座標の重心点を算出する算出部と、を備える柱状物体認識装置と、を備える。
このため、ノイズを含む3次元データからであっても、無人走行車に対する、奥行き方向および第1方向に垂直な第2方向に延びる柱状物体のエッジの位置を特定することが容易にでき、精度よく無人走行車に対する柱状物体の位置を検出することができる。
なお、これらの全般的または具体的な態様は、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明の柱状物体認識方法は、ノイズを含む3次元データからであっても、精度よく物体を検出することができる。
実施の形態1に係る無人走行車および移載装置を示す斜視図である。 実施の形態1に係る無人走行車のハードウェア構成を示すブロック図である。 実施の形態1に係るセンサの機能について説明するための図である。 実施の形態1に係る柱状物体認識装置の機能構成を示すブロック図である。 無人走行車の学習モードでの動作を説明するための図である。 無人走行車の通常モードでの動作を説明するための図である。 実施の形態1に係る柱状物体認識装置の動作を示すフローチャートである。 実施の形態1に係るエッジの座標を算出する処理の詳細を示すフローチャートである。 実施の形態1に係るエッジ候補点の抽出処理の詳細を示すフローチャートである。 実施の形態1に係る重心点の算出処理の詳細を示すフローチャートである。 距離データから得られる3次元点の各座標を3次元上にプロットした一例を示す図である。 図10に示すエッジ候補点を2次元平面上に投影した結果の一例を示す図である。 実施の形態2に係る柱状物体認識装置の機能構成を示すブロック図である。 実施の形態2に係るエッジの座標を算出する処理の詳細を示すフローチャートである。 実施の形態2に係るクラスタリング処理の詳細を示すフローチャートである。 実施の形態2に係る上隣接点の探索処理の詳細を示すフローチャートである。 上隣接点の探索処理の概要を説明するための図である。 実施の形態2の変形例に係るクラスタリング処理の詳細を示すフローチャートである。
以下に、本発明の実施形態の柱状物体認識方法、柱状物体認識装置および無人走行車について、図面を参照しながら説明する。なお、各図は、模式図であり、必ずしも厳密に図示したものではない。
また、以下で説明する実施の形態は、本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
[1−1.構成]
まず、図1〜図4を用いて、本発明の実施の形態1に係る無人走行車100の構成の概要を説明する。
図1は、実施の形態1に係る無人走行車および移載装置を示す斜視図である。
無人走行車100は、2本のフォーク110を物体が載置されているパレット220の開口に挿入して、物体230(例えば荷物)を持ち上げて搬送する台車である。また、無人走行車100は、移載装置200に近接する位置まで近づいて、移載装置200から物体230を受け取って搬送する台車である。本実施の形態では移載装置200は、床面上に配置され、移載装置200本体を支持する4本の柱状の脚部210を有する。
なお、図1は、移載装置200上にパレット220が載置され、パレット220のさらに上に物体230が載置されている例を示す。
本実施の形態の場合、無人走行車100は、相互に平行に配置されている2本のフォーク110と、2本のフォーク110のそれぞれの先端にセンサ120とを備えている。また、無人走行車100は、無人走行車100が走行する床面と平行を維持したまま、2本のフォーク110を上下に移動可能とするマスト130を備えていてもよい。また、無人走行車100は、無人で自律的に走行し荷物を搬送することができる走行車であり、内部に柱状物体認識装置140を備えている。
なお、本実施の形態では、センサ120が向いている方向(奥行き方向)をZ軸方向とし、Z軸方向に垂直な方向であって2本のフォーク110が並んでいる第1方向(水平方向または左右方向)をX軸方向とし、Z軸方向およびX軸方向に垂直な第2方向(鉛直方向または上下方向)をY軸方向とする。また、Z軸方向では、センサ120を基準にセンサ120よりも奥側をZ軸方向プラス側とし、手前側をZ軸方向マイナス側とする。また、X軸方向では、センサ120から見て左側をX軸方向プラス側とし、右側をX軸方向マイナス側とする。また、Y軸方向では、センサ120から見て上側をY軸方向プラス側とし、下側をY軸方向マイナス側とする。つまり、図では、矢印が向いている側が各方向のプラス側であり、その反対側が各方向のマイナス側である。
次に、無人走行車100のハードウェア構成について説明する。
図2は、実施の形態1に係る無人走行車のハードウェア構成を示すブロック図である。
図2に示すように、無人走行車100は、ハードウェア構成として、センサ120と、プロセッサ141およびメモリ142を有する柱状物体認識装置140とを備える。
センサ120は、柱状物体が含まれる物体(3次元オブジェクト)の表面の複数箇所までの奥行き方向(Z軸方向)の距離を含む3次元距離を計測するセンサである。センサ120は、計測した3次元距離を示す距離データを出力する。
なお、ここで、距離データは、センサ120から物体の表面の所定の位置までの距離と、センサ120から所定の位置までを結んだ線分がZ軸方向に対して為す角度とを含むデータであってもよい。つまり、距離データは、センサ120から物体の表面の所定の位置までの直線距離と、その方向とを含むデータであってもよい。
また、距離データは、センサ120の位置を原点とした場合の、原点から所定の位置までのX軸方向、Y軸方向およびZ軸方向のそれぞれにおける距離(3次元座標)を含むデータであってもよい。なお、3次元座標は、センサ120から物体の表面の所定の位置までの距離と、センサ120から所定の位置までを結んだ線分がZ軸方向に対して為す角度とを用いて算出することができる。
センサ120は、例えば、カメラの周囲に設けられた発光素子(例えばLED)により赤外光を照射し、対象物から反射した反射光が、カメラで観測されるまでの時間を撮像画素ごとに計測することで、対象物まで距離を画素ごとに測定するTOF(Time Of Flight)カメラである。
図3は、実施の形態1に係るセンサの機能について説明するための図である。
図3に示すように、センサ121は、センサ121から見て(Z軸方向プラス側に向かって)、ビーム状の赤外光を、主走査として左から右(X軸方向マイナス側)に、副走査として上から下(Y軸方向マイナス側)に、予め定められた計測範囲123を走査する。そして、センサ121は、イメージセンサにより、対象物からの反射光を画素毎に測定することで、センサ120から計測範囲123にある物体の表面の複数箇所までの3次元距離を計測する。なお、センサ122も同様の構成であり、図1に示すように予め定められた計測範囲124を走査し、センサ122から計測範囲124にある物体の表面の複数箇所までの3次元距離を計測する。
つまり、センサ120により出力された距離データは、X軸方向に主走査が行われ、Y軸方向に副走査が行われることによって計測された3次元距離である。つまり、センサ120は、Y軸方向の所定の位置において、X軸方向の位置を異ならせながら、複数回所定の周期で取得した物体の表面までのZ軸方向における距離を計測する。このため、距離データによって計測された3次元距離は、X軸方向の複数の位置およびY軸方向の複数の位置の組み合わせのそれぞれにおいてZ軸方向の距離が計測されたデータである。
本実施の形態では、各センサ121、122の計測範囲123、124が対象物に対して小さいため、無人走行車100は、水平方向に並べた2つのセンサ121、122を備える構成であるとしたが2つのセンサ121、122を備える構成に限らない。つまり、無人走行車は、センサとして、計測範囲が対象物に対して十分な大きさのセンサを採用した場合には、1つのセンサのみを備える構成としてもよい。また、2つのセンサ120は、フォーク110の先端のみならず、走行車本体の前面側の左右端にそれぞれ取り付けられても構わない。
なお、センサ120は、2つのカメラを備え、2つの二次元画像の視差により実測値を取得するセンサや、レーザー光をスキャンさせてレーザー光の反射光に基づき複数箇所の座標と距離とを測定する測距センサなどであってもよい。
プロセッサ141は、メモリ142に記憶されたプログラムを実行するプロセッサである。メモリ142は、制御プログラムなどを保持する不揮発性の記憶領域である。
図4は、実施の形態1に係る柱状物体認識装置の機能構成を示すブロック図である。
図4に示すように、柱状物体認識装置140は、機能構成として、取得部151と、抽出部152と、投影部153と、特定部154と、算出部155を備える。柱状物体認識装置140は、さらに、記憶部156を備えていてもよい。取得部151、抽出部152、投影部153、特定部154、算出部155のそれぞれは、プロセッサ141およびメモリ142によって実現される。記憶部156は、メモリ142や図示しないハードディスクドライブなどによって実現される。
取得部151は、センサ120から3次元距離を示す距離データを取得する。
抽出部152は、取得部151が取得した距離データから得られる、物体の表面の複数箇所の3次元座標で示される複数の3次元点のうちのエッジ候補点の条件を満たす3次元点をエッジ候補点として抽出する。エッジ候補点の条件を満たす3次元点とは、Z軸方向に垂直な第1方向(X軸方向)の第1範囲内にある他の3次元点に対して、第1距離以上の奥行き差がある3次元点である。
具体的には、抽出部152は、全ての3次元点において、X軸方向の一方側の第1範囲内にある他の3次元点に対して第1距離以上手前側にあり、かつ、X軸方向の他方側の第1範囲内にある他の3次元点に対して奥行き差の絶対値が第2距離以下である3次元点をエッジ候補点として抽出する。例えば、抽出部152は、X軸方向プラス側に隣接して取得された3次元点に対して10mm以上手前側にあり、かつ、X軸方向マイナス側に隣接して取得された3次元点に対して奥行き差の絶対値が3mm以下である3次元点をエッジ候補点として抽出する。このように、第1距離は第2距離よりも長い。
これにより、抽出部152は、X軸方向プラス側に物体が存在せず(または奥側に物体がオフセットして存在する)、かつ、抽出したエッジ候補点よりもX軸方向マイナス側に物体の平面が連続している可能性が高い3次元点をエッジ候補点として抽出できる。よって、抽出部152は、柱状部材の左端に相当する3次元点(左エッジ)である可能性が高い第1のエッジ候補点を抽出できる。
同様にして、抽出部152は、エッジ候補点の条件をX軸方向の反対側に設定し直して、全ての3次元点においてエッジ候補点を抽出する。これにより、抽出部152は、X軸方向マイナス側に物体が存在せず(または奥側に物体がオフセットして存在する)、かつ、抽出したエッジ候補点よりもX軸方向プラス側に物体の平面が連続しており可能性が高い3次元点をエッジ候補点として抽出できる。つまり、抽出部152は、柱状部材の右端に相当する3次元点(右エッジ)である可能性が高い第2のエッジ候補点を抽出できる。
上記のことから、エッジ候補点の条件における第1距離は、3次元点のX軸方向の一方側において物体が存在しないまたは奥側に物体がオフセットして存在しているか否かを判定するための距離であるといえる。また、エッジ候補点の条件における第2距離は、3次元点のX軸方向の他方側において物体の平面が連続しているか否かを判定するための距離であるといえる。
なお、抽出部152は、第1範囲内の他の3次元点として、隣接して取得された3次元点との比較によって上記の条件を満たすか否かを判定しているが、これに限らない。つまり、第1範囲は、隣接している3次元点までの距離に限らずに、1つ飛ばして隣接している3次元点までの距離としてもよいし、2〜10mm以内の距離としてもよい。
投影部153は、抽出部152が抽出した複数のエッジ候補点をZ軸方向およびX軸方向により規定される2次元平面上に投影する。
特定部154は、2次元平面が均等に分割された複数の分割領域のうちで、投影部153が投影した複数のエッジ候補点を最も多く含む最多点領域を特定する。特定部154は、上記の特定を複数の第1のエッジ候補点および複数の第2のエッジ候補点のそれぞれについて行うことで、複数の第1のエッジ候補点を最も多く含む第1最多点領域を特定し、複数の第2のエッジ候補点を最も多く含む第2最多点領域を特定する。つまり、特定部154は、複数の分割領域のうちで、投影部153が投影した複数のエッジ候補点のうち複数の第1のエッジ候補点を最も多く含む第1最多点領域を特定する。また、特定部154は、複数の分割領域のうちで、投影部153が投影した複数のエッジ候補点のうち複数の第2のエッジ候補点を最も多く含む第2最多点領域を特定する。
算出部155は、特定部154が特定した最多点領域内の所定の基準点から所定範囲の領域である対象領域に含まれる複数の3次元点の少なくとも一部のZ軸方向およびX軸方向に係る2次元座標の重心点を算出する。本実施の形態では、算出部155は、対象領域に含まれる複数の3次元点の重心点を算出する。なお、算出部155は、対象領域に含まれる複数の3次元点のうちの複数のエッジ候補点の重心点を算出してもよい。
算出部155は、上記の算出を、第1のエッジ候補点および第2のエッジ候補点のそれぞれについて行うことで、第1最多点領域から特定される第1対象領域に含まれる複数の3次元点の第1重心点を算出し、第2最多点領域から特定される第2対象領域に含まれる複数の3次元点の第2重心点を算出する。
つまり、算出部155は、特定した第1最多点領域内の第1の基準点から所定範囲の第1対象領域に含まれる複数の3次元点の少なくとも一部のZ軸方向およびX軸方向の座標の第1重心点を算出する。また、算出部155は、特定した第2最多点領域内の第2の基準点から所定範囲の第2対象領域に含まれる複数の3次元点の少なくとも一部のZ軸方向およびX軸方向の座標の第2重心点を算出する。
そして、算出部155は、算出した第1重心点および第2重心点を結ぶ線分と、X軸方向とが為す角度を算出する。また、算出部155は、第1重心点および第2重心点の中点の座標を算出してもよい。
記憶部156は、算出部155により算出された角度を記憶する。記憶部156は、算出部155により算出された第1重心点および第2重心点の中点の座標を記憶してもよい。
[1−2.動作]
次に、無人走行車100が備える柱状物体認識装置140の動作について、図5〜図12を用いて説明する。
無人走行車100は、学習モードおよび通常モードの2つの動作モードで動作する。各動作モードについて、図5および図6を用いて説明する。図5は、無人走行車の学習(教示)モードでの動作を説明するための図である。図6は、無人走行車の通常(自律)モードでの動作を説明するための図である。
学習モードとは、無人走行車100が所定の位置までの経路を学習するためのモードである。具体的には、学習モードでは、図5に示すように、無人走行車100は、ユーザが図示しないコントローラで無人走行車100を所定の位置まで移動させた時の移動経路を記憶する。ここで記憶した移動経路は、通常モード時にSLAM(Simultaneous Localization and Mapping)などによって自律的に無人走行車100が所定の位置まで誘導されるために用いられる。
所定の位置は、例えば、移載装置200が無人走行車100に対してZ軸方向プラス側に距離d1だけ離れた位置である。図5では、所定の位置は、移載装置200の脚部210の手前側左端を左エッジP1とし、脚部210の手前側右端を右エッジP2としたとき、無人走行車100のセンサ120の原点OからZ軸方向に距離d1だけ離れた位置に左エッジP1および右エッジP2の中点Cが位置する位置であるとする。
なお、所定の位置は、学習モードにおいてユーザが無人走行車100を停止させた位置(学習時停止位置)であり、精度が高い位置ではない。このため、図5に示したように、所定の位置は、原点Oと中点Cとを結ぶ線分がZ軸方向に平行である位置に限らずに、Z軸方向に対して傾いている位置であってもよい。
また、学習モードにおいては、無人走行車100は、所定の位置から移載装置200に近接する位置までユーザがコントローラで移動させた時の移動経路を記憶する。なお、移載装置200に近接する位置とは、移載装置200との間で荷物の受け渡しを行うことが可能である位置である。ここで記憶した移動経路は、所定の位置からほぼ直線的に移動された経路であるため、移動された時にエンコーダによって読み取られたデータで構成されている。
通常モードとは、無人走行車100が学習モードにおいて記憶した移動経路に基づいて、例えばSLAMなどによって自律的に所定の位置まで誘導されるモードである。なお、通常モードでは、無人走行車100は、所定の位置まで自律的に誘導された後、所定の位置から移載装置200に近接する位置までは、学習モードにおいて記憶された、エンコーダによって読み取られたデータで構成される移動経路に基づいて位置制御される。
ここで、無人走行車100は、SLAMなどで所定の位置まで移動された場合、図6に示すように、学習時停止位置からズレた位置(自律誘導時停止位置)で停止することがある。この状態から、移載装置200に近接する位置まで移動すれば、移載装置200からズレた位置に停止する可能性が高くなり、移載装置200との間で荷物の受け渡しを行うことが困難になる。
そこで、無人走行車100の柱状物体認識装置140は、学習モードにおける学習時停止位置での移載装置200の脚部210の無人走行車100に対する相対位置(左エッジP1および右エッジP2の位置)と、通常モードにおける自律誘導時停止位置での移載装置200の脚部210の位置(左エッジP1および右エッジP2)の無人走行車100に対する相対位置とを比較する。そして、柱状物体認識装置140は、比較によって、学習時停止位置と自律誘導時停止位置とのズレを算出し、自律誘導時停止位置から移載装置200に近接する位置までの移動を、記憶したエンコーダのデータと算出したズレとを用いたエンコーダによる位置制御により行うことで、精度の高い位置まで無人走行車100を移動させることができる。
なお、学習モードにおいて無人走行車100を停止させる位置である所定の位置は、移載装置200に近すぎる位置に決定された場合、センサ120の計測範囲123、124内に移載装置200の脚部210を収められなくなる可能性がある。また、当該所定の位置が移載装置200に近すぎる位置に決定された場合において、通常モードにおいて経路にズレが発生すれば、無人走行車100が移載装置200に衝突するおそれがある。
逆に、当該所定の位置が移載装置200に遠すぎる位置に決定された場合、所定の位置から移載装置200に近接する位置までの間の距離が長くなるため、エンコーダによる位置制御による移動距離が長くなる。このため、無人走行車100を最終的な移載装置200に近接する位置に停止させる精度が悪化する可能性がある。
以上のような制約の中でユーザは、適切な位置を所定の位置として決定する必要がある。つまり、所定の位置は、移載装置200の脚部210を当該所定の位置に停止した無人走行車100のセンサ120の計測範囲123、124内に収めることができる位置である。また、所定の位置は、通常モードの自律誘導によるズレの最大値以上、移載装置200から離れた位置である。また、所定の位置は、移載装置200との間の距離が、エンコーダによる位置制御による誤差が最大限生じたとしても、移載装置200との荷物の受け渡しに支障がない位置に無人走行車100を停止できる距離以下である位置である。
上記のように無人走行車100を移載装置200に近接する位置まで精度よく移動させるために、無人走行車100は、学習モードにおける学習時停止位置と、通常モードにおける自律誘導時停止位置とのそれぞれにおいて、移載装置200に対する相対的な位置および姿勢を計測する。
次に、柱状物体認識装置140が行う動作について図7を用いて説明する。
図7は、実施の形態1に係る柱状物体認識装置の動作を示すフローチャートである。
図7に示すように、柱状物体認識装置140は、まず、エッジの座標を算出する(S101)。具体的には、柱状物体認識装置140は、左エッジの座標と、右エッジの座標とをそれぞれ算出する(S101a、S101b)。なお、本実施の形態では、左エッジの座標を算出する場合には、左エッジを含む脚部210を計測範囲123に含むセンサ121の距離データを用いる。同様に、右エッジの座標を算出する場合には、右エッジを含む脚部210を計測範囲124に含むセンサ122の距離データを用いる。ステップS101のエッジの座標を算出する処理の詳細は、後述する。
次に、柱状物体認識装置140は、左右のエッジP1、P2(重心点)を結んだ線分P1P2に対するセンサ120が向いている角度を算出する(S102)。
柱状物体認識装置140は、無人走行車100が学習モードであるか通常モードであるかを判定する(S103)。
柱状物体認識装置140は、無人走行車100が学習モードであると判定した場合(S103で「学習モード」)、左右のエッジP1、P2の座標および算出した角度を記憶部156に記憶する(S104)。
柱状物体認識装置140は、無人走行車100が通常モードであると判定した場合(S103で「通常モード」)、学習モードで記憶した座標および角度と、通常モードにおける左右のエッジP1、P2の座標および算出した角度とを比較する(S105)。
柱状物体認識装置140は、比較した結果を出力し(S106)、移載装置200に近接する位置まで、当該結果を用いて補正した経路で移動する。
次に、エッジの座標を算出する処理の詳細について図8を用いて説明する。
図8は、実施の形態1に係るエッジの座標を算出する処理の詳細を示すフローチャートである。
図8に示すように、柱状物体認識装置140の取得部151は、センサ120から3次元距離を示す距離データを取得する(S111)。取得部151は、センサ120から距離データとして、各画素において撮影された物体の表面までの奥行き方向の距離が各画素毎に含まれる3次元画像を取得する。
柱状物体認識装置140の抽出部152は、取得部151が取得した距離データから得られる、物体の表面の複数箇所の3次元座標で示される複数の3次元点からエッジ候補点を抽出する(S112)。なお、エッジ候補点の抽出処理の詳細については後述する。
柱状物体認識装置140の投影部153は、抽出部152が抽出した複数のエッジ候補点をZ軸方向およびX軸方向により規定される2次元平面(X−Z平面)上に投影する(S113)。
柱状物体認識装置140の特定部154は、2次元平面が均等に分割された複数の分割領域のうちで、投影部153が投影した複数のエッジ候補点を最も多く含む最多点領域を特定する(S114)。
柱状物体認識装置140の算出部155は、特定部154が特定した最多点領域内の所定の基準点から所定範囲の領域である対象領域に含まれる複数の3次元点の少なくとも一部のZ軸方向およびX軸方向に係る2次元座標の重心点をエッジとして算出する(S115)。重心点の算出処理の詳細については後述する。
次に、ステップS112のエッジ候補点の抽出処理の詳細について図9を用いて説明する。
図9は、実施の形態1に係るエッジ候補点の抽出処理の詳細を示すフローチャートである。
図9に示すように、抽出部152は、エッジ候補点の抽出処理を、距離データから得られる物体の表面の複数箇所の3次元座標で示される複数の3次元点のそれぞれについて繰り返し行う。
抽出部152は、3次元点がエッジ候補点の条件を満たすか否かを判定する(S121)。具体的には、抽出部152は、3次元点がX軸方向の一方側に隣接して取得された3次元点に対して10mm以上手前側にあり、かつ、X軸方向の他方側に隣接して取得された3次元点に対して奥行き差の絶対値が3mm以下である3次元点であるか否かを判定する。
なお、ステップS121では、ステップS101aの処理を行っている場合には、X軸方向の一方側とは、X軸方向プラス側であり、X軸方向の他方側とは、X軸方向マイナス側である。また、ステップS121では、ステップS101bの処理を行っている場合には、X軸方向の一方側とは、X軸方向マイナス側であり、X軸方向の他方側とは、X軸方向プラス側である。
抽出部152は、3次元点がエッジ候補点の条件を満たすと判定した場合(S121でYes)、当該3次元点をエッジ候補点として登録し(S122)、抽出処理が未実施の他の3次元点についてステップS121の処理を行う。
一方で、抽出部152は、3次元点がエッジ候補点の条件を満たさないと判定した場合(S121でNo)、抽出処理が未実施の他の3次元点についてステップS121の処理を行う。
抽出部152は、全ての3次元点について抽出処理が実施されれば、エッジ候補点の抽出処理を終了する。
次に、ステップS115の重心点の算出処理の詳細について図10を用いて説明する。
図10は、実施の形態1に係る重心点の算出処理の詳細を示すフローチャートである。
図10に示すように、算出部155は、重心点の算出処理を、最多点領域の所定の基準点から所定範囲の領域である対象領域に含まれる全ての3次元点のそれぞれについて繰り返し行う。
算出部155は、記憶している3次元点のX座標およびZ座標のそれぞれの積算値に、3次元点のX座標およびZ座標をそれぞれ積算し、積算することにより得られた積算値を記憶部156に記憶する(S131)。なお、算出部155は、記憶している積算値がない場合(つまり、重心点の算出処理の最初の3次元点について処理する場合)、処理対象の3次元点のX座標およびZ座標を積算値として記憶部156に記憶する。
次に、算出部155は、X座標およびZ座標の積算値を、対象領域に含まれる全ての3次元点の数で除算することにより、当該全ての3次元点のX座標値およびZ座標値の平均値を算出することで、重心点を算出する(S132)。
以下、図11および図12を用いてエッジを算出する処理について具体的に説明する。
図11は、距離データから得られる3次元点の各座標を3次元上にプロットした一例を示す図である。図12は、図11に示す複数のエッジ候補点を2次元平面上に投影した結果の一例を示す図である。
図11に示すように、柱状物体認識装置140は、ステップS111で取得した距離データから、物体の複数箇所の3次元座標を示す点を3次元点として算出する。
柱状物体認識装置140は、算出した全ての3次元点に対して、ステップS112のエッジ候補点の抽出処理を行うことで、3次元点のうち、黒丸で示す複数のエッジ候補点を抽出する。
柱状物体認識装置140は、図12に示すように、ステップS113において、ステップS112で抽出した複数のエッジ候補点をX−Z平面に投影する。
柱状物体認識装置140は、ステップS114において、X−Z平面がX軸方向およびZ軸方向のそれぞれにおいて9分割された81の分割領域のうちで、投影した複数のエッジ候補点を最も多く含む最多点領域を特定する。具体的には、図12に示すように、X5−Z5の位置の分割領域には、14個のエッジ候補点が含まれ、最多のエッジ候補点が含まれる分割領域であるので、当該分割領域が最多点領域として特定される。
そして、柱状物体認識装置140は、ステップS115において、最多点領域内の中心から、最多点領域の大きさの範囲の領域である対象領域300に含まれる複数の3次元点の全部のZ軸方向およびX軸方向に係る2次元座標の重心点をエッジとして算出する。つまり、柱状物体認識装置140は、図11における対象領域300に含まれる全ての3次元点のZ軸方向およびX軸方向に係る2次元座標の重心点をエッジとして算出する。
なお、ここでは、対象領域300は、最多点領域内の中心を基準点とし、最多点領域の大きさを所定範囲と定義したため、最多点領域と一致する領域であるが、これに限らずに、最多点領域と中心の位置および大きさの少なくとも一方が一致しない領域であってもよい。
[1−3.効果]
本実施の形態に係る柱状物体認識方法によれば、抽出した複数のエッジ候補点を2次元平面上に投影し、投影した2次元平面が分割された複数の分割領域のうちで、複数のエッジ候補点を最も多く含む最多点領域内の所定の基準点から所定範囲の領域である対象領域300に含まれる複数の3次元点の少なくとも一部の2次元座標を算出している。
これにより、Z軸方向およびX軸方向における座標値が互いに近い位置にあり、かつ、多数のエッジ候補点の塊となっているエッジ候補群の近くに配置されている3次元点群を容易に特定することができる。このため、ノイズを含む3次元データからであっても、Y軸方向に延びる柱状物体である移載装置200の脚部210のエッジの位置を特定することが容易にでき、精度よく移載装置200の位置を検出することができる。
また、抽出では、複数の3次元点において、X軸方向の一方側の第1範囲内にある他の3次元点に対して第1距離以上手前側にあり、かつ、X軸方向の他方側の第1範囲内にある他の3次元点に対して奥行き差の絶対値が第2距離以下である3次元点をエッジ候補点として抽出する。
このため、抽出では、X軸方向の一方側に物体が存在しない、または、奥側に物体がオフセットして存在する3次元点であって、抽出した複数のエッジ候補点よりもX軸方向の他方側に物体の平面が連続している可能性が高い3次元点を複数のエッジ候補点として抽出できる。よって、抽出では、移載装置200の脚部210のX軸方向の一方側の端部に相当する3次元点(エッジ)である可能性が高いエッジ候補点を抽出できる。
また、算出では、対象領域300に含まれる全ての3次元点のZ軸方向およびX軸方向に係る2次元座標の重心点を算出する。このため、簡単な処理で柱状物体のエッジの位置を特定することができる。
また、算出では、第1重心点および第2重心点を結ぶ線分とX軸方向とが為す角度を算出する。このため、柱状物体に対する柱状物体認識装置の位置および姿勢を容易に特定することができる。
(実施の形態2)
次に、実施の形態2について説明する。
[2−1.構成]
実施の形態2の柱状物体認識装置140aは、実施の形態1の柱状物体認識装置140と比較して、クラスタリング部157をさらに備える点が異なる。また、算出部155aの処理内容が実施の形態1の算出部155とは異なる。以下では、クラスタリング部157および算出部155aについて説明し、その他の構成については、実施の形態1の柱状物体認識装置140と同様であるので、説明を省略する。
図13は、実施の形態2に係る柱状物体認識装置の機能構成を示すブロック図である。
クラスタリング部157は、第1登録および第2登録を行うクラスタリング処理を行う。クラスタリング部157は、クラスタリング処理を行うことで、抽出部152において抽出された複数のエッジ候補点のうち、Y軸方向に沿って並んでいる複数のエッジ候補点を抽出する。
第1登録は、抽出部152において抽出された複数のエッジ候補点のうち、Z軸方向およびX軸方向のそれぞれにおいて基準点から第2範囲内(例えば3mm以内)にあるエッジ候補点の1つを所定のクラスタに登録する処理である。なお、基準点は、実施の形態1と同様に、特定部154が特定した最多点領域内の所定の基準点であり、例えば、最多点領域の中心である。
また、基準点は、さらに、Y軸方向の位置がセンサ120の光軸の位置に一致する点としてもよい。この場合、所定クラスタに登録するエッジ候補点の1つであって、基準点から第2範囲内にあるエッジ候補点の1つは、Y軸方向の一方側における基準点からの距離が最も近い位置に配置されているエッジ候補点である隣接点としてもよい。
第2登録は、所定のクラスタに新たに登録したエッジ候補点を新たな基準点として、当該新たな基準点よりもY軸方向の一方側(例えば上側)の第3範囲内に位置し、かつ、Z軸方向およびX軸方向のそれぞれにおいて、第2範囲内にあるエッジ候補点を所定のクラスタに登録する処理である。クラスタリング部157は、該当する(つまり、第2登録できる)エッジ候補点がなくなるまで第2登録を繰り返し行う。ここで、第3範囲内に位置するエッジ候補点とは、例えば、エッジ候補点をZ軸方向から見た場合、新たな基準点に対してY軸方向プラス側に隣接するエッジ候補点である。なお、第3範囲は、上述のように新たな基準点に隣接する範囲としなくてもよく、例えば、3mmとしてもよい。
算出部155aは、クラスタリングにおいて所定のクラスタに登録された複数のエッジ候補点のZ軸方向およびX軸方向の座標の重心点を算出する。つまり、算出部155aは、クラスタリングにおいて、最多点領域内の所定の基準点から所定範囲の領域である対象領域300に含まれる複数の3次元点のうちの、抽出部152において抽出された複数のエッジ候補点を抽出し、重心点の算出対象としている。
[2−2.動作]
次に、柱状物体認識装置140aの動作について、図14を用いて説明する。
まず、実施の形態2に係る柱状物体認識装置140aの動作は、実施の形態1に係るエッジ座標の算出処理にクラスタリング処理が追加されている点が異なる。
以下、クラスタリング処理が追加されたエッジ座標の算出処理について図14を用いて説明する。
図14は、実施の形態2に係るエッジの座標を算出する処理の詳細を示すフローチャートである。
図14に示すように、実施の形態2に係るエッジの座標を算出する処理では、クラスタリング部157は、実施の形態1に係るエッジの座標を算出する処理において、ステップS114の最多点領域を特定する処理の次に、クラスタリング処理を行う(S141)。クラスタリング処理の詳細については、後述する。
そして、算出部155aは、クラスタリング処理において所定のクラスタに登録された複数のエッジ候補点のZ軸方向およびX軸方向の座標の重心点を算出する(S115a)。
なお、実施の形態2に係るエッジの座標を算出する処理のクラスタリング処理および重心点を算出する処理以外の処理は、実施の形態1に係るエッジの座標を算出する処理と同様であるので詳細な説明を省略する。
次に、クラスタリング処理の詳細について図15を用いて説明する。
図15は、実施の形態2に係るクラスタリング処理の詳細を示すフローチャートである。
図15に示すように、クラスタリング部157は、クラスタリング処理の第2登録に係る処理を複数のエッジ候補点のそれぞれについて繰り返し行う。
クラスタリング部157は、基準点を設定する(S151)。具体的には、クラスタリング部157は、特定部154が特定した最多点領域の中心であり、かつ、Y軸方向における位置がセンサ120の光軸の位置に一致する点を基準点として設定する。
クラスタリング部157は、上隣接点を探索する(S152)。具体的には、クラスタリング部157は、複数のエッジ候補点のうち、基準点の上方(Y軸方向プラス側)において隣接する点であって、Z軸方向およびX軸方向に3mm以内の位置にあるエッジ候補点である上隣接点があるか否かを探索する。上隣接点の探索処理の詳細は、後述する。
クラスタリング部157は、上隣接点の探索において、隣接点ありとされたか否かを判定する(S153)。
クラスタリング部157は、隣接点なしと判定した場合(S153でNo)、ステップS151で最初に設定した基準点を再び基準点とし(S154)、次の処理に進む。
クラスタリング部157は、隣接点ありと判定した場合(S153でYes)、ステップS152に戻る。つまり、上隣接点がなくなるまでステップS152、S153およびS155の処理を繰り返す。
クラスタリング部157は、ステップS154の次に、下隣接点を探索する(S156)。具体的には、クラスタリング部157は、複数のエッジ候補点のうち、基準点の下方(Y軸方向マイナス側)において隣接する点であって、Z軸方向およびX軸方向に3mm以内の位置にあるエッジ候補点である下隣接点があるか否かを探索する。
クラスタリング部157は、下隣接点の探索において、隣接点ありとされたか否かを判定する(S157)。
クラスタリング部157は、隣接点なしと判定した場合(S157でNo)、生成したクラスタを登録し(S158)、クラスタリング処理を終了する。
クラスタリング部157は、隣接点ありと判定した場合(S157でYes)、ステップS156に戻る。つまり、下隣接点がなくなるまでステップS156、S157およびS159の処理を繰り返す。
次に、ステップS152の上隣接点の探索処理の詳細について図16を用いて説明する。
図16は、実施の形態2に係る上隣接点の探索処理の詳細を示すフローチャートである。図17は、上隣接点の探索処理の概要を説明するための図である。
図16に示すように、クラスタリング部157は、基準点を設定する(S161)。具体的には、クラスタリング部157は、クラスタリング処理のステップS155で新基準点とした基準点を基準点として設定する。
クラスタリング部157は、探索ラスタを、設定した基準点の一段上に設定する(S162)。つまり、クラスタリング部157は、距離データから得られる全ての3次元点のうち、基準点よりもY軸方向プラス側に隣接する位置で主走査されることにより計測された複数の3次元点を探索対象のラスタである探索ラスタとして設定する。
クラスタリング部157は、探索ラスタが距離データの画角の上端であるか否かを判定する(S163)。
クラスタリング部157は、探索ラスタが距離データの画角の上端でないと判定した場合(S163でNo)、当該探索ラスタ内に隣接点があるか否かを判定する(S164)。具体的には、クラスタリング部157は、探索ラスタ内にある複数のエッジ候補点の中に、基準点に対して、Z軸方向およびX軸方向のそれぞれにおいて第2範囲内(3mm以内)にある隣接点があるか否かを判定する。
クラスタリング部157は、探索ラスタ内の複数のエッジ候補点に隣接点があると判定した場合(S164でYes)、当該隣接点をクラスタの構成点として登録し(S166)、上隣接点ありと決定し(S168)、上隣接点の探索処理を終了する。
一方で、クラスタリング部157は、探索ラスタ内の複数のエッジ候補点に隣接点がないと判定した場合(S164でNo)、探索ラスタをさらに一段上に設定し(S167)、ステップS163に戻る。つまり、クラスタリング部157は、ステップS162で設定した探索ラスタよりもY軸方向プラス側に隣接する位置で主走査されることにより計測された複数の3次元点を探索ラスタとして設定する。このように、探索ラスタ内の複数のエッジ候補点に隣接点がないと判定した場合には、上隣接点がないと決定せずに、探索ラスタをさらに1つ上段に設定して、隣接点を再探索する。このため、何らかの要因で3次元点を取得できなかった場合であっても、適切にクラスタの構成点を抽出することができる。
クラスタリング部157は、探索ラスタが距離データの画角の上端であると判定した場合(S163でYes)、上隣接点なしと決定し、上隣接点の探索処理を終了する。
上記のように上隣接点の探索処理を行うことにより、基準点を基準として、基準点に近い点を下から順に探索していくことで、図17に示すように、Y軸方向に沿って並ぶ複数のエッジ候補点を抽出することができる。
上隣接点の探索処理において、最初の基準点を基準としたときの隣接点を登録する処理が上述した第1登録に相当し、隣接点を新たな基準点とした時の隣接点を登録する処理が上述した第2登録に相当する。
なお、上記の上隣接点を探索する処理では、ステップS164において、隣接点を探索する対象となる3次元点は、探索ラスタ内の複数のエッジ候補点であるとしたがこれに限らない。例えば、探索ラスタ内のうち、ステップS151で設定された基準点からZ軸方向およびX軸方向のそれぞれにおいて所定範囲の領域にある複数のエッジ候補点を、隣接点を探索する対象となる3次元点としてもよい。
なお、ステップS156の下隣接点を探索する処理については、上隣接点の探索処理を上下反対に行えばよいため、詳細な説明を省略する。
[2−3.効果]
本実施の形態に係る柱状物体認識方法によれば、クラスタリングを行い、クラスタリングにおいて所定のクラスタの構成点として登録された複数のエッジ候補点のZ軸方向およびX軸方向の座標の重心点を算出する。このため、柱状物体のエッジが検出されることにより得られた3次元点である可能性が高いエッジ候補点を抽出することができる。よって、精度よく柱状物体のエッジ位置を特定することができる。
また、算出では、対象領域300に含まれる複数の3次元点のうちの、抽出により抽出された複数のエッジ候補点のZ軸方向およびX軸方向の座標の重心点を算出する。このため、精度よく柱状物体のエッジの位置を特定することができる。
[2−4.変形例]
上記実施の形態2では、クラスタリング処理を最多点領域内の所定の基準点を基準として行っているが、これに限らない。例えば、クラスタリング処理を全てのエッジ候補点に対して行ってもよい。
図18は、実施の形態2の変形例に係るクラスタリング処理の詳細を示すフローチャートである。
図18に示すように、実施の形態2の変形例に係るクラスタリング処理では、クラスタリング部157は、全てのエッジ候補点のそれぞれについて、ステップS171、ステップS152〜ステップS159の処理を繰り返し行う。
まず、クラスタリング部157は、クラスタに登録済みであるか否かを判定する(S171)。つまり、クラスタリング部157は、処理対象のエッジ候補点についてクラスタリング処理を行ったか否かを判定する。
クラスタリング部157は、クラスタに登録済みでないと判定した場合(S171でNo)、上隣接点の探索を行う(S152)。
クラスタリング部157は、クラスタに登録済みであると判定した場合(S171でYes)、次のエッジ候補点についてステップS171を行う。
ステップS152〜ステップS159については、実施の形態2と同様であるので、説明を省略する。
なお、全てのエッジ候補点のそれぞれについて、ステップS171、ステップS152〜ステップS159の処理を繰り返し行うため、複数のクラスタが登録される可能性が高い。このため、次に、登録された複数のクラスタのうちで最も長いクラスタを代表クラスタとして決定する(S172)。
そして、ステップ115aの重心点の算出処理では、代表クラスタの構成点を算出対象として、重心点の算出を行う。
(他の実施の形態)
なお、上記実施の形態では、無人走行車は、フォークを有していないタイプであってもよい。また、柱状物体認識装置は、無人走行車だけでなく、スタッカークレーンの移載装置や、天井吊りタイプの搬送車の横移載装置に搭載されてもよい。
また、上記実施の形態では、センサ120は、2つのセンサ121、122により構成されているとしたが、画角が十分に広いセンサであれば1つのセンサにより構成されてもよい。
また、上記実施の形態では、柱状物体認識装置140は、移載装置200の脚部210のうち手前側の2本の脚部210の位置を特定するとしたが、これに限らない。つまり、2本の脚部210の手前側に化粧パネルが設けられている構成の移載装置の位置の特定に対しても適用できる。
また、上記実施の形態では、鉛直方向に延びる柱状物体のエッジを特定するとしたが、鉛直方向に延びる柱状物体に限らずに、水平方向に延びる柱状物体のエッジを特定してもよい。この場合には、上記実施の形態を90度回転させることで、例えば、上下方向に移動するスタッカークレーンの移載装置に、適用できる。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
以上、本発明の一つまたは複数の態様に係る荷揃えシステムについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
本発明は、ノイズを含む3次元データからであっても、精度よく物体を検出することができる柱状物体認識方法、柱状物体認識装置、無人走行車などとして有用である。
100 無人走行車
110 フォーク
120、121、122 センサ
123、124 計測範囲
130 マスト
140、140a 柱状物体認識装置
141 プロセッサ
142 メモリ
151 取得部
152 抽出部
153 投影部
154 特定部
155、155a 算出部
156 記憶部
157 クラスタリング部
200 移載装置
210 脚部
300 対象領域

Claims (8)

  1. 柱状物体認識装置により行われる柱状物体認識方法であって、
    柱状物体を含む物体の表面の複数箇所までの奥行き方向の距離を含む3次元距離を計測するセンサから当該3次元距離を示す距離データを取得し、
    取得した前記距離データから得られる前記複数箇所の3次元座標で示される複数の3次元点のそれぞれにおいて、前記奥行き方向に垂直な第1方向の第1範囲内にある他の3次元点に対して第1距離以上の奥行き差がある3次元点を、エッジ候補点として抽出し、
    抽出した複数の前記エッジ候補点を前記奥行き方向および前記第1方向により規定される2次元平面上に投影し、
    前記2次元平面が均等に分割された複数の分割領域のうちで、投影した前記複数のエッジ候補点を最も多く含む最多点領域を特定し、
    特定した前記最多点領域内の所定の基準点から所定範囲の領域である対象領域に含まれる複数の前記3次元点の少なくとも一部の前記奥行き方向および前記第1方向に係る2次元座標の重心点を算出する
    柱状物体認識方法。
  2. 前記抽出では、前記複数の3次元点において、前記第1方向の一方側の前記第1範囲内にある他の3次元点に対して前記第1距離以上手前側にあり、かつ、前記第1方向の他方側の前記第1範囲内にある他の3次元点に対して奥行き差の絶対値が第2距離以下である3次元点を前記エッジ候補点として抽出する
    請求項1に記載の柱状物体認識方法。
  3. 前記算出では、前記対象領域に含まれる前記複数の3次元点の全ての前記奥行き方向および前記第1方向に係る2次元座標の重心点を算出する
    請求項1または2に記載の柱状物体認識方法。
  4. 前記算出では、前記対象領域に含まれる前記複数の3次元点のうちの前記抽出により抽出された前記複数のエッジ候補点の前記奥行き方向および前記第1方向の座標の重心点を算出する
    請求項1または2に記載の柱状物体認識方法。
  5. さらに、
    (i)前記複数のエッジ候補点のうち、前記奥行き方向および前記第1方向のそれぞれにおいて前記基準点から第2範囲内にあるエッジ候補点の1つを所定のクラスタの構成点として登録する第1登録を行い、(ii)前記所定のクラスタに新たに登録した前記エッジ候補点を新たな基準点として、当該新たな基準点よりも前記奥行き方向および前記第1方向に垂直な第2方向の一方側の第3範囲内に位置し、かつ、前記奥行き方向および前記第1方向のそれぞれにおいて、前記第2範囲内にある前記エッジ候補点を前記所定のクラスタの構成点として登録する第2登録を、該当するエッジ候補点がなくなるまで繰り返し行う、クラスタリングを行い、
    前記算出では、前記クラスタリングにおいて前記所定のクラスタの構成点として登録された複数の前記エッジ候補点の前記奥行き方向および前記第1方向の座標の重心点を算出する
    請求項4に記載の柱状物体認識方法。
  6. 前記抽出では、(i)前記複数の3次元点において、前記第1方向の一方側の前記第1範囲内にある他の3次元点に対して前記第1距離以上手前側にあり、かつ、前記第1方向の他方側の前記第1範囲内にある他の3次元点に対して奥行き差の絶対値が第2距離以下である3次元点を第1のエッジ候補点として抽出し、かつ、(ii)前記第1方向の他方側の前記第1範囲内にある他の3次元点に対して前記第1距離以上手前側にあり、かつ、前記第1方向の一方側の前記第1範囲内にある他の3次元点に対して奥行き差の絶対値が第2距離以下である3次元点を第2のエッジ候補点として抽出し、
    前記特定では、(i)前記複数の分割領域のうちで、投影した前記複数のエッジ候補点のうち複数の前記第1のエッジ候補点を最も多く含む第1最多点領域を特定し、かつ、(ii)前記複数の分割領域のうちで、投影した前記複数のエッジ候補点のうち複数の前記第2のエッジ候補点を最も多く含む第2最多点領域を特定し、
    前記算出では、(i)特定した前記第1最多点領域内の第1の基準点から前記所定範囲の第1対象領域に含まれる複数の前記3次元点の少なくとも一部の前記奥行き方向および前記第1方向の座標の第1重心点を算出し、かつ、(ii)特定した前記第2最多点領域内の第2の基準点から前記所定範囲の第2対象領域に含まれる複数の前記3次元点の少なくとも一部の前記奥行き方向および前記第1方向の座標の第2重心点を算出し、(iii)前記第1重心点及び前記第2重心点を結ぶ線分と前記第1方向とが為す角度を算出する
    請求項1から5のいずれか1項に記載の柱状物体認識方法。
  7. 柱状物体を含む物体の表面の複数箇所までの奥行き方向の距離を含む3次元距離を計測するセンサから当該3次元距離を示す距離データを取得する取得部と、
    前記取得部が取得した前記距離データから得られる前記複数箇所の3次元座標で示される複数の3次元点のそれぞれにおいて、前記奥行き方向に垂直な第1方向の第1範囲内にある他の3次元点に対して第1距離以上の奥行き差がある3次元点を、エッジ候補点として抽出する抽出部と、
    前記抽出部が抽出した複数の前記エッジ候補点を前記奥行き方向および前記第1方向により規定される2次元平面上に投影する投影部と、
    前記2次元平面が均等に分割された複数の分割領域のうちで、前記投影部が投影した前記複数のエッジ候補点を最も多く含む最多点領域を特定する特定部と、
    前記特定部が特定した前記最多点領域内の所定の基準点から所定範囲の対象領域に含まれる複数の前記3次元点の少なくとも一部の前記奥行き方向および前記第1方向に係る2次元座標の重心点を算出する算出部と、を備える
    柱状物体認識装置。
  8. 柱状物体が含まれる3次元オブジェクトの表面の複数箇所までの3次元距離を計測するセンサと、
    請求項7に記載の柱状物体認識装置と、を備える
    無人走行車。
JP2016093498A 2016-05-06 2016-05-06 柱状物体認識方法、柱状物体認識装置および無人走行車 Pending JP2017201493A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016093498A JP2017201493A (ja) 2016-05-06 2016-05-06 柱状物体認識方法、柱状物体認識装置および無人走行車

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016093498A JP2017201493A (ja) 2016-05-06 2016-05-06 柱状物体認識方法、柱状物体認識装置および無人走行車

Publications (1)

Publication Number Publication Date
JP2017201493A true JP2017201493A (ja) 2017-11-09

Family

ID=60264629

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016093498A Pending JP2017201493A (ja) 2016-05-06 2016-05-06 柱状物体認識方法、柱状物体認識装置および無人走行車

Country Status (1)

Country Link
JP (1) JP2017201493A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113544614A (zh) * 2019-03-04 2021-10-22 松下知识产权经营株式会社 移动体控制方法、移动体控制系统以及程序

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143659A (ja) * 1996-11-06 1998-05-29 Komatsu Ltd 物体検出装置
JPH10307627A (ja) * 1997-05-07 1998-11-17 Fuji Heavy Ind Ltd 自律走行作業車の作業境界検出装置及び倣い走行制御装置
JP2008286756A (ja) * 2007-05-21 2008-11-27 Canon Inc 位置姿勢計測装置及びその制御方法
JP2012160063A (ja) * 2011-02-01 2012-08-23 Ihi Corp 球体の検出方法
JP2014153336A (ja) * 2013-02-13 2014-08-25 Nippon Telegr & Teleph Corp <Ntt> 点群解析処理装置及び点群解析処理プログラム
JP2015225453A (ja) * 2014-05-27 2015-12-14 村田機械株式会社 物体認識装置及び物体認識方法
JP2016028311A (ja) * 2014-07-10 2016-02-25 株式会社リコー ロボット、プログラム、及び記憶媒体
US20160090283A1 (en) * 2014-09-25 2016-03-31 Bt Products Ab Fork-Lift Truck

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143659A (ja) * 1996-11-06 1998-05-29 Komatsu Ltd 物体検出装置
JPH10307627A (ja) * 1997-05-07 1998-11-17 Fuji Heavy Ind Ltd 自律走行作業車の作業境界検出装置及び倣い走行制御装置
JP2008286756A (ja) * 2007-05-21 2008-11-27 Canon Inc 位置姿勢計測装置及びその制御方法
JP2012160063A (ja) * 2011-02-01 2012-08-23 Ihi Corp 球体の検出方法
JP2014153336A (ja) * 2013-02-13 2014-08-25 Nippon Telegr & Teleph Corp <Ntt> 点群解析処理装置及び点群解析処理プログラム
JP2015225453A (ja) * 2014-05-27 2015-12-14 村田機械株式会社 物体認識装置及び物体認識方法
JP2016028311A (ja) * 2014-07-10 2016-02-25 株式会社リコー ロボット、プログラム、及び記憶媒体
US20160090283A1 (en) * 2014-09-25 2016-03-31 Bt Products Ab Fork-Lift Truck

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113544614A (zh) * 2019-03-04 2021-10-22 松下知识产权经营株式会社 移动体控制方法、移动体控制系统以及程序
CN113544614B (zh) * 2019-03-04 2024-05-24 松下知识产权经营株式会社 移动体控制方法、移动体控制系统
US12084328B2 (en) 2019-03-04 2024-09-10 Panasonic Intellectual Property Management Co., Ltd. Mover control method, mover control system, and program

Similar Documents

Publication Publication Date Title
JP6721998B2 (ja) 物体状態特定方法、物体状態特定装置、および、搬送車
US11062457B2 (en) Robotic system with automated package registration mechanism and minimum viable region detection
JP6880950B2 (ja) 陥凹部検出装置、搬送装置、および、陥凹部検出方法
JP6649796B2 (ja) 物体状態特定方法、物体状態特定装置、および、搬送車
EP2888603B1 (en) Robot positioning system
KR101003168B1 (ko) 다차원 에비던스 그리드 및 그를 적용한 시스템 및 방법
US11654571B2 (en) Three-dimensional data generation device and robot control system
CN107851181B (zh) 用于控制机器人和/或自主无人驾驶运输系统的方法
JP5586967B2 (ja) ロボットおよびロボットシステム
JP7086148B2 (ja) パレット検知装置、フォークリフト、パレット検知方法、及びプログラム
JP2016170050A (ja) 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム
JP2021193400A (ja) アーチファクトを測定するための方法
US10731970B2 (en) Method, system and apparatus for support structure detection
US20210150750A1 (en) Moving body and system
JP2017201493A (ja) 柱状物体認識方法、柱状物体認識装置および無人走行車
WO2022254990A1 (ja) エッジ位置検出方法、移載位置決定方法、および物品移載システム
JP7179102B2 (ja) 移動体の制御方法、移動体及びプログラム
EP4094904A1 (en) Robot system control device, robot system control method, computer control program, and robot system
JP2020067692A (ja) 学習適否判定方法、および、学習適否判定装置
JP7513381B2 (ja) ワークを検出する検出システム
KR101888363B1 (ko) 물체의 3차원 형상을 센싱하기 위한 센서 테스트 베드, 물체 센싱 장치 및 물체 센싱 방법
Svensson et al. 6DOF object recognition and positioning for robotics using next best view heuristics
Ganslandt et al. 6DOF Object Recognition and Positioning for Robotics Using Next Best View Heuristics
EP3692332A1 (en) Determining object attributes using photoelectric sensors

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200123

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200714