JP2020067692A - 学習適否判定方法、および、学習適否判定装置 - Google Patents

Abstract

【課題】学習モードでの対象オブジェクトとしての適否を、オペレータの勘と経験によることなしに自動判定させることができる学習適否判定方法を提供する。【解決手段】学習適否判定方法は、自律走行台車の位置ずれ量を求める方法における学習適否判定方法であって、学習モードにおいて、二次元平面上で自律走行台車を基準とした異なる３方向の少なくとも一方向に所定の刻み幅で学習データを位置変化させることで複数の比較データを生成し（Ｓ１０３）、複数の比較データのそれぞれと、学習データとを比較することで、複数の比較データ毎に学習データとの一致度を算出し（Ｓ１０４）、算出した一致度が予め定められた閾値を超える比較データがある場合、当該学習データを自律走行モードのマッチングにおける不適切な学習データであると判定する（Ｓ１０５）。【選択図】図１４

Description

本発明は、学習適否判定方法、および、学習適否判定装置に関する。

特許文献１は、柱状物体認識装置を備えた自律走行台車を開示する。この自律走行台車は、ＳＬＡＭ（Simultaneous Localization and Mapping）などによって予め学習させた目的地まで自律的に移動した後に、位置決めの対象となる柱状物体が含まれる物体（三次元オブジェクト）と自律走行台車との位置ずれ量を算出し、この位置ずれ量に基づいて目的地から移載装置に近接する位置まで移動する。

特開２０１７−２０１４９３号公報

上記自律走行台車は、学習モードにおける学習時停止位置と自律モードにおける目的地とのそれぞれにおいて、自律走行台車に対する三次元オブジェクトの相対的な位置および姿勢を計測し、両者を比較して位置ずれ量を算出する。この従来技術では、オペレータが学習モードにおいて自律走行台車の位置ずれ量を算出する基準とする対象オブジェクトとして三次元オブジェクトを選ぶことになるが、選ばれた三次元オブジェクトが自律モードにおいて位置ずれ量を把握するために適した対象オブジェクトであるか否かについて考慮がされていない。

つまり、対象オブジェクトとして選ばれた三次元オブジェクトは、自律走行モードにおいて位置ずれ量を把握するために適していないおそれがある。例えば、１本もしくは互いに近接して立設する２本の柱、単なる平板及び周期的に並んだ複数本の柱などの単純な三次元オブジェクトを対象オブジェクトとして設定すると、自律走行モードにおける正確な位置ずれ量が得られない。

そこで、本発明は、学習モードにおいて選択した三次元オブジェクトが対象オブジェクトとして適しているか否かを、オペレータの勘と経験によることなしにコンピュータに自動判定させることができる学習適否判定方法および学習適否判定装置を提供する。

上記目的を達成するために、本発明の一態様に係る学習適否判定方法は、（ｉ）学習モードにおいて、自律走行台車が備えるセンサによる対象オブジェクトに対するセンシングにより得られた二次元マップを学習データとして取得し、（ｉｉ）自律走行モードにおいて、前記センサの前記センシングにより得られた二次元マップをマッチング候補として取得し、取得した前記学習データおよび前記マッチング候補をマッチング処理することで、前記対象オブジェクトに対する前記自律走行台車の位置ずれ量を求める方法における学習適否判定方法であって、前記学習モードにおいて、前記二次元マップの二次元平面上で前記自律走行台車を基準とした、前後方向、左右方向およびヨーイング方向の少なくとも一方向に所定の刻み幅で前記学習データを位置変化させることで複数の比較データを生成し、前記複数の比較データのそれぞれと、前記学習データとを比較することで、前記複数の比較データ毎に前記学習データとの一致度を算出し、算出した一致度が予め定められた閾値を超える比較データがある場合、当該学習データを前記自律走行モードのマッチングにおける不適切な学習データであると判定する。

これによれば、学習モードにより得られた二次元マップを用いることで、学習モードでの学習において記憶すべき学習データが不適切であることを容易に判定することができる。このため、学習モードにおいて選択した三次元オブジェクトが対象オブジェクトとしての適否を、オペレータの勘と経験によることなしにコンピュータに自動判定させることができる。

また、前記センサは、前記自律走行台車の前方の物体の表面の複数箇所までの奥行き方向の距離を含む三次元距離を計測することで、当該三次元距離を示す距離データを検出し、前記二次元マップは、前記距離データから得られる前記複数箇所の三次元座標で示される複数の三次元点データを鉛直方向に略直交する二次元平面に投影することで得られた平面密度分布マップであってもよい。

これによれば、三次元点群データを二次元平面に投影することで得られた平面密度分布マップである二次元マップを用いて処理を行うため、当該処理にかかる処理負荷を低減することができる。

また、さらに、前記不適切な学習データであるとの判定結果を、ユーザに通知してもよい。

このため、ユーザに、学習させる物体の変更を促すことができる。

なお、これらの全般的または具体的な態様は、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明の学習適否判定方法および学習適否判定装置では、学習モードにおいて選択した三次元オブジェクトが対象オブジェクトとして適しているか否かを、オペレータの勘と経験によることなしにコンピュータに自動判定させることができる。

図１は、実施の形態１に係る無人走行車および移載装置を示す斜視図である。 図２は、実施の形態１に係る無人走行車における学習要否を判定する機能に関連するハードウェア構成のみを示すブロック図である。 図３は、実施の形態１に係るセンサの機能について説明するための図である。 図４は、無人走行車の学習モードでの動作を説明するための図である。 図５は、無人走行車の通常モードでの動作を説明するための図である。 図６は、実施の形態に係る学習適否判定装置の機能構成を示すブロック図である。 図７は、角柱状の三次元オブジェクトをセンシングすることで得られた三次元点群データを二次元平面に投影する処理を説明するための図である。 図８は、学習データとしての二次元マップから複数の比較データを生成する処理を説明するための図である。 図９は、異なる３方向に位置をずらしたときの比較データと学習データとの一致度の変化を示すグラフである。 図１０は、学習データに適さない場合の、一致度の変化を示すグラフである。 図１１は、円柱状の三次元オブジェクトをセンシングすることで得られた三次元点群データを二次元平面に投影する処理を説明するための図である。 図１２は、変形例１に係る、学習データとしての二次元マップから複数の比較データを生成する処理を説明するための図である。 図１３は、異なる３方向に位置をずらしたときの比較データと学習データとの一致度の変化を示すグラフである。 図１４は、実施の形態に係る学習適否判定装置１４０の動作を示すフローチャートである。 図１５は、周期的に繰り返し並んで配置される角柱状の三次元オブジェクトをセンシングすることで得られた三次元点群データを二次元平面に投影する処理を説明するための図である。 図１６は、変形例の場合の複数の比較データを生成する処理を説明するための図である。 図１７は、変形例の場合の複数の比較データと学習データとの一致度の変化を示すグラフである。

以下に、本発明の実施形態の学習適否判定方法および学習適否判定装置について、図面を参照しながら説明する。なお、各図は、模式図であり、必ずしも厳密に図示したものではない。

また、以下で説明する実施の形態は、本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
［１−１．構成］
まず、図１〜図５を用いて、本発明の実施の形態１に係る無人走行車１００の構成の概要を説明する。

図１は、実施の形態１に係る無人走行車および移載装置を示す斜視図である。

無人走行車１００は、２本のフォーク１１０を物体が載置されているパレット２２０の２つの開口にそれぞれ挿入して、物体２３０（例えば荷物）を持ち上げて搬送する台車である。無人走行車１００は、自律走行台車の一例である。また、無人走行車１００は、移載装置２００に近接する位置まで近づいて、移載装置２００から物体２３０を受け取って搬送する台車である。本実施の形態では移載装置２００は、床面上に配置され、移載装置２００本体を支持する脚部２１０を有する。脚部２１０は、例えば、４本の柱状の部材により構成される。

なお、図１は、移載装置２００上にパレット２２０が載置され、パレット２２０のさらに上に物体２３０が載置されている例を示す。

本実施の形態の場合、無人走行車１００は、相互に平行に配置されている２本のフォーク１１０と、２本のフォーク１１０のそれぞれの先端に配置されるセンサ１２０とを備えている。また、無人走行車１００は、無人走行車１００が走行する床面と平行を維持したまま、２本のフォーク１１０を上下に移動可能とするマスト１３０を備えていてもよい。また、無人走行車１００は、無人で自律的に走行し荷物を搬送することができる走行車であり、内部に学習適否判定装置１４０を備えている。

なお、本実施の形態では、センサ１２０が向いている方向（奥行き方向）をＺ軸方向とし、Ｚ軸方向に垂直な方向であって２本のフォーク１１０が並んでいる方向（水平方向または左右方向）をＸ軸方向とし、Ｚ軸方向およびＸ軸方向に垂直な方向（鉛直方向または上下方向）をＹ軸方向とする。Ｚ軸方向は無人走行車１００の前後方向であり、Ｘ軸方向は無人走行車の左右方向であり、Ｙ軸方向は無人走行車１００の上下方向である。また、Ｚ軸方向では、センサ１２０を基準にセンサ１２０よりも奥側（前側）をＺ軸方向プラス側とし、手前側（後側）をＺ軸方向マイナス側とする。また、Ｘ軸方向では、センサ１２０（無人走行車１００）から見て左側をＸ軸方向プラス側とし、右側をＸ軸方向マイナス側とする。また、Ｙ軸方向では、センサ１２０（無人走行車１００）から見て上側をＹ軸方向プラス側とし、下側をＹ軸方向マイナス側とする。つまり、図では、矢印が向いている側が各方向のプラス側を示し、その反対側が各方向のマイナス側を示す。

次に、無人走行車１００のハードウェア構成について説明する。

図２は、実施の形態１に係る無人走行車における学習要否を判定する機能に関連するハードウェア構成のみを示すブロック図である。

図２に示すように、無人走行車１００は、ハードウェア構成として、センサ１２０と、プロセッサ１４１およびメモリ１４２を有する学習適否判定装置１４０とを備える。

センサ１２０は、三次元状の物体である三次元オブジェクトの表面の複数箇所までの奥行き方向（Ｚ軸方向）の距離を含む三次元距離を計測するセンサである。センサ１２０は、計測した三次元距離を示す距離データを出力する。

なお、ここで、距離データは、センサ１２０から物体の表面の所定の位置までの距離と、センサ１２０から所定の位置までを結んだ線分がＺ軸方向に対して為す角度とを含むデータであってもよい。つまり、距離データは、センサ１２０から物体の表面の所定の位置までの直線距離と、その方向とを含むデータであってもよい。

また、距離データは、センサ１２０の位置を原点とした場合の、原点から所定の位置までのＸ軸方向、Ｙ軸方向およびＺ軸方向のそれぞれにおける距離（三次元座標）を含むデータであってもよい。なお、三次元座標は、センサ１２０から物体の表面の所定の位置までの距離と、センサ１２０から所定の位置までを結んだ線分がＺ軸方向に対して為す角度とを用いて算出することができる。

センサ１２０は、例えば、カメラの周囲に設けられた発光素子（例えばＬＥＤ）により赤外光を照射し、対象物から反射した反射光が、カメラで観測されるまでの時間を撮像画素ごとに計測することで、対象物まで距離を画素ごとに測定するＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラである。

図３は、実施の形態１に係るセンサの機能について説明するための図である。

図３に示すように、センサ１２１は、センサ１２１から見て（Ｚ軸方向プラス側に向かって）、ビーム状の赤外光を、主走査として左から右（Ｘ軸方向マイナス側）に、副走査として上から下（Ｙ軸方向マイナス側）に、予め定められた計測範囲１２３を走査する。そして、センサ１２１は、イメージセンサにより、対象物からの反射光を画素毎に測定することで、センサ１２０から計測範囲１２３にある物体の表面の複数箇所までの三次元距離を計測する。なお、センサ１２２も同様の構成であり、図１に示すように予め定められた計測範囲１２４を走査し、センサ１２２から計測範囲１２４にある物体の表面の複数箇所までの三次元距離を計測する。

つまり、センサ１２０により出力された距離データは、Ｘ軸方向に主走査が行われ、Ｙ軸方向に副走査が行われることによって計測された三次元距離である。つまり、センサ１２０は、Ｙ軸方向の所定の位置において、Ｘ軸方向の位置を異ならせながら、複数回所定の周期で取得した物体の表面までのＺ軸方向における距離を計測する。このため、距離データによって計測された三次元距離は、Ｘ軸方向の複数の位置およびＹ軸方向の複数の位置の組み合わせのそれぞれにおいてＺ軸方向の距離が計測されたデータである。

本実施の形態では、各センサ１２１、１２２の計測範囲１２３、１２４が対象物に対して小さいため、無人走行車１００は、水平方向に並べた２つのセンサ１２１、１２２を備える構成であるとしたが２つのセンサ１２１、１２２を備える構成に限らない。つまり、無人走行車は、センサとして、計測範囲が対象物に対して十分な大きさのセンサを採用した場合には、１つのセンサのみを備える構成としてもよい。また、２つのセンサ１２０は、フォーク１１０の先端のみならず、走行車本体の前面側の左右端にそれぞれ取り付けられても構わない。

なお、センサ１２０は、２つのカメラを備え、２つの二次元画像の視差により実測値を取得するセンサや、レーザー光をスキャンさせてレーザー光の反射光に基づき複数箇所の座標と距離とを測定する測距センサなどであってもよい。

プロセッサ１４１は、メモリ１４２に記憶されたプログラムを実行するプロセッサである。メモリ１４２は、制御プログラムなどを保持する不揮発性の記憶領域である。

プロセッサ１４１は、無人走行車１００を学習モードおよび自律走行モードの２つの動作モードで動作させる。各動作モードについて、図４および図５を用いて説明する。図４は、無人走行車の学習（教示）モードでの動作を説明するための図である。図５は、無人走行車の通常（自律）モードでの動作を説明するための図である。

学習モードとは、無人走行車１００が所定の位置までの経路を学習するためのモードである。具体的には、学習モードでは、図４に示すように、無人走行車１００は、ユーザが図示しないコントローラで無人走行車１００を所定の位置まで移動させた時の移動経路を記憶する。ここで記憶した移動経路は、自律走行モード時にＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）などによって自律的に無人走行車１００が所定の位置まで誘導されるために用いられる。

所定の位置は、例えば、移載装置２００が無人走行車１００に対してＺ軸方向プラス側に距離ｄ１だけ離れた位置である。図４では、所定の位置は、移載装置２００の脚部２１０の手前側左端を左エッジＰ１とし、脚部２１０の手前側右端を右エッジＰ２としたとき、無人走行車１００のセンサ１２０の原点ＯからＺ軸方向に距離ｄ１だけ離れた位置に左エッジＰ１および右エッジＰ２の中点Ｃが位置する位置であるとする。また、所定の位置は、脚部２１０のＹ軸方向マイナス側の面の形状（つまり、センサ１２０の計測対象となる脚部２１０の前面の形状）の重心の位置を、上記中点Ｃに置き換えたときの位置としてもよい。

なお、所定の位置は、学習モードにおいてユーザが無人走行車１００を停止させた位置（学習時停止位置）であり、精度が高い位置ではない。このため、図４に示したように、所定の位置は、原点Ｏと中点Ｃとを結ぶ線分がＺ軸方向に平行である位置に限らずに、Ｚ軸方向に対して傾いている位置であってもよい。

また、学習モードにおいては、無人走行車１００は、所定の位置から移載装置２００に近接する位置までユーザがコントローラで移動させた時の移動経路を記憶する。なお、移載装置２００に近接する位置とは、移載装置２００との間で荷物の受け渡しを行うことが可能である位置である。ここで記憶した移動経路は、所定の位置からほぼ直線的に移動された経路であるため、移動された時に無人走行車１００におけるエンコーダによって読み取られたデータで構成されていてもよい。

自律走行モードとは、無人走行車１００が学習モードにおいて記憶した移動経路に基づいて、例えばＳＬＡＭなどによって自律的に所定の位置まで誘導されるモードである。なお、自律走行モードでは、無人走行車１００は、所定の位置まで自律的に誘導された後、所定の位置から移載装置２００に近接する位置までは、学習モードにおいて記憶された、エンコーダによって読み取られたデータで構成される移動経路に基づいて位置制御される。

ここで、無人走行車１００は、ＳＬＡＭなどで所定の位置まで移動された場合、精度よりも処理速度を優先した処理方式を採ることにより、図５に示すように、学習時停止位置からずれた位置（自動誘導時停止位置）で停止することがある。この状態から、移載装置２００に近接する位置まで移動すれば、移載装置２００からずれた位置に停止する可能性が高くなり、移載装置２００との間で荷物の受け渡しを行うことが困難になる。

そこで、無人走行車１００は、学習モードにおける学習時停止位置での移載装置２００の脚部２１０の無人走行車１００に対する相対位置と、自律走行モードにおける自動誘導時停止位置での移載装置２００の脚部２１０の位置の無人走行車１００に対する相対位置とを比較する。相対位置は、各モードにおける無人走行車１００の停止位置を基準とした、左エッジＰ１および右エッジＰ２の位置、左エッジＰ１および右エッジＰ２の間の形状などの情報を含む。そして、無人走行車１００は、比較によって、学習時停止位置と自動誘導時停止位置とのずれを算出し、算出したずれと、学習時に記憶したエンコーダのデータを用いて、自動誘導時停止位置から移載装置２００に近接する位置までの移動を、エンコーダによる位置制御により行うことで、精度の高い位置まで無人走行車１００を移動させることができる。

なお、無人走行車１００は、無人走行車１００に対する移載装置２００の相対位置を、無人走行車１００が備えるセンサ１２０の対象オブジェクトに対するセンシングにより得られた二次元マップを用いて算出する。無人走行車１００は、学習モードにおいて得られた二次元マップを学習データとして取得し、自律走行モードにおいて得られた二次元マップをマッチング候補として取得する。無人走行車１００は、取得した学習データおよびマッチング候補をマッチング処理することで、移載装置２００に対する無人走行車１００の位置ずれ量を求める。二次元マップの詳細については、後述する。

なお、学習モードにおいて無人走行車１００を停止させる位置である所定の位置は、移載装置２００に近すぎる位置に決定された場合、センサ１２０の計測範囲１２３、１２４内に移載装置２００の脚部２１０を収められなくなる可能性がある。また、当該所定の位置が移載装置２００に近すぎる位置に決定された場合において、自律走行モードにおいて経路にずれが発生すれば、無人走行車１００が移載装置２００に衝突するおそれがある。

逆に、当該所定の位置が移載装置２００に遠すぎる位置に決定された場合、所定の位置から移載装置２００に近接する位置までの間の距離が長くなるため、エンコーダによる位置制御による移動距離が長くなる。このため、無人走行車１００を最終的な移載装置２００に近接する位置に停止させる精度が悪化する可能性がある。

以上のような制約の中でユーザは、適切な位置を所定の位置として決定する必要がある。つまり、所定の位置は、移載装置２００の脚部２１０を当該所定の位置に停止した無人走行車１００のセンサ１２０の計測範囲１２３、１２４内に収めることができる位置である。また、所定の位置は、自律走行モードの自律誘導によるずれの最大値以上、移載装置２００から離れた位置である。また、所定の位置は、移載装置２００との間の距離が、エンコーダによる位置制御による誤差が最大限生じたとしても、移載装置２００との荷物の受け渡しに支障がない位置に無人走行車１００を停止できる距離以下である位置である。

上記のように無人走行車１００を移載装置２００に近接する位置まで精度よく移動させるために、無人走行車１００は、学習モードにおける学習時停止位置と、自律走行モードにおける自動誘導時停止位置とのそれぞれにおいて、移載装置２００に対する相対的な位置および姿勢を計測する。

図６は、実施の形態に係る学習適否判定装置の機能構成を示すブロック図である。

図６に示すように、学習適否判定装置１４０は、機能構成として、取得部１５１と、生成部１５２と、算出部１５３と、判定部１５４とを備える。学習適否判定装置１４０は、さらに、通知部１５５を備えていてもよい。また、学習適否判定装置１４０は、さらに、記憶部１５６を備えていてもよい。取得部１５１、生成部１５２、算出部１５３、判定部１５４、通知部１５５のそれぞれは、プロセッサ１４１およびメモリ１４２によって実現される。記憶部１５６は、メモリ１４２または図示しないＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅｄ Ｄｒｉｖｅ）などの不揮発性の記憶装置によって実現される。

取得部１５１は、センサ１２０から三次元距離を示す距離データを取得する。

ここでは、図７の（ａ）に示すように、角柱状の三次元オブジェクトＯ１が対象オブジェクトである場合を例に説明する。つまり、図１で示した移載装置２００の脚部２１０が１本の角柱状の三次元オブジェクトで構成されることとする。なお、図７は、角柱状の三次元オブジェクトをセンシングすることで得られた三次元点群データを二次元平面に投影する処理を説明するための図である。

取得部１５１は、図７の（ａ）に示すように、例えば、角柱状の三次元オブジェクトＯ１がセンサ１２０によりセンシングされた、三次元オブジェクトＯ１のＺ方向マイナス側の表面における複数箇所の点の三次元座標により示される複数の三次元点データのそれぞれを距離データとして取得する。複数の三次元点データは、三次元点群データを構成する。取得部１５１は、図７の（ｂ）に示すように、取得した距離データから得られる物体の表面における複数箇所の三次元座標で示される三次元点群データを鉛直方向（Ｙ軸方向）に略直交する二次元平面（Ｚ−Ｘ平面）に投影することで、平面密度分布マップからなる二次元マップＭ１を生成する。二次元マップＭ１は、例えば、ｍ×ｎの画素（ｍおよびｎは、２以上の整数）により構成され、対応する画素に投影された三次元点が多いほど大きい値を示す二次元画像である。図７の（ｂ）の二次元マップＭ１では、例えば、黒に近い色を示す値を有する画素ほど、当該画素に対応する領域に投影された三次元点の数が多いことを示している。

生成部１５２は、学習モードにおいて、例えば、図８に示すように二次元マップＭ１をＸ軸方向（左右方向）プラス側およびマイナス側、Ｚ軸方向（前後方向）プラス側およびマイナス側、Ψ方向（ヨーイング方向、つまり、Ｙ軸方向周りの回転方向）プラス側およびマイナス側のそれぞれに、所定の刻み幅で位置変化させることで複数の比較データＣ１を生成する。生成部１５２は、例えば、Ｘ軸方向、Ｚ軸方向およびΨ方向の各方向において、ＳＬＡＭの誘導精度の範囲（例えば、前後左右±５０ｍｍ、回転±１度）を基準として、位置変化の最大値をＳＬＡＭの誘導精度の範囲よりも大きい値（例えば、Ｘ軸方向およびＺ軸方向の各方向で２００ｍｍ、Ψ方向±５度）に決定する。つまり、生成部１５２は、基準位置から、各方向において決定した最大値までの間で、所定の刻み幅で位置変化させることで複数の比較データＣ１を生成する。また、所定の刻み幅は、移載装置２００までエンコーダによる位置制御を行って無人走行車１００を前進させたときに、例えば、無人走行車１００のフォーク１１０が移載装置２００上のパレット２２０の開口に挿入されることが保証される所定の位置からのずれ幅（例えば、前後左右±１０ｍｍ、回転±０．３度）よりも小さい値である。なお、図８は、学習データとしての二次元マップから複数の比較データを生成する処理を説明するための図である。図８における二次元マップＭ１および比較データＣ１は、概略図である。

なお、図８の例では、Ｘ軸方向、Ｚ軸方向およびΨ方向の異なる３方向の１方向の位置を変化させたときの複数の比較データが生成される例が示されているが、これに限らずに、３方向全ての位置を変化させた時の複数の比較データを生成しなくてもよく、３方向のうちの２方向の位置を変化させたときの複数の比較データが生成されてもよい。この場合、変化させる３方向のうちの２方向は、直交表に基づいて決定される。

算出部１５３は、複数の比較データＣ１のそれぞれと、学習データとしての二次元マップＭ１とを比較することで、複数の比較データＣ１毎に二次元マップＭ１との一致度を算出する。算出部１５３は、例えば、ＳＡＤ（Summation of Absolute Difference）を用いて算出した値を一致度として算出する。詳しくは、算出部１５３は、ＳＡＤを用いて不一致度を算出することができ、不一致度の逆数又は所定の数から不一致度を引いた差を一致度として算出することができる。複数の比較データＣ１のそれぞれは、位置変化させた３方向毎、かつ、位置変化させた所定の刻み幅毎に生成されているため、位置変化させた方向および基準位置からの位置変化量と対応付けられている。なお、基準位置は、位置変化をさせていない場合の位置である。つまり、基準位置は、二次元マップＭ１の位置である。

一致度は、対応する比較データＣ１が対応付けられている位置変化させた方向、および、基準位置からの位置変化量に対応付けられている。よって、一致度は、例えば、図９に示す曲線のグラフのように、３つの方向毎に、当該方向における位置変化量に応じて変化する。なお、このグラフ上の複数の白丸の点は、それぞれ、複数の比較データＣ１から算出された一致度および位置変化量を表しており、１つの白丸の点が１つの比較データに対応する一致度および位置変化量を表す。基準位置は、二次元マップＭ１における位置であるため、基準位置における比較データＣ１と、二次元マップＭ１とは完全に一致する。このため、基準位置における一致度は、他の位置における一致度よりも大きい値となる。一方で、基準位置から離れるほど、基準位置からのずれが大きくなるため、一致度は小さくなる傾向にある。また、ある一定の距離以上基準位置から離れると二次元マップＭ１と完全にずれてしまうため、一致度は、収束し一定の値となる。

図８の例のように、対象オブジェクトとしての移載装置２００の脚部２１０の形状が角柱状である場合、Ｚ軸方向マイナス側の表面が平面であるため、得られる二次元マップＭ１は、Ｘ軸方向に直線状に並ぶ画素で構成される。このような二次元マップＭ１では、基準位置に近い領域において、Ｘ軸方向にずらして生成された比較データＣ１は、二次元マップＭ１と比較してもほとんどずれが生じないため、一致度が小さくなりにくい。このため、Ｘ軸方向に変化させた場合の一致度の変化を示すグラフは、図９の（ａ）に示すように、基準位置で一致度が最大となるなだらかな上に凸の曲線となる。ただし、この例では、脚部２１０の形状が角柱状であり、Ｘ軸方向の幅が所定の幅（例えば、センサ１２０の計測範囲の当該方向における幅）よりも小さいため、二次元マップＭ１を所定の幅よりもずらして生成した比較データＣ１は、二次元マップＭ１と大きくずれることとなる。このため、図９の（ａ）の例では、全ての位置において、閾値Ｔｈ１以下の一致度となる。なお、閾値Ｔｈ１は、図９において破線により示されている。

一方で、二次元マップＭ１は、Ｚ軸方向またはΨ方向では、基準位置から離れると基準位置から近くても大きなずれが生じるため、多くの位置変化量に対応付けられている一致度は小さくなりやすい。このため、Ｚ軸方向およびΨ方向に変化させた場合の一致度の変化を示すグラフは、図９の（ｂ）および（ｃ）に示すように、基準位置で一致度が最大となる急峻な上に凸の曲線となる。このため、この例では、比較データにおいて、全ての位置において、閾値Ｔｈ１以下の一致度となる。

ところで、図示しないが対象オブジェクトの形状が、センサ１２０の計測範囲１２３、１２４にわたってＸ−Ｙ平面に平行な平面をＺ軸方向マイナス側に有する場合、得られる二次元マップは、Ｘ軸方向の全幅にわたってＸ軸方向に直線状に並ぶ画素で構成される。この場合の二次元マップでは、基準位置に近い領域においても、遠い領域においても、Ｘ軸方向にずらして生成された比較データは、二次元マップと比較してもほとんどずれが生じないため、図１０に示すように、一致度が閾値Ｔｈ１を超える範囲が大きいグラフが生成されることとなる。このような二次元マップを学習データとして保持している場合、無人走行車１００は、自律走行モードにおいて所定の位置からＸ軸方向にずれたとしても、ずれた位置から取得した二次元マップと学習データとの間に大きな差が生じにくい。例えば、同一方向に変化させることで得られた複数の比較データにおいて、閾値Ｔｈ１を超える一致度の比較データが所定の数よりも多く存在すると、自律走行モードにおいて得られた二次元マップが所定の位置からずれた位置で得られた二次元マップであっても、学習モード時に所定の位置で得られた二次元マップと比較したときに、差が生じにくい。このため、移載装置２００からのずれ量を精度よく算出することが難しい。よって、対象オブジェクトの形状が、対象オブジェクトからのずれ量の算出を精度よくできないような形状であると判定することができる。この場合に、例えば、ユーザに対象オブジェクトの形状を変更させることを促すことで、自律走行モードにおける無人走行車１００の位置ずれ量に応じた補正を無人走行車１００に精度よく行わせることができる。

次に、図１１の（ａ）に示すように、円柱状の三次元オブジェクトＯ２が対象オブジェクトである場合を例に説明する。つまり、図１で示した移載装置２００の脚部２１０が１本の円柱状の三次元オブジェクトで構成されることとする。図１１は、円柱状の三次元オブジェクトをセンシングすることで得られた三次元点群データを二次元平面に投影する処理を説明するための図である。

学習適否判定装置１４０の取得部１５１は、図１１の（ａ）に示すように、円柱状の三次元オブジェクトＯ２のＺ軸方向マイナス側の表面における複数箇所の点の三次元座標により構成される三次元点群データを距離データとして取得する。取得部１５１は、図１１の（ｂ）に示すように、取得した距離データから得られる物体の表面における複数箇所の三次元座標で示される三次元点群データを鉛直方向（Ｙ軸方向）に略直交する二次元平面（Ｚ−Ｘ平面）に投影することで、平面密度分布マップからなる二次元マップＭ２を生成する。二次元マップＭ２は、実施の形態の二次元マップＭ１と同様に、例えば、ｍ×ｎの画素により構成され、対応する画素に投影された三次元点が多いほど大きい値を示す二次元画像である。

生成部１５２は、学習モードにおいて、例えば、図１２に示すように二次元マップＭ１をＸ軸方向（左右方向）プラス側およびマイナス側、Ｚ軸方向（前後方向）プラス側およびマイナス側、Ψ方向（ヨーイング方向、つまり、Ｙ軸方向周りの回転方向）プラス側およびマイナス側のそれぞれに、所定の刻み幅で位置変化させることで複数の比較データＣ２を生成する。図１２は、変形例１に係る、学習データとしての二次元マップから複数の比較データを生成する処理を説明するための図である。なお、図１２における二次元マップＭ２および比較データＣ２は、概略図である。

図１１の例のように、対象オブジェクトとしての移載装置２００の脚部２１０の形状が円柱状である場合、Ｚ軸方向マイナス側の表面が平面であるため、得られる二次元マップＭ２は、円弧状に並ぶ画素で構成される。このような二次元マップＭ２では、基準位置に近い領域において、Ψ方向にずらして生成された比較データＣ２は、二次元マップＭ２と比較してもほとんどずれが生じないため、一致度が小さくなりにくい。このため、Ψ方向に変化させた場合の一致度の変化を示すグラフは、図１３の（ｃ）に示すように、基準位置で一致度が最大となるなだらかな上に凸の曲線となる。円柱状のように、周囲の形状が円形である場合に得られた二次元マップを学習データとして保持している場合、無人走行車１００は、自律走行モードにおいて所定の位置からΨ方向にずれたとしても、ずれた位置から取得した二次元マップと学習データとの間に大きな差が生じにくい。このため、実施の形態で説明したＸ軸方向のずれと同様の課題が生じることになる。

上記のような、Ｘ軸方向のずれ、または、Ψ方向のずれが生じたとしても、ずれた位置から取得した二次元マップと学習データとの間に大きな差が生じにくい場合、つまり、対象オブジェクトが学習データに適さないことを判別するために、判定部１５４は、以下に示す判定を行う。具体的には、判定部１５４は、算出した一致度が予め定められた閾値Ｔｈ１を超える比較データがある場合、当該学習データを自律走行モードのマッチングにおける不適切な学習データであると判定してもよい。つまり、判定部１５４は、一致度が閾値Ｔｈ１を超える比較データがある場合、詳しくは基準位置以外に閾値Ｔｈ１を超えるデータが存在する場合、当該比較データと基準位置における学習データとを区別することが難しいため、学習データを不適切であると判定してもよい。この場合、反対に、判定部１５４は、一致度が閾値Ｔｈ１を超える比較データがない場合、当該学習データを自律走行モードのマッチングにおける適切な学習データであると判定する。

好ましくは、例えば、判定部１５４は、算出した一致度が予め定められた閾値Ｔｈ１を超える比較データが同一の方向の位置変化において所定数連続している場合、当該学習データを自律走行モードのマッチングにおける不適切な学習データであると判定してもよい。反対に、判定部１５４は、一致度が閾値Ｔｈ１を超える比較データが同一の方向の位置変化において所定数連続していない場合、当該学習データを自律走行モードのマッチングにおける適切な学習データであると判定する。判定部１５４は、例えば、Ｘ軸方向の位置変化を示すグラフにおいて、閾値Ｔｈ１を超える比較データが所定数（４つ）連続している場合、当該学習データを不適切な学習データであると判定する。例えば、図１０または図１３の（ｃ）の例の一致度が算出された二次元マップの場合、比較データが４つ以上連続して閾値Ｔｈ１を超えているため、不適切な学習データであると判定する。

なお、判定部１５４は、算出した一致度の位置変化における変化率が所定の変化率よりも小さい場合に、当該学習データを不適切な学習データであると判定し、上記変化率が所定の変化率以上の場合に、当該学習データを適切な学習データであると判定してもよい。つまり、判定部１５４は、算出した一致度および位置変化の関係を示すグラフの形状がなだらかな形状である場合に、当該学習データを不適切な学習データであると判定し、グラフの形状が急峻な形状を有する場合に、当該学習データを適切な学習データであると判定してもよい。

通知部１５５は、不適切な学習データであるとの判定結果を、ユーザに通知する。通知部１５５は、適切な学習データであるとの判定結果も、ユーザに通知してもよい。通知部１５５は、判定結果を示す画面を図示しないディスプレイに表示することで、ユーザに判定結果を通知してもよいし、判定結果を示す音声を図示しないスピーカに表示することで、ユーザに判定結果を通知してもよいし、判定結果を示す情報をユーザが所持しているスマートフォン、タブレット端末などの端末に送信し、当該端末に表示または音声出力させることで、ユーザに判定結果を通知してもよい。

記憶部１５６は、取得した二次元マップ、生成した複数の比較データなど、各機能ブロックにおける処理で生じたデータを記憶する。

［１−２．動作］
次に、無人走行車１００が備える学習適否判定装置１４０の動作について、図１４を用いて説明する。

図１４は、実施の形態に係る学習適否判定装置１４０の動作を示すフローチャートである。

図１４に示すように、学習適否判定装置１４０は、センサ１２０から三次元距離を示す距離データに基づいて二次元マップを生成することで、二次元マップを取得する（Ｓ１０１）。

次に、学習適否判定装置１４０は、無人走行車１００が学習モードであるか自律走行モードであるかを判定する（Ｓ１０２）。このとき、取得した二次元マップは、学習データとして記憶される。

学習適否判定装置１４０は、無人走行車１００が学習モードであると判定した場合（Ｓ１０２で「学習モード」）、学習データを二次元マップに二次元平面上で無人走行車１００を基準とした、Ｚ軸方向、Ｘ軸方向およびΨ方向の少なくとも一方向に所定の刻み幅で位置変化させることで複数の比較データを生成する（Ｓ１０３）。

学習適否判定装置１４０は、複数の比較データのそれぞれと、学習データとを比較することで、複数の比較データ毎に学習データとの一致度を算出する（Ｓ１０４）。

学習適否判定装置１４０は、算出した一致度が予め定められた閾値Ｔｈ１を超える比較データが同一の方向の位置変化において所定数連続している場合、当該学習データを自律走行モードのマッチングにおいて不適切な学習データであると判定する（Ｓ１０５）。

学習適否判定装置１４０は、判定結果が不適切である場合（Ｓ１０６でＹｅｓ）、学習データが不適切な学習データであるとの判定結果を、ユーザに通知する（Ｓ１０７）。

一方で、学習適否判定装置１４０は、判定結果が適切である場合（Ｓ１０６でＮｏ）、処理を終了する。

学習適否判定装置１４０は、無人走行車１００が自律走行モードであると判定した場合（Ｓ１０２で「自律走行モード」）、学習モードで記憶した学習データと、自律走行モードで取得した二次元マップであるマッチング候補とを比較する（Ｓ１０８）。

学習適否判定装置１４０は、比較した結果を出力し（Ｓ１０９）、移載装置２００に近接する位置まで、当該結果を用いて補正した経路で移動する。

［１−３．効果など］
本実施の形態に係る学習適否判定方法によれば、学習モードにより得られた二次元マップを用いることで、学習モードでの学習において記憶すべき学習データが不適切であることを容易に判定することができる。このため、学習モードにおいて選択した三次元オブジェクトが対象オブジェクトとしての適否を、オペレータの勘と経験によることなしにコンピュータに自動判定させることができる。

また、本実施の形態に係る学習適否判定方法において、三次元点群データを二次元平面に投影することで得られた平面密度分布マップである二次元マップを用いて処理を行うため、当該処理にかかる処理負荷を低減することができる。

また、本実施の形態に係る学習適否判定方法において、さらに、不適切な学習データであるとの判定結果を、ユーザに通知するため、ユーザに、学習させる物体の変更を促すことができる。

［１−４．変形例］
上記実施の形態では、対象オブジェクトとして、１本の角柱状の三次元オブジェクトＯ１または１本の円柱状の三次元オブジェクトＯ２を例にした学習適否判定方法について説明した。しかしながら、対象オブジェクトは１本（または１つ）の三次元オブジェクトに限らずに、複数の対象オブジェクトが周期的に繰り返し並んで配置されている場合がある。

図１５は、周期的に繰り返し並んで配置される角柱状の三次元オブジェクトをセンシングすることで得られた三次元点群データを二次元平面に投影する処理を説明するための図である。

学習適否判定装置１４０の取得部１５１は、図１５の（ａ）に示すように、Ｘ軸方向に周期的に並んで配置される４本の角柱から構成される角柱状の三次元オブジェクトＯ３のＺ軸方向マイナス側の表面における複数箇所の点の三次元座標により構成される三次元点群データを距離データとして取得する。なお、周期的に並んで配置されるとは、所定の間隔で並んで配置されること、異なる間隔で配置された複数の物体の組が所定の間隔で並んで配置されることなどを含む。取得部１５１は、図１５の（ｂ）に示すように、取得した距離データから得られる物体の表面における複数箇所の三次元座標で示される三次元点群データを鉛直方向（Ｙ軸方向）に略直交する二次元平面（Ｚ−Ｘ平面）に投影することで、平面密度分布マップからなる二次元マップＭ３を生成する。二次元マップＭ３は、実施の形態の二次元マップＭ１と同様に、例えば、ｍ×ｎの画素により構成され、対応する画素に投影された三次元点が多いほど大きい値を示す二次元画像である。

図１６の例のように、対象オブジェクトとしての移載装置２００の脚部２１０が周期的に並んで配置される複数の角柱から構成される三次元オブジェクトＯ３である場合、Ｚ軸方向マイナス側の表面がＸ軸方向に周期的に並ぶ複数の表面により構成される。このため、得られる二次元マップＭ３は、Ｘ軸方向に直線状に周期的に並ぶ画素で構成される。つまり、二次元マップＭ３は、Ｘ軸方向に延びる、複数の線分状の形状が所定の間隔を空けて並ぶ破線の形状となる。このような二次元マップＭ３では、基準位置に近い領域において、Ｘ軸方向にずらして生成された比較データＣ３は、二次元マップＭ３と比較した場合、複数の線分が重ならない位置の比較データＣ３と二次元マップＭ３との間の一致度が最も低下するが、それ以上ずれると再び複数の線分同士が重なるため、一致度が増加する。このため、複数の三次元オブジェクトがＸ軸方向に周期的に並ぶ構成では、Ｘ軸方向にずらしたときに、位置のずれが大きくなるほど一致度が小さくなる傾向だけではなく、位置のずれが大きくなっても一致度が大きくなる傾向を含む。このため、Ｘ軸方向に変化させた場合の一致度の変化を示すグラフは、図１７に示すように、基準位置を含む複数の位置ｘ６、−ｘ６で複数の極大値を有する曲線となる。周期的に並ぶ複数の三次元オブジェクトの場合に得られた二次元マップを学習データとして保持している場合、無人走行車１００は、自律走行モードにおいて所定の位置からＸ軸方向にずれたとしても、位置ｘ６または位置−ｘ６のようにずれた位置から取得した二次元マップと学習データとの間に大きな差が生じにくい位置がある。このため、実施の形態で説明したＸ軸方向のずれまたはΨ方向のずれと同様の課題が生じることになる。

上記のような周期的に並ぶ複数の三次元オブジェクトの場合を学習データに適さないと判定するために、判定部１５４は、以下に示す判定を、実施の形態で説明した判定とともにさらに行ってもよい。具体的には、判定部１５４は、一致度の変化を示すグラフに複数の極大値が含まれる場合において、複数の極大値のうちの最も大きい極大値である第１極大値を複数の極大値のうちの２番目に大きい極大値である第２極大値で除したときの商が１より大きい閾値Ｔｈ２（例えば１．２５）以下であるか否かを判定する。判定部１５４は、商が閾値Ｔｈ２以下である場合、第１極大値および第２極大値が互いに近い値であるため、当該学習データを自律走行モードのマッチングにおける不適切な学習データであると判定する。反対に、判定部１５４は、商が閾値Ｔｈ２を超える場合、第１極大値および第２極大値との差が大きいため、第１極大値の位置と第２極大値の位置とを区別可能であるため、当該学習データを自律走行モードのマッチングにおける適切な学習データであると判定する。なお、判定部１５４は、第１極大値を第２極大値で除したときに得られる商を用いて閾値判断するとしたが、これに限らずに、第１極大値と第２極大値との差を用いて閾値判断してもよい。判定部１５４は、差を用いる場合、差が閾値Ｔｈ３未満の場合に、不適切な学習データであると判定し、差が閾値ＴＨ３以上の場合に、適切な学習データであると判定する。

なお、周期的な構造を有する三次元オブジェクトは、複数の三次元オブジェクトが所定方向に所定間隔で並ぶ構成だけでなく、星形、多角形などのような、回転方向に周期的な構造を有する場合も、Ψ方向において、上記と同様の課題が生じる。このため、上記と同様の判定条件を回転方向にも適用することができる。

（他の実施の形態）
なお、上記実施の形態では、無人走行車は、フォークを有していないタイプであってもよい。また、学習適否判定装置は、無人走行車だけでなく、スタッカークレーンの移載装置や、天井吊りタイプの搬送車の横移載装置に搭載されてもよい。

また、上記実施の形態では、センサ１２０は、２つのセンサ１２１、１２２により構成されているとしたが、画角が十分に広いセンサであれば１つのセンサにより構成されてもよい。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

以上、本発明の一つまたは複数の態様に係る荷揃えシステムについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。

本発明は、学習モードにおいて選択した三次元オブジェクトが対象オブジェクトとして適しているか否かを、オペレータの勘と経験によることなしにコンピュータに自動判定させることができる学習適否判定方法および学習適否判定装置などとして有用である。

１００ 無人走行車
１１０ フォーク
１２０、１２１、１２２ センサ
１２３、１２４ 計測範囲
１３０ マスト
１４０ 学習適否判定装置
１４１ プロセッサ
１４２ メモリ
１５１ 取得部
１５２ 生成部
１５３ 算出部
１５４ 判定部
１５５ 通知部
１５６ 記憶部
２００ 移載装置
２１０ 脚部
３００ 対象領域
Ｃ１〜Ｃ３ 複数の比較データ
Ｍ１〜Ｍ３ 二次元マップ
Ｏ１〜Ｏ３ 三次元オブジェクト

Claims (4)

1. （ｉ）学習モードにおいて、自律走行台車が備えるセンサによる対象オブジェクトに対するセンシングにより得られた二次元マップを学習データとして取得し、（ｉｉ）自律走行モードにおいて、前記センサの前記センシングにより得られた二次元マップをマッチング候補として取得し、取得した前記学習データおよび前記マッチング候補をマッチング処理することで、前記対象オブジェクトに対する前記自律走行台車の位置ずれ量を求める方法における学習適否判定方法であって、
   前記学習モードにおいて、前記二次元マップの二次元平面上で前記自律走行台車を基準とした、前後方向、左右方向およびヨーイング方向の少なくとも一方向に所定の刻み幅で前記学習データを位置変化させることで複数の比較データを生成し、
   前記複数の比較データのそれぞれと、前記学習データとを比較することで、前記複数の比較データ毎に前記学習データとの一致度を算出し、
   算出した一致度が予め定められた閾値を超える比較データがある場合、当該学習データを前記自律走行モードのマッチングにおける不適切な学習データであると判定する
   学習適否判定方法。
2. 前記センサは、前記自律走行台車の前方の物体の表面の複数箇所までの奥行き方向の距離を含む三次元距離を計測することで、当該三次元距離を示す距離データを検出し、
   前記二次元マップは、前記距離データから得られる前記複数箇所の三次元座標で示される複数の三次元点データを鉛直方向に略直交する二次元平面に投影することで得られた平面密度分布マップである
   請求項１に記載の学習適否判定方法。
3. さらに、
   前記不適切な学習データであるとの判定結果を、ユーザに通知する
   請求項１または２に記載の学習適否判定方法。
4. （ｉ）学習モードにおいて、自律走行台車が備えるセンサによる対象オブジェクトに対するセンシングにより得られた二次元マップを学習データとして取得し、（ｉｉ）自律走行モードにおいて、前記センサの前記センシングにより得られた二次元マップをマッチング候補として取得し、取得した前記学習データおよび前記マッチング候補をマッチング処理することで、前記対象オブジェクトに対する前記自律走行台車の位置ずれ量を求める方法において学習適否判定方法を実行する学習適否判定装置であって、
   前記学習モードにおいて、前記二次元マップ上で前記自律走行台車を基準とした、前後方向、左右方向およびヨーイング方向の少なくとも一方向に所定の刻み幅で前記学習データを位置変化させることで複数の比較データを生成する生成部と、
   前記複数の比較データのそれぞれと、前記学習データとを比較することで、前記複数の比較データ毎に前記学習データとの一致度を算出する算出部と、
   算出した一致度が予め定められた閾値を超える比較データがある場合、当該学習データを前記自律走行モードのマッチングにおける不適切な学習データであると判定する判定部と、を備える
   学習適否判定装置。

Images