JP2022127854A - 位置推定装置 - Google Patents

Abstract

【課題】学習データの準備を容易化しつつ、トラックにおける検知対象の位置を推定することができる位置推定装置を提供する。【解決手段】位置推定装置１０は、フォークリフト２がトラック３に対して移動する際に、トラック３の位置を推定する。位置推定装置１０は、トラック３を検出するカメラ５と、カメラ５により取得された撮像画像データＤに基づいてトラック３を検知し、撮像画像データＤにおいてトラック３を取り囲むような枠線１５が指定された枠付き画像データＤｗを作成する検知部１１と、検知部１１により作成された枠付き画像データＤｗを用いて、フォークリフト２に対するトラック３の位置を推定する推定演算部１２とを備える。【選択図】図１

Description

本発明は、位置推定装置に関する。

フォークリフトによってトラックの荷台または荷台に載置されたコンテナに対して荷役を実施する場合には、トラックの位置を検知した後、フォークリフトがトラックに近づいて荷役を行う。

例えば特許文献１には、フォークリフトにより荷役を実施する際に、棚または棚に格納されたパレットに貼り付けられたマークをカメラで撮影し、カメラにより取得された画像データをパターンマッチングすることで、マークのパターンを画像認識して棚またはパレットの位置を検知する技術が記載されている。

特開２００３－２８６１４号公報

しかしながら、トラックの位置検知において、上記従来技術のようにマークを利用する方法では、トラック毎に何枚もマークを貼り付けなければならない。また、マークの貼り付け精度や貼り付け位置が悪いと、トラックまたはトラックの荷台に載置されたコンテナ等の位置の検知精度の悪化につながる。

そのような問題を解決する方法として、ＡＩ（人工知能）を利用した位置推定が考えられる。この方法では、トラックまたはコンテナ等の検知対象にマークを貼り付けることなく、検知対象の位置を推定することが可能となる。しかし、正解データとなる検知対象の位置を測定したり計算したりする必要があり、工数が増大する。このように学習データの準備に手間がかかるため、結果的に位置推定装置の開発に長い時間を要してしまう。

本発明の目的は、学習データの準備を容易化しつつ、トラックにおける検知対象の位置を推定することができる位置推定装置を提供することである。

本発明の一態様は、移動体がトラックに対して移動する際に、トラックにおける検知対象の位置を推定する位置推定装置であって、トラックを検出する検出部と、検出部により取得された検出データに基づいて検知対象を検知し、検出データにおいて検知対象を取り囲むような枠線が指定された枠付きデータを作成する検知部と、検知部により作成された枠付きデータを用いて、移動体に対する検知対象の位置を推定する推定演算部とを備える。

このような位置推定装置においては、トラックを検出して取得された検出データに基づいて、トラックにおける検知対象が検知される。そして、検出データにおいて検知対象を取り囲むような枠線が指定された枠付きデータが作成され、その枠付きデータを用いて、移動体に対する検知対象の位置が推定される。このように枠付きデータを用いることにより、検知対象の位置の測定及び計算が不要となるため、学習データの作成の工数が低減される。これにより、学習データの準備を容易化しつつ、トラックにおける検知対象の位置を推定することができる。

推定演算部は、枠付きデータを用いて、移動体に対する検知対象の奥行方向及び横方向の位置を推定してもよい。このような構成では、移動体に対する検知対象の２次元位置が推定されるため、移動体に対する検知対象の位置の推定精度が向上する。

推定演算部は、枠付きデータにおける枠線の縦寸法及び横寸法の少なくとも一方に基づいて、移動体に対する検知対象の奥行方向の位置を推定してもよい。このような構成では、枠付きデータを用いて、移動体に対する検知対象の奥行方向の位置を容易に推定することができる。

推定演算部は、枠付きデータにおける枠線の中心点と移動体に対する検知対象の奥行方向の位置とに基づいて、移動体に対する検知対象の横方向の位置を推定してもよい。このような構成では、枠付きデータを用いて、移動体に対する検知対象の横方向の位置を容易に推定することができる。

検出部は、トラックを撮像するカメラであり、検知部は、カメラにより取得された撮像画像データに基づいて検知対象を検知し、撮像画像データにおいて枠線が指定された枠付き画像データを枠付きデータとして作成してもよい。このような構成では、カメラを用いてトラックを検出するので、位置推定装置を低コストで実現することができる。

本発明によれば、学習データの準備を容易化しつつ、トラックにおける検知対象の位置を推定することができる。

本発明の一実施形態に係る位置推定装置を備えた走行制御装置の概略構成を示すブロック図である。 フォークリフトがトラックに向かって近づくように移動する様子を示す平面図である。 図１に示された検知部により実行される検知処理の手順の詳細を示すフローチャートである。 カメラにより取得されたトラックの撮像画像データ及び撮像画像データに枠線が指定された枠付き画像データの一例を示す図である。 図１に示された推定演算部により実行される推定演算処理の手順の詳細を示すフローチャートである。 図４（ｂ）に示された枠付き画像データにおいて、フォークリフトに対するトラックの位置を推定するためのパラメータを示す図である。 図４（ｂ）に示された枠付き画像データの変形例を示す図である。 図４（ｂ）に示された枠付き画像データの他の変形例を示す図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。なお、図面において、同一または同等の要素には同じ符号を付し、重複する説明を省略する。

図１は、本発明の一実施形態に係る位置推定装置を備えた走行制御装置の概略構成を示すブロック図である。図１において、本実施形態に係る走行制御装置１は、移動体であるフォークリフト２に搭載されている。フォークリフト２は、産業車両の一つである。

フォークリフト２は、図２に示されるように、トラック３の荷台３ａに載置されたコンテナ４に対して荷役を実施する。具体的には、フォークリフト２は、コンテナ４に荷物を積み込んだり、コンテナ４から荷物を積み降ろす。ここでは、トラック３の側方においてコンテナ４に対して荷役が行われる。この場合、コンテナ４の扉（図示せず）は、トラック３の左右一方側に設けられている。

荷物は、パレット（図示せず）に載置される。フォークリフト２は、パレットを持ち上げるための１対の昇降可能なフォーク２ａを有している。パレットには、例えば各フォーク２ａが差し込まれる２つのパレット穴が設けられている。

走行制御装置１は、フォークリフト２により荷役を実施する際に、フォークリフト２をトラック３におけるコンテナ４の手前まで自動的に走行させる装置である。走行制御装置１は、カメラ５と、コントローラ６と、駆動部７とを備えている。

カメラ５は、トラック３を撮像し、トラック３の撮像画像データを取得する。トラック３は、フォークリフト２の前方に位置している。このとき、トラック３は、フォークリフト２に対して横を向いた状態で停止している（図２参照）。このため、カメラ５は、トラック３の一側面部（図２では右側面部）を撮像することとなる。

カメラ５としては、安価な単眼カメラが使用される。なお、カメラ５として、ステレオカメラ等を使用してもよい。カメラ５は、トラック３を検出する検出部である。カメラ５により取得される撮像画像データは、検出部により取得される検出データである。

コントローラ６は、ＣＰＵ、ＲＡＭ、ＲＯＭ及び入出力インターフェース等により構成されている。コントローラ６は、検知部１１と、推定演算部１２と、走行制御部１３とを有している。

カメラ５、コントローラ６の検知部１１及び推定演算部１２は、本実施形態の位置推定装置１０を構成している。位置推定装置１０は、フォークリフト２がトラック３に対して近づくように移動する際に、トラック３における検知対象の位置を推定する装置である。ここでは、トラック３自体が検知対象である。つまり、位置推定装置１０は、フォークリフト２に対するトラック３の位置を推定する。位置推定装置１０は、例えばディープラーニング（深層学習）を利用した画像処理技術によって、フォークリフト２に対するトラック３の位置を推定する。

ディープラーニングは、ＡＩ（人工知能）の要素技術の一つである。ディープラーニングとは、十分なデータ量があれば、人間の力なしに機械が自動的にデータから特徴を抽出してくれるディープニュートラルネットワークを用いた学習のことである。ディープラーニングは、入力層と出力層との間の中間層を多層にすることで情報伝達及び処理を増やし、特徴量の精度や汎用性を上げたり、予測精度を向上させることが可能となる。

検知部１１は、カメラ５により取得されたトラック３の撮像画像データに基づいて、検知対象であるトラック３自体を検知する。そして、検知部１１は、撮像画像データにおいてトラック３を取り囲むような枠線１５（図４（ｂ）参照）が指定された枠付き画像データを作成する。検知部１１による検知処理については、後で詳述する。

推定演算部１２は、検知部１１により生成された枠付き画像データを用いて、フォークリフト２に対するトラック３の位置を推定する。フォークリフト２に対するトラック３の位置は、フォークリフト２の所定位置（例えば３軸方向の中心位置）を原点としたトラック３の位置である。

具体的には、推定演算部１２は、フォークリフト２に対するトラック３の奥行方向（Ｘ方向）及び横方向（Ｙ方向）の位置を推定する。フォークリフト２に対するトラック３の奥行方向は、フォークリフト２の前後方向である（図２参照）。フォークリフト２に対するトラック３の横方向は、フォークリフト２の左右方向である（図２参照）。推定演算部１２による推定演算処理については、後で詳述する。

走行制御部１３は、推定演算部１２により推定されたフォークリフト２に対するトラック３の位置に基づいて、フォークリフト２をトラック３におけるコンテナ４の手前まで走行させるように駆動部７を制御する。駆動部７は、例えば走行モータ及び操舵モータを有している。

図３は、検知部１１により実行される検知処理の手順の詳細を示すフローチャートである。本処理は、例えばフォークリフト２の自動走行の開始が指示されると、実行される。

図３において、検知部１１は、まず図４（ａ）に示されるように、カメラ５による撮像画像データＤを取得する（手順Ｓ１０１）。なお、撮像画像データＤに写っているトラックについては、便宜上実際のトラック３と同じ符号を付している。続いて、検知部１１は、撮像画像データＤに基づいて、トラック３を検知する（手順Ｓ１０２）。

続いて、検知部１１は、図４（ｂ）に示されるように、撮像画像データＤにおいてトラック３を取り囲むような枠線１５を指定して、枠付き画像データＤｗを作成する（手順Ｓ１０３）。

枠線１５は、ディープラーニングを利用した物体検知において、bounding boxと称される矩形の枠である。枠線１５は、例えば撮像画像データＤにおける４つの角部のピクセル座標データまたは４つの角部のうち対角線となる２つの角部のピクセル座標データから得られる。枠付き画像データＤｗは、撮像画像データＤにおいて枠線１５が指定された枠付きデータである。

具体的には、検知部１１は、撮像画像データＤにおいて、コンテナ４を含むトラック３の側面部全体を取り囲むような枠線１５を指定する。枠線１５は、撮像画像データＤにおいて、トラック３の側面部が枠線１５からはみ出ずに、トラック３の側面部の縁の少なくとも一部が枠線１５に接するように指定される。

続いて、検知部１１は、枠付き画像データＤｗを推定演算部１２に出力する（手順Ｓ１０４）。なお、検知部１１は、必要に応じて上記の手順Ｓ１０１～Ｓ１０４を再度実行してもよい。

図５は、推定演算部１２により実行される推定演算処理の手順の詳細を示すフローチャートである。本処理は、検知部１１から推定演算部１２に上記の枠付き画像データＤｗが送られると、実行される。

なお、本処理では、フォークリフト２とトラック３とが同じ水平面にあると共に、トラック３が規定位置に正しい向きで停車していることが前提とされる。また、トラック３の外形寸法は、既知である。

図５において、推定演算部１２は、まず検知部１１からの枠付き画像データＤｗを取得する（手順Ｓ１１１）。続いて、推定演算部１２は、枠付き画像データＤｗと比較用の学習データとを用いて、フォークリフト２に対するトラック３の奥行方向の位置を推定する（手順Ｓ１１２）。推定演算部１２は、フォークリフト２に対するトラック３の奥行方向の位置が基準位置にあるときの枠付き画像データを、比較用の学習データとして予め用意しておく。

そして、推定演算部１２は、図６に示されるように、枠付き画像データＤｗにおける枠線１５の縦寸法Ｈ及び横寸法Ｌに基づいて、フォークリフト２に対するトラック３の奥行方向の位置を推定する。枠線１５の縦寸法Ｈは、トラック３の高さ方向の長さに相当する。枠線１５の横寸法Ｌは、トラック３の前後方向の長さに相当する。

なお、推定演算部１２は、枠付き画像データＤｗにおける枠線１５の縦寸法Ｈのみに基づいて、フォークリフト２に対するトラック３の奥行方向の位置を推定してもよいし、或いは枠付き画像データＤｗにおける枠線１５の横寸法Ｌのみに基づいて、フォークリフト２に対するトラック３の奥行方向の位置を推定してもよい。

つまり、フォークリフト２に対するトラック３の奥行方向の位置を推定するためのパラメータとしては、枠付き画像データＤｗにおける枠線１５の縦寸法Ｈ及び横寸法Ｌの少なくとも一方を用いればよい。

続いて、推定演算部１２は、図６に示されるように、枠付き画像データＤｗにおける枠線１５の中心点Ｇを算出する（手順Ｓ１１３）。枠線１５の中心点Ｇは、枠線１５の横寸法Ｌ及び縦寸法から算出される。

続いて、推定演算部１２は、枠付き画像データＤｗと比較用の学習データとを用いて、フォークリフト２に対するトラック３の横方向の位置を推定する（手順Ｓ１１４）。推定演算部１２は、フォークリフト２に対するトラック３の横方向の位置が基準位置であるときの枠付き画像データを、比較用の学習データとして予め用意しておく。この時の基準位置は、例えばフォークリフト２に対するトラック３の横方向の位置ずれが０となるような位置である。

そして、推定演算部１２は、フォークリフト２に対するトラック３の奥行方向の位置と枠付き画像データＤｗにおける枠線１５の中心点Ｇとに基づいて、フォークリフト２に対するトラック３の横方向の位置を推定する。なお、推定演算部１２は、必要に応じて上記の手順Ｓ１１１～Ｓ１１４を再度実行してもよい。

ところで、ＡＩを利用する場合には、ＡＩにおいてトラック３の位置を直接出力するという方法もある。しかし、その方法では、正解データとしてのトラック３の位置を用意する必要がある。このため、トラック３の位置を測定または計算する必要があり、学習データの作成の工数が増大してしまう。一方、物体検知によるトラック３の位置の推定では、画像データと正解のbounding boxとがあれば足りるため、トラック３の位置の測定及び計算を行わなくて済む。

以上のように本実施形態にあっては、トラック３を検出して取得された撮像画像データＤに基づいて、トラック３が検知される。そして、撮像画像データＤにおいてトラック３を取り囲むような枠線１５が指定された枠付き画像データＤｗが作成され、その枠付き画像データＤｗを用いて、フォークリフト２に対するトラック３の位置が推定される。このように枠付き画像データＤｗを用いることにより、トラック３の位置の測定及び計算が不要となるため、学習データの作成の工数が低減される。これにより、学習データの準備を容易化しつつ、トラック３の位置を推定することができる。

また、本実施形態では、トラック３にマークを貼り付けることなく、トラック３の位置の推定を行うことができる。このため、トラック３にマークを貼り付ける手間が省けると共に、マークの貼り付け精度及び貼り付け位置が悪いことによるトラック３の位置の検知精度の低下を防止することができる。その結果、利便性の向上に寄与することが可能となる。

また、本実施形態では、枠付き画像データＤｗを用いて、フォークリフト２に対するトラック３の奥行方向及び横方向の位置が推定される。従って、フォークリフト２に対するトラック３の２次元位置が推定されるため、フォークリフト２に対するトラック３の位置の推定精度が向上する。

また、本実施形態では、枠付き画像データＤｗにおける枠線１５の縦寸法Ｈ及び横寸法Ｌの少なくとも一方に基づいて、フォークリフト２に対するトラック３の奥行方向の位置が推定される。従って、枠付き画像データＤｗを用いて、フォークリフト２に対するトラック３の奥行方向の位置を容易に推定することができる。

また、本実施形態では、枠付き画像データＤｗにおける枠線１５の中心点Ｇとフォークリフト２に対するトラック３の奥行方向の位置とに基づいて、フォークリフト２に対するトラック３の横方向の位置が推定される。従って、枠付き画像データＤｗを用いて、フォークリフト２に対するトラック３の横方向の位置を容易に推定することができる。

また、本実施形態では、カメラ５を用いてトラック３を検出するので、位置推定装置１０を低コストで実現することができる。

なお、本発明は、上記実施形態には限定されない。例えば上記実施形態では、検知対象がトラック３自体であるので、トラック３を取り囲むような枠線１５が指定された枠付き画像データＤｗが作成されているが、検知対象としては、特にトラック３には限られない。トラック３の荷台３ａに搭載されたコンテナ４に向かってフォークリフト２が接近するため、コンテナ４を検知対象としてもよい。この場合には、図７に示されるように、コンテナ４を取り囲むような枠線１５が指定された枠付き画像データＤｗが作成される。そして、その枠付き画像データＤｗを用いて、コンテナ４の位置が推定される。

また、上記実施形態では、トラック３の側方においてコンテナ４に対して荷役が行われるので、カメラ５によりトラック３の側面部が撮像されているが、特にそのような形態には限られない。例えば、コンテナ４の扉がトラック３の後側に配置されている場合には、トラック３の後方においてコンテナ４に対して荷役が行われる。この場合には、カメラ５によりトラック３の後面部が撮像される。このため、図８に示されるように、トラック３の後面部を取り囲むような枠線１５が指定された枠付き画像データＤｗが作成されることとなる。

また、上記実施形態では、フォークリフト２に対するトラック３の高さ方向の位置はずれにくいことから、フォークリフト２に対するトラック３の高さ方向の位置は推定されていないが、特にその形態には限られず、フォークリフト２に対するトラック３における検知対象の高さ方向の位置も推定してもよい。この場合には、例えば枠付き画像データＤｗにおける枠線１５の中心点Ｇとフォークリフト２に対するトラック３における検知対象の奥行方向の位置とに基づいて、フォークリフト２に対するトラック３における検知対象の高さ方向の位置が推定される。

また、上記実施形態では、トラック３の推定精度はパレットの推定精度に比べて大まかでよいことに加え、トラック３が正しい向きで停車していることが前提であることから、フォークリフト２に対するトラック３の向き（姿勢）は推定されていないが、特にその形態には限られず、フォークリフト２に対するトラック３における検知対象の向きを推定してもよい。この場合には、例えば枠付き画像データＤｗにおける枠線１５の横寸法Ｌに基づいて、フォークリフト２に対するトラック３における検知対象の向きが推定される。

また、上記実施形態では、カメラ５によりトラック３を撮像することで、トラック３が検出されているが、特にカメラ５には限られず、例えばトラック３に向けてレーザを照射し、レーザの反射光を受光することで、トラック３を検出するレーザセンサ等を使用してもよい。この場合には、レーザセンサの点群データに基づいて、フォークリフト２に対するトラック３における検知対象の位置が検知される。

また、上記実施形態の位置推定装置１０は、フォークリフト２に搭載されているが、本発明は、特にフォークリフト２には限られず、トラック３に対して移動する際に、トラック３における検知対象の位置を推定する必要がある他の産業車両等の移動体であれば、適用可能である。

２…フォークリフト（移動体）、３…トラック（検知対象）、４…コンテナ（検知対象）、５…カメラ（検出部）、１０…位置推定装置、１１…検知部、１２…推定演算部、１５…枠線、Ｄ…撮像画像データ（検出データ）、Ｄｗ…枠付き画像データ（枠付きデータ）、Ｈ…縦寸法、Ｌ…横寸法、Ｇ…中心点。

Claims (5)

1. 移動体がトラックに対して移動する際に、前記トラックにおける検知対象の位置を推定する位置推定装置であって、
   前記トラックを検出する検出部と、
   前記検出部により取得された検出データに基づいて前記検知対象を検知し、前記検出データにおいて前記検知対象を取り囲むような枠線が指定された枠付きデータを作成する検知部と、
   前記検知部により作成された枠付きデータを用いて、前記移動体に対する前記検知対象の位置を推定する推定演算部とを備える位置推定装置。
2. 前記推定演算部は、前記枠付きデータを用いて、前記移動体に対する前記検知対象の奥行方向及び横方向の位置を推定する請求項１記載の位置推定装置。
3. 前記推定演算部は、前記枠付きデータにおける前記枠線の縦寸法及び横寸法の少なくとも一方に基づいて、前記移動体に対する前記検知対象の奥行方向の位置を推定する請求項２記載の位置推定装置。
4. 前記推定演算部は、前記枠付きデータにおける前記枠線の中心点と前記移動体に対する前記検知対象の奥行方向の位置とに基づいて、前記移動体に対する前記検知対象の横方向の位置を推定する請求項２または３記載の位置推定装置。
5. 前記検出部は、前記トラックを撮像するカメラであり、
   前記検知部は、前記カメラにより取得された撮像画像データに基づいて前記検知対象を検知し、前記撮像画像データにおいて前記枠線が指定された枠付き画像データを前記枠付きデータとして作成する請求項１～４の何れか一項記載の位置推定装置。

Images