JP2021024718A - 位置姿勢推定装置 - Google Patents

Abstract

【課題】フォークリフトに対する荷役対象のパレットの位置及び姿勢の推定精度を向上させることができる位置姿勢推定装置を提供する。【解決手段】位置姿勢推定装置１６は、パレット５を検出する単眼カメラ１１と、単眼カメラ１１の撮像画像データに基づいてパレット５を検知し、撮像画像データにおいてパレット５の前面５ａとパレット５の前面５ａに設けられた２つのパレット穴７とを取り囲むような枠線１７が指定された枠付き撮像画像データを作成するパレット検知部１３と、パレット検知部１３により作成された枠付き撮像画像データを用いて、パレット５の位置及び姿勢を推定する推定演算部１４とを備える。【選択図】図２

Description

本発明は、位置姿勢推定装置に関する。

従来の位置姿勢推定装置としては、例えば特許文献１に記載されている技術が知られている。特許文献１に記載の位置姿勢推定装置は、フォークリフトの前方を撮像する左右２台のカメラと、これらのカメラで撮像された画像内でパレットの三次元座標を計算するステレオ計測部と、カメラで撮像されたパレット穴の形状と予め準備されている角度毎の異なる多数のパターンとの照合により、パレット穴がフォークリフトの中心軸に対して傾いている角度を求めるマッチング部と、パレットとフォーク先端の基準点との間の距離を計算すると共に、フォークリフトの中心軸とパレット穴の中心軸とがなす角度を計算する距離計算部とを備えている。

特開２０１３−８６９５９号公報

しかしながら、上記従来技術においては、以下の問題点が存在する。即ち、上記従来技術では、パターンマッチングを用いてフォークリフトに対する荷役対象のパレットの姿勢推定を行っているが、パターンマッチングは屋内外の照度変化に弱い。例えばフォークリフトによるトラックからのパレットの荷降ろしは、屋内よりも屋外で行われることが多い。従って、パターンマッチングを利用する場合には、フォークリフトに対する荷役対象のパレットの位置及び姿勢の推定精度が低下することがある。

本発明の目的は、フォークリフトに対する荷役対象のパレットの位置及び姿勢の推定精度を向上させることができる位置姿勢推定装置を提供することである。

本発明の一態様は、フォークリフトに対する荷役対象のパレットの位置及び姿勢を推定する位置姿勢推定装置であって、パレットを検出する検出部と、検出部の検出データに基づいてパレットを検知し、検出データにおいてパレットの前面とパレットの前面に設けられた２つのパレット穴とのうちの少なくとも一方を取り囲むような枠線が指定された枠付き検出データを作成するパレット検知部と、パレット検知部により作成された枠付き検出データを用いて、パレットの位置及び姿勢を推定する推定演算部とを備える。

このような位置姿勢推定装置においては、検出部の検出データに基づいて荷役対象のパレットが検知され、検出データにおいてパレットの前面と２つのパレット穴とのうちの少なくとも一方を取り囲むような枠線が指定された枠付き検出データが作成される。そして、枠付き検出データを用いて、パレットの位置及び姿勢が推定される。このように屋内外の照度変化に弱いパターンマッチングを用いなくても、パレットの位置及び姿勢が推定される。これにより、フォークリフトに対する荷役対象のパレットの位置及び姿勢の推定精度が向上する。

推定演算部は、パレットの位置として、フォークリフトからパレットまでの奥行き距離、フォークリフトに対するパレットの横ずれ距離及びパレットの高さを推定し、パレットの姿勢として、フォークリフトに対するパレットの姿勢角を推定してもよい。このような構成では、フォークリフトに対するパレットの三次元位置及び姿勢が推定されるため、フォークリフトに対する荷役対象のパレットの位置及び姿勢をより正確に推定することができる。

推定演算部は、枠付き検出データにおけるパレットの前面に対応する枠線の縦の長さ及びパレット穴に対応する枠線の縦の長さの少なくとも１つに基づいて、フォークリフトからパレットまでの奥行き距離を推定してもよい。このような構成では、枠付き検出データを用いて、フォークリフトからパレットまでの奥行き距離を容易に推定することができる。

推定演算部は、枠付き検出データにおけるパレットの前面に対応する枠線の中心及び２つのパレット穴に対応する２つの枠線の中心の少なくとも１つに基づいて、パレットの前面の中心位置を推定し、フォークリフトからパレットまでの奥行き距離とパレットの前面の中心位置とに基づいて、フォークリフトに対するパレットの横ずれ距離及びパレットの高さを推定してもよい。このような構成では、枠付き検出データを用いて、フォークリフトに対するパレットの横ずれ距離及びパレットの高さを容易に推定することができる。

推定演算部は、パレットの前面に対応する枠線の横の長さ、パレット穴に対応する枠線の横の長さ及び２つのパレット穴に対応する２つの枠線の中心間距離の少なくとも１つに基づいて、フォークリフトに対するパレットの姿勢角の絶対値を推定してもよい。このような構成では、枠付き検出データを用いて、フォークリフトに対するパレットの姿勢角の絶対値を容易に推定することができる。

推定演算部は、枠付き検出データにおける２つのパレット穴に対応する２つの枠線の寸法を比較して、パレットの姿勢角の符号を推定してもよい。このような構成では、枠付き検出データを用いて、パレットの姿勢角の符号を容易に推定することができる。

推定演算部は、右向きのパレット及び左向きのパレットの学習データを用いて枠付き検出データを分類して、パレットの姿勢角の符号を推定してもよい。このような構成では、例えばディープラーニングの分類を利用して、パレットの姿勢角の符号を容易に推定することができる。

検出部は、パレットを撮像する単眼カメラであり、パレット検知部は、単眼カメラの撮像画像データに基づいてパレットを検知し、撮像画像データにおいて枠線が指定された枠付き撮像画像データを枠付き検出データとして作成してもよい。このような構成では、単眼カメラの撮像画像データを用いるので、位置姿勢推定装置を低コストで実現することができる。

本発明によれば、フォークリフトに対する荷役対象のパレットの位置及び姿勢の推定精度を向上させることができる。

本発明の一実施形態に係る位置姿勢推定装置が搭載されたフォークリフトを荷役対象のパレットと共に示す概略平面図である。 本発明の一実施形態に係る位置姿勢推定装置を備えた自動運転システムの概略構成を示すブロック図である。 図２に示されたパレット検知部により実行されるパレット検知処理の手順の詳細を示すフローチャートである。 単眼カメラの撮像画像データの一例を示す図である。 図４に示された撮像画像データに枠線が指定された枠付き撮像画像データの一例を示す図である。 図２に示された推定演算部により実行される推定演算処理の手順の詳細を示すフローチャートである。 図５に示された枠付き撮像画像データにおいて、フォークリフトから荷役対象のパレットまでの奥行き距離を推定するためのパラメータを示す図である。 図５に示された枠付き撮像画像データにおいて、フォークリフトに対する荷役対象のパレットの姿勢角の絶対値を推定するためのパラメータを示す図である。 図５に示された枠付き撮像画像データにおいて、パレットの前面の中心位置を推定するためのパラメータを示す図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。

図１は、本発明の一実施形態に係る位置姿勢推定装置が搭載されたフォークリフトを荷役対象のパレットと共に示す概略平面図である。図１において、フォークリフト１は、車体２と、この車体２の前側に配置され、荷役を行う荷役装置３とを備えている。荷役装置３は、車体２の前端部に取り付けられたマスト４と、このマスト４に昇降可能に取り付けられ、パレット５を持ち上げる１対のフォーク６とを有している。

パレット５は、荷物を載せるための荷役台である。パレット５は、例えば平パレットである。パレット５は、平面視で四角形状を呈している。パレット５は、前面５ａと、この前面５ａと対向する後面５ｂと、前面５ａ及び後面５ｂと直交する２つの側面５ｃとを有している。パレット５には、フォークリフト１の各フォーク６が差し込まれる２つのパレット穴７が設けられている。これらのパレット穴７は、パレット５の前面５ａから後面５ｂまで延びている。従って、フォーク６をパレット穴７に前後２方向から差し込むことが可能である。パレット穴７の形状は、正面視で矩形状である（図４参照）。

図２は、本発明の一実施形態に係る位置姿勢推定装置を備えた自動運転システムの概略構成を示すブロック図である。図２において、自動運転システム１０は、フォークリフト１の自動運転を実施するシステムである。自動運転システム１０は、フォークリフト１に搭載されている。自動運転システム１０は、単眼カメラ１１と、コントローラ１２とを備えている。

単眼カメラ１１は、荷役対象のパレット５を撮像し、撮像画像データを取得する。荷役対象のパレット５は、荷役装置３により荷役を開始しようとするパレットであり、フォークリフト１の前方に位置している。単眼カメラ１１は、パレット５を検出する検出部である。単眼カメラ１１の撮像画像データは、検出部の検出データである。

コントローラ１２は、ＣＰＵ、ＲＡＭ、ＲＯＭ及び入出力インターフェース等により構成されている。コントローラ１２は、パレット検知部１３と、推定演算部１４と、駆動制御部１５とを有している。

単眼カメラ１１、パレット検知部１３及び推定演算部１４は、本実施形態の位置姿勢推定装置１６を構成している。位置姿勢推定装置１６は、フォークリフト１に対する荷役対象のパレット５の位置及び姿勢を推定する装置である。位置姿勢推定装置１６は、例えばディープラーニング（深層学習）を利用した画像処理技術によって、荷役対象のパレット５の位置及び姿勢を推定する。

ディープラーニングは、人工知能の要素技術の一つである。ディープラーニングとは、十分なデータ量があれば、人間の力なしに機械が自動的にデータから特徴を抽出してくれるディープニュートラルネットワークを用いた学習のことである。ディープラーニングは、入力層と出力層との間の中間層を多層にすることで情報伝達及び処理を増やし、特徴量の精度や汎用性を上げたり、予測精度を向上させることが可能となる。

パレット検知部１３は、単眼カメラ１１の撮像画像データに基づいて、荷役対象のパレット５を検知する。そして、パレット検知部１３は、撮像画像データにおいてパレット５の前面５ａとパレット５の前面５ａに設けられた２つのパレット穴７とを取り囲むような枠線１７（図５参照）が指定された枠付き撮像画像データを作成する。パレット検知部１３によるパレット検知処理については、後で詳述する。

推定演算部１４は、パレット検知部１３により生成された枠付き撮像画像データを用いて、フォークリフト１の所定点（例えば中心点）を原点とした荷役対象のパレット５の位置及び姿勢を推定する。具体的には、推定演算部１４は、荷役対象のパレット５の位置として、フォークリフト１から荷役対象のパレット５までの奥行き距離ｘ、フォークリフト１に対する荷役対象のパレット５の横ずれ距離ｙ及び荷役対象のパレット５の高さを推定する。推定演算部１４は、荷役対象のパレット５の姿勢として、フォークリフト１に対する荷役対象のパレット５の姿勢角θを推定する。推定演算部１４による推定演算処理については、後で詳述する。

駆動制御部１５は、推定演算部１４により推定された荷役対象のパレット５の位置及び姿勢に基づいて、フォークリフト１を荷役対象のパレット５の手前の近傍位置まで移動させるように、車体２に具備された駆動部１８を制御する。例えば、駆動部１８は、特に図示はしないが、駆動輪を回転させる走行モータと、操舵輪を転舵させる操舵モータとを有している。

図３は、パレット検知部１３により実行されるパレット検知処理の手順の詳細を示すフローチャートである。なお、本処理は、例えばフォークリフト１の自動運転の開始が指示されると、実行される。

図３において、パレット検知部１３は、まず単眼カメラ１１の撮像画像データを取得する（手順Ｓ１０１）。続いて、パレット検知部１３は、図４に示されるように、単眼カメラ１１の撮像画像データＤに基づいて、荷役対象のパレット５を検知する（手順Ｓ１０２）。なお、撮像画像データＤに写っているパレット５については、便宜上実際のパレット５と同じ符号を付している。

続いて、パレット検知部１３は、図５に示されるように、撮像画像データＤにおいてパレット５を取り囲むような枠線１７を指定して、枠付き撮像画像データＤｗを作成する（手順Ｓ１０３）。

枠線１７は、ディープラーニングを利用した物体検知において、bounding boxと称される矩形の枠である。枠線１７は、例えば撮像画像データＤにおける４つの角部のピクセル座標データまたは４つの角部のうち対角線となる２つの角部のピクセル座標データから得られる。枠付き撮像画像データＤｗは、撮像画像データＤにおいて枠線１７が指定された枠付き検出データである。

具体的には、パレット検知部１３は、撮像画像データＤにおいて、パレット５の前面５ａの全体を取り囲むような枠線１７Ａと、パレット５の前面５ａに設けられた２つのパレット穴７の全体をそれぞれ取り囲むような枠線１７Ｂ，１７Ｃとを指定する。枠線１７Ｂは、右側のパレット穴７の全体を取り囲んでいる。枠線１７Ｃは、左側のパレット穴７の全体を取り囲んでいる。

枠線１７Ａは、撮像画像データＤにおいて、パレット５の前面５ａが枠線１７Ａからはみ出ずに、パレット５の前面５ａの縁の少なくとも一部が枠線１７Ａに接するように指定される。枠線１７Ｂ，１７Ｃは、撮像画像データＤにおいて、パレット穴７が枠線１７Ｂ，１７Ｃからはみ出ずに、パレット穴７の縁の少なくとも一部が枠線１７Ｂ，１７Ｃに接するように指定される。なお、撮像画像データＤにパレット５の前面５ａだけでなくパレット５の側面５ｃが写っていても、パレット５の側面５ｃを取り囲むような枠線は指定されない。

続いて、パレット検知部１３は、枠付き撮像画像データＤｗを推定演算部１４に出力する（手順Ｓ１０４）。そして、パレット検知部１３は、上記の手順Ｓ１０１〜Ｓ１０４を再度実行する。

図６は、推定演算部１４により実行される推定演算処理の手順の詳細を示すフローチャートである。なお、本処理では、フォークリフト１とパレット５とが同じ水平面にあり、パレット５のピッチング及びローリングのずれが無いことが前提とされる。また、パレット５の外形寸法及びパレット穴７の寸法は、既知である。

図６において、推定演算部１４は、まずパレット検知部１３からの枠付き撮像画像データＤｗが入力されたかどうかを判断する（手順Ｓ１１１）。推定演算部１４は、枠付き撮像画像データＤｗが入力されたと判断されるまで、手順Ｓ１１１を繰り返し実行する。推定演算部１４は、枠付き撮像画像データＤｗが入力されたと判断したときは、枠付き撮像画像データＤｗを用いて、フォークリフト１から荷役対象のパレット５までの奥行き距離ｘを推定する（手順Ｓ１１２）。

具体的には、推定演算部１４は、フォークリフト１からパレット５までの奥行き距離ｘが基準値であるときの枠付き撮像画像データを、比較用の学習データとして予め用意しておく。そして、推定演算部１４は、図７に示されるように、枠付き撮像画像データＤｗにおけるパレット５の前面５ａに対応する枠線１７Ａの縦の長さＨａ（高さ方向の長さ）に基づいて、荷役対象のパレット５までの奥行き距離ｘを推定する。

また、推定演算部１４は、図７に示されるように、枠付き撮像画像データＤｗにおけるパレット穴７に対応する枠線１７Ｂ，１７Ｃの縦の長さＨｂに基づいて、荷役対象のパレット５までの奥行き距離ｘを推定してもよい。推定演算部１４は、枠付き撮像画像データＤｗにおけるパレット５の前面５ａに対応する枠線１７Ａの縦の長さＨａ及びパレット穴７に対応する枠線１７Ｂ，１７Ｃの縦の長さＨｂに基づいて、荷役対象のパレット５までの奥行き距離ｘを推定してもよい。

つまり、荷役対象のパレット５までの奥行き距離ｘを推定するためのパラメータとしては、枠付き撮像画像データＤｗにおけるパレット５の前面５ａに対応する枠線１７Ａの縦の長さＨａ及びパレット穴７に対応する枠線１７Ｂ，１７Ｃの縦の長さＨｂの少なくとも１つを用いればよい。

続いて、推定演算部１４は、枠付き撮像画像データＤｗを用いて、フォークリフト１に対する荷役対象のパレット５の姿勢角θの絶対値を推定する（手順Ｓ１１３）。

具体的には、推定演算部１４は、フォークリフト１に対するパレット５の姿勢角θが０度であるときの枠付き撮像画像データを、比較用の学習データとして予め用意しておく。フォークリフト１に対するパレット５の姿勢角θが０度である状態は、パレット５がフォークリフト１に対して真っ直ぐ向いている状態である。そして、推定演算部１４は、図８に示されるように、枠付き撮像画像データＤｗにおけるパレット５の前面５ａに対応する枠線１７Ａの横の長さＬａに基づいて、荷役対象のパレット５の姿勢角θの絶対値を推定する。

また、推定演算部１４は、図８に示されるように、枠付き撮像画像データＤｗにおけるパレット穴７に対応する枠線１７Ｂ，１７Ｃの横の長さＬｂに基づいて、荷役対象のパレット５の姿勢角θの絶対値を推定してもよいし、枠付き撮像画像データＤｗにおける２つのパレット穴７に対応する２つの枠線１７Ｂ，１７Ｃの中心間距離Ｌｃに基づいて、荷役対象のパレット５の姿勢角θの絶対値を推定してもよい。２つの枠線１７Ｂ，１７Ｃの中心間距離Ｌｃは、２つの枠線１７Ｂ，１７Ｃの中心から得られる。なお、２つの枠線１７Ｂ，１７Ｃの中心は、後述する手法により得られる（図９参照）。

また、推定演算部１４は、枠付き撮像画像データＤｗにおけるパレット５の前面５ａに対応する枠線１７Ａの横の長さＬａ、パレット穴７に対応する枠線１７Ｂ，１７Ｃの横の長さＬｂ及び２つのパレット穴７に対応する２つの枠線１７Ｂ，１７Ｃの中心間距離Ｌｃに基づいて、荷役対象のパレット５の姿勢角θの絶対値を推定してもよい。

つまり、荷役対象のパレット５の姿勢角θの絶対値を推定するためのパラメータとしては、枠付き撮像画像データＤｗにおけるパレット５の前面５ａに対応する枠線１７Ａの横の長さＬａ、パレット穴７に対応する枠線１７Ｂ，１７Ｃの横の長さＬｂ及び２つのパレット穴７に対応する２つの枠線１７Ｂ，１７Ｃの中心間距離Ｌｃの少なくとも１つを用いればよい。

続いて、推定演算部１４は、フォークリフト１に対する荷役対象のパレット５の姿勢角θの符号を推定する（手順Ｓ１１４）。例えば、フォークリフト１に対してパレット５が右向きであるときは、パレット５の姿勢角θの符号を正（＋）とし、フォークリフト１に対してパレット５が左向きであるときは、パレット５の姿勢角θの符号を負（−）とする。

具体的には、推定演算部１４は、枠付き撮像画像データＤｗにおける２つのパレット穴７に対応する２つの枠線１７Ｂ，１７Ｃの寸法を比較して、荷役対象のパレット５の姿勢角θの符号を推定する。フォークリフト１に対してパレット５が右向きであるときは、左側のパレット穴７に対応する枠線１７Ｃの寸法が右側のパレット穴７に対応する枠線１７Ｂの寸法よりも大きくなる（図８参照）。

また、推定演算部１４は、ディープラーニングの分類を利用して、荷役対象のパレット５の姿勢角θの符号を推定してもよい。このとき、推定演算部１４は、右向きのパレット５及び左向きのパレット５の学習データを予め用意しておく。右向きのパレット５の学習データとしては、パレット５がフォークリフト１に対して右向きであるときの枠付き撮像画像データが用いられる。左向きのパレット５の学習データとしては、パレット５がフォークリフト１に対して左向きであるときの枠付き撮像画像データが用いられる。

そして、推定演算部１４は、右向きのパレット及び左向きのパレットの学習データを用いて、枠付き撮像画像データＤｗを分類することにより、荷役対象のパレット５が右向きであるか左向きであるかを判断する。

続いて、推定演算部１４は、枠付き撮像画像データＤｗを用いて、荷役対象のパレット５の前面５ａの中心位置Ｇを推定する（手順Ｓ１１５）。具体的には、推定演算部１４は、図９に示されるように、枠付き撮像画像データＤｗにおけるパレット５の前面５ａに対応する枠線１７Ａの中心に基づいて、パレット５の前面５ａの中心位置Ｇを推定する。枠線１７Ａの中心は、枠線１７Ａの横の長さＬａ及び縦の長さＨａから得られる。

また、推定演算部１４は、図９に示されるように、枠付き撮像画像データＤｗにおける２つのパレット穴７に対応する２つの枠線１７Ｂ，１７Ｃの中心に基づいて、パレット５の前面５ａの中心位置Ｇを推定してもよい。枠線１７Ｂ，１７Ｃの中心は、枠線１７Ｂ，１７Ｃの横の長さＬｂ及び縦の長さＨｂから得られる。このとき、２つの枠線１７Ｂ，１７Ｃの中心を結ぶ線の中間点が、パレット５の前面５ａの中心位置Ｇとなる。推定演算部１４は、枠付き撮像画像データＤｗにおけるパレット５の前面５ａに対応する枠線１７Ａの中心及び２つのパレット穴７に対応する２つの枠線１７Ｂ，１７Ｃの中心に基づいて、パレット５の前面５ａの中心位置Ｇを推定してもよい。

つまり、パレット５の前面５ａの中心位置Ｇを推定するためのパラメータとしては、枠付き撮像画像データＤｗにおけるパレット５の前面５ａに対応する枠線１７Ａの中心及び２つのパレット穴７に対応する２つの枠線１７Ｂ，１７Ｃの中心の少なくとも１つを用いればよい。

続いて、推定演算部１４は、フォークリフト１から荷役対象のパレット５までの奥行き距離ｘとパレット５の前面５ａの中心位置Ｇとに基づいて、フォークリフト１に対する荷役対象のパレット５の横ずれ距離ｙ及び荷役対象のパレット５の高さｚを推定する（手順Ｓ１１６）。

具体的には、推定演算部１４は、フォークリフト１に対するパレット５の横ずれ距離ｙがゼロであるときの枠付き撮像画像データと、パレット５の高さｚが基準値であるときの枠付き撮像画像データとを、比較用の学習データとして予め用意しておく。そして、推定演算部１４は、フォークリフト１から荷役対象のパレット５までの奥行き距離ｘと枠付き撮像画像データＤｗにおけるパレット５の前面５ａの中心位置Ｇの存在箇所とによって、荷役対象のパレット５の横ずれ距離ｙ及び高さｚを推定する。

なお、推定演算部１４の処理手順としては、特に上記のフローチャートには限られない。例えば、手順Ｓ１１５，Ｓ１１６は手順Ｓ１１２の後に実行されればよいため、手順Ｓ１１３，Ｓ１１４を手順Ｓ１１２の前に実行してもよい。

以上のように本実施形態にあっては、単眼カメラ１１の撮像画像データＤに基づいて荷役対象のパレット５が検知され、撮像画像データＤにおいてパレット５の前面５ａと２つのパレット穴７とのうちの少なくとも一方を取り囲むような枠線１７が指定された枠付き撮像画像データＤｗが作成される。そして、枠付き撮像画像データＤｗを用いて、パレット５の位置及び姿勢が推定される。このように屋内外の照度変化に弱いパターンマッチングを用いなくても、例えば屋内外の照度変化にロバストなディープラーニングを利用して、パレット５の位置及び姿勢が推定される。これにより、フォークリフト１に対する荷役対象のパレット５の位置及び姿勢の推定精度が向上する。

ところで、ディープラーニングによる位置及び姿勢の推定においては、例えばディープラーニングのセマンティックセグメンテーションを利用して位置及び姿勢を直接推定することも考えられる。しかし、セマンティックセグメンテーションを利用した位置及び姿勢では、学習データの準備にかなりの時間がかかるという課題がある。

これに対し本実施形態では、ディープラーニングの物体検知を利用して、荷役対象のパレット５の位置及び姿勢を推定するので、ディープラーニングのセマンティックセグメンテーションを利用する場合に比べて、学習データを準備しやすくなる。従って、学習データを準備するための工数を削減することができる。

また、本実施形態では、パレット５の位置として、フォークリフト１からパレット５までの奥行き距離ｘ、フォークリフト１に対するパレット５の横ずれ距離ｙ及びパレット５の高さｚが推定され、パレット５の姿勢として、フォークリフト１に対するパレット５の姿勢角θが推定される。従って、フォークリフト１に対するパレット５の三次元位置及び姿勢が推定されるため、フォークリフト１に対する荷役対象のパレット５の位置及び姿勢をより正確に推定することができる。

また、本実施形態では、枠付き撮像画像データＤｗにおけるパレット５の前面５ａに対応する枠線１７Ａの縦の長さＨａ及びパレット穴７に対応する枠線１７Ｂ，１７Ｃの縦の長さＨｂの少なくとも１つに基づいて、フォークリフト１からパレット５までの奥行き距離ｘが推定される。従って、枠付き撮像画像データＤｗを用いて、フォークリフト１からパレット５までの奥行き距離ｘを容易に推定することができる。

また、本実施形態では、枠付き撮像画像データＤｗにおけるパレット５の前面５ａに対応する枠線１７Ａの中心及び２つのパレット穴７に対応する２つの枠線１７Ａ，１７Ｂの中心の少なくとも１つに基づいて、パレット５の前面５ａの中心位置Ｇが推定され、フォークリフト１からパレット５までの奥行き距離ｘとパレット５の前面５ａの中心位置Ｇとに基づいて、フォークリフト１に対するパレット５の横ずれ距離ｙ及びパレット５の高さｚが推定される。従って、枠付き撮像画像データＤｗを用いて、フォークリフト１に対するパレット５の横ずれ距離ｙ及びパレット５の高さｚを容易に推定することができる。

また、本実施形態では、パレット５の前面５ａに対応する枠線１７Ａの横の長さＬａ、パレット穴７に対応する枠線１７Ｂ，１７Ｃの横の長さＬｂ及び２つのパレット穴７に対応する２つの枠線１７Ｂ，１７Ｃの中心間距離Ｌｃの少なくとも１つに基づいて、フォークリフト１に対するパレット５の姿勢角θの絶対値が推定される。従って、枠付き撮像画像データＤｗを用いて、フォークリフト１に対するパレット５の姿勢角θの絶対値を容易に推定することができる。

また、本実施形態では、枠付き撮像画像データＤｗにおける２つのパレット穴７に対応する２つの枠線１７Ｂ，１７Ｃの寸法を比較して、パレット５の姿勢角θの符号が推定される。従って、枠付き撮像画像データＤｗを用いて、パレット５の姿勢角θの符号を容易に推定することができる。

また、本実施形態では、右向きのパレット５及び左向きのパレット５の学習データを用いて枠付き撮像画像データＤｗを分類して、パレット５の姿勢角θの符号が推定される。従って、例えばディープラーニングの分類を利用して、パレット５の姿勢角θの符号を容易に推定することができる。

また、本実施形態では、単眼カメラ１１の撮像画像データを用いるので、位置姿勢推定装置１６を低コストで実現することができる。

なお、本発明は、上記実施形態には限定されない。例えば上記実施形態では、単眼カメラ１１の撮像画像データＤにおいて、パレット５の前面５ａを取り囲むような枠線１７Ａと、２つのパレット穴７を取り囲むような２つの枠線１７Ｂ，１７Ｃとが指定されているが、特にその形態には限られない。単眼カメラ１１の撮像画像データＤにおいて、パレット５の前面５ａを取り囲むような枠線１７Ａのみを指定してもよいし、或いは２つのパレット穴７を取り囲むような２つの枠線１７Ｂ，１７Ｃのみを指定してもよい。

また、上記実施形態では、単眼カメラ１１により荷役対象のパレット５が撮像され、単眼カメラ１１の撮像画像データＤに基づいて荷役対象のパレット５が検知されているが、単眼カメラ１１の代わりに、ステレオカメラ等を使用してもよい。

また、荷役対象のパレット５を検出する検出部としては、特にカメラには限られず、例えばパレット５に向けてレーザを照射し、レーザの反射光を受光するレーザレンジファインダ等のレーザセンサを使用してもよい。この場合には、レーザセンサの検出データに基づいて荷役対象のパレット５が検知される。また、カメラとレーザセンサとを併用してもよい。

また、上記実施形態では、フォークリフト１のフォーク６が前後２方向から差し込まれるパレット５が使用されているが、パレットとしては、特にそれには限られず、フォーク６が前後左右の４方向から差し込まれるパレット等を使用してもよい。

１…フォークリフト、５…パレット、５ａ…前面、６…フォーク、７…パレット穴、１１…単眼カメラ（検出部）、１３…パレット検知部、１４…推定演算部、１６…位置姿勢推定装置、１７，１７Ａ〜１７Ｃ…枠線、Ｄ…撮像画像データ（検出データ）、Ｄｗ…枠付き撮像画像データ（枠付き検出データ）。

Claims (8)

1. フォークリフトに対する荷役対象のパレットの位置及び姿勢を推定する位置姿勢推定装置であって、
   前記パレットを検出する検出部と、
   前記検出部の検出データに基づいて前記パレットを検知し、前記検出データにおいて前記パレットの前面と前記パレットの前面に設けられた２つのパレット穴とのうちの少なくとも一方を取り囲むような枠線が指定された枠付き検出データを作成するパレット検知部と、
   前記パレット検知部により作成された枠付き検出データを用いて、前記パレットの位置及び姿勢を推定する推定演算部とを備える位置姿勢推定装置。
2. 前記推定演算部は、前記パレットの位置として、前記フォークリフトから前記パレットまでの奥行き距離、前記フォークリフトに対する前記パレットの横ずれ距離及び前記パレットの高さを推定し、前記パレットの姿勢として、前記フォークリフトに対する前記パレットの姿勢角を推定する請求項１記載の位置姿勢推定装置。
3. 前記推定演算部は、前記枠付き検出データにおける前記パレットの前面に対応する枠線の縦の長さ及び前記パレット穴に対応する枠線の縦の長さの少なくとも１つに基づいて、前記フォークリフトから前記パレットまでの奥行き距離を推定する請求項２記載の位置姿勢推定装置。
4. 前記推定演算部は、前記枠付き検出データにおける前記パレットの前面に対応する枠線の中心及び前記２つのパレット穴に対応する２つの枠線の中心の少なくとも１つに基づいて、前記パレットの前面の中心位置を推定し、前記フォークリフトから前記パレットまでの奥行き距離と前記パレットの前面の中心位置とに基づいて、前記フォークリフトに対する前記パレットの横ずれ距離及び前記パレットの高さを推定する請求項３記載の位置姿勢推定装置。
5. 前記推定演算部は、前記パレットの前面に対応する枠線の横の長さ、前記パレット穴に対応する枠線の横の長さ及び前記２つのパレット穴に対応する２つの枠線の中心間距離の少なくとも１つに基づいて、前記フォークリフトに対する前記パレットの姿勢角の絶対値を推定する請求項２〜４の何れか一項記載の位置姿勢推定装置。
6. 前記推定演算部は、前記枠付き検出データにおける前記２つのパレット穴に対応する前記２つの枠線の寸法を比較して、前記パレットの姿勢角の符号を推定する請求項５記載の位置姿勢推定装置。
7. 前記推定演算部は、右向きのパレット及び左向きのパレットの学習データを用いて前記枠付き検出データを分類して、前記パレットの姿勢角の符号を推定する請求項５記載の位置姿勢推定装置。
8. 前記検出部は、前記パレットを撮像する単眼カメラであり、
   前記パレット検知部は、前記単眼カメラの撮像画像データに基づいて前記パレットを検知し、前記撮像画像データにおいて前記枠線が指定された枠付き撮像画像データを前記枠付き検出データとして作成する請求項１〜７の何れか一項記載の位置姿勢推定装置。

Images