JP2020151776A - 荷役装置及び荷役システム - Google Patents

Abstract

【課題】搬送対象の荷物を高精度に検出する。【解決手段】実施形態の荷役装置は、検出部と、認識部と、制御部と、を備える。検出部は、１以上の荷物を含む荷物群の上方から荷物に対して超音波又は電波を出力し、荷物群に含まれる荷物を検出する。認識部は、荷物群の上方から撮像された撮像画像に基づいて、荷物を認識する。制御部は、検出部による荷物の検出結果と、認識部による荷物の認識結果とに基づいて、荷物を把持するよう制御する。【選択図】図５

Description

本発明の実施形態は、荷役装置及び荷役システムに関する。

従来、物流倉庫等において、荷物の搬送をするロボット等の荷役装置が用いられている。一例として、カメラ等によって撮像された画像に基づいて、搬送対象の荷物を認識する荷役装置が知られている。

このような従来技術においては、撮像条件等によって搬送対象の荷物を高精度に認識することが困難な場合があった。このような場合には、荷役装置では当該荷物を搬送することができず、作業員等が手動で当該荷物を搬送していた。

特開２００７−２２２９５１号公報

従来技術においては、搬送対象の荷物を高精度に検出することが困難な場合があった。

実施形態の荷役装置は、検出部と、認識部と、制御部と、を備える。検出部は、１以上の荷物を含む荷物群の上方から荷物に対して超音波又は電波を出力し、荷物群に含まれる荷物を検出する。認識部は、荷物群の上方から撮像された撮像画像に基づいて、荷物を認識する。制御部は、検出部による荷物の検出結果と、認識部による荷物の認識結果とに基づいて、荷物を把持するよう制御する。

図１は、第１の実施形態にかかる荷役システムの構成の一例を示す図である。 図２は、図１に示した荷役システムを示す平面図である。 図３は、第１の実施形態にかかる制御装置のハードウェア構成の一例を示す図である。 図４は、第１の実施形態にかかる遠隔制御装置のハードウェア構成の一例を示す図である。 図５は、第１の実施形態にかかる制御装置の機能構成の一例を示す図である。 図６は、第１の実施形態にかかる荷物情報の構成の一例を示す図である。 図７は、第１の実施形態にかかる荷物の検出方法の一例を説明するための図である。 図８は、撮像画像に基づく認識結果とセンシング結果に基づく検出結果とを比較する第１の例を示す図である。 図９は、撮像画像に基づく認識結果とセンシング結果に基づく検出結果とを比較する第２の例を示す図である。 図１０は、撮像画像に基づく認識結果とセンシング結果に基づく検出結果とを比較する第３の例を示す図である。 図１１は、撮像画像に基づく認識結果とセンシング結果に基づく検出結果とを比較する第４の例を示す図である。 図１２は、第１の実施形態にかかる遠隔制御装置の機能構成の一例を示す図である。 図１３は、第１の実施形態にかかる報知画面の一例を示す図である。 図１４は、第１の実施形態にかかる制御装置が実行する処理の一例を示すフローチャートである。 図１５は、撮像画像に基づく認識結果とセンシング結果に基づく検出結果とを比較する第５の例を示す図である。 図１６は、撮像画像に基づく認識結果とセンシング結果に基づく検出結果とを比較する第６の例を示す図である。 図１７は、撮像画像に基づく認識結果とセンシング結果に基づく検出結果とを比較する第７の例を示す図である。 図１８は、撮像画像に基づく認識結果とセンシング結果に基づく検出結果とを比較する第８の例を示す図である。 図１９は、第３の実施形態にかかる制御装置が実行する処理の一例を示すフローチャートである。 図２０は、撮像画像に基づく認識結果とセンシング結果に基づく検出結果とを比較する第９の例を示す図である。

（第１の実施形態）
図１は、第１の実施形態にかかる荷役システムの構成の一例を示す図である。また、図２は、図１に示した荷役システムを示す平面図である。

荷役システム１は、図１に示すように、荷役装置１０と遠隔制御装置４０とを有する。また、荷役装置１０は、カメラ２０と、センサ装置３０とを備える。ここで、荷役装置１０の本体部と、と、カメラ２０及びセンサ装置３０とは、例えば、シリアルケーブルやＬＡＮ（Local Area Network）等を介して接続される。また、荷役装置１０と遠隔制御装置４０とは、例えば、ＬＡＮやＷＡＮ（Wide Area Network）等を介して接続される。

荷役装置１０は、パレット２上に置かれた荷物Ｗ１をコンベア３に荷役（移動）するための装置である。荷物Ｗ１は、例えば直方体状又は立方体状に構成され、パレット２上に重ねた状態で載置される。また、本実施形態においては、１以上の荷物Ｗ１を含む複数の荷物を指す場合に、荷物群Ｗという。パレット２は、フォークリフト等により、第１の場所に対応する床面Ｅの所定の配置位置に配置される。コンベア３は、例えばベルトコンベアである。コンベア３のうち、荷役装置１０が荷物Ｗ１を移動する目的の場所が第２の場所に対応する。以下では、コンベア３を第２の場所として説明する。

パレット２及びコンベア３の上方には、カメラ２０が設けられる。具体的には、パレット２の上方には、第１のカメラ２１が設けられている。また、コンベア３の上方には、第２のカメラ２２が設けられている。第１のカメラ２１及び第２のカメラ２２は、一例として３Ｄカメラである。第１のカメラ２１は、本実施形態における撮像装置の一例である。また第２のカメラ２２を、撮像装置の一例としてもよい。

第１のカメラ２１は、パレット２に載置された荷物群Ｗを上方から撮像し、撮像によって得られた撮像画像を制御装置１２に出力する。第１のカメラ２１の撮像範囲Ａ２１は、少なくとも荷物群Ｗを含むように設定されている。第２のカメラ２２は、コンベア３を上方から撮像し、撮像した画像を制御装置１２に出力する。第２のカメラ２２の撮像範囲Ａ２２は、少なくともコンベア３を含むよう設定されている。

また、パレット２の上方には、物体センサの一例であるセンサ装置３０が設けられている。センサ装置３０は、超音波又は電波（ミリ波）を用いて、例えばエコーロケーション技術等により、物体検出を行うセンサ装置である。センサ装置３０は、パレット２に載置された荷物群Ｗの上方から当該荷物群Ｗを含む範囲をセンシングし、そのセンシング結果を制御装置１２に出力する。ここで、センサ装置３０のセンシング範囲Ａ３０は、少なくとも荷物群Ｗを含むように設定されている。例えば、センサ装置３０は、荷物群Ｗの上方から荷物Ｗ１に対して超音波又は電波を出力し、荷物群Ｗに含まれる荷物Ｗ１を検出（センシング）する。第１のカメラ２１の撮像範囲Ａ２１と、センサ装置３０のセンシング範囲Ａ３０は、同一の範囲でもよいし、いずれか一方が他方よりも広い範囲でもよい。センサ装置３０は、本実施形態における検出部の一例である。

なお、センサ装置３０は、第１のカメラ２１に近接した位置に設置することが好ましいが、これに限らず、他の位置（例えば、移動装置１１の上方等）に設置してもよい。

荷役装置１０は、図１に示すように、移動装置１１と、制御装置１２とを備える。移動装置１１は、パレット２に面する位置であって、且つ、コンベア３に面する位置に設置される。つまり、移動装置１１は、パレット２及びコンベア３を周囲に配置する位置に配置される。

移動装置１１は、基台１１１と、基台１１１に支持されたアーム部１１２と、アーム部１１２の先端に設けられた把持部１１３とを備える。

基台１１１は、床面Ｅに固定された筐体である。以下では、床面Ｅと平行な方向、すなわち重力の作用する方向に直交する方向を水平方向ともいう。また、床面Ｅに直交する方向、すなわち重力の作用する方向及びその逆方向を上下方向ともいう。

アーム部１１２は、一例として多関節ロボットアームである。アーム部１１２は、把持部１１３によって保持された荷物Ｗ１を上下方向に移動する動作、及び、水平方向に移動する動作を実行可能に構成されている。

例えば、アーム部１１２は、一軸又は２軸回りに回動可能な複数の関節により連結された３つの可動部（１１２ａ〜１１２ｃ）で構成される。

アーム部１１２（可動部１１２ｃ）の先端には、把持部１１３が取り付けられている。把持部１１３は、１つの荷物Ｗ１を挟み込んで把持する。把持部１１３は、一対の爪部を備えるものであってもよい。なお、荷物Ｗ１の把持は、挟持による把持方法に限定されない。例えば、把持部１１３は、負圧によって荷物Ｗ１を吸着把持してもよい。また、把持部１１３は、２つの荷物Ｗ１を一度に把持してもよい。なお、把持部１１３は保持部ともいう。

制御装置１２は、移動装置１１の動作を制御する装置である。制御装置１２は、カメラ２０の撮像結果及びセンサ装置３０のセンシング結果に基づき、移動装置１１の動作を制御する。制御装置１２は、移動装置１１と一体的に設けられてもよいし、移動装置１１と別体として設けられてもよい。

遠隔制御装置４０は、移動装置１１の動作を遠隔から制御可能な装置である。遠隔制御装置４０は、制御装置１２と協働することで、移動装置１１の動作を遠隔から制御する。

なお、本実施形態では、移動装置１１と制御装置１２とを荷役装置としたが、これに限らず、制御装置１２を荷役装置としてもよい。また、本実施形態では、カメラ２０及びセンサ装置３０を含めた構成を荷役装置１０と定義したが、荷役装置はカメラ２０またはセンサ装置３０のいずれかまたは両方を含まない構成としてもよい。また、遠隔制御装置４０を含めた構成を荷役装置と定義してもよい。また、本実施形態では、荷役システム１は１台の荷役装置１０を備えるものとしたが、荷役システム１は、複数の荷役装置１０を備えてもよい。

次に、上述した制御装置１２及び遠隔制御装置４０のハードウェア構成について説明する。図３は、制御装置１２のハードウェア構成の一例を示す図である。なお、図３では、制御装置１２に接続される各種装置のうち、センサ装置３０の構成の一例をあわせて示している。

制御装置１２は、図３に示すように、プロセッサ１２１、表示部１２２、操作部１２３、カメラコントローラ１２４、移動装置コントローラ１２５、センサコントローラ１２６、通信部１２７及び記憶部１２８を備える。

プロセッサ１２１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）等の制御装置である。表示部１２２は、例えば、液晶ディスプレイ、タッチパネル式ディスプレイ等の表示デバイス（出力装置）によって実現される。操作部１２３は、キーボードやポインティングデバイス等の入力デバイス（入力装置）によって実現される。なお、操作部１２３は、表示部１２２の画面上に設けられるタッチパネルであってもよい。

カメラコントローラ１２４は、第１のカメラ２１及び第２のカメラ２２に接続され、プロセッサ１２１の制御の下、第１のカメラ２１及び第２のカメラ２２の動作を制御する。移動装置コントローラ１２５は、移動装置１１に接続され、プロセッサ１２１の制御の下、移動装置１１の動作を制御する。センサコントローラ１２６は、センサ装置３０に接続され、プロセッサ１２１の制御の下、センサ装置３０の動作を制御する。

ここで、センサ装置３０は、図３に示すように、例えば、信号生成部３０１、オペアンプ３０２、送信アンテナ３０３、受信アンテナ３０４、オペアンプ３０５、混合器３０６及び演算・検波モジュール３０７等を備える。

信号生成部３０１は、使用する超音波又は電波の周波数に応じた周波数信号を生成する。信号生成部３０１で生成された周波数信号は、オペアンプ３０２を介して増幅された後、送信アンテナ３０３に入力される。また、信号生成部３０１で生成された周波数信号は、混合器３０６にも入力される。

送信アンテナ３０３及び受信アンテナ３０４、例えば一対のアンテナ素子３０ａとして形成され、アンテナ面に亘って複数個設けられる。ここで、アンテナ面は、床面Ｅに対向配置されるセンサ装置３０の面である。送信アンテナ３０３は、周波数信号に応じた超音波又は電波を送信波ｆ１として送信し、その反射波ｆ２を受信アンテナ３０４が受信する。受信アンテナ３０４で受信された反射波ｆ２は、オペアンプ３０２を介して増幅された後、反射波信号として混合器３０６に入力される。

混合器３０６は、入力された周波数信号及び反射波信号の両信号に対して乗算の演算を行い、それら信号（周波数）の差（又は和）を示す信号を演算・検波モジュール３０７に出力する。演算・検波モジュール３０７は、混合器３０６から入力される信号をアンテナ素子３０ａ毎に検波した後、検出信号としてセンサコントローラ１２６に出力する。

上記の構成により、センサ装置３０では、センシング範囲Ａ３０内に存在する物体をセンシングし、そのセンシング結果を検出信号として制御装置１２（センサコントローラ１２６）に出力する。かかる検出信号は、センシング範囲Ａ３０内に存在する物体の上面及び側面の形状を電波強度等の測定値で表したものとなる。なお、センサ装置３０の構成は、図３の構成例に限らず、物体検出に係る公知のセンサ構成を用いてもよい。

制御装置１２の通信部１２７は、遠隔制御装置４０等の外部装置と接続するための通信インタフェースである。通信部１２７は、プロセッサ１２１の制御の下、遠隔制御装置４０との間で各種データの授受を行う。

記憶部１２８は、例えば、ＲＡＭ（Random Access Memory）等の主記憶装置、フラッシュメモリ等の半導体メモリ素子やハードディスク等の補助記憶装置によって実現される。記憶部１２８は、荷役装置１０の動作に係るプログラムや設定情報等を記憶する。また、記憶部１２８は、移動装置１１の上下方向及び水平方向の移動限界位置や、アーム部１１２の可動範囲、把持部１１３の把持可能な荷物Ｗ１の寸法の上限及び下限等を示した限界情報を記憶する。また、記憶部１２８は、荷物Ｗ１の各辺のサイズ（寸法）や形状等を示した荷物情報を記憶する。荷物情報の詳細については後述する。

図４は、遠隔制御装置４０のハードウェア構成の一例を示す図である。遠隔制御装置４０は、図４に示すように、プロセッサ４０１、表示部４０２、操作部４０３、通信部４０４及び記憶部４０５を備える。

プロセッサ４０１は、ＣＰＵ、ＧＰＵ、ＡＳＩＣ等の制御装置である。表示部４０２は、例えば、液晶ディスプレイ、タッチパネル式ディスプレイ等の表示デバイス（出力装置）によって実現される。操作部４０３は、キーボードやポインティングデバイス等の入力デバイス（入力装置）によって実現される。なお、操作部４０３は、表示部４０２の画面上に設けられるタッチパネルであってもよい。

通信部４０４は、荷役装置１０（制御装置１２）等の外部装置に接続するための通信インタフェースである。通信部４０４は、プロセッサ４０１の制御の下、制御装置１２との間で各種データの授受を行う。

記憶部４０５は、例えば、ＲＡＭ等の主記憶装置、フラッシュメモリ等の半導体メモリ素子やハードディスク等の補助記憶装置によって実現される。記憶部４０５は、遠隔制御装置４０の動作に係るプログラムや設定情報等を記憶する。

次に、図５を参照して、制御装置１２の機能構成の構成について説明する。ここで、図５は、制御装置１２の機能構成の一例を示す図である。

図５に示すように、制御装置１２は、取得部１２１１、認識部１２１２、検出部１２１３、計画部１２１４、計画実行部１２１５、及び出力部１２１６を機能部として備える。

取得部１２１１は、カメラコントローラ１２４を介して、カメラ２０で撮像された撮像画像を取得する。また、取得部１２１１は、センサコントローラ１２６を介して、センサ装置３０のセンシング結果（検出信号）を取得する。以下、第１のカメラ２１で撮像された撮像画像を第１の撮像画像、第２のカメラ２２で撮像された撮像画像を第２の撮像画像とも表記する。取得部１２１１は、取得した撮像画像を認識部１２１２に送出する。また、取得部１２１１は、取得したセンシング結果を検出部１２１３に送出する。

また、取得部１２１１は、遠隔制御装置４０から、パレット２に載置された荷物群Ｗに含まれる荷物Ｗ１の識別情報を取得する。

識別情報は、個々の荷物Ｗ１の商品コードでもよいし、荷物Ｗ１の分類を示す情報でもよい。荷物Ｗ１の分類は、一例として、飲料、食品、衣料等の商品のカテゴリーである。取得部１２１１は、取得した荷物Ｗ１の識別情報を認識部１２１２及び検出部１２１３に送出する。

認識部１２１２は、取得部１２１１が取得した第１の撮像画像と、記憶部１２８に記憶された荷物情報とに基づいて、パレット２上に置かれた荷物Ｗ１を認識する。

図６は、本実施形態にかかる荷物情報１２８１の構成の一例を示す図である。図６に示すように、荷物情報１２８１は、荷物Ｗ１の識別情報、寸法（サイズ）、形状、重量、デザイン、梱包特徴、及び積載特徴が対応付けられており、ユーザ等によって予め登録されているものとする。

荷物Ｗ１の形状は、例えば、荷物Ｗ１の上面の形状であり、四角形、八角形、円等である。なお、荷物情報１２８１は寸法から形状が特定可能な場合は、形状の情報を別途記憶しなくともよい。荷物Ｗ１のデザインは、例えば荷物Ｗ１の上面の装飾又は絵柄等を示す情報である。梱包情報は、荷物Ｗ１の梱包の態様を示す情報であり、一例として、テープ又はビニールバンド等の有無、又は荷物Ｗ１表面の梱包材の色等の情報である。また、積載特徴は、荷物Ｗ１の配置、積み上げ方、又は姿勢等を示す情報である。形状、デザイン、梱包特徴及び積載特徴は、数値等によって定義されてもよいし、これらの情報を示す画像データでもよい。なお、荷物情報１２８１に含まれる情報は、図６に示す例に限定されるものではないが少なくとも、荷物Ｗ１の識別情報と、荷物Ｗ１の寸法又は形状が対応付けられているものとする。

例えば、認識部１２１２は、識別情報に対応付けられた荷物Ｗ１の寸法、形状、デザイン、梱包特徴、又は積載特徴と、取得部１２１１が取得した第１の撮像画像に映り込んだ物体の形状比較（突合）を行うことで、第１の撮像画像から、荷物群Ｗに含まれる個々の荷物Ｗ１を認識する。

認識部１２１２は、荷物Ｗ１の認識結果を、計画部１２１４に送出する。荷物Ｗ１の認識結果は、一例として、荷物群Ｗに含まれる荷物Ｗ１の個数と、荷物Ｗ１の各々の寸法、形状、デザイン、梱包特徴、及び積載特徴、位置である。なお、梱包特徴及び積載特徴については、撮像条件等によっては、認識部１２１２が撮像画像から認識することが困難な場合があるため、必須ではないものとする。また、荷物Ｗ１の各々の位置は、パレット２上の水平方向の位置、及び高さ方向の位置である。また、荷物Ｗ１の各々の位置は、把持部１１３からの相対距離によって表されてもよい。

また、認識部１２１２は、画像認識結果と、記憶部１２８に記憶された荷物情報１２８１とが一致しない場合に、画像認識結果と荷物情報１２８１とが不一致であることを計画部１２１４に通知する。また、認識部１２１２は、荷物Ｗ１の認識に使用した第１の撮像画像を、計画部１２１４に送出する。

また、認識部１２１２は、取得部１２１１が取得した第２の撮像画像に基づき、移動装置１１によって移動された荷物Ｗ１がパレット２上に置かれたことを認識する。なお、荷物Ｗ１の認識方法は上述の例に限定されるものではなく、パターンマッチングや特定物体認識等、公知の技術を用いてもよい。また、認識部１２１２は、第１の撮像画像から、画像認識によって荷物Ｗ１の向き等をさらに認識し、計画部１２１４に送出してもよい。

図５に戻り、検出部１２１３は、取得部１２１１が取得したセンシング結果に基づいて、荷物Ｗ１を検出する。検出部１２１３による検出結果は、例えば、荷物群Ｗに含まれる荷物Ｗ１の個数、寸法、又は形状を含むものとする。

ここで、図７を参照して、センシング結果に基づく荷物Ｗ１の検出方法について説明する。図７は、荷物Ｗ１の検出方法の一例を説明するための図である。

上述したように、センサ装置３０では、上方からセンシングすることで、センシング範囲Ａ３０内に存在する物体の形状をセンシング結果として取得する。より具体的には、センサ装置３０は、送信波ｆ１を送信し、センシング範囲Ａ３０の各位置（検出点）で反射した反射波ｆ２を受信する。そして、センサ装置３０は、送信波ｆ１及び反射波ｆ２の差分等から、センシング範囲Ａ３０内に存在する物体の表面（上面及び側面）の形状を電波強度等の物理量として取得する。本実施形態では、複数のアンテナ素子３０ａを用いて送信波ｆ１及び反射波ｆ２の送受信を行う構成であるため、各検出点の電波強度を３次元的に捉えることができ、物体の表面の形状を精度よく取得することができる。

例えば、荷物Ｗ１が、図７（ａ）のように傾いた状態でパレット２に置かれているとすると、センサ装置３０による送信波ｆ１及び反射波ｆ２の送受信により、各検出点Ｐ１での電波強度の分布として取得されることになる（図７（ｂ）参照）。ここでは、各検出点Ｐ１での電波強度を濃淡で示しており、検出点Ｐ１の各位置とその電波強度との関係から、荷物Ｗ１の表面の形状Ｆ１を抽出することができる。

また、検出部１２１３は、検出した物体の表面の形状Ｆ１と、記憶部１２８に記憶された荷物情報１２８１に基づく荷物Ｗ１の形状とを３次元的に照合し、検出結果を補正してもよい。検出部１２１３は、検出結果を、計画部１２１４に送出する。また、検出部１２１３は、検出結果と、記憶部１２８に記憶された荷物情報１２８１とが一致しない場合に、認識結果と荷物情報１２８１とが不一致であることを計画部１２１４に通知する。

ここで、前述の認識部１２１２が撮像画像に基づいて荷物Ｗ１を認識する際に、撮像条件、荷物Ｗ１の梱包の態様又は積載の態様等によって、荷物Ｗ１を高精度に認識することが困難な場合がある。このような場合は、認識部１２１２による第１の撮像画像に基づく認識結果(画像認識結果)と、検出部１２１３によるセンシング結果に基づく検出結果とに、差異が生じる。

図８は、撮像画像に基づく認識結果とセンシング結果に基づく検出結果とを比較する第１の例を示す図である。図８の上段は、画像認識に関する各種のイメージを示し、下段は、センシング結果に基づく検出に関する各種のイメージを示す。

例えば、図８の左側の列の上段に示すように、荷物Ｗ１の上面に、光を反射するテープ９０が貼り付けられている場合がある。また、図８の中央の列の上段に示す図は、第１のカメラ２１が、テープ９０が貼り付けられた荷物Ｗ１を複数含む荷物群Ｗを、上方から撮像した場合における撮像画像である。図８の中央の列の上段に示すように、荷物群Ｗは、１２個の荷物Ｗ１を含む。

しかしながら、認識部１２１２は、光を反射するテープ９０を、パレット２の上面等と誤認識する場合がある。この場合、図８の右側の列の上段に示すように、認識部１２１２は、１つの荷物Ｗ１を、テープ９０を境に、２つの荷物と認識する。つまり、認識部１２１２は、荷物群Ｗに含まれる荷物Ｗ１の数を、実際には１２個であるにも関わらず、２４個と誤認識する場合がある。また、図８の右側の列の上段に示す例では、認識部１２１２は、荷物群Ｗに含まれる荷物Ｗ１の各々の寸法を、実際よりも小さい寸法に誤認識している。また、認識部１２１２は、荷物群Ｗに含まれる荷物Ｗ１の各々の形状も、実際よりも細長い形状に誤認識している。

これに対して、検出部１２１３は、図８の左側の列の下段に示すように、送信波ｆ１及び反射波ｆ２に基づくセンシング結果から、荷物Ｗ１の外形を検出する。このため、検出部１２１３は、図８の中央の列の下段に示すように、テープ９０の有無に影響されることなく、荷物群Ｗに含まれる荷物Ｗ１の数を、１２個と検出することができる。また、検出部１２１３は、図８の右側の列の下段に示すように、テープ９０の有無に影響されることなく、荷物群Ｗに含まれる荷物Ｗ１の各々の寸法及び形状も、高精度に検出することができる。

また、図９は、撮像画像に基づく認識結果とセンシング結果に基づく検出結果とを比較する第２の例を示す図である。図９では、左側の列の上段に示すように、荷物Ｗ１は、上面に枠９１が記載されたデザインであるものとする。

認識部１２１２は、荷物Ｗ１の上面にこのようなデザインが施されているという情報を事前に得ていない場合、図９の右側の列の上段に示すように、枠９１に囲まれた範囲を、荷物Ｗ１の上に重ねて載置された他の荷物であると認識する場合がある。この場合、認識部１２１２は、枠９１に囲まれた範囲と、枠９１に囲まれた範囲以外とをそれぞれ別個の荷物と認識するため、図９の中央の列の上段に示す荷物群Ｗに含まれる荷物Ｗ１の数を、２４個と誤認識する場合がある。

これに対して、検出部１２１３は、図９の下段に示すように、送信波ｆ１及び反射波ｆ２に基づくセンシング結果から荷物Ｗ１の外形を検出するため、荷物Ｗ１の上面の柄や模様等のデザインに影響されることなく、荷物群Ｗに含まれる荷物Ｗ１の個数、寸法、及び形状を高精度に検出することができる。

また、図１０は、撮像画像に基づく認識結果とセンシング結果に基づく検出結果とを比較する第３の例を示す図である。図１０では、左側の列の上段に示すように、荷物Ｗ１は、ビニールバンド９２が十字に巻かれているものとする。ビニールバンド９２は、荷物Ｗ１の色よりも濃い色であるものとする。この場合、認識部１２１２は、図１０の右側の列の上段に示すように、荷物Ｗ１の上面のビニールバンド９２で区切られた領域の各々を個別の荷物として誤認識する場合がある。この場合、認識部１２１２は、図１０の中央の列の上段に示す荷物群Ｗに含まれる荷物Ｗ１の数を、４８個と誤認識する場合がある。

これに対して、検出部１２１３は、図１０の下段に示すように、送信波ｆ１及び反射波ｆ２に基づくセンシング結果から荷物Ｗ１の外形を検出するため、ビニールバンド９２等の梱包の態様に影響されることなく、荷物群Ｗに含まれる荷物Ｗ１の個数、寸法、及び形状を高精度に検出することができる。

また、図１１は、撮像画像に基づく認識結果とセンシング結果に基づく検出結果とを比較する第４の例を示す図である。図１１では、左側の列の上段に示す荷物Ｗ１は、黒色の外装であり、荷物Ｗ１の上面には、黒色以外の紙テープ（又は布テープ）９３が貼り付けられている。この場合、認識部１２１２は、図１１の右側の列の上段に示すように、荷物Ｗ１の黒色の本体部分を背景、紙テープ９３を荷物として誤認識する場合がある。このような誤認識は、黒色に限らず、荷物Ｗ１の外装が濃い色の場合に発生する可能性がある。認識部１２１２による認識の精度が低下する階層の色を、以下、特殊色という。

これに対して、検出部１２１３は、図１１の下段に示すように、送信波ｆ１及び反射波ｆ２に基づくセンシング結果から荷物Ｗ１の外形を検出するため、荷物Ｗ１及び紙テープ９３等の色に影響されることなく、荷物群Ｗに含まれる荷物Ｗ１の個数、寸法、及び形状を高精度に検出することができる。なお、図８〜図１１では、荷物Ｗ１のデザイン又は梱包の態様によって高精度な画像認識が困難になる例を説明したが、高精度な画像認識が困難になる例は、これらに限定されるものではない。例えば、荷物Ｗ１の積載の態様によっても、高精度な画像認識が困難になる場合があるものとする。

図５に戻り、計画部１２１４は、認識部１２１２の画像認識結果及び検出部１２１３の検出結果に基づいて、移動装置１１のアーム部１１２及び把持部１１３の駆動機構を動作させるための行動計画を導出（算出）する。本実施形態の計画部１２１４は、検出部１２１３によって検出された荷物Ｗ１の個数、寸法、又は形状の少なくとも１つに基づいて、行動計画を導出するものとする。

より詳細には、計画部１２１４は、認識部１２１２から取得した画像認識結果と、検出部１２１３から取得した検出結果に含まれる荷物Ｗ１の個数、寸法、及び形状を比較する。上述のように、検出結果に含まれる荷物Ｗ１の個数、寸法、及び形状の方が、画像認識結果に含まれる荷物Ｗ１の個数、寸法、及び形状よりも高精度であるため、計画部１２１４は、画像認識結果と、検出結果とが不一致の場合は、検出結果に基づいて行動計画を導出する。

また、計画部１２１４は、記憶部１２８に記憶された荷物情報１２８１と、画像認識結果又は、検出結果が不一致の場合、画像認識結果又は検出結果に基づいて、荷物情報１２８１を更新する。

例えば、計画部１２１４は、検出結果に含まれる荷物Ｗ１の寸法、又は形状が、荷物情報１２８１に登録された荷物Ｗ１の寸法、又は形状と異なる場合に、検出結果に含まれる荷物Ｗ１の寸法、又は形状を、荷物Ｗ１の識別情報に対応付けて記憶部１２８に記憶させる。例えば、計画部１２１４は、検出結果に含まれる荷物Ｗ１の寸法、又は形状を荷物Ｗ１の識別情報に対応付けて荷物情報１２８１に登録（追加）する。計画部１２１４は、寸法、及び形状については、検出結果に含まれる情報を、画像認識結果に含まれる情報よりも優先して、荷物情報１２８１に登録するものとする。

また、画像認識結果に含まれる荷物Ｗ１の個数、寸法、又は形状と、検出結果に含まれる荷物Ｗ１の個数、寸法、又は形状とが異なる場合は、上述の図８〜図１１の例のように、テープ９０、外装デザインの変更、ビニールバンド９２、特殊色等のデザイン、梱包特徴又は積載特徴が要因となっている可能性がある。また、認識部１２１２がこれらのデザイン、梱包特徴又は積載特徴を正しく認識できなかったということは、荷物情報１２８１に登録されたデザイン、梱包特徴又は積載特徴と、実際の荷物Ｗ１のデザイン、梱包特徴又は積載特徴とが異なっている可能性がある。例えば、荷物Ｗ１のデザイン等が変更された場合に、変更後のデザイン等が荷物情報１２８１に登録されていなければ、このような事態が発生する場合がある。

このため、計画部１２１４は、画像認識結果と検出結果とが一致しない場合に、画像認識結果に含まれる荷物Ｗ１のデザイン、梱包特徴又は積載特徴を荷物情報１２８１に登録する。また、計画部１２１４は、画像認識結果から変更後の荷物Ｗ１のデザイン、梱包特徴又は積載特徴を特定することが困難な場合には、荷物Ｗ１のデザイン、梱包特徴又は積載特徴が変更された可能性が高いことを、荷物情報１２８１に登録してもよい。なお、計画部１２１４は、画像認識結果に含まれる荷物Ｗ１の個数、寸法、又は形状と、検出結果に含まれる荷物Ｗ１の個数、寸法、又は形状とが完全に一致しない場合であっても、差異が所定の範囲内であれば、画像認識結果と検出結果とが一致すると判定してもよい。

計画部１２１４は、認識又は検出された荷物Ｗ１の１つを、移動対象候補とする。また、計画部１２１４は、画像認識結果又は検出結果に基づいて、移動対象候補の荷物Ｗ１を、把持部１１３が把持可能か否かを判定する。例えば、計画部１２１４は、荷物Ｗ１の寸法が、記憶部１２８に記憶された移動装置１１の限界情報に定義された把持部１１３の把持可能な荷物Ｗ１の寸法の上限から下限の範囲に含まれない場合に、当該荷物Ｗ１の把持を回避すると判定する。この場合、計画部１２１４は、行動計画を導出せずに、把持を回避することを、出力部１２１６に送出する。また、計画部１２１４は、把持を回避する対象である荷物Ｗ１が映り込んだ第１の撮像画像を、出力部１２１６に送出する。また、計画部１２１４は、検出部１２１３が把持を回避する対象である荷物Ｗ１を検出した検出結果を、出力部１２１６に送出してもよい。

計画部１２１４は、移動対象候補の荷物Ｗ１を把持部１１３に把持させると判定した場合は、行動計画を導出し、導出した行動計画を、計画実行部１２１５に送出する。例えば、計画部１２１４は、移動対象に設定された荷物Ｗ１をコンベア３まで移動する経路（最短経路）を示した行動計画を導出する。なお、計画部１２１４は、２つ以上の荷物Ｗ１を同時に把持して移動させる行動計画を導出してもよい。行動計画の導出の手法は、公知の技術を採用することができる。

また、把持を回避するか否かの基準は、上述の例に限定されるものではなく、計画部１２１４は、その他の条件に基づいて把持を回避するか否かを決定してもよい。

計画実行部１２１５は、計画部１２１４で導出された行動計画に基づいて、移動装置１１の動作（駆動機構）を制御する。例えば、計画実行部１２１５は、行動計画に基づき移動装置１１の動作を制御することで、移動対象の荷物Ｗ１を行動計画に示された経路でコンベア３まで移動させる。また、行動計画は、計画部１２１４によって、検出部１２１３による検出結果と認識部１２１２による認識結果とに基づいて導出されているため、換言すれば、計画実行部１２１５は、検出結果と認識結果とに基づいて、荷物Ｗ１を把持するよう制御する。計画実行部１２１５の制御対象は、例えば、把持部１１３の駆動機構である。計画部１２１４及び計画実行部１２１５は、本実施形態における制御部の一例である。

出力部１２１６は、計画部１２１４から荷物Ｗ１の把持を回避することを通知された場合に、遠隔制御装置４０に把持回避の報知情報を出力する。例えば、出力部１２１６は、把持回避の理由と、把持回避される荷物Ｗ１が映り込んだ第１の撮像画像とを、遠隔制御装置４０に出力する。また、計画部１２１４は、出力部１２１６は、検把持回避される荷物Ｗ１の検出結果を、遠隔制御装置４０に出力してもよい。また、計画部１２１４は、把持回避の理由と、把持回避される荷物Ｗ１が映り込んだ第１の撮像画像とを、制御装置１２の表示部１２２に表示させてもよい。

上述した機能構成により、荷役装置１０では、第１の場所に対応するパレット２に置かれた荷物Ｗ１を、第２の場所に対応するコンベア３に荷役（移動）させることができる。

次に、図１２を参照して、遠隔制御装置４０の機能構成の構成について説明する。ここで、図１２は、遠隔制御装置４０の機能構成の一例を示す図である。

図１２に示すように、遠隔制御装置４０は、報知情報取得部４１１１、表示制御部４１１２、操作受付部４１１３を機能部として備える。

報知情報取得部４１１１は、通信部４０４を介して、制御装置１２から送信された報知情報を取得する。報知情報取得部４１１１は、取得した報知情報を表示制御部４１１２に送出する。

表示制御部４１１２は、報知情報に基づき、把持回避の理由と、把持回避される荷物Ｗ１が映り込んだ第１の撮像画像とを表示する報知画面を、表示部４０２に表示させる。

図１３は、本実施形態にかかる報知画面Ｇ１の一例を示す図である。図１３に示すように、報知画面Ｇ１は、把持回避の理由を示すメッセージＭ１と、把持回避される荷物Ｗ１が映り込んだ第１の撮像画像９００とが表示される。なお、報知画面Ｇ１の表示内容及び表示形式は図１３に示す例に限定されるものではない。例えば、表示制御部４１１２は、検把持回避される荷物Ｗ１の検出結果に基づいて、遠隔制御装置４０のオペレータが荷物Ｗ１の状態を視認することが可能な可視化画像を生成し、報知画面Ｇ１に表示してもよい。ここで、可視化方法は特に問わず、種々の方法を採用することが可能である。

次に、図１４を参照して、制御装置１２の動作について説明する。ここで、図１４は、制御装置１２が実行する処理の一例を示すフローチャートである。なお、本処理の前提として、カメラ２０で撮像された撮像画像、センサ装置３０のセンシング結果、及びパレット２に載置された荷物群Ｗに含まれる荷物Ｗ１の識別情報の取得が取得部１２１１で行われているものとする。

まず、認識部１２１２は、第１のカメラ２１で撮像された撮像画像からパレット２上に置かれた荷物Ｗ１を認識する（ステップＳ１１）。認識部１２１２は、画像認識結果及び第１の撮像画像を計画部１２１４に送出する。また、認識部１２１２は、荷物情報１２８１から、取得部１２１１によって取得された荷物Ｗ１の識別情報に対応付けられた寸法、形状、デザイン、梱包特徴及び積載特徴を検索し、検索結果と画像認識結果とが一致ない場合、画像認識結果と荷物情報１２８１とが不一致であることを計画部１２１４に通知する。なお、認識部１２１２は、撮像画像から荷物Ｗ１を認識できなかった場合にも、画像認識結果と荷物情報１２８１とが不一致であるものとして計画部１２１４に通知する。

次に、検出部１２１３は、センサ装置３０のセンシング結果からパレット２上に置かれた荷物Ｗ１を検出する（ステップＳ１２）。具体的には、検出部１２１３は、取得部１２１１が取得したセンシング結果に基づいて、荷物Ｗ１の個数、寸法、及び形状を検出する。検出部１２１３は、検出結果を、計画部１２１４に送出する。また、検出部１２１３は、検出結果と、記憶部１２８に記憶された荷物情報とが一致しない場合に、認識結果と荷物情報とが不一致であることを計画部１２１４に通知する。

次に、計画部１２１４は、検出結果に含まれる荷物Ｗ１の寸法、又は形状が、荷物情報に登録された荷物Ｗ１の寸法、又は形状と一致するか否かを判定する（ステップＳ１３）。計画部１２１４は、検出結果と荷物情報１２８１とが一致しないと判定した場合（ステップＳ１３；Ｎｏ）、検出結果に含まれる荷物Ｗ１の寸法、又は形状で、荷物情報１２８１を更新する（ステップＳ１４）。

また、計画部１２１４は、検出結果と荷物情報１２８１とが一致すると判定した場合（ステップＳ１３；Ｙｅｓ）、Ｓ１５の処理に進む。

次に、計画部１２１４は、画像認識結果に含まれる荷物Ｗ１の個数、寸法、及び形状と、検出結果に含まれる荷物Ｗ１の個数、寸法、及び形状とが一致するか否かを判定する（ステップＳ１５）。計画部１２１４は、画像認識結果及び検出結果に含まれる荷物の個数、寸法及び形状が一致しないと判定した場合は（ステップＳ１５；Ｎｏ）、荷物Ｗ１のデザイン、梱包特徴又は積載特徴が更新された可能性が高いと判定する。この場合、計画部１２１４は、画像認識結果に含まれる荷物Ｗ１のデザイン、梱包特徴、又は積載特徴で、荷物情報１２８１を更新する（ステップＳ１６）。なお、計画部１２１４は、デザイン、梱包特徴、又は積載特徴の全てを更新するものとしてもよいし、変更の可能性が高い項目を特定して特定した項目を更新対象としてもよい。

次に、計画部１２１４は、認識又は検出された荷物Ｗ１の１つを、移動対象候補とする。そして、計画部１２１４は、画像認識結果と検出結果とに基づいて、移動対象候補の荷物Ｗ１の寸法が、把持部１１３が把持可能な寸法であるか否かを判定する（ステップＳ１７）。画像認識結果と検出結果が不一致の場合には、計画部１２１４は、検出結果に基づいて荷物Ｗ１の寸法が把持可能な寸法であるか否かを判定するものとする。また、何らかの要因により検出部１２１３が荷物Ｗ１を検出できなかった場合には、計画部１２１４は、画像認識結果に基づいて、荷物Ｗ１の寸法が把持可能な寸法であるか否かを判定する。

計画部１２１４は、荷物Ｗ１の寸法が、把持部１１３が把持可能な寸法であると判定した場合には（ステップＳ１７；Ｙｅｓ）、画像認識結果と検出結果とに基づいて、行動計画を導出する（ステップＳ１８）。

次に、計画実行部１２１５は、計画部１２１４で導出された行動計画に基づいて、移動装置１１の動作を制御し、荷物Ｗ１をコンベア３まで移動させる（Ｓ１９）。

また、計画実行部１２１５は、荷物Ｗ１の寸法が、把持部１１３が把持可能な寸法ではないと判定した場合には（ステップＳ１７；Ｎｏ）、荷物Ｗ１の把持を回避すると判定する（ステップＳ２０）。この場合、出力部１２１６は、遠隔制御装置４０に報知情報を出力することにより、把持回避を報知する（Ｓ２１）。この場合、遠隔制御装置４０の表示制御部４１１２は、報知画面Ｇ１を表示部４０２に表示させ、オペレータに対して荷物Ｗ１が把持回避されたことを報知する。

次に、認識部１２１２は、パレット２上に荷物Ｗ１が存在するか否かを判定する（ステップＳ２２）。ここで、パレット２上に荷物Ｗ１が存在する場合には（ステップＳ２２；Ｙｅｓ）、ステップＳ１１に処理を戻すことで、荷物Ｗ１の移動を継続する。一方、パレット２上に荷物Ｗ１が存在しない場合、つまり荷物Ｗ１の移動が完了した場合には（ステップＳ２２；Ｎｏ）、本処理を終了する。

このように、本実施形態の荷役装置１０は、１以上の荷物Ｗ１を含む荷物群Ｗの上方から荷物Ｗ１に対して出力された超音波又は電波によるセンシング結果に基づく荷物Ｗ１の検出結果と、荷物群Ｗの情報から撮像された撮像画像に基づく荷物Ｗ１の認識結果と、に基づいて、荷物Ｗ１を把持するよう制御する。

例えば、撮像条件、荷物Ｗ１のデザイン、梱包の態様、又は積載の態様によっては、撮像画像から荷物Ｗ１を高精度にすることが困難な場合がある。これに対して、超音波又は電波によるセンシングでは、超音波又は電波の反射によって計測された距離情報に基づいて、荷物群Ｗに含まれる荷物Ｗ１の各々の個別の形状を検出することができる。また、超音波又は電波によるセンシングでは、荷物Ｗ１の上面で反射した反射波ｆ２と、荷物Ｗ１が載置されたパレット２の上面等で反射した反射波ｆ２とから、荷物Ｗ１の上面と側面との境目、又は複数の荷物Ｗ１間の境目を高精度に検出することができる。このため、超音波又は電波によるセンシングでは、荷物Ｗ１のデザイン、梱包の態様、又は積載の態様等の影響を受けにくく、安定的に高精度に荷物Ｗ１を検出することができる。

このため、本実施形態の荷役装置１０によれば、撮像画像から荷物Ｗ１を高精度に認識することが困難な場合であっても、搬送対象の荷物Ｗ１を、高精度に検出することができる。また、本実施形態の荷役装置１０によれば、搬送対象の荷物Ｗ１を高精度に検出することにより、例えば、認識不良によって把持ができない状態が発生することを低減することができる。

また、荷役装置１０は、撮像画像からは、センシング結果からは高精度に検出することが困難な情報、例えば、荷物Ｗ１の梱包の態様や積載の態様等を認識することができるため、本実施形態の荷役装置１０は、検出結果と画像認識結果とに基づいて把持部１１３を制御することにより、荷物Ｗ１を高精度に把持することができる。

また、例えば、制御装置が荷物の寸法等を誤認識した状態で行動計画を導出すると、荷物を安定した状態で把持することが困難な場合がある。これに対して、本実施形態の荷役装置１０は、検出結果と、認識結果とに基づいて、把持部１１３の駆動機構を動作させるための行動計画を導出し、当該行動計画に基づいて把持部１１３を制御する。このため、本実施形態の荷役装置１０によれば、荷物Ｗ１を移動させるための行動計画を高精度に導出し、把持の失敗（エラー）、又は移動途中における荷物Ｗ１の落下等の発生を低減することができる。

また、本実施形態の荷役装置１０は、検出した荷物Ｗ１の個数、寸法、及び形状の少なくとも１つに基づいて、把持部１１３に荷物Ｗ１を把持させるか否かを判定し、荷物Ｗ１を把持しないと判定した場合に、荷物Ｗ１が把持回避されたことを示す情報を出力する。このため、本実施形態の荷役装置１０によれば、オペレータ等に対して、荷物が把持回避されたことを迅速に把握させることができる。

また、本実施形態の荷役装置１０は、荷物情報１２８１に登録された荷物Ｗ１の寸法又は形状と、検出結果に含まれる荷物Ｗ１の寸法又は形状とが一致しない場合に、検出結果に含まれる荷物Ｗ１の寸法又は形状を、荷物Ｗ１の識別情報に対応付けて記憶部１２８に記憶させる。このため、本実施形態の荷役装置１０によれば、荷物情報１２８１に登録された荷物Ｗ１の寸法又は形状が、実際の荷物Ｗ１の寸法又は形状と異なる場合に、荷物情報１２８１を最新の検出結果に基づいて更新することができる。このため、本実施形態の荷役装置１０は、次回以降の検出処理又は認識処理において、より高精度に荷物Ｗ１を検出又は認識することができる。

なお、本実施形態においては、認識部１２１２及び検出部１２１３が、画像認識結果又は検出結果と荷物情報１２８１とが一致するか否かを判定するものとしたが、計画部１２１４が判定するものとしてもよい。また、本実施形態においては、取得部１２１１が、遠隔制御装置４０から、パレット２に載置された荷物群Ｗに含まれる荷物Ｗ１の識別情報を取得するものとしたが、認識部１２１２が、荷物Ｗ１の表面に記載されたバーコード等に基づいて、荷物Ｗ１の識別情報を取得してもよい。

なお、認識部１２１２による認識処理と検出部１２１３による検出処理の実行タイミングは、本実施形態で説明した例に限定されるものではない。例えば、検出部１２１３は、認識部１２１２による画像認識結果と、荷物情報１２８１とが一致しない場合に、検出処理を実行するものとしても良い。また、検出部１２１３は、認識部１２１２による画像認識結果で荷物Ｗ１が認識された範囲を対象として検出処理を実行することにより、撮像画像から認識された荷物Ｗ１をより高精度に検出するものとしてもよい。

なお、本実施形態においては、センサ装置３０を特許請求の範囲における検出部の一例としたが、プロセッサ１２１によって実現される機能部である検出部１２１３を、特許請求の範囲における検出部の一例としてもよい。

また、本実施形態においては、プロセッサ１２１等によって実現される機能部である計画部１２１４および計画実行部１２１５を、制御部の一例としたが、制御装置１２を、制御部の一例としてもよい。また、本実施形態においては、計画部１２１４と計画実行部１２１５とを別個の機能部として記載したが、計画部１２１４と計画実行部１２１５との機能を、１つの機能部が有するものとしてもよい。

また、本実施形態においては、特許請求の範囲における出力部は、プロセッサ１２１等によって実現される機能部である出力部１２１６として記載したが、これに限定されるものではない。例えば、通信部１２７を、特許請求の範囲における出力部の一例としてもよい。

また、本実施形態においては、特許請求の範囲における認識部は、プロセッサ１２１等によって実現される機能部である認識部１２１２として記載したが、これに限定されるものではない。例えば、第１のカメラ２１が、特許請求の範囲における認識部の機能を有するものとしてもよい。

（第２の実施形態）
この第２の実施形態では、荷役装置１０の制御装置１２は、荷物Ｗ１の表面に段差やミシン目等の凹凸が存在する場合であっても、より高精度に荷物Ｗ１の外装に含まれる各面を検出する機能を有する。

本実施形態の荷役システム１の全体構成は、図１で説明した第１の実施形態と同様である。また、本実施形態の制御装置１２は、第１の実施形態と同様に、取得部１２１１、認識部１２１２、検出部１２１３、計画実行部１２１５、及び出力部１２１６を機能部として備える。取得部１２１１、認識部１２１２、計画実行部１２１５、及び出力部１２１６は、第１の実施形態と同様の機能を備える。

本実施形態の検出部１２１３は、第１の実施形態と同様の機能を備えた上で、荷物Ｗ１の表面から検出した凹凸の深さ又は高さが所定の閾値以下である場合に、当該表面を連続する１つの面として検出する。荷物Ｗ１の表面とは、例えば、荷物Ｗ１の上面又は側面である。所定の閾値は、例えば、制御装置１２の記憶部１２８又は遠隔制御装置の記憶部４０５に記憶される。所定の閾値は特に限定されるものではないが、荷物Ｗ１の上面からパレット２の上面との間の距離よりも短い長さとする。

ここで、荷物Ｗ１の表面の凹凸の例について、図１５及び図１６を用いて説明する。図１５は、撮像画像に基づく認識結果とセンシング結果に基づく検出結果とを比較する第５の例を示す図である。

図１５の一番左側の「対象荷物」、及び左側から２番目の「段差箇所の拡大図」に示すように、荷物Ｗ１には、上面の中央に段差９４が存在する。このような場合、認識部１２１２は、図１５の一番右側の列の上段に示すように、１つの荷物Ｗ１を、段差９４を境に、２つの荷物と誤認識する場合がある。このため、認識部１２１２は、図１５の右から２番目の列の上段に示す荷物群Ｗに含まれる荷物Ｗ１の数を、実際には１２個であるにも関わらず、２４個と誤認識する場合がある。

これに対して、検出部１２１３は、図１５の一番左側の列の下段に示すように、送信波ｆ１及び反射波ｆ２に基づくセンシング結果から、荷物Ｗ１の外形を検出する。さらに、検出部１２１３は、図１５の左から２番目の列の下段に示すように、センシング結果から、段差９４の高さｄ１を検出する。

検出部１２１３は、高さｄ１が所定の閾値以下である場合には、段差９４の両側の面を、１つの連続する面として検出する。このため、検出部１２１３は、段差９４に関わらず、荷物Ｗ１の上面を高精度に検出することができる。検出部１２１３は、図１５の一番右側の列の下段に示すように、１つの荷物Ｗ１を１つの荷物Ｗ１として検出し、図１５の右から２番目の列の下段に示す荷物群Ｗに含まれる荷物Ｗ１の数を、１２個と検出することができる。

また、図１６は、撮像画像に基づく認識結果とセンシング結果に基づく検出結果とを比較する第６の例を示す図である。図１６の一番左側の「対象荷物」、及び左側から２番目の「ミシン目の拡大図」に示すように、荷物Ｗ１には、上面及び側面にミシン目９５が存在する。このような場合、認識部１２１２は、図１６の一番右側の列の上段に示すように、１つの荷物Ｗ１を、ミシン目９５を境に、３つの荷物と誤認識する場合がある。このため、認識部１２１２は、図１６の右から２番目の列の上段に示す荷物群Ｗに含まれる荷物Ｗ１の数を、実際には１２個であるにも関わらず、３６個と誤認識する場合がある。

これに対して、検出部１２１３は、図１６の一番左側の列の下段、及び左から２番目の列の下段に示すように、送信波ｆ１及び反射波ｆ２に基づくセンシング結果から、ミシン目９５の深さｄ２を検出する。

検出部１２１３は、深さｄ２が所定の閾値以下である場合には、ミシン目９５で区切られた３つの面を、１つの連続する面として検出する。このため、検出部１２１３は、段差９４に関わらず、荷物Ｗ１の上面を高精度に検出し、荷物Ｗ１の個数を実際通りに１２個と検出することができる。

また、本実施形態の計画部１２１４は、第１の実施形態と同様の機能を備えた上で、段差やミシン目が検出された場合に、荷物Ｗ１が段差又はミシン目を有することを、荷物情報１２８１の梱包情報に登録する。

このように、本実施形態の荷役装置１０は、荷物Ｗ１の表面から検出した凹凸の深さ又は高さが所定の閾値以下である場合に、当該表面を連続する１つの面として検出する。このため、本実施形態の荷役装置１０によれば、第１の実施形態の効果に加えて、荷物Ｗ１の表面に段差やミシン目等の凹凸が存在する場合であっても、より高精度に荷物Ｗ１の外装に含まれる各面を高精度に検出することができる。

（第３の実施形態）
上述の第１の実施形態では、荷役装置１０の制御装置１２は、荷物Ｗ１の寸法に応じて荷物Ｗ１を把持するか否かを判定していたが、この第３の実施形態では、制御装置１２は、さらに、荷物Ｗ１の変形の有無に応じて、荷物Ｗ１を把持するか否かを判定する。

本実施形態の荷役システム１の全体構成は、図１で説明した第１の実施形態と同様である。また、本実施形態の制御装置１２は、第１の実施形態と同様に、取得部１２１１、認識部１２１２、検出部１２１３、計画部１２１４、計画実行部１２１５、及び出力部１２１６を機能部として備える。取得部１２１１、認識部１２１２、計画実行部１２１５、及び出力部１２１６は、第１の実施形態と同様の機能を備える。

本実施形態の検出部１２１３は、第１の実施形態と同様の機能を備えた上で、荷物Ｗ１の形状の変形を検出する。荷物Ｗ１の変形とは、例えば、膨張（膨らみ）や陥没（へこみ）である。

ここで、荷物Ｗ１の変形の例について、図１７及び図１８を用いて説明する。図１７は、撮像画像に基づく認識結果とセンシング結果に基づく検出結果とを比較する第７の例を示す図である。

図１７の上段及び下段の上面図は、荷物Ｗ１，Ｗ２を含む荷物群Ｗの上面図である。第１のカメラ２１が荷物Ｗ１，Ｗ２を含む荷物群Ｗを上方から撮像した場合には、撮像画像には、図１７の上段の上面図のように荷物Ｗ１，Ｗ２が映り込む。図１７の上段の上面図のように、上方からの撮像画像では、荷物Ｗ１，Ｗ２は両方とも矩形状であるように見える。

しかしながら、図１７の上段及び下段の側面図に示すように、側方から見ると、荷物Ｗ１，Ｗ２の側面が横方向に膨張していることがわかる。このような場合、認識部１２１２は、荷物Ｗ１，Ｗ２が膨張していることを認識することが困難な場合がある。また、横方向の膨張によって荷物Ｗ１，Ｗ２の側面が近接すると、認識部１２１２は、荷物Ｗ１，Ｗ２を１つの荷物と誤認識する場合がある。

これに対して、検出部１２１３は、図１７の下段の側面図に示すように、送信波ｆ１及び反射波ｆ２に基づくセンシング結果から、荷物Ｗ１の外形を検出するため、荷物Ｗ１，Ｗ２の側面が膨張していることを検出することができる。また、検出部１２１３は、センシング結果から、荷物Ｗ１の変形していない範囲８１と、変形している範囲８２ａ，８２ｂとを検出する。検出部１２１３は、荷物情報１２８１に登録された荷物Ｗ１の形状と、センシング結果とを比較して、差異がある箇所を変形箇所として検出してもよいし、単に荷物Ｗ１の上面又は側面が湾曲している箇所を変形箇所として検出してもよい。

また、図１８は、撮像画像に基づく認識結果とセンシング結果に基づく検出結果とを比較する第８の例を示す図である。図１８の上面図のように、上方からの撮像画像では、荷物Ｗ１，Ｗ２は両方とも矩形状であるように見えるが、実際には、図１８の側面図に示すように、荷物Ｗ１の上面が陥没している場合がある。このような場合、認識部１２１２は、荷物Ｗ１の上面が陥没していることを認識することが困難な場合がある。

これに対して、検出部１２１３は、図１８の下段の側面図に示すように、送信波ｆ１及び反射波ｆ２に基づくセンシング結果から、荷物Ｗ１の外形を検出するため、荷物Ｗ１の上面の陥没箇所８３を検出することができる。

また、本実施形態の荷物情報１２８１は、第１の実施形態の内容に加えて、荷物Ｗ１の変形を表す情報を含むものとする。荷物Ｗ１の変形を表す情報は、単に変形の有無でもよいし、荷物Ｗ１の変形の種類、あるいは荷物Ｗ１の変形した形状を表す数値情報又は画像情報等でもよい。また、荷物Ｗ１の変形を表す情報は、積載情報に含まれるものとしてもよい。

また、本実施形態の計画部１２１４は、第１の実施形態と同様の機能を備えた上で、荷物Ｗ１の変形が検出された場合に、当該荷物Ｗ１を把持しないと判定する。また、本実施形態の計画部１２１４は、検出された変形を表す情報を、荷物情報１２８１に登録する。

次に、図１９を参照して、制御装置１２の動作について説明する。ここで、図１９は、制御装置１２が実行する処理の一例を示すフローチャートである。

ステップＳ１の荷物Ｗ１の認識の処理は、第１の実施形態と同様である。次に、検出部１２１３は、センサ装置３０のセンシング結果からパレット２上に置かれた荷物Ｗ１を検出する（ステップＳ１２）。ここで、本実施形態の検出部１２１３は、第１の実施形態と同様の荷物Ｗ１の個数、寸法、及び形状の検出に加えて、荷物Ｗ１の変形を検出する。検出部１２１３は、荷物Ｗ１の変形有無を、計画部１２１４に送出する。また、検出部１２１３は、荷物Ｗ１の変形の種類、あるいは荷物Ｗ１の変形した形状を表す数値情報又は画像情報等を計画部１２１４に送出してもよい。

ステップＳ１３の検出結果と荷物情報１２８１との比較から、ステップＳ１７の荷物Ｗ１寸法に基づく把持の判定までは、第１の実施形態と同様である。

次に、計画部１２１４は、検出部１２１３から取得した検出結果に基づいて、荷物Ｗ１の変形の有無を判定する（ステップＳ３１）。計画部１２１４は、荷物Ｗ１が変形していると判定した場合に（ステップＳ３１；Ｙｅｓ）、ステップＳ２０の把持回避の処理に進む。また、計画部１２１４は、荷物Ｗ１が変形していないと判定した場合に（ステップＳ３１；Ｎｏ）、ステップＳ１８の行動計画の導出の処理に進む。ステップＳ１８以降の処理については、第１の実施形態と同様である。

従来技術においては、把持部が荷物の上面を負圧等によって吸着する吸着把持によって荷物を移動する場合には、図のように荷物の上面に陥没がある場合には、吸着力が低下し、荷物Ｗ１を安定的に把持することが困難な場合があった。また、把持部が２つの荷物を一度に把持する場合には、図１７のように荷物が膨張していると、２つの荷物の境目を認識することが困難な場合があり、適切な位置で把持できない場合があった。

これに対して、本実施形態の荷役装置１０は、センシング結果に基づいて、荷物Ｗ１の形状の変形を検出し、荷物Ｗ１の変形が検出された場合に、荷物Ｗ１を把持しないと判定するため、把持の失敗、又は移動途中における荷物Ｗ１の落下等の発生をさらに低減することができる。

なお、本実施形態では、計画部１２１４は、荷物Ｗ１の変形が検出された場合に、当該荷物Ｗ１を把持しないと判定したが、荷物Ｗ１の変形の度合に応じて、把持するか否かを判定するものとしてもよい。また、計画部１２１４は、荷物Ｗ１の変形した形状に応じて、把持部１１３の把持位置を変更するよう、行動計画を導出してもよい。

（第４の実施形態）
この第４の実施形態では、荷役装置１０の制御装置１２は、荷物Ｗ１の姿勢に基づいて、行動計画を導出する。

本実施形態の荷役システム１の全体構成は、図１で説明した第１の実施形態と同様である。また、本実施形態の制御装置１２は、第１の実施形態と同様に、取得部１２１１、認識部１２１２、検出部１２１３、計画部１２１４、計画実行部１２１５、及び出力部１２１６を機能部として備える。取得部１２１１、認識部１２１２、計画実行部１２１５、及び出力部１２１６は、第１の実施形態と同様の機能を備える。

本実施形態の検出部１２１３は、第１の実施形態と同様の機能を備えた上で、荷物Ｗ１の姿勢を検出する。例えば、検出部１２１３は、荷物Ｗ１の上面の傾斜角度を検出する。

ここで、荷物Ｗ１の変形の例について、図２０を用いて説明する。図２０は、撮像画像に基づく認識結果とセンシング結果に基づく検出結果とを比較する第９の例を示す図である。

図２０の上段及び下段の上面図は、荷物Ｗ１，Ｗ２を含む荷物群Ｗの上面図である。第１のカメラ２１が荷物Ｗ１，Ｗ２を含む荷物群Ｗを上方から撮像した場合には、撮像画像には、図２０の上段の上面図のように荷物Ｗ１，Ｗ２が映り込む。図２０の上段の上面図のように、上方からの撮像画像では、荷物Ｗ１，Ｗ２は両方とも矩形状であるように見える。

しかしながら、図２０の上段及び下段の側面図に示すように、側方から見ると、荷物Ｗ１が傾斜していることがわかる。このような場合、認識部１２１２は、荷物Ｗ１，Ｗ２が傾斜していることを認識することが困難な場合がある。

これに対して、検出部１２１３は、図２０の下段の側面図に示すように、送信波ｆ１及び反射波ｆ２に基づくセンシング結果から、荷物Ｗ１の外形を検出するため、荷物Ｗ１の姿勢を高精度に検出する。

例えば、検出部１２１３は、センシング結果から、荷物Ｗ１の傾斜角度θを検出する。検出部１２１３は、例えば、荷物情報１２８１に登録された荷物Ｗ１の積載情報から、荷物Ｗ１の上面の角度を取得し、当該角度との差異を傾斜角度θとして検出する。なお、元々の積載形式で傾斜が想定されていない場合には、荷物情報１２８１に予め登録された荷物Ｗ１の上面の角度は、“０°”である。また、検出部１２１３は、単に、荷物Ｗ１が載置されたパレット２の上面又は床等に平行な角度を基準として、荷物Ｗ１の上面がパレット２の上面又は床等対して傾斜している角度を、傾斜角度θとして検出してもよい。

また、検出部１２１３は、具体的な傾斜角度θの値ではなく、傾斜の有無、又は傾斜の度合の強弱等を検出するものとしてもよい。また、検出部１２１３は、荷物群Ｗにおける複数の荷物Ｗ１の姿勢の平滑度を検出するものとしてもよい。

また、本実施形態の計画部１２１４は、第１の実施形態と同様の機能を備えた上で、荷物Ｗ１の姿勢に応じて把持部１１３の行動計画を導出する。例えば、計画部１２１４は、荷物Ｗ１の姿勢に応じて、把持部１１３又はアーム部１１２の角度を変更するものとしてもよい。また、計画部１２１４は、荷物Ｗ１の傾斜角度θが所定の角度よりも大きい場合に、荷物Ｗ１を把持しないと判定してもよい。

また、本実施形態の計画部１２１４は、検出された荷物Ｗ１の姿勢を、荷物情報１２８１に登録する。

このように、本実施形態の荷役装置１０は、センシング結果に基づいて、荷物Ｗ１の傾きを認識し、荷物Ｗ１の傾きに応じて、行動計画を導出する。このため、本実施形態の荷役装置１０は、荷物Ｗ１を移動させる行動計画を、より高精度に導出することができる。

（変形例１）
上述の各実施形態においては、荷物情報１２８１は、制御装置１２の記憶部１２８に記憶されているものとしたが、荷物情報１２８１の保存場所はこれに限定されるものではない。本変形例においては、荷物情報１２８１は、遠隔制御装置４０の記憶部４０５に記憶されているものとする。

本変形例においては、制御装置１２の認識部１２１２及び検出部１２１３は、遠隔制御装置４０の記憶部４０５に記憶された荷物情報１２８１を参照して画像認識処理又は検出処理を実行する。また、制御装置１２の計画部１２１４は、画像認識結果又は検出結果に応じて、荷物情報１２８１を更新する。

また、荷役システム１が複数の制御装置１２を備える場合は、複数の制御装置１２の各々が、遠隔制御装置４０の記憶部４０５に記憶された荷物情報１２８１を参照又は更新するものとする。

このように、遠隔制御装置４０が荷物情報１２８１を記憶する構成を採用した場合、複数の制御装置１２によって認識又は検出された情報を荷物情報１２８１に反映し、反映結果を複数の制御装置１２が利用することができる。このため、本変形例によれば、複数の制御装置１２による荷物Ｗ１の認識又は検出の精度を効率的に向上させることができる。

（変形例２）
上述の各実施形態においては、荷物情報１２８１は、荷物Ｗ１の識別情報と、寸法、形状、重量、デザイン、梱包特徴、及び積載特徴が対応付けられているものとしたが、荷物情報１２８１の内容はこれに限定されるものではない。例えば、荷物情報１２８１は、撮像画像と、当該撮像画像に含まれる荷物Ｗ１の寸法、形状、重量、デザイン、梱包特徴、又は積載特徴等が対応付けられた学習済モデルであっても良い。

本変形例においては、認識部１２１２は、撮像画像を学習済モデルに入力することにより、例えば、荷物Ｗ１の寸法、形状、位置等を認識する。

また、本変形例においては、検出部１２１３による検出結果と、認識部１２１２による認識結果が一致しない場合に、計画部１２１４は、荷物Ｗ１の検出結果に含まれる荷物Ｗ１の寸法又は形状で、学習済モデルを更新する。また、この場合、計画部１２１４は、荷物Ｗ１の認識に使用された撮像画像から認識部１２１２が認識した荷物Ｗ１のデザイン、梱包特徴、又は積載特徴等で、学習済モデルを更新してもよい。

なお、学習済モデルは、制御装置１２（プロセッサ１２１）で作成する構成としてもよいし、遠隔制御装置４０等の他の装置で作成される構成としてもよい。例えば、遠隔制御装置４０で学習済モデルを作成するような場合、遠隔制御装置４０は、荷役装置１０毎に学習済モデルを作成してもよいし、複数の荷役装置１０で検出された荷物Ｗ１の検出結果又は認識結果から一の学習済モデルを作成してもよい。また、学習済モデルの生成及び更新（強化学習）の手法は、上述の例に限定されるものではなく、公知の機械学習の技術を採用可能である。

（変形例３）
上述の各実施形態においては、制御装置１２は、荷物情報１２８１に予め登録された情報に基づいて、荷物Ｗ１の認識又は検出をしていた。このような予め登録された事前情報に基づいて処理を実行する方式を、ティーチング方式という。しかしながら、制御装置１２には、事前情報に基づかずに処理を実行するティーチレス（ティーチングレス）方式が適用されてもよい。

ティーチレス方式が適用される場合は、制御装置１２又は遠隔制御装置４０には、荷物情報１２８１が記憶されない。このため、制御装置１２の認識部１２１２又は検出部１２１３は、荷物情報１２８１を参照せずに、撮像画像又はセンシング結果に基づいて画像認識処理又は検出処理を実行する。また、計画部１２１４は、画像認識結果又は検出結果と荷物情報１２８１の比較の処理、及び荷物情報１２８１の更新の処理を実行しない。検出部１２１３は、超音波又は電波によるセンシング結果に基づいて荷物Ｗ１を検出するため、事前情報が無い場合でも、荷物Ｗ１の寸法又は形状を高精度に検出することができる。

なお、上述の各実施形態で検出部１２１３の機能として説明された機能は、センサ装置３０によって実施される機能としてもよい。

以上説明したとおり、第１から第４の実施形態によれば、搬送対象の荷物Ｗ１を高精度に検出することができる。

上述の各実施形態の制御装置１２で実行されるプログラム及び遠隔制御装置４０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、上述の各実施形態の制御装置１２で実行されるプログラム及び遠隔制御装置４０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の各実施形態の制御装置１２で実行されるプログラム及び遠隔制御装置４０で実行されるプログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。また、上述の各実施形態のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

上述の各実施形態の制御装置１２で実行されるプログラムは、上述した各部（取得部、認識部、検出部、計画部、計画実行部、出力部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、取得部、認識部、検出部、計画部、計画実行部、出力部が主記憶装置上に生成されるようになっている。

上述の各実施形態の制御装置１２で実行されるプログラムは、上述した各部（報知情報取得部、表示制御部、操作受付部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、報知情報取得部、表示制御部、操作受付部が主記憶装置上に生成されるようになっている。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 荷役システム
２ パレット
３ コンベア
１０ 荷役装置
１１ 移動装置
１２ 制御装置
２０ カメラ
２１ 第１のカメラ
２２ 第２のカメラ
３０ センサ装置
４０ 遠隔制御装置
１１３ 把持部
１２８ 記憶部
１２１ プロセッサ
４０１ プロセッサ
４０２ 表示部
４０５ 記憶部
１２１１ 取得部
１２１２ 認識部
１２１３ 検出部
１２１４ 計画部
１２１５ 計画実行部
１２１６ 出力部
１２８１ 荷物情報
４１１１ 報知情報取得部
４１１２ 表示制御部
４１１３ 操作受付部
Ｗ 荷物群
Ｗ１，Ｗ２ 荷物
θ 傾斜角度

Claims (8)

1. １以上の荷物を含む荷物群の上方から前記荷物に対して超音波又は電波を出力し、前記荷物群に含まれる前記荷物を検出する検出部と、
   前記荷物群の上方から撮像された撮像画像に基づいて、前記荷物を認識する認識部と、
   前記検出部による前記荷物の検出結果と、前記認識部による前記荷物の認識結果とに基づいて、前記荷物を把持するよう制御する制御部と、
   を備える荷役装置。
2. 前記検出結果は、前記荷物の寸法又は形状を含み、
   前記制御部は、前記検出結果に基づいて、前記荷物を把持する把持部に前記荷物を把持させるか否かを判定し、
   前記制御部が前記荷物を把持させないと判定した場合に、前記荷物が把持回避されたことを示す報知情報を出力する出力部、をさらに備える、
   請求項１に記載の荷役装置。
3. 前記制御部は、記憶部に記憶された前記荷物の識別情報と前記荷物の寸法又は形状とが対応付けられた荷物情報と、前記検出結果に含まれる前記荷物の寸法又は形状とが異なる場合に、前記検出結果に含まれる前記荷物の寸法又は形状を、前記荷物の識別情報に対応付けて前記記憶部に記憶させる、
   請求項１又は２に記載の荷役装置。
4. 前記認識部は、前記荷物情報に基づいて、前記撮像画像から前記荷物を認識する、
   請求項３に記載の荷役装置。
5. 前記検出部は、前記検出結果に基づいて、前記荷物の形状の変形を検出し、
   前記制御部は、前記荷物の変形が検出された場合に、前記荷物を把持させないと判定する、
   請求項１から４のいずれか１項に記載の荷役装置。
6. 前記検出部は、前記荷物の表面から検出した凹凸の深さ又は高さが所定の閾値以下である場合に、前記表面を連続する１つの面として検出する、
   請求項１から５のいずれか１項に記載の荷役装置。
7. 前記検出部は、前記検出結果に基づいて、前記荷物の姿勢を検出し、
   前記制御部は、前記荷物の姿勢に応じて、前記荷物を把持する把持部の駆動機構を動作させるための行動計画を導出する、
   請求項１から６のいずれか１項に記載の荷役装置。
8. 荷役装置と、遠隔制御装置とを備え、
   前記荷役装置は、
   １以上の荷物を含む荷物群の上方から前記荷物に対して超音波又は電波を出力し、前記荷物群に含まれる前記荷物を検出する検出部と、
   前記荷物群の上方から撮像された撮像画像に基づいて、前記荷物を認識する認識部と、
   前記検出部による前記荷物の検出結果と、前記認識部による認識結果とに基づいて、前記荷物を把持部に把持させるか否かを判定し、前記荷物を把持させると判定した場合に、前記把持部の駆動機構を動作させるための行動計画を導出する制御部と、
   前記制御部が前記荷物を把持させないと判定した場合に、前記荷物が把持回避されたことを示す報知情報を出力する出力部と、を備え、
   前記遠隔制御装置は、
   前記荷役装置から受信した前記報知情報を表示部に表示する表示制御部、を備える、
   荷役システム。

Images