JP2021064214A - ロボット制御システム - Google Patents

Abstract

【課題】ユーザの荷物を持った搬送ロボットがユーザと適切な距離で追従する技術を提供する。【解決手段】ロボット制御システムは、撮像画像を取得する取得部と、撮像画像に含まれるユーザ画像を追跡し、撮像画像に含まれるユーザ画像をもとにユーザ９０の場所を導出する追跡部と、ユーザ９０の荷物９４を受け取る本体部と、ユーザ９０の荷物９４の種類またはユーザ９０の場所に応じてユーザ９０と搬送ロボット１０の追従間隔を設定する設定部と、設定部により設定された追従間隔でユーザ９０に追従するよう搬送ロボット１０の走行を制御する走行制御部と、を備える。【選択図】図１１

Description

本発明は、自律走行機能を備えた搬送ロボットを用いる技術に関する。

特許文献１は、底部と、底部の水平方向における両端部からそれぞれ鉛直方向に延びる第１の柱部および第２の柱部と、第１の柱部および第２の柱部のそれぞれの上端部に接続された天部とによって開口部を形成する物品収納部と、第１の柱部および第２の柱部に開口部を挟んで対となるように設けられた、物品収納補助具を固定するための固定部とを備えた物品搬送ロボットを開示する。特許文献１では、物品搬送ロボットが、買い物をしているユーザの後ろを追従走行し、ユーザが買い物をしながら、物品搬送ロボットの開口部に固定された物品収納補助具に対して物品の出し入れを行う利用シーンが想定されている。

国際公開第２０１９／４９３６６号

特許文献１に開示される技術では、ユーザの買い物を持った物品搬送ロボットが追従走行するが、ユーザの場所によって物品搬送ロボットがユーザの近くを追従することが適切でない場合がある。

本発明の目的は、ユーザの荷物を持った搬送ロボットがユーザと適切な距離で追従する技術を提供することにある。

上記課題を解決するために、本発明のある態様のロボット制御システムは、撮像画像を取得する取得部と、撮像画像に含まれるユーザ画像を追跡し、撮像画像に含まれるユーザ画像をもとにユーザの場所を導出する追跡部と、ユーザの荷物を受け取る本体部と、ユーザの荷物の種類またはユーザの場所に応じてユーザと搬送ロボットの追従間隔を設定する設定部と、設定部により設定された追従間隔でユーザに追従するよう搬送ロボットの走行を制御する走行制御部と、を備える。

本発明によれば、ユーザの荷物を持った搬送ロボットがユーザと適切な距離で追従する技術を提供できる。

図１（ａ）および図１（ｂ）は、実施例の荷物搬送ロボットの斜視図を示す図である。 図２（ａ）および図２（ｂ）は、起立した姿勢の荷物搬送ロボットの斜視図を示す図である。 荷物を積んで起立姿勢にある荷物搬送ロボットの斜視図を示す図である。 図４（ａ）および図４（ｂ）は、走行機構に対する本体部の相対運動を説明するための図である。 図５（ａ）および図５（ｂ）は、荷物搬送ロボットの構造について説明するための図である。 荷物搬送ロボットの機能ブロックを示す図である。 ロボット制御システムの構成の概要を示す図である。 第１実施例の荷物搬送ロボットの斜視図である。 ロボット制御システムの機能ブロックを示す図である。 荷物搬送ロボットにより商品を回収する処理のフローチャートである。 第２実施例の荷物搬送ロボットの動作について説明するための図である。 第２実施例の荷物搬送ロボットの別の動作について説明するための図である。 第２実施例のロボット制御システムの機能ブロックを示す図である。 第３実施例のロボット制御システムについて説明するための図である。

図１（ａ）および図１（ｂ）は、実施例の荷物搬送ロボット１０の斜視図を示す。荷物搬送ロボット１０の高さは、例えば１〜１．５メートル程度であってよい。荷物搬送ロボット１０は、自律走行機能を有する走行機構１２と、走行機構１２に支持されて、荷物等の物体を載せるための本体部１４とを備える。走行機構１２は、第１車輪体２２および第２車輪体２４を備え、第１車輪体２２は、一対の前輪２０ａおよび一対の中輪２０ｂを有し、第２車輪体２４は、一対の後輪２０ｃを備える。図１（ａ）および図１（ｂ）には、前輪２０ａ、中輪２０ｂ、後輪２０ｃが、直線状に並んでいる状態を示す。

本体部１４は、矩形に形成された枠体４０を有し、枠体４０の内側は、荷物等の物体を載せる収容空間を構成する。枠体４０は、一対の右側壁１８ａ、左側壁１８ｂと、一対の側壁を下側で繋ぐ底板１８ｃ、および一対の側壁を上側で繋ぐ上板１８ｄを有して構成される。右側壁１８ａおよび左側壁１８ｂの内面には、対向する一対の突条部（リブ）５６ａ、５６ｂ、５６ｃ（以下、特に区別しない場合には「突条部５６」と呼ぶ）が設けられる。本体部１４は走行機構１２に相対運動可能に連結される。実施例の荷物搬送ロボット１０は、荷物を積んで、設定された目的地まで自律走行し、目的地に待機しているユーザに荷物を届ける宅配機能を有する。以下、本体部１４の向きに関し、本体部１４が走行機構１２に対して直立した状態で枠体４０の開口に垂直な方向を「本体部１４の前後方向」、一対の側壁を垂直に貫く方向を「本体部１４の左右方向」と呼ぶ。また、走行機構１２の向きに関し、前輪２０ａおよび後輪２０ｃを結ぶ方向を「走行機構１２の前後方向」、前輪２０ａの回転軸に平行な方向を「走行機構１２の左右方向」と呼ぶ。

図２（ａ）および図２（ｂ）は、起立した姿勢の荷物搬送ロボット１０の斜視図を示す。走行機構１２における前輪２０ａおよび後輪２０ｃが互いに接近し、第１車輪体２２および第２車輪体２４が接地面に対して互いに傾斜することで、荷物搬送ロボット１０は起立姿勢をとる。たとえば荷物搬送ロボット１０が目的地に到達し、目的地にいるユーザの前で起立姿勢をとることで、ユーザは本体部１４に載せられた自分宛の荷物を取りやすくなる。

図３は、荷物を積んで起立姿勢にある荷物搬送ロボット１０の斜視図を示す。図３には、本体部１４に、第１荷物１６ａ、第２荷物１６ｂおよび第３荷物１６ｃが積まれている様子が示される。第１荷物１６ａ、第２荷物１６ｂおよび第３荷物１６ｃは、右側壁１８ａおよび左側壁１８ｂの内面に形成された突条部５６に載置または係合することで、本体部１４に載せられる。

図３に示す第１荷物１６ａ、第２荷物１６ｂおよび第３荷物１６ｃは箱形状であるが、本体部１４に載せられる物体は箱形状に限らない。たとえば一対の突条部５６に、物体を収納するための容器が載置されて、物体は容器に入れられるようにしてもよい。また枠体４０の上板１８ｄの内面にフックが設けられ、物体を取っ手付きの袋に入れた上で、袋の取っ手がフックに掛けられて、袋が吊されてもよい。

なお枠体４０の内側の収容空間には、荷物以外に、様々な物が収容可能である。たとえば枠体４０に冷蔵庫を収容することで、荷物搬送ロボット１０は、動く冷蔵庫として機能できる。また枠体４０に商品を搭載した商品棚を収容することで、荷物搬送ロボット１０は、動く店舗として機能できる。また枠体４０の開口部の両面にディスプレイ装置を設けることで、荷物搬送ロボット１０は、動くディスプレイとして機能できる。

図４（ａ）および図４（ｂ）は、走行機構１２に対する本体部１４の相対運動を説明するための図である。図４（ａ）は、枠体４０の側壁を鉛直方向に対して傾斜させた状態を示す。枠体４０は走行機構１２に対して、左右方向に延在する連結軸により相対回転可能に支持され、前後方向のいずれにも傾斜できる。前後方向の傾斜運動を交互に繰り返すことで、枠体４０は、前後方向の揺動運動を可能とする。

図４（ｂ）は、枠体４０が鉛直方向の軸回りに略９０度回転した状態を示す。枠体４０は走行機構１２に対して、垂直方向に延在する連結軸により相対回転可能に支持され、その連結軸回りに枠体４０と走行機構１２とが相対回転することで、図４（ｂ）に示すように枠体４０が回転する。枠体４０は、３６０度回転可能であってよい。

図５（ａ）および図５（ｂ）は、荷物搬送ロボット１０の構造について説明するための図である。図５（ａ）は、走行機構１２の構造を示し、図５（ｂ）は、主に本体部１４の構造を示す。実際には走行機構１２および本体部１４に、電源部および制御部が設けられるが、図５（ａ）および図５（ｂ）では省略している。

図５（ａ）に示すように、走行機構１２は、前輪２０ａ、中輪２０ｂ、後輪２０ｃ、第１車輪体２２、第２車輪体２４、軸体２６、連結ギヤ２８、起立アクチュエータ３０、軸体支持部３２、オブジェクト検出センサ３４、前輪モータ３６および後輪モータ３８を有する。

第１車輪体２２は、一対のサイドメンバ２２ａと、一対のサイドメンバ２２ａを連結して車幅方向に延在するクロスメンバ２２ｂとを有する。一対のサイドメンバ２２ａは、クロスメンバ２２ｂの両端から垂直な方向に延びるように設けられる。一対の前輪２０ａは、一対のサイドメンバ２２ａの前端の位置にそれぞれ設けられ、一対の中輪２０ｂは、クロスメンバ２２ｂの両端側の位置にそれぞれ設けられる。一対の前輪２０ａには、車輪軸を回転させる前輪モータ３６がそれぞれ設けられる。

第２車輪体２４は、車幅方向に延在するクロスメンバ２４ａと、クロスメンバ２４ａの中央位置から垂直方向に延在する連結メンバ２４ｂとを有する。連結メンバ２４ｂは、第１車輪体２２のクロスメンバ２２ｂに挿入され、第１車輪体２２に相対回転可能に連結する。クロスメンバ２４ａの両端側に後輪２０ｃがそれぞれ設けられる。

一対の後輪２０ｃには、車輪軸を回転させる後輪モータ３８がそれぞれ設けられる。一対の前輪２０ａおよび一対の後輪２０ｃは各モータにより独立して回転することができ、走行機構１２は左右輪の回転量の差によって左右に曲がることが可能である。

クロスメンバ２２ｂの内部には車幅方向に延在する軸体２６と、軸体２６の両端部を支持する軸体支持部３２とが設けられる。第２車輪体２４の連結メンバ２４ｂは、連結ギヤ２８によって軸体２６に対して回転可能に連結する。起立アクチュエータ３０は、連結メンバ２４ｂを軸体２６の軸回りに回転させることができる。第１車輪体２２および第２車輪体２４は、起立アクチュエータ３０の駆動によって相対回転して、図２（ａ）および図２（ｂ）に示す起立姿勢をとることができ、起立姿勢から図１（ａ）および図１（ｂ）に示す水平姿勢に戻ることができる。

走行機構１２は、道路の段差などを走行可能なロッカーボギー構造で構成される。第１車輪体２２および第２車輪体２４を連結する軸体２６は、中輪２０ｂの車輪軸からずれて位置し、車幅に垂直な方向において前輪２０ａの車輪軸および中輪２０ｂの車輪軸の間に位置する。これにより第１車輪体２２と第２車輪体２４は軸体２６を支点として、走行中の路面形状に合わせて折れ曲がることができる。

オブジェクト検出センサ３４は、第１車輪体２２に設けられ、進行方向の物体を検出する。オブジェクト検出センサ３４は、ミリ波レーダ、赤外線レーザ、音波センサなどであってよく、またはそれらの組合せであってよい。オブジェクト検出センサ３４は、後方または横方向の物体を検出するため、第１車輪体２２の前部のみならず、第１車輪体２２および第２車輪体２４の様々な位置に設けられてよい。

図５（ｂ）に示すように、荷物搬送ロボット１０は、枠体４０、連結軸４２、外周歯部４３、回転アクチュエータ４４、連結軸４５、傾斜アクチュエータ４６、第１カメラ５０ａ、第２カメラ５０ｂ、通信部５２を備える。枠体４０には、ディスプレイ４８ａ、４８ｂ、４８ｃ（以下、特に区別しない場合は「ディスプレイ４８」と呼ぶ）、フック５４、一対の第１突条部５６ａ、一対の第２突条部５６ｂ、一対の第３突条部５６ｃが設けられる。なお説明の便宜上、図５（ｂ）には、連結軸４２、外周歯部４３、回転アクチュエータ４４、連結軸４５、傾斜アクチュエータ４６を簡略化して一体に示しているが、連結軸４２、外周歯部４３および回転アクチュエータ４４と、連結軸４５および傾斜アクチュエータ４６とは別体として設けられてよい。

突条部５６は、荷物等を載置するために、右側壁１８ａ、左側壁１８ｂの内面から突出して設けられる。枠体４０の上板１８ｄの内面には、荷物を吊すためのフック５４が形成される。フック５４は、枠体４０の上板内面から常時表出してよいが、上板内面内に収容可能に設けられて、必要なときに取り出せるようにしてよい。

ディスプレイ４８ａ、４８ｂは、それぞれ右側壁１８ａ、左側壁１８ｂの外面に設けられ、ディスプレイ４８ｃは、上板１８ｄの外面に設けられて、画像を表示可能である。底板１８ｃおよび上板１８ｄには、第１カメラ５０ａおよび第２カメラ５０ｂ（これらを区別しない場合「カメラ５０」という）がそれぞれ設けられる。なお荷物搬送ロボット１０は、第１カメラ５０ａ、第２カメラ５０ｂ以外にもカメラを搭載して、周囲の全ての状況を監視できることが好ましい。カメラ５０は、枠体４０の収容空間を撮影する位置に設けられてもよい。上板１８ｄには、さらに通信部５２が設けられ、通信部５２は無線通信ネットワークを介して、外部のサーバ装置と通信可能である。

底板１８ｃは、連結軸４２の外周歯部４３に、回転アクチュエータ４４側のギヤ（図示せず）を介して回転可能に取り付けられ、連結軸４２により第１車輪体２２に連結される。回転アクチュエータ４４は、外周歯部４３とギヤとを相対回転させることで、枠体４０を連結軸４２に対して軸回りに回転させる。回転アクチュエータ４４により、図４（ｂ）に示すように、枠体４０を回転させることが可能となる。

傾斜アクチュエータ４６は、連結軸４５を回転して、連結軸４２を鉛直方向に対して傾斜させる。左右方向に延在する連結軸４５は、連結軸４２の下端部に一体として設けられ、傾斜アクチュエータ４６が連結軸４５を回転することで、連結軸４２の傾斜運動を実現する。傾斜アクチュエータ４６は、連結軸４２を傾斜することで、図４（ａ）に示すように、枠体４０を前後方向に傾斜させることが可能となる。

図６は、荷物搬送ロボット１０の機能ブロックを示す。荷物搬送ロボット１０は、制御部１００、受付部１０２、通信部５２、ＧＰＳ（Global Positioning System）受信機１０４、センサデータ処理部１０６、マップ保持部１０８、アクチュエータ機構１１０、ディスプレイ４８、前輪モータ３６および後輪モータ３８を備える。制御部１００は、走行制御部１２０、運動制御部１２２、出力制御部１２４および情報処理部１２６を有し、アクチュエータ機構１１０は、起立アクチュエータ３０、回転アクチュエータ４４、傾斜アクチュエータ４６を含む。通信部５２は無線通信機能を有して、他の荷物搬送ロボット１０の通信部と車車間通信でき、またユーザのスマートフォンなどの携帯端末装置から送信される情報を受信できる。ＧＰＳ受信機１０４は衛星からの信号にもとづいて現在位置を検出する。

図６において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。また、別途後述する機能ブロックの図面も図６と同様である。

マップ保持部１０８は、道路位置を示すマップ情報を保持する。マップ保持部１０８は、道路位置に限らず、たとえば商業施設などの複数階の建物における各階の通路位置を示すマップ情報を保持してもよい。後述するが、実施例の荷物搬送ロボット１０は、商業施設で買い物をするユーザの後ろを追従するように自律走行する。そのためマップ保持部１０８は、商業施設におけるマップ情報を保持していることが好ましい。

荷物搬送ロボット１０は、複数の行動モードを有し、設定された行動モードで行動する。複数の行動モードのうち、基本的な行動モードは、目的地まで自律走行して、目的地に待機しているユーザに荷物を届ける行動モードである。以下、荷物搬送ロボット１０の基本行動モードについて説明する。

＜荷物搬送ロボット１０の基本行動＞
荷物搬送ロボット１０は集荷場に待機しており、集荷場のスタッフにより配達先を入力されると、入力された配達先まで自律走行する。走行ルートは、荷物搬送ロボット１０が決定してもよいが、外部のサーバ装置によって設定されてもよい。配達先の入力は、所定の無線入力ツールによって行われ、スタッフが無線入力ツールから配達先を入力すると、通信部５２が配達先を受信して、走行制御部１２０に通知する。無線入力ツールは、専用のリモートコントローラであってよいが、専用のアプリケーションをインストールしたスマートフォンであってもよい。

荷物搬送ロボット１０は、配達先を入力するためのインタフェースを備え、スタッフは、当該インタフェースから配達先を入力してもよい。たとえばディスプレイ４８がタッチパネルとして構成されている場合、出力制御部１２４は、ディスプレイ４８に配達先入力画面を表示し、スタッフが配達先入力画面から配達先を入力してもよい。受付部１０２がタッチパネルのタッチ操作を受け付けると、情報処理部１２６が、タッチ位置から配達先を特定して、走行制御部１２０に通知する。集荷場のスタッフが、荷物を枠体４０に載せて配達先を入力した後、配達開始を荷物搬送ロボット１０に指示すると、走行制御部１２０は、設定された配達先までの自律走行を開始する。スタッフは複数の配達先を設定して、枠体４０の収容空間に配達先ごとの荷物を載せてよい。

枠体４０には載せられた荷物を枠体４０にロック（固定）するための機構が備えられる。荷物搬送ロボット１０の走行中は、荷物がロック機構により枠体４０に固定されることで、走行中に落下せず、また受取人でない第三者に抜き取られないようにされる。

走行制御部１２０は、マップ保持部１０８に保持されたマップ情報と、ＧＰＳ受信機１０４から供給される現在位置情報とを用いて、設定された走行ルートを走行するように走行機構１２を制御する。具体的に走行制御部１２０は、前輪モータ３６および後輪モータ３８を駆動して、荷物搬送ロボット１０を目的地まで走行させる。

センサデータ処理部１０６は、オブジェクト検出センサ３４による検出データおよびカメラ５０による撮影画像をもとに、荷物搬送ロボット１０の周囲に存在するオブジェクトに関する情報を取得し、走行制御部１２０に提供する。対象となるオブジェクトは、構造物や側溝などの走行に障害となる静的なオブジェクトと、人や他の荷物搬送ロボット１０などの移動可能なオブジェクト（移動オブジェクト）を含む。走行制御部１２０は、他のオブジェクトとの衝突を回避するように進行方向および走行速度を決定し、前輪モータ３６および後輪モータ３８を駆動制御する。

荷物搬送ロボット１０が、受取人であるユーザのいる目的地に到達すると、走行制御部１２０はモータ駆動を停止する。ユーザは、自分宛の荷物のロックを解除するためのパスコードを外部のサーバ装置から事前に取得している。ユーザは、スマートフォンなどの携帯端末装置を用いてパスコードを荷物搬送ロボット１０に送信すると、通信部５２がロック解除用のパスコードを受信し、情報処理部１２６が荷物のロックを解除する。このとき運動制御部１２２は起立アクチュエータ３０を駆動して、荷物搬送ロボット１０に起立姿勢をとらせる。これによりユーザは、荷物を受け取り可能であることを認識し、また本体部１４に載せられた自分宛の荷物を取りやすくなる。荷物がユーザにより受け取られると、走行制御部１２０は、次の目的地まで自律走行する。

以上、荷物搬送ロボット１０の基本行動モードを示したが、荷物搬送ロボット１０は、他の行動モードによる行動も可能とする。荷物搬送ロボット１０の行動モードは様々存在してよく、各行動モードを実現するためのプログラムがプリインストールされていてよい。荷物搬送ロボット１０を利用するユーザは、利用前に、所望の行動モードを荷物搬送ロボット１０に設定することで、荷物搬送ロボット１０は、設定された行動モードで行動する。以下、荷物搬送ロボット１０がユーザの買い物を支援する「買い物支援行動モード」について説明する。

買い物支援行動モードで行動する荷物搬送ロボット１０は、商業施設における各所に配置され、ユーザからの利用要請を待機する。このモードで荷物搬送ロボット１０は、当該ユーザのいわゆる「荷物持ち」として行動する。利用を希望するユーザは、荷物搬送ロボット１０に自身の姿を登録し、追従対象であることを荷物搬送ロボット１０に認識させる。荷物搬送ロボット１０は、ユーザの全身をカメラ５０で撮影して、その特徴データを抽出することで、他の人と当該ユーザとを画像解析により区別できるようにしてよい。なおユーザは所定のビーコン信号を発信する発信器を持つことで、荷物搬送ロボット１０が、追従対象を認識できるようにしてもよい。いずれにしても買い物支援行動モードでは、荷物搬送ロボット１０がユーザを追従できることが必要であり、その手段は問わない。

荷物搬送ロボット１０の枠体４０の内部に、買い物かごを載せることで、ユーザは、購入する商品または購入した商品を買い物かごに入れられる。これによりユーザは重い買い物かごを持つ必要がない。また、搬送ロボット１０は、枠体４０の内部に載せた商品を特定してその商品の購入決済処理を実行してよい。これによりユーザはレジに並ぶ必要がなくなる。

図７は、ロボット制御システム１の構成の概要を示す図である。ロボット制御システム１は、荷物搬送ロボット１０、サーバ装置６０および基地局６２を備える。サーバ装置６０および基地局６２は、インターネットなどのネットワークを介して接続されてよい。荷物搬送ロボット１０の通信部５２は、無線通信機能を有しており、基地局６２経由でサーバ装置６０と接続する。

なお、荷物搬送ロボット１０の台数は４台に限るものではなく、ロボット制御システム１では、多数の荷物搬送ロボット１０がサーバ装置６０と情報を送受する状況であってよい。サーバ装置６０は、データセンタに設置され、複数の荷物搬送ロボット１０の走行や配置を管理する。

（第１実施例）
図８は、第１実施例の荷物搬送ロボット１０の斜視図である。図８に示す荷物搬送ロボット１０は、本体部１４に箱体６４を設けており、箱体６４は、枠体４０に挿通された状態で突条部５６に係合することで本体部１４に保持されている。箱体６４の側面に突条部５６に係合する溝部が形成されてもよい。

荷物搬送ロボット１０は、スーパーマーケット、ショッピングセンターおよびデパートメントストアなどの商業施設内で走行し、ユーザから商品６５の返品を受け付ける。本体部１４は、返品される商品６５を箱体６４で受け取る。箱体６４は、返品される商品６５を受け取る受取部として機能する。商品６５には商品ＩＤを記憶したＩＣタグ６５ａが付されている。

ユーザは、例えばスーパーマーケットで商品６５を取ったものの、その後に店内を移動していると商品６５を返品したくなることがある。荷物搬送ロボット１０は、ユーザから返品される商品６５を箱体６４で受け取り、商品６５を認識し、商品６５に応じた返却場所に移動して商品６５を返却することができる。

また、ユーザは、買い物支援行動モードの搬送ロボット１０を利用しつつ、返品処理用の搬送ロボット１０も利用してよい。例えば、買い物支援行動モードの搬送ロボット１０はユーザに追従して、ユーザから受け取った商品６５に対して購入決済処理を実行する。ユーザは商品６５を買い物支援行動モードの搬送ロボット１０に渡すと容易に購入できるが、購入した商品６５を返品用の搬送ロボット１０に渡すことで返品することができる。返品用の搬送ロボット１０は、購入後の商品６５を受け取って、返品決済処理を実行する。この利用システムにより、ユーザが商品の購入と返品を容易にできる。

図９は、ロボット制御システム１の機能ブロックを示す。荷物搬送ロボット１０は、通信部５２、走行制御部１２０、出力制御部１２４および情報処理部１２６を備える。情報処理部１２６は、位置算出部７０、商品特定部７２および返品処理部７４を有する。

通信部５２は、サーバ装置６０と通信可能であり、情報を送信するときに荷物搬送ロボット１０のロボットＩＤを付して送信する。また、通信部５２は、近距離無線通信が可能な受信部を含み、商品６５に付けられたＩＣタグ６５ａから商品ＩＤを近距離無線通信により受信する。通信部５２で用いる近距離無線通信は数センチメートルの範囲で受信可能であってよい。

通信部５２は、サーバ装置６０から荷物搬送ロボット１０の移動経路を取得し、走行制御部１２０に送る。位置算出部７０は、ＧＰＳ情報をもとに荷物搬送ロボット１０の位置情報を算出する。算出された位置情報にはタイムスタンプが付されている。

走行制御部１２０は、サーバ装置６０から受け取った移動経路情報にしたがって荷物搬送ロボット１０の走行を制御する。走行制御部１２０は、カメラ５０およびオブジェクト検出センサ３４により検出された障害物情報をもとに荷物搬送ロボット１０を停止または迂回させることが可能である。

商品特定部７２は、箱体６４に載置された商品６５を特定する。ユーザがＩＣタグ６５ａを通信部５２に接近させることで通信部５２が商品ＩＤを受信する。商品特定部７２は、商品ＩＤによって箱体６４に載置された商品６５を特定する。また、商品特定部７２は、カメラ５０による撮像画像をもとに商品６５を特定してよい。商品特定部７２は、特定した商品６５の情報を返品処理部７４に送る。

返品処理部７４は、商品６５の返品処理を実行する。返品処理部７４は、返品された商品６５の商品ＩＤをサーバ装置６０に送信し、サーバ装置６０にて返品決済処理を実行させ、サーバ装置６０から返品決済処理の結果を受け取る。返品処理部７４は、箱体６４に商品６５を載置したユーザに返品処理の結果を示す情報を生成する。

出力制御部１２４は、返品処理の結果をユーザに通知する。出力制御部１２４は、ディスプレイ４８に返品処理の結果を表示させることで、ユーザに通知してよい。また、出力制御部１２４は、本体部１４に設けられたスピーカ（不図示）から音声を出力させることでユーザに通知してよい。

サーバ装置６０は、通信部７８、決済処理部８０、返品履歴記憶部８２、経路導出部８４および返却場所記憶部８６を有する。通信部７８は、複数の荷物搬送ロボット１０から位置情報と返品情報とを受信し、移動経路情報と決済情報とを送信する。

決済処理部８０は、返品された商品６５の決済処理を実行する。決済処理部８０は、商品ＩＤを受け取って、購入を取り消す処理を実行する。決済処理部８０は、例えば決済用サーバに商品６５の購入を取り消す指示情報を送り、決済用サーバから決済結果を受け取ってよい。決済処理部８０は、商品ＩＤに対応する商品６５の返品処理の結果を荷物搬送ロボット１０に送る。

返品履歴記憶部８２は、荷物搬送ロボット１０から送信された返品データを記憶する。返品データには、商品ＩＤ、商品６５を受け取った時刻、商品６５を受け取った搬送ロボット１０の位置情報が含まれる。返品履歴記憶部８２に記憶される返品データによって、サーバ装置６０は返品される頻度が高い場所を算出できる。

返却場所記憶部８６は、返品された商品の返却場所の位置情報を保持する。返却場所は、同じ小売店舗内に複数設定されてよく、小売店舗毎に設定されてよい。また、生鮮品、生鮮品を除く食品、衣類、雑貨品などの商品の種類毎に返却場所が設定されてもよい。いずれにしても返却場所記憶部８６は、商品と返却場所との関係を示すデータを記憶する。

経路導出部８４は、地図情報、荷物搬送ロボット１０の位置情報および返品履歴記憶部８２にもとづいて荷物搬送ロボット１０の移動経路を導出する。経路導出部８４は、商品を回収する前の移動経路と、商品を回収した後の移動経路とを導出する。経路導出部８４は、商品を回収する前の荷物搬送ロボット１０に対して、返品履歴記憶部８２に記憶される返品データ、つまり、商品６５を受け取ったときの荷物搬送ロボット１０の位置情報にもとづいて移動経路を導出する。走行制御部１２０は、返品される商品６５を本体部１４が受け取ったときの搬送ロボット１０の位置情報にもとづいて導出された移動経路にしたがって搬送ロボット１０を走行させる。これにより、商品６５の返品が発生しやすい場所に荷物搬送ロボット１０を移動させることができる。

経路導出部８４は、商品６５を回収した後の荷物搬送ロボット１０に対して、荷物搬送ロボット１０の位置情報および返却場所記憶部８６に保持される返却場所にもとづいて荷物搬送ロボット１０の移動経路を導出する。経路導出部８４は、商品ＩＤに応じた返却場所へ荷物搬送ロボット１０を移動させる走行経路を導出する。なお、移動経路を生成する経路導出部８４の構成は荷物搬送ロボット１０に設けられてもよい。

通信部７８は、経路導出部８４により導出された荷物搬送ロボット１０の移動経路を荷物搬送ロボット１０に送信し、走行制御部１２０は、導出された移動経路をもとに荷物搬送ロボット１０の走行を制御する。走行制御部１２０は、移動経路に沿って荷物搬送ロボット１０を周回させてもよい。

走行制御部１２０は、経路導出部８４により導出された移動経路に沿って、返品された商品６５を返却場所へ届けるように走行させる。これにより、商品６５を所定の返却場所に回収できる。また、走行制御部１２０は、商品特定部７２により特定された商品６５の種類に応じた返却場所に走行させる。これにより、商品６５を適切な返却場所に搬送できる。

なお、経路導出部８４は、荷物搬送ロボット１０の移動範囲にいる顧客の行動情報をもとに荷物搬送ロボット１０の移動経路を導出してよい。例えば、経路導出部８４は、顧客が相対的に多い場所を荷物搬送ロボット１０が通る移動経路を導出してよい。経路導出部８４は、顧客の行動情報を固定カメラの撮像画像を解析することで取得してよく、顧客の行動情報として顧客の購入履歴を別のサーバ装置から取得してもよい。経路導出部８４は、顧客の行動情報と返品データをもとに、返品する可能性が高い顧客の行動を学習してよい。

第１実施例に示す商品返品用の搬送ロボット１０と、買い物支援行動モードの搬送ロボット１０とが同じ商業施設に混在してよい。買い物支援行動モードの搬送ロボット１０は商品決済機能を有し、買い物支援行動モードの搬送ロボット１０に保持させた商品を商品返品用の搬送ロボット１０に移すことで商品購入が取り消される。このように、購入用と返品用の搬送ロボット１０を利用することで、レジに並ぶことがなく容易に購入できるとともに、返品も容易にできる。

商品返品用の搬送ロボット１０が、買い物支援行動モードの搬送ロボット１０に載せられた商品ＩＤが所定条件を満たすと、その買い物支援行動モードの搬送ロボット１０に接近してもよい。例えば、買い物支援行動モードの搬送ロボット１０に載せられた商品ＩＤが返品する可能性が高いことを示す場合に、商品返品用の搬送ロボット１０が買い物支援行動モードの搬送ロボット１０に接近する。所定条件は、返品される可能性が高いことを推定する条件であって、例えば、同じ商品ＩＤが複数個、すなわち所定閾値（１個を除く）以上検出された場合に満たされてよい。このように、サーバ装置６０の経路導出部８４は、ユーザの購入履歴をもとに、商品返品用の搬送ロボット１０を買い物支援行動モードの搬送ロボット１０に接近させる移動経路を導出する。

図１０は、荷物搬送ロボット１０により商品を回収する処理のフローチャートである。荷物搬送ロボット１０は、荷物搬送ロボット１０の位置情報をサーバ装置６０に送信する（Ｓ１０）。経路導出部８４は、荷物搬送ロボット１０の位置情報と、返品履歴記憶部８２により記憶される返品データとにもとづいて荷物搬送ロボット１０の移動経路を導出し（Ｓ１２）、荷物搬送ロボット１０に送る。

荷物搬送ロボット１０の走行制御部１２０は、導出された移動経路にしたがって荷物搬送ロボット１０を走行させる（Ｓ１４）。荷物搬送ロボット１０は返品される商品を受け取らなければ（Ｓ１６のＮ）、本処理を終える。荷物搬送ロボット１０が返品される商品を受け取れば（Ｓ１６のＹ）、商品特定部７２は、返品される商品を特定する（Ｓ１８）。

返品処理部７４は、特定された商品ＩＤと、商品を受け取ったときの荷物搬送ロボット１０の位置情報とを返品データとしてサーバ装置６０に送る（Ｓ２０）。決済処理部８０は、返品決済処理を実行する（Ｓ２２）。決済処理部８０は、決済用サーバ装置に商品ＩＤとその商品の購入を取り消す指示情報とを送信し、決済用サーバ装置から返品結果を受け取る。

商品の返品が完了した場合（Ｓ２４のＹ）、通信部７８は、商品の返品が完了したことを示す決済完了情報と、経路導出部８４により導出された返却場所への移動経路情報を荷物搬送ロボット１０に送信する（Ｓ２６）。走行制御部１２０は、商品に応じた返却場所へ荷物搬送ロボット１０を走行させる（Ｓ２８）。

商品の返品が完了しない場合（Ｓ２４のＮ）、通信部７８は、商品の返品が完了しないことを示す決済エラー情報を荷物搬送ロボット１０に送信し、出力制御部１２４は、商品の返品が完了しないことをディスプレイ４８に表示させ、ユーザに通知する（Ｓ３０）。

（第２実施例）
図１１は、第２実施例の荷物搬送ロボット１０の動作について説明するための図である。図１１では、荷物搬送ロボット１０が、買い物支援行動モードを実行しており、ユーザ９０の後方に位置し、ユーザ９０の移動に連動して追従する様子を示す。ユーザ９０はショッピングセンターで荷物搬送ロボット１０を利用しており、荷物搬送ロボット１０は、ユーザ９０の荷物９４を箱体９２で保持し、ユーザ９０から５０センチメートル程度離れて追従している。

ユーザ９０を荷物搬送ロボット１０に認識させて利用登録が完了すると、荷物搬送ロボット１０がユーザ９０を追従する買い物支援行動モードを実行する。荷物搬送ロボット１０は、買い物支援行動モードにおいて、登録されたユーザ９０から所定の追従間隔を維持するように走行する。

また、荷物搬送ロボット１０は、商品決済機能を有してよく、商品ＩＤを取得すれば購入決済処理を実行してよい。例えば、ユーザ９０が商品を箱体９２に入れ、通信部５２が商品のＩＣタグから商品ＩＤを近距離無線通信で受信すれば、購入決済処理が実行されてよい。このように、荷物搬送ロボット１０は、ユーザ９０の買い出しを支援することができる。

図１２は、第２実施例の荷物搬送ロボット１０の別の動作について説明するための図である。図１２では、ユーザ９０が入口９６から店舗内に立ち寄った様子を示す。ところで、買い物支援行動モードでは荷物搬送ロボット１０がユーザ９０に追従するが、ユーザ９０がいる場所によってはユーザ９０との間隔を離した方がよい場合がある。例えば、荷物搬送ロボット１０がユーザ９０とともに狭い店に入ると邪魔になる可能性がある。また、生鮮品を持った荷物搬送ロボット１０が他の店に入らない方がよい場合もある。そこで、荷物搬送ロボット１０は、ユーザ９０の荷物の種類やユーザ９０の位置に応じてユーザ９０から大きく離れるようにする。

図１２では、荷物搬送ロボット１０が入口９６から店舗に入らないよう、入口９６前で待機している。このように、荷物搬送ロボット１０が買い物支援行動モードを実行中であっても、所定の追従間隔での追従をしないようにする。これにより、荷物搬送ロボット１０がユーザ９０の状況に応じて距離をとることができる。

図１３は、第２実施例のロボット制御システム１４０の機能ブロックを示す。サーバ装置６０は、通信部７８、経路導出部８４、ユーザ情報記憶部１３０、追跡部１３２、設定部１３４および条件記憶部１３６を有する。

搬送ロボット１０の受付部１０２は、買い物支援行動モードでの利用要請を受け付け、センサデータ処理部１０６は、追従対象となるユーザ画像を通信部５２を介して搬送ロボット１０に送信する。

センサデータ処理部１０６は、箱体９２で受け取った荷物９４の画像を解析し、解析結果を情報処理部１２６に送る。情報処理部１２６の特定部７６は、センサデータ処理部１０６による解析結果をもとに荷物９４を特定し、特定した荷物９４の情報を通信部５２を介してサーバ装置６０に送信する。位置算出部７０は、搬送ロボット１０の位置情報を算出し、通信部５２を介してサーバ装置６０に送信する。

走行制御部１２０は、ユーザを所定の追従間隔で追従するよう搬送ロボット１０を走行させる。走行制御部１２０は、ユーザと搬送ロボット１０との間隔が所定の追従間隔以上になると、搬送ロボット１０をユーザに接近させるように制御してよい。

サーバ装置６０の通信部７８は、カメラ５０の撮像画像、搬送ロボット１０の位置情報、追跡対象となるユーザ画像およびロボットＩＤを搬送ロボット１０から受信する。ユーザ情報記憶部１３０は、追従対象となるユーザ画像を記憶する。ユーザ情報記憶部１３０は、ユーザ画像をもとに生成した特徴量を記憶してよい。つまり、ユーザ情報記憶部１３０は、追跡対象となるユーザに関する情報を記憶する。

追跡部１３２は、搬送ロボット１０による撮像画像および搬送ロボット１０周辺に位置する固定カメラ（不図示）による撮像画像をもとに、追従対象となるユーザを追跡する。搬送ロボット１０周辺に位置する固定カメラは、例えば、商業施設に設けられた監視カメラであってよい。追跡部１３２は、撮像画像からユーザ情報記憶部１３０に記憶されたユーザ画像に類似する対象画像を探索し、探索した対象画像を追跡する。

追跡部１３２は、撮像画像を撮像した位置および撮像方向をもとにユーザの位置情報を導出する。また、追跡部１３２は、撮像画像を解析して、ユーザの周辺の状況情報を導出してもよい。ユーザの周辺状況情報は、ユーザがいる空間の広さ、ユーザがいる空間での人の混雑度合い、ユーザが入った店舗の種類であってよい。ユーザの位置情報やユーザの周辺状況情報から、ユーザの周辺状況が把握できる。また、追跡部１３２は、ユーザの携帯端末からユーザの位置情報を取得して、ユーザを追跡してよい。

設定部１３４は、ユーザの荷物の種類またはユーザの周辺状況に応じてユーザと搬送ロボット１０の追従間隔を設定する。設定部１３４は、条件記憶部１３６に記憶される追従間隔の追従条件をもとに追従間隔を設定する。条件記憶部１３６に記憶される追従条件は、ユーザおよび搬送ロボット１０の追従間隔と、ユーザの周辺状況との関係を定め、ユーザおよび搬送ロボット１０の追従間隔と、ユーザの荷物の種類との関係を定める。

例えば、ユーザが狭い店舗にいる場合には、搬送ロボット１０がその店舗に入らないようにユーザから離れた追従間隔が設定される。また、ユーザの荷物の種類と全く異なる種類の商品を販売する店舗にユーザがいる場合には、ユーザから離れた追従間隔が設定される。例えば、ユーザの荷物が生鮮食品である場合に、ユーザが衣料品店に入った場合には、ユーザから離れた追従間隔が設定される。

経路導出部８４は、設定部１３４により設定された追従間隔で搬送ロボット１０がユーザを追従するよう、搬送ロボット１０の移動経路を導出し、導出した移動経路を搬送ロボット１０に送る。移動経路は搬送ロボット１０がユーザを検出できない場合に導出されてもよい。走行制御部１２０は、導出された移動経路にしたがって搬送ロボット１０を走行させる。

経路導出部８４は、設定部１３４により設定された追従間隔で搬送ロボット１０がユーザを追従するよう、搬送ロボット１０の目標位置を導出してもよい。走行制御部１２０は、導出された目標位置へ搬送ロボット１０を走行させる。このように走行制御部１２０は、設定部１３４により設定された追従間隔でユーザに追従するよう搬送ロボット１０の走行を制御することができる。

経路導出部８４は、ユーザが入った店舗に搬送ロボット１０が入らないように、搬送ロボット１０に店舗前で待機させる目標位置を導出してよい。搬送ロボット１０の入店を禁止する店舗が予め定められてよい。例えば、ユーザが飲食店や映画館に入った場合には、搬送ロボット１０が入店しないように、経路導出部８４は搬送ロボット１０を飲食店や映画館の入口周辺で待機させる目標位置を導出してよい。

搬送ロボット１０は、受け取った荷物９４を所定の収容位置に運んでもよい。例えば、搬送ロボット１０は、ユーザが飲食店や映画館に入った場合に、荷物９４をユーザの車やロッカーに運んでよい。

なお、サーバ装置６０で実行される解析処理を搬送ロボット１０の情報処理部１２６で実行してもよい。例えば、追跡部１３２、設定部１３４、経路導出部８４の解析処理を情報処理部１２６が実行してもよい。

（第３実施例）
図１４は、第３実施例のロボット制御システム１５０について説明するための図である。図１４では、搬送ロボット１０が荷物９８を保持している様子を示す。荷物９８は、枠体４０の開口からはみ出た状態で保持されている。

図１４に示す搬送ロボット１０は、枠体４０の開口方向が走行機構１２の左右方向に平行な枠体４０の回転位置、つまり、右側壁１８ａおよび左側壁１８ｂが走行機構１２の前後方向に対向する状態にある。これにより、搬送ロボット１０の進退による慣性力が荷物９８に加わっても、右側壁１８ａおよび左側壁１８ｂが受け止めることができるため、荷物９８が枠体４０から抜け落ちる可能性を低減できる。

枠体４０の開口方向が走行機構１２の前後方向に交差させた状態では、荷物９８が走行機構１２の左右方向にはみ出ることになる。荷物９８が走行機構１２の左右方向の幅より長い場合、走行中に荷物９８のはみ出た部分が障害物に衝突する可能性が高まる。

そこで、搬送ロボット１０は、荷物９８が走行機構１２の左右方向にはみ出しており、進行方向に障害物がある場合、枠体４０を鉛直方向の軸回りに回転させて、荷物９８が障害物に衝突することを回避させる。

図６に戻る。センサデータ処理部１０６は、オブジェクト検出センサ３４およびカメラ５０の検知結果をもとに、搬送ロボット１０の進行方向にある障害物を検出する。例えば、障害物は、ガードレール、電柱、人、車両などである。

また、センサデータ処理部１０６は、カメラ５０の撮像画像を解析して荷物９８が走行機構１２の左右方向の幅より長いことを検出し、荷物９８の水平方向のはみ出し量を算出する。荷物９８の水平方向のはみ出し量は、走行機構１２の左右方向の幅よりはみ出した長さである。

情報処理部１２６は、搬送ロボット１０の走行によって荷物９８のはみ出し部分が障害物に衝突するか判定する。荷物９８が障害物に衝突すると判定された場合、運動制御部１２２は回転アクチュエータ４４を駆動して枠体４０を回転させ、枠体４０の開口方向が搬送ロボット１０の進行方向に沿うようにさせる。これにより、荷物９８が搬送ロボット１０から左右方向にはみ出ないため、障害物を避けることができる。

走行制御部１２０は、障害物を避けるため枠体４０の開口方向が搬送ロボット１０の進行方向に沿うようにさせた場合に、枠体４０の開口方向が搬送ロボット１０の進行方向に直交する場合より、走行速度を低くしてよい。これにより、搬送ロボット１０の走行中に荷物９８が枠体４０から抜け落ちる可能性を低減できる。

運動制御部１２２は、障害物が搬送ロボット１０の右側にある場合、上面視にて枠体４０を時計回りに回転させてよい。また、運動制御部１２２は、障害物が搬送ロボット１０の左側にある場合、上面視にて枠体４０を反時計回りに回転させてよい。これにより、障害物が搬送ロボット１０に向かって移動している場合に、衝突を回避できる可能性を高めることができる。

運動制御部１２２は、搬送ロボット１０を起立姿勢にさせることで荷物９８が障害物を避けられる場合には、搬送ロボット１０の起立姿勢にしてよい。

なお実施例はあくまでも例示であり、各構成要素の組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１ ロボット制御システム、 １０ 搬送ロボット、 １２ 走行機構、 １４ 本体部、 ２０ａ 前輪、 ２０ｂ 中輪、 ２０ｃ 後輪、 ２２ 第１車輪体、 ２４ 第２車輪体、 ３０ 起立アクチュエータ、 ３４ オブジェクト検出センサ、 ３６ 前輪モータ、 ３８ 後輪モータ、 ４０ 枠体、 ４２ 連結軸、 ４４ 回転アクチュエータ、 ４６ 傾斜アクチュエータ、 ４８ ディスプレイ、 ５０ａ 第１カメラ、 ５０ｂ 第２カメラ、 ５２ 通信部、 ５４ フック、 ５６ａ 第１突条部、 ５６ｂ 第２突条部、 ５６ｃ 第３突条部、 ６０ サーバ装置、 ７０ 位置算出部、 ７２ 商品特定部、 ７４ 返品処理部、 ７６ 特定部、 ７８ 通信部、 ８０ 決済処理部、 ８２ 返品履歴記憶部、 ８４ 経路導出部、 ８６ 返却場所記憶部、 １００ 制御部、 １０２ 受付部、 １０４ ＧＰＳ受信機、 １０６ センサデータ処理部、 １０８ マップ保持部、 １１０ アクチュエータ機構、 １２０ 走行制御部、 １２２ 運動制御部、 １２４ 出力制御部、 １２６ 情報処理部、 １３０ ユーザ情報記憶部、 １３２ 追跡部、 １３４ 設定部、 １３６ 条件記憶部。

Claims (1)

1. 撮像画像を取得する取得部と、
   撮像画像に含まれるユーザ画像を追跡し、撮像画像に含まれるユーザ画像をもとにユーザの場所を導出する追跡部と、
   ユーザの荷物を受け取る本体部と、
   ユーザの荷物の種類またはユーザの場所に応じてユーザと搬送ロボットの追従間隔を設定する設定部と、
   前記設定部により設定された追従間隔でユーザに追従するよう前記搬送ロボットの走行を制御する走行制御部と、を備えることを特徴とするロボット制御システム。

Images