JP2020090396A - 制御方法、物品受け渡しシステム、及び情報処理装置 - Google Patents

制御方法、物品受け渡しシステム、及び情報処理装置 Download PDF

Info

Publication number
JP2020090396A
JP2020090396A JP2019227485A JP2019227485A JP2020090396A JP 2020090396 A JP2020090396 A JP 2020090396A JP 2019227485 A JP2019227485 A JP 2019227485A JP 2019227485 A JP2019227485 A JP 2019227485A JP 2020090396 A JP2020090396 A JP 2020090396A
Authority
JP
Japan
Prior art keywords
article
delivery
sensing
information
ugv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019227485A
Other languages
English (en)
Other versions
JP2020090396A5 (ja
JP7280174B2 (ja
Inventor
敏明 田爪
Toshiaki TAZUME
敏明 田爪
清楠 周
Qingnan Zhou
清楠 周
勇人 水上
Yuto Mizukami
勇人 水上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Priority to JP2019227485A priority Critical patent/JP7280174B2/ja
Publication of JP2020090396A publication Critical patent/JP2020090396A/ja
Publication of JP2020090396A5 publication Critical patent/JP2020090396A5/ja
Application granted granted Critical
Publication of JP7280174B2 publication Critical patent/JP7280174B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】専用の受け渡し施設が存在しない場合であっても、無人航空機と無人地上機との間の物品受け渡しを行うことができる受け渡し場所を確保することを可能とする制御方法、物品受け渡しシステム、及び情報処理装置を提供する。【解決手段】物品受け渡しシステムSは、無人航空機と前記無人地上機との間で行われる物品受け渡し場所の候補を選定し、前記候補の情報に基づいて、前記無人地上機の移動制御を実行する。【選択図】図1

Description

本発明は、無人航空機と無人地上機との間で物品の受け渡しを行うことが可能なシステム等の分野に関する。
近年、無人航空機、または、無人地上機を用いた無人配送システムが検討されている(例えば、特許文献1)。無人航空機は、地上の道路状況などの影響を受けずに飛行することが可能であるが、着陸可能な場所が限定される。そのため、最終的な配送先(例えば各家庭)まで物品を運搬したり、運搬すべき物品を荷送人から受け取ったりすることは困難な場合が多い。一方、無人地上機は、地上の道路状況などの影響を受けやすいが、より配送先や荷送人の近くまで物品を運搬することが可能である。
特表2018−514478号公報
上記のような事情を鑑みると、今後の無人配送システム等では、無人航空機及び無人地上機がそれぞれ所定の受け渡し場所まで移動し、当該受け渡し場所において無人航空機から無人地上機へ物品を受け渡すか、或いは、無人地上機から無人航空機へ物品を受け渡すことが考えられる。しかし、無人航空機と無人地上機との間の物品の受け渡し(以下、「物品受け渡し」という)の際、例えば周囲に人がいる場合など周囲環境によっては、物品受け渡しを行うことが困難な場合がある。また、無人航空機が無人地上機上に着陸して物品を受け渡したり、無人地上機から無人航空機へ給電したいようなときに、上記のような周囲環境によっては、無人航空機が無人地上機上に着陸を行うことが困難な場合がある。また、物品受け渡しのために専用の受け渡し施設(例えば人の侵入を防ぐ囲いが設置された土地等)や、無人航空機が無人地上機上に着陸するために専用の着陸施設を用意することも考えられる。しかし、このような専用施設が無人地上機の近くに存在しない場合、無人航空機と無人地上機との間の物品受け渡しを行ったり、無人航空機が無人地上機上に着陸することが困難となる。
そこで、本発明は、専用の受け渡し施設が存在しない場合であっても、無人航空機と無人地上機との間の物品受け渡しを行うことができる受け渡し場所を確保することを可能とする制御方法、物品受け渡しシステム、及び情報処理装置を提供することを課題とする。また、本発明は、専用の着陸施設が存在しない場合であっても、無人航空機が無人地上機上に着陸できる着陸場所を確保することを可能とする制御方法を提供することを課題とする。
上記課題を解決するために、請求項1に記載の発明は、無人地上機を制御する制御部を含むシステムにより実行される制御方法であって、無人航空機と前記無人地上機との間で行われる物品受け渡し場所の候補を選定する選定ステップと、前記候補の情報に基づいて、前記無人地上機の移動制御を実行する制御ステップと、を含むことを特徴とする。
請求項2に記載の発明は、請求項1に記載の制御方法において、前記無人航空機が飛行中に行う第1のセンシングにより得られた情報に基づいて前記候補を選定することを特徴とする。
請求項3に記載の発明は、請求項1または2に記載の制御方法において、前記候補を基準として物品受け渡し場所を決定する決定ステップをさらに含むことを特徴とする。
請求項4に記載の発明は、請求項3に記載の制御方法において、前記候補を基準として前記無人地上機が所定時間以上停止可能なスペースを検索し、検索されたスペースまたはスペース内の地点を前記物品受け渡し場所として決定することを特徴とする。
請求項5に記載の発明は、請求項3または4に記載の制御方法において、前記候補を基準として、前記物品受け渡しに障害となる障害物が地上及び上空に存在しないスペースを検索し、検索されたスペースまたはスペース内の地点を前記物品受け渡し場所として決定することを特徴とする。
請求項6に記載の発明は、請求項3乃至5の何れか一項に記載の制御方法において、前記無人地上機が行う第2のセンシングにより得られた情報に基づいて、前記物品受け渡し場所を決定することを特徴とする。
請求項7に記載の発明は、請求項6に記載の制御方法において、前記移動制御にしたがって前記無人地上機が移動している間に前記第2のセンシングにより得られた情報に基づいて、前記物品受け渡し場所を決定することを特徴とする。
請求項8に記載の発明は、請求項3乃至7の何れか一項に記載の制御方法において、地上に設置されたセンサが行う第3のセンシングにより得られた情報に基づいて、前記物品受け渡し場所を決定することを特徴とする。
請求項9に記載の発明は、請求項3乃至8の何れか一項に記載の制御方法において、過去に行われた受け渡し履歴に基づいて、前記物品受け渡し場所を決定することを特徴とする。
請求項10に記載の発明は、請求項1乃至9の何れか一項に記載の制御方法において、前記無人地上機が所定時間以上停止可能なスペースを検索し、検索されたスペースまたはスペース内の地点を前記候補として選定することを特徴とする。
請求項11に記載の発明は、請求項1乃至7の何れか一項に記載の制御方法において、前記物品受け渡しに障害となる障害物が地上及び上空に存在しないスペースを検索し、検索されたスペースまたはスペース内の地点を前記候補として選定することを特徴とする。
請求項12に記載の発明は、請求項1乃至11の何れか一項に記載の制御方法において、地上に設置されたセンサが行う第3のセンシングにより得られた情報に基づいて、前記物品受け渡し場所の候補を選定することを特徴とする。
請求項13に記載の発明は、請求項1乃至12の何れか一項に記載の制御方法において、過去に行われた受け渡し履歴に基づいて、前記物品受け渡し場所の候補を選定することを特徴とする。
請求項14に記載の発明は、請求項1乃至13の何れか一項に記載の制御方法において、前記物品受け渡し場所の候補を複数選定し、前記制御ステップにおいては、予め定められた基準に応じた前記候補の順に前記無人地上機を移動させることを特徴とする。
請求項15に記載の発明は、請求項14に記載の制御方法において、物品の配送先に近い前記候補の順に前記無人地上機を移動させることを特徴とする。
請求項16に記載の発明は、請求項14に記載の制御方法において、前記無人地上機の現在位置に近い前記候補の順に前記無人地上機を移動させることを特徴とする。
請求項17に記載の発明は、請求項14に記載の制御方法において、複数の前記候補の密集度に応じた移動順序で前記無人地上機を移動させることを特徴とする。
請求項18に記載の発明は、請求項1乃至17の何れか一項に記載の制御方法において、前記決定された物品受け渡し場所へ前記無人航空機を飛行させるステップを更に含むことを特徴とする。
請求項19に記載の発明は、請求項1乃至18の何れか一項に記載の制御方法において、前記決定された物品受け渡し場所において前記無人航空機と前記無人地上機との間で物品受け渡しを行わせるステップを更に含むことを特徴とする。
請求項20に記載の発明は、請求項1乃至19の何れか一項に記載の制御方法において、前記決定された物品受け渡し場所に対して移動物体の接近が検知された場合、警報を出力するステップを更に含むことを特徴とする。
請求項21に記載の発明は、無人航空機と無人地上機とを含む物品受け渡しシステムであって、前記無人航空機と前記無人地上機との間で行われる物品受け渡し場所の候補を選定する選定部と、前記候補の情報に基づく移動制御を前記無人地上機に実行させる移動制御部と、を備えることを特徴とする。
請求項22に記載の発明は、無人航空機と無人地上機との間で行われる物品受け渡し場所の候補を選定する選定部と、前記候補の情報に基づく移動制御を前記無人地上機に実行させる移動制御部と、を備えることを特徴とする。
請求項23に記載の発明は、無人地上機を制御する制御部を含むシステムにより実行される制御方法であって、無人航空機が前記無人地上機上に着陸するための着陸場所の候補を選定する選定ステップと、前記候補の情報に基づいて、前記無人地上機の移動制御を実行する制御ステップと、を含むことを特徴とする。
本発明によれば、専用の受け渡し施設が存在しない場合であっても、無人航空機と無人地上機との間の物品受け渡しを行うことが可能な受け渡し場所を確保することができる。また、本発明によれば、専用の着陸施設が存在しない場合であっても、無人航空機が無人地上機上に着陸できる着陸場所を確保することができる。
物品受け渡しシステムSの概要構成例を示す図である。 UAV1の概要構成例を示す図である。 UGV2の概要構成例を示す図である。 サーバ3の概要構成例を示す図である。 情報処理部33における機能ブロック例を示す図である。 物品受け渡し候補を基準として物品受け渡し場所が決定される例1を示す概念図である。 物品受け渡し候補を基準として物品受け渡し場所が決定される例2を示す概念図である。 物品受け渡し候補を基準として物品受け渡し場所が決定される例3を示す概念図である。 UAV1が物品受け渡しエリアArに接近してから物品受け渡し場所が決定されるまでにおける物品受け渡しシステムSの動作の一例を示すシーケンス図である。 物品受け渡し場所が決定されてから物品が配送されるまでにおける物品受け渡しシステムSの動作の一例を示すシーケンス図である。 物品受け渡しエリアAr内の状況を示す概念図である。 物品受け渡し場所においてUAV1がUGV2上に着陸している状態を示す図である。
以下、図面を参照して、本発明の一実施形態に係る物品受け渡しシステム、及び当該物品受け渡しシステムにより実行される、物品受け渡し場所の決定方法の実施形態について説明する。
1.物品受け渡しシステムSの構成、及び物品受け渡し場所の決定方法の概要
先ず、図1を参照して、本実施形態に係る物品受け渡しシステムSの構成、及び物品受け渡し場所の決定方法の概要について説明する。図1は、物品受け渡しシステムSの概要構成例を示す図である。図1に示すように、物品受け渡しシステムSは、大気中(空中)を飛行する無人航空機(以下、「UAV(Unmanned Aerial Vehicle )」と称する)1、地上を移動する無人地上機(以下、「UGV(Unmanned Ground Vehicle)」と称する)2、及び物品受け渡しをサポートするサーバ3を含んで構成される。UAV1及びUGV2は、それぞれ、通信ネットワークNWを介してサーバ3との間で通信可能になっている。ここで、「地上を移動する」とは、UGV2の機体の少なくとも一部が地面に接しながら(ただし、瞬間的に地面から離れて空中に浮かぶ場合も含む)移動することを意味する。通信ネットワークNWは、例えば、移動体通信ネットワーク及びその無線基地局等から構成される。無線基地局とUAV1との間、及び無線基地局とUGV2との間は無線通信が行われる。
なお、図1に示すUAV1は、ドローン、またはマルチコプタとも呼ばれる。図1に示すUGV2は、複数の車輪を有する無人地上車両を示しているが、UGV2は、車輪を有しないロボット(例えば、2足歩行ロボット)であってもよい。サーバ3は、情報処理装置の一例である。図1の例では、サーバ3は、UAV1及びUGV2とは独立して固定的に設置されることを想定しているが、サーバ3の機能の全部または一部はUAV1とUGV2の双方または何れか一方に備えられてもよい。この場合、サーバ3により行われる処理(物品受け渡し場所の決定方法における各ステップ)の全部または一部は、UAV1とUGV2の双方または何れか一方により行われる。
物品受け渡しシステムSでは、UAV1及びUGV2がそれぞれ物品受け渡し場所まで移動し、当該物品受け渡し場所においてUAV1からUGV2へ物品が受け渡されるか、或いは、UGV2からUAV1へ物品が受け渡される。このように受け渡される物品は、例えば、UAV1及びUGV2により配送される貨物である。例えば、UGV2は、物品受け渡し場所でUAV1から受け取った物品の配送先情報に基づいて地上を自律的に移動することにより当該物品を配送先へ配送する。或いは、UAV1は、物品受け渡し場所でUGV2から受け取った物品の配送先情報に基づいて大気中を自律的に飛行することにより当該物品を配送先へ配送する。また、UAV1は、物品受け渡し場所でUGV2から受け取った物品を他の物品受け渡し場所へ運搬する場合もある。この場合、当該他の物品受け渡し場所においてUAV1から他のUGV2へ物品が受け渡され、当該他のUGV2により物品が配送先へ配送される。なお、UGV2からUAV1へ受け渡される物品は、UAV1が飛行するために必要な物(例えば、UAV1へ電力を供給する補充用バッテリ等)であってもよい。
物品受け渡しシステムSにより実行される物品受け渡し場所の決定方法は、選定ステップ、制御ステップ、及び決定ステップを含む。選定ステップにおいては、UAV1が飛行中に行う第1のセンシングにより得られた情報(以下、「第1センシング情報」と称する)に基づいて、UAV1とUGV2との間で行われる物品受け渡しの場所の候補(以下、「物品受け渡し候補」と称する)が選定される。ここで、第1のセンシングとは、UAV1を視点として地面方向における大気中及び地面(地面に接して存在する物等を含む。以下同様)の状況を観測(観察)することをいう。第1のセンシングによれば、UAV1の死角などが発生し易く地面の状況を詳細に観測することが困難な場合があるが、上空から地面の状況を俯瞰的に観測可能である。そのため、第1のセンシングは、物品受け渡し候補の選定に適している。
制御ステップにおいては、上記選定された物品受け渡し候補の情報(例えば、位置情報)に基づいて、UGV2の移動制御が実行される。そして、決定ステップにおいては、UGV2が行う第2のセンシングにより得られた情報(以下、「第2センシング情報」と称する)に基づいて、上記選定された物品受け渡し候補を基準として物品受け渡し場所が決定される。ここで、第2のセンシングとは、UGV2を視点として全方位(UGV2の下部方向を除く)または進行方向における大気中及び地面の状況を観測することをいう。第2のセンシングによれば、UGV2自身の周囲の状況を詳細に観測することができ(UAV1の死角によらず地面の状況を観測し易い)、またUGV2が移動しながらセンシングを行うことができる。そのため、第2のセンシングは、最終的な物品受け渡し場所の決定に適している。
なお、上記選定ステップにおいて、第1センシング情報に加えて、地面に設置され、通信ネットワークNWに接続されたカメラ等のセンサ(以下、「屋外センサ」と称する)が行う第3のセンシングにより得られた情報(以下、「第3センシング情報」と称する)に基づいて、物品受け渡し候補が選定されるように構成してもよい。同様に、上記決定ステップにおいても、第2センシング情報に加えて、屋外センサが行う第3のセンシングにより得られた第3センシング情報に基づいて、物品受け渡し場所が決定されるように構成してもよい。ここで、第3のセンシングとは、屋外センサを視点として例えば全方位における大気中及び地面の状況を観測することをいう。屋外センサのセンシング範囲は限定されるが、第1のセンシングと比べると地面の状況を観測し易いという利点があり、また、第2のセンシングでは観測できない範囲(UGV2の死角など)の状況をカバーできるという利点もある。したがって、物品受け渡し候補の選定、及び最終的な物品受け渡し場所の決定のいずれにおいても、第3センシング情報を活用することでセンシングの精度を高めることが可能となる。その結果、より好適な物品受け渡し候補を選定することができ、また、より好適な物品受け渡し場所を決定することができる。
ただし、屋外カメラは、通常、地面に対して固定的に設置されるものであるため、その死角も発生しやすく、最終的な物品受け渡し場所の決定には、やはり、第2センシング情報を併せて用いることがより望ましい。なお、屋外センサは、カメラ以外の、例えば赤外線センサ、レーザセンサ、熱センサ、マイクロフォン、超音波センサ、LiDAR(Light Detection and Ranging)、人感センサ、または風速センサ等であってもよい。さらに、上記決定ステップにおいて、第2センシング情報だけでなく、第1センシング情報を併せて用いて物品受け渡し場所が決定されるように構成してもよい。これにより、上空側と地面側の両方から物品受け渡し候補における状況を観測することができるので、センシングの精度を高めることが可能となり、その結果、より好適な物品受け渡し場所を決定することができる。
1−1.UAV1の構成及び機能概要
次に、図2を参照してUAV1の構成及び機能概要について説明する。図2は、UAV1の概要構成例を示す図である。図2に示すように、UAV1は、駆動部11、測位部12、無線通信部13、撮像部14、及び制御部15等を備える。なお、図示しないが、UAV1は、水平回転翼であるロータ(プロペラ)、各種センサ、物品保持機構、及びUAV1の各部へ電力を供給するバッテリ等を備える。UAV1の飛行制御に用いられる各種センサには、気圧センサ、3軸加速度センサ、及び地磁気センサ等が含まれる。各種センサにより検出された検出情報は、制御部15へ出力される。
駆動部11は、モータ及び回転軸等を備える。駆動部11は、制御部15から出力された制御信号に従って駆動するモータ及び回転軸等により複数のロータを回転させる。測位部12は、電波受信機及び高度センサ等を備える。測位部12は、例えば、GNSS(Global Navigation Satellite System)の衛星から発信された電波を電波受信機により受信し、当該電波に基づいてUAV1の水平方向の現在位置(緯度及び経度)を検出する。UAV1の現在位置は、飛行中のUAV1の飛行位置である。なお、UAV1の水平方向の現在位置は、撮像部14により撮像された画像や上記無線基地局から発信された電波に基づいて補正されてもよい。さらに、測位部12は、高度センサによりUAV1の垂直方向の現在位置(高度)を検出してもよい。測位部12により検出された現在位置を示す位置情報は、制御部15へ出力される。
無線通信部13は、通信ネットワークNWを介して行われる通信の制御を担う。撮像部14は、カメラ等を備える。カメラは、UAV1の飛行制御のほか、センサとして第1のセンシングにも用いられる。撮像部14は、カメラの画角に収まる範囲内の実空間を連続的に撮像する。撮像部14により撮像された画像情報は、制御部15へ出力される。なお、第1のセンシングのために、例えば赤外線センサ、レーザセンサ、熱センサ、マイクロフォン、超音波センサ、LiDAR、人感センサ、及び風速センサ等のうち少なくとも何れか1つのセンサ(センサデバイス)がUAV1に備えられてもよい。
制御部15は、プロセッサであるCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、及び不揮発性メモリ等を備える。制御部15は、例えばROMまたは不揮発性メモリに記憶されたセンシングプログラム(プログラムコード群)に従い、撮像部14のカメラ等を用いてUAV1の飛行中に第1のセンシングを行う。制御部15は、第1のセンシングにより得られた第1センシング情報を、UAV1の機体ID(識別情報)とともに、無線通信部13を介して所定時間間隔でサーバ3へ送信する。このとき送信される第1センシング情報は、第1のセンシングに用いられたセンサから出力された生のデータであってもよいし、当該出力された生のデータに基づき実行された解析処理(例えば、物体検出処理等)の結果を示す情報であってもよい。例えば、撮像部14のカメラが第1のセンシングに用いられた場合、第1センシング情報として、画像情報、または画像情報に基づき実行された解析処理の結果を示す情報(例えば、検出された障害物の位置情報)が送信される。この場合の解析処理は、制御部15により実行される。ただし、解析処理機能を有するセンサ(例えば、人感センサ)がUAV1に搭載される場合、当該センサにより解析処理が実行されてもよい。なお、UAV1の飛行中、制御部15は、UAV1の機体IDとともに、UAV1の位置情報を、無線通信部23を介してサーバ3へ定期的に送信してもよい。
また、制御部15は、例えばROMまたは不揮発性メモリに記憶された制御プログラムに従ってUAV1の各種制御を実行する。各種制御には、離陸制御、飛行制御、着陸制御、及び物品受け渡し制御が含まれる。飛行制御及び着陸制御においては、測位部12から取得された位置情報、撮像部14から取得された画像情報、各種センサから取得された検出情報、上記決定ステップにおいて決定された物品受け渡し場所の位置情報、物品の配送先情報、及び予め登録された飛行計画情報(例えば、飛行予定経路を含む)が用いられて、ロータの回転数の制御、UAV1の位置、姿勢及び進行方向の制御が行われる。ここで、物品受け渡し場所の位置情報は、例えばサーバ3から取得される。制御部15は、物品受け渡し場所の位置情報に基づいてUAV1を物品受け渡し場所へ飛行させることができる。また、UAV1の自律的な飛行は、当該UAV1に備えられる制御部15が飛行制御を行うことによる自律飛行に限定されるものではなく、当該UAV1の自律的な飛行には、例えば物品受け渡しシステムS全体として自律制御を行うことによる自律飛行も含まれる。
なお、物品受け渡し場所の位置情報は、UAV1を管理し地面から遠隔操作可能なGCS(Ground Control Station)からが取得されてもよい。この場合、GCSは、物品受け渡し場所の位置情報をサーバ3から取得する。GCSは、例えば、アプリケーションとして通信ネットワークNWに接続可能な操縦端末に搭載されてもよいし、サーバ等によりシステム化されてもよい。制御部15は、オペレータが操作する操縦端末からの指示信号に従って飛行制御を行うこともできる。一方、物品受け渡し制御においては、物品保持機構に保持された物品をUGV2に提供する制御が行われる。これにより、UAV1からUGV2へ物品が受け渡される。或いは、物品受け渡し制御においては、UGV2から提供された物品を物品保持機構により保持する制御が行われる。これにより、UGV2からUAV1へ物品が受け渡される。
1−2.UGV2の構成及び機能概要
次に、図3を参照してUGV2の構成及び機能概要について説明する。図3は、UGV2の概要構成例を示す図である。図3に示すように、UGV2は、駆動部21、測位部22、無線通信部23、撮像部24、及び制御部25等を備える。なお、図示しないが、UGV2は、車輪、物品保持機構、スピーカ、及びUGV2の各部へ電力を供給するバッテリ等を備える。UGV2は、複数の物品を積載可能であってもよい。
駆動部21は、モータ及び回転軸等を備える。駆動部21は、制御部25から出力された制御信号に従って駆動するモータ及び回転軸等により複数の車輪を回転させる。なお、駆動部21は、モータと共に或いはモータに代えて、燃料により駆動するエンジンが備えられてもよい。測位部22は、電波受信機等を備える。測位部22は、例えば、GNSSの衛星から発信された電波を電波受信機により受信し、当該電波に基づいてUGV2の現在位置(緯度及び経度)を検出する。なお、UGV2の現在位置は、撮像部24により撮像された画像に基づいて補正されてもよい。測位部22により検出された現在位置を示す位置情報は、制御部25へ出力される。
無線通信部23は、通信ネットワークNWを介して行われる通信の制御を担う。撮像部24は、カメラ等を備える。カメラは、UGV2の移動制御のほか、センサとして第2のセンシングにも用いられる。撮像部24は、カメラの画角に収まる範囲内の実空間を連続的に撮像する。撮像部24により撮像された画像情報は、制御部25へ出力される。なお、第2のセンシングのために、例えば赤外線センサ、レーザセンサ、熱センサ、マイクロフォン、超音波センサ、LiDAR、人感センサ、及び風速センサ等のうち少なくとも何れか1つのセンサ(センサデバイス)がUGV2に備えられてもよい。
制御部25は、プロセッサであるCPU、ROM、RAM、及び不揮発性メモリ等を備える。制御部25は、例えばROMまたは不揮発性メモリに記憶されたセンシングプログラムに従い、撮像部24のカメラ等を用いて第2のセンシングを行う。制御部25は、第2のセンシングにより得られた第2センシング情報を、UGV2の機体IDとともに、無線通信部23を介して所定時間間隔でサーバ3へ送信する。このとき送信される第2センシング情報は、第2のセンシングに用いられたセンサから出力された生のデータであってもよいし、当該出力された生のデータに基づき実行された解析処理(例えば、物体検出処理等)の結果を示す情報であってもよい。例えば、撮像部24のカメラが第2のセンシングに用いられた場合、第2センシング情報として、画像情報、または画像情報に基づき実行された解析処理の結果を示す情報(例えば、検出された障害物の位置情報)が送信される。この場合の解析処理は、制御部25により実行される。ただし、解析処理機能を有するセンサ(例えば、人感センサ)がUGV2に搭載される場合、当該センサにより解析処理が実行されてもよい。なお、制御部25は、第2センシング情報とともに、UGV2の位置情報を、無線通信部23を介してサーバ3へ送信するとよい。
また、制御部25は、例えばROMまたは不揮発性メモリに記憶された制御プログラムに従ってUGV2の各種制御を実行する。各種制御には、移動制御及び物品受け渡し制御が含まれる。移動制御においては、測位部22から取得された位置情報、撮像部24から取得された画像情報、上記選定ステップにおいて選定された物品受け渡し候補の位置情報、及び物品の配送先情報が用いられて、車輪の回転数の制御、UGV2の位置及び進行方向の制御が行われる。ここで、物品受け渡し候補の位置情報は、例えばサーバ3から取得される。制御部25は、移動制御部として機能し、物品受け渡し候補の位置情報に基づいてUGV2を物品受け渡し候補へ移動させることができる。UGV2の移動制御にしたがってUGV2が物品受け渡し候補に向かって移動している間に物品受け渡し場所が例えばサーバ3により決定される。これにより、より効率良く物品受け渡し場所を決定することが可能となる。ただし、UGV2の移動制御によるUGV2の移動量が0の場合もある。このような場合の例として、UGV2が物品受け渡し候補上にあることで当該物品受け渡し候補が物品受け渡し場所として決定される場合が挙げられる。また、UGV2の自律的な移動には、当該UGV2に備えられる制御部25が移動制御を行うことによる自律移動に限定されるものではなく、当該UGV2の自律的な移動には、例えば物品受け渡しシステムS全体として自律制御を行うことによる自律移動も含まれる。
なお、第2センシング情報に基づく物品受け渡し場所の決定は、制御部25により行われてもよい。この場合、制御部25は、決定された物品受け渡し場所の位置情報を、無線通信部23を介してサーバ3へ送信する。また、制御部25は、第2のセンシングに基づき決定された物品受け渡し場所に対して移動物体の接近が検知された場合、スピーカから警報音(警報)を出力する。移動物体の例として、人、動物、自転車、自動車などが挙げられる。これにより、物品受け渡し場所に接近してくる人等に対して注意を喚起することができ、決定された物品受け渡し場所の安全性を高めることができる。移動物体の接近は、物品受け渡し場所の決定後にも継続して行われる第2のセンシングにより検知することができる。なお、警報出力は、音以外の手段(例えば、光)行われてもよい。一方、物品受け渡し制御においては、UAV1から提供された物品を物品保持機構により保持する制御が行われる。或いは、物品受け渡し制御においては、物品保持機構に保持された物品をUAV1に提供する制御が行われる。
1−3.サーバ3の構成及び機能概要
次に、図4及び図5を参照してサーバ3の構成及び機能概要について説明する。図4は、サーバ3の概要構成例を示す図である。図4に示すように、サーバ3は、通信部31、記憶部32、情報処理部33等を備える。通信部31は、通信ネットワークNWを介して行われる通信の制御を担う。記憶部32は、例えば、ハードディスクドライブ等を備える。記憶部32には、物品受け渡しを管理するための受け渡し管理情報が物品毎に区別されて記憶される。受け渡し管理情報には、例えば、受け渡し対象となる物品の物品ID、物品受け渡しを行うUAV1及びUGV2のそれぞれの機体ID、物品受け渡し候補の位置情報、及び物品受け渡し場所の位置情報等が含まれ、これらの情報が対応付けられる。物品受け渡しを行うUAV1とUGV2のペアは、物品受け渡し前に決定される。なお、物品が配送対象である場合、受け渡し管理情報には、当該物品の配送先情報が含まれてもよい。物品の配信先情報には、例えば、配送先の緯度及び経度が含まれてもよいし、配送先の所在地が含まれてもよい。また、配送先が、集合住宅や集合オフィスなどの建物内の一部屋(一戸)である場合、配送先情報には、当該建物の名称及び配送先となる部屋の部屋番号が含まれるとよい。
また、記憶部32には、過去に行われた受け渡し履歴情報が記憶される。受け渡し履歴情報には、例えば、受け渡しが行われた物品の物品ID、物品受け渡し候補の位置情報、物品受け渡し場所の位置情報、及び物品受け渡し場所の決定時刻等が含まれる。なお、記憶部32には、物品受け渡しエリアの地図データが記憶されてもよい。物品受け渡しエリアは、選定されるべき物品受け渡し候補を含むエリアである。このような地図データは、物品受け渡し候補の選定、物品受け渡し場所の決定に用いられる。
情報処理部33は、プロセッサであるCPU、ROM、RAM、及び不揮発性メモリ等を備える。図5は、情報処理部33における機能ブロック例を示す図である。情報処理部33は、例えばROMまたは不揮発性メモリに記憶されたプログラムに従って、図5に示すように、センシング指示部33a、移動制御指示部33b、センシング情報取得部33c、受け渡し候補選定部33d、受け渡し場所決定部33e、及び受け渡し指示部33fとして機能する。なお、移動制御指示部33bは、移動制御部の一例である。受け渡し候補選定部33dは、選定部の一例である。受け渡し場所決定部33eは、決定部の一例である。
センシング指示部33aは、例えばUAV1が物品受け渡しエリアに接近した場合に、第1センシング指示を、通信部31を介して当該UAV1へ送信する。第1センシング指示は、物品受け渡しエリア内において第1のセンシングをUAV1に実行させる指示メッセージである。なお、センシング指示部33aは、第1センシング指示をUAV1へ送信するとともに、第3センシング指示を、通信部31を介して屋外センサへ送信してもよい。第3センシング指示は、物品受け渡しエリア内において第3のセンシングを屋外センサに実行させる指示メッセージである。また、センシング指示部33aは、例えば物品受け渡し候補が選定された場合に、第2センシング指示を、通信部31を介して物品受け渡しを行うUGV2へ送信する。第2センシング指示は、物品受け渡しエリア内において第2のセンシングをUGV2に実行させる指示メッセージである。なお、センシング指示部33aは、第2センシング指示をUGV2へ送信するとともに、第3センシング指示を、通信部31を介して屋外センサへ送信してもよい。
移動制御指示部33bは、例えば物品受け渡し候補が選定された場合に、選定された物品受け渡し候補の位置情報とともに、移動制御指示を、通信部31を介して物品受け渡しを行うUGV2へ送信する。この移動制御指示は、物品受け渡し候補の位置情報に基づく移動制御をUGV2に実行させる指示メッセージである。なお、物品受け渡し候補が複数選定された場合、移動制御指示には、予め定められた基準に応じた物品受け渡し候補の順にUGV2を移動させる指示が含まれる。予め定められた基準に応じた物品受け渡し候補の順の例として、物品の配送先に近い物品受け渡し候補の順、UGV2の現在位置に近い物品受け渡し候補の順、及び複数の物品受け渡し候補の密集度に応じた移動順序等が挙げられる。また、移動制御指示部33bは、例えば物品受け渡し場所が決定された場合に、決定された物品受け渡し場所の位置情報とともに、移動制御指示を、通信部31を介して物品受け渡しを行うUAV1へ送信する。この移動制御指示は、物品受け渡し場所の位置情報に基づく移動制御をUAV1に実行させる(つまり、物品受け渡し場所へUAV1を飛行させる)指示メッセージである。
センシング情報取得部33cは、第1センシング指示に応じてUAV1により行われた第1のセンシングにより得られた第1センシング情報を、UAV1の機体IDとともに、当該UAV1から例えば所定時間間隔で取得する。また、センシング情報取得部33cは、第2センシング指示に応じてUGV2により行われた第2のセンシングにより得られた第2センシング情報を、UGV2の機体IDとともに、当該UGV2から例えば所定時間間隔で取得する。さらに、センシング情報取得部33cは、第3センシング指示に応じて屋外センサにより行われた第3のセンシングにより得られた第3センシング情報を、当該屋外センサから例えば所定時間間隔で取得してもよい。
受け渡し候補選定部33dは、センシング情報取得部33cにより取得された第1センシング情報に基づいて、1または複数の物品受け渡し候補を選定する。例えば、受け渡し候補選定部33dは、第1センシング情報から抽出された状況(換言すると、センシングにより観測された量)を表すマッピング画像データを時系列的に複数生成する。マッピング画像データは、物品受け渡しエリアに対応しており、マッピング画像データの各点(画素)には緯度及び緯度が対応付けられる。受け渡し候補選定部33dは、生成されたマッピング画像データに基づいて、物品受け渡しに障害となる障害物が地面及び上空に存在しないスペース(換言すると、小エリア)を検索する。そして、受け渡し候補選定部33dは、検索されたスペースまたはスペース内の地点を物品受け渡し候補として選定する。これにより、より安全な物品受け渡し候補を選定することができる。なお、受け渡し候補選定部33dは、選定された物品受け渡し候補の位置情報を取得する。
また、受け渡し候補選定部33dは、センシング情報取得部33cにより取得された第1センシング情報に加えて、センシング情報取得部33cにより取得された第3センシング情報に基づいて、1または複数の物品受け渡し候補を選定するとよい。この場合、受け渡し候補選定部33dは、第1センシング情報から抽出された状況と、第3センシング情報から抽出された状況とを表すマッピング画像データを時系列的に複数生成する。そして、上記と同様、受け渡し候補選定部33dは、生成されたマッピング画像データに基づいて障害物が地面及び上空に存在しないスペースを検索し、検索されたスペースまたはスペース内の地点を物品受け渡し候補として選定し、選定された物品受け渡し候補の位置情報を取得する。
なお、上記障害物には、人、動物、建物、及びその他の物が含まれる。障害物であるかどうかの判断は、例えば、予め登録された障害物候補のデータが参照されることで行われる。車両が走行する道路や人が歩行する歩道等についても障害物として登録されてもよい。また、受け渡し候補選定部33dは、生成されたマッピング画像データに対して、緯度及び経度が対応する地図データを参照することで、建物、道路、及び歩道等を、上記検索される対象から除外してもよい。また、受け渡し候補選定部33dは、少なくともUGV2が停止可能な面積を有し、且つUGV2が所定時間(例えば、物品受け渡しが完了するまでの時間)以上停止可能なスペースを検索するとよい。これにより、より安全な物品受け渡し候補を選定することができる。
さらに、受け渡し候補選定部33dは、センシング情報取得部33cにより取得された第1センシング情報(または、第1センシング情報及び第3センシング情報)に加えて、過去に行われた受け渡し履歴に基づいて、物品受け渡し候補を選定してもよい。これにより、過去の選定実績を踏まえた最適な物品受け渡し候補を選定することができる。この場合、例えば、受け渡し候補選定部33dは、記憶部32に記憶された履歴情報を参照し、過去に選定された物品受け渡し候補の中から、物品受け渡し場所として決定されなかった物品受け渡し候補を除外(つまり、上記検索される対象から除外)して物品受け渡し候補を選定する。このとき除外される物品受け渡し候補は、物品受け渡し場所として決定されなかった頻度が閾値以上である物品受け渡し候補であってもよい。また、受け渡し候補選定部33dにより参照される履歴情報は、物品受け渡し候補を選定する際の時刻(現在時刻)を含む所定時間帯(例えば、9:00〜12:00)内に物品受け渡し場所が決定された履歴情報であってもよい。これは、例えば、時間帯によって人通り等の状況が異なることを考慮したものである。
なお、物品受け渡し候補の選定に用いられる第1センシング情報、及び第3センシング情報には、主として、カメラにより撮像された画像情報が含まれることが望ましいが、例えば、赤外線センサ、レーザセンサ、熱センサ、マイクロフォン、超音波センサ、LiDAR、または人感センサにより検出された検出情報が含まれるように構成すれば、特に、人や動物の検出精度を高めることが可能となり、その結果、より好適な物品受け渡し候補を選定することができる。また、物品受け渡し候補の選定に用いられる第3センシング情報には、主として、カメラにより撮像された画像情報が含まれることが望ましいが、例えば、風速センサにより検出された検出情報が含まれるように構成すれば、物品受け渡し候補の選定条件として地面から近い部分(例えば、地面から数m以内の部分)の風速を条件とすることができる。これにより、風速が閾値以上のスペース(例えば、ビル風の強いスペース)を上記検索される対象から除外することができるので、より好適な物品受け渡し候補を選定することができる。
受け渡し場所決定部33eは、センシング情報取得部33cにより取得された第2センシング情報に基づいて、受け渡し候補選定部33dにより選定された物品受け渡し候補を基準として1つの物品受け渡し場所を決定する。図6〜図8は、物品受け渡し候補を基準として物品受け渡し場所が決定される例1〜3を示す概念図である。図6の例では、複数の物品受け渡し候補Cxの中から1つの物品受け渡し場所Deが決定されている。なお、複数の物品受け渡し候補Cxは、その一部が互いに重なり合ってもよい。一方、図7の例では、1つの物品受け渡し候補Cxから当該物品受け渡し候補Cxより狭い範囲(面積)の物品受け渡し場所Deが決定されている。一方、図8の例では、1つの物品受け渡し候補Cxからαm離れた場所にある物品受け渡し場所Deが決定されている。
ここで、物品受け渡し場所の決定方法の具体例を説明する。例えば、受け渡し場所決定部33eは、第2センシング情報から抽出された状況を表すマッピング画像データを時系列的に複数生成する。このマッピング画像データの各点には緯度及び緯度が対応付けられる。そして、受け渡し場所決定部33eは、生成されたマッピング画像データに基づいて、図6に示すように、複数の物品受け渡し候補Cxの中から当該物品受け渡し候補Cxと同等の範囲で障害物が地面及び上空に存在しないスペースを検索する。或いは、受け渡し場所決定部33eは、生成されたマッピング画像データに基づいて、図7に示すように、1つの物品受け渡し候補Cxより狭い範囲で障害物が地面及び上空に存在しないスペースを検索する。或いは、受け渡し場所決定部33eは、生成されたマッピング画像データに基づいて、図8に示すように、1つの物品受け渡し候補Cxからαm離れた範囲で障害物が地面及び上空に存在しないスペースを検索する。そして、受け渡し場所決定部33eは、図6〜図8に示すように、検索されたスペース、またはスペース内の地点を物品受け渡し場所Deとして決定する。これにより、より安全な物品受け渡し場所を決定することができる。なお、受け渡し場所決定部33eは、決定された物品受け渡し場所Deの位置情報を取得する。
また、受け渡し場所決定部33eは、センシング情報取得部33cにより取得された第2センシング情報に加えて、センシング情報取得部33cにより取得された第3センシング情報に基づいて、上記物品受け渡し候補Cxを基準として1つの物品受け渡し場所Deを決定するとよい。この場合、受け渡し場所決定部33eは、第2センシング情報から抽出された状況と、第3センシング情報から抽出された状況とを表すマッピング画像データを時系列的に複数生成する。そして、受け渡し場所決定部33eは、生成されたマッピング画像データに基づき、図6〜図8に示すように、物品受け渡し候補Cxを基準として障害物が地面及び上空に存在しないスペースを検索し、検索されたスペースまたはスペース内の地点を物品受け渡し場所Deとして決定し、決定された物品受け渡し場所Deの位置情報を取得する。
また、受け渡し場所決定部33eは、センシング情報取得部33cにより取得された第2センシング情報(または、第2センシング情報及び第3センシング情報)に加えて、センシング情報取得部33cにより取得された第1センシング情報に基づいて、上記物品受け渡し候補Cxを基準として1つの物品受け渡し場所Deを決定してもよい。この場合、受け渡し場所決定部33eは、第2センシング情報から抽出された状況と、第1センシング情報から抽出された状況とを表すマッピング画像データを時系列的に複数生成する。そして、受け渡し場所決定部33eは、生成されたマッピング画像データに基づき、図6〜図8に示すように、上記物品受け渡し候補Cxを基準として障害物が地面及び上空に存在しないスペースを検索し、検索されたスペースまたはスペース内の地点を物品受け渡し場所Deとして決定し、決定された物品受け渡し場所Deの位置情報を取得する。また、UGV2が移動している間に状況が変化する可能性があるため、受け渡し場所決定部33eは、UGV2の移動後の時点で改めて第1のセンシングを行い、その第1センシング情報を用いることで物品受け渡し場所を決定することで精度を高めるように構成してもよい。
なお、受け渡し場所決定部33eは、受け渡し候補選定部33dと同様、生成されたマッピング画像データに対して、緯度及び経度が対応する地図データを参照することで、建物、道路、歩道、及び立入禁止区画等を、上記検索される対象から除外してもよい。また、受け渡し場所決定部33eは、少なくともUGV2が停止可能な面積を有し、且つUGV2が所定時間(例えば、物品受け渡しが完了するまでの時間)以上停止可能なスペースを検索するとよい。これにより、より安全な物品受け渡し場所を決定することができる。
さらに、受け渡し場所決定部33eは、センシング情報取得部33cにより取得された第2センシング情報(または、第1センシング情報と第3センシング情報との少なくとも何れか一方)に加えて、過去に行われた受け渡し履歴に基づいて、物品受け渡し場所を決定してもよい。この場合、例えば、受け渡し場所決定部33eは、記憶部32に記憶された履歴情報を参照し、過去に選定された物品受け渡し候補の中から、物品受け渡し場所として決定されなかった物品受け渡し候補を除外して物品受け渡し場所を決定する。このとき除外される物品受け渡し候補は、物品受け渡し場所として決定されなかった頻度が閾値以上である物品受け渡し候補であってもよい。また、受け渡し場所決定部33eにより参照される履歴情報は、物品受け渡し場所を決定する際の時刻(現在時刻)を含む所定時間帯(例えば、9:00〜12:00)内に物品受け渡し場所が決定された履歴情報であってもよい。
なお、物品受け渡し場所の決定に用いられる第2センシング情報、及び第3センシング情報(または、第1センシング情報)には、主として、カメラにより撮像された画像情報が含まれることが望ましいが、例えば、赤外線センサ、レーザセンサ、熱センサ、マイクロフォン、超音波センサ、LiDAR、または人感センサにより検出された検出情報が含まれるように構成すれば、特に、人や動物の検出精度を高めることが可能となり、その結果、より好適な物品受け渡し場所を決定することができる。また、物品受け渡し場所の決定に用いられる第2センシング情報及び第3センシング情報には、主として、カメラにより撮像された画像情報が含まれることが望ましいが、例えば、風速センサにより検出された検出情報が含まれるように構成すれば、物品受け渡し場所の決定条件として地面から近い部分(例えば、地面から数m以内の部分)の風速を条件とすることができる。これにより、風速が閾値以上のスペース(例えば、ビル風の強いスペース)を上記検索される対象から除外することができるので、より好適な物品受け渡し場所を決定することができる。
受け渡し指示部33fは、受け渡し場所決定部33eにより決定された物品受け渡し場所にUAV1及びUGV2が到着し、物品受け渡し準備が完了した場合に、物品受け渡し指示を、通信部31を介して物品受け渡しを行うUAV1へ送信する。物品受け渡し指示は、決定された物品受け渡し場所においてUAV1とUGV2との間で物品受け渡しを行わせる指示メッセージである。
2.物品受け渡しシステムSの動作
次に、図9〜図11を参照して、本実施形態に係る物品受け渡しシステムSの動作の一例について説明する。図9は、UAV1が物品受け渡しエリアArに接近してから物品受け渡し場所が決定されるまでにおける物品受け渡しシステムSの動作の一例を示すシーケンス図である。図10は、物品受け渡し場所が決定されてから物品が配送されるまでにおける物品受け渡しシステムSの動作の一例を示すシーケンス図である。図11は、物品受け渡しエリアAr内の状況を示す概念図である。なお、以下の動作例では、UAV1からUGV2へ物品が受け渡された後、当該物品がUGV2により配送先へ配送される場合を想定する。
図9において、UAV1は、物品受け渡しエリアArの例えば数十m以内に接近すると、接近通知をサーバ3へ送信する(ステップS1)。この接近通知は、UAV1が物品受け渡しエリアArに接近したことを示す接近情報である。なお、物品受け渡しエリアArの位置情報は、例えば、飛行計画情報における飛行予定経路中に示される。
次いで、サーバ3は、UAV1からの接近通知を受信すると、例えば物品受け渡しエリアArの近傍にある配送機置場に配備された複数のUGV2の中から利用可能なUGV2を選択する(ステップS2)。これにより、物品受け渡しを行うUAV1とUGV2のペアが決定され、UAV1の機体IDとUGV2の機体IDとが紐づけられる。次いで、サーバ3は、物品受け渡しエリアArの位置情報とともに、UGV2を物品受け渡しエリアArへ移動させる移動制御指示を、ステップS2で選択されたUGV2へ送信する(ステップS3)。
次いで、UGV2は、サーバ3からの移動制御指示を受信すると、物品受け渡しエリアArの位置情報にしたがって、配送機置場から物品受け渡しエリアArへ移動する(ステップS4)。なお、UGV2が既に物品受け渡しエリアArにある場合、UGV2はその場で待機する。
次いで、サーバ3は、第1センシング指示をUAV1へ送信する(ステップS5)。さらに、サーバ3は、第3センシング指示を屋外センサへ送信する(ステップS6)。なお、物品受け渡しエリアAr内に複数の屋外センサが設置されている場合、サーバ3は、それぞれの屋外センサへ第3センシング指示を送信してもよい。
次いで、UAV1は、サーバ3からの第1センシング指示を受信すると、物品受け渡しエリアAr内において第1のセンシングを開始する(ステップS7)。第1のセンシングは、例えば、物品の受け渡しが完了するまで継続される。なお、第1のセンシングは、物品受け渡しエリアArの上空において移動しながら行われてもよいし、ホバリングしながら行われてもよい。次いで、UAV1は、第1のセンシングにより得られた第1センシング情報を、UAV1の機体IDとともにサーバ3へ送信する(ステップS8)。
一方、屋外センサは、サーバ3からの第3センシング指示を受信すると、物品受け渡しエリアAr内において第3のセンシングを開始する(ステップS9)。第3のセンシングは、例えば、物品受け渡しが完了するまで継続される。次いで、屋外センサは、第3のセンシングにより得られた第3センシング情報をサーバ3へ送信する(ステップS10)。
次いで、サーバ3は、UAV1からの第1センシング情報を受信し、且つ、屋外センサからの第1センシング情報を受信することで、例えば所定時間範囲の第1センシング情報及び第3センシング情報を取得すると、取得された第1センシング情報及び第3センシング情報に基づいて、上述したように、物品受け渡し候補を選定する(ステップS11)。
図11は、複数の物品受け渡し候補C1〜C17が選定された例を示している。図11の例では、建物B1〜B3、人H、木T、道路R、ベンチB、池P、及び立入禁止区画L等が障害物として判断され、当該障害物が存在するスペース(つまり、障害物がある場所及びその近傍範囲)は物品受け渡し候補として選定されていない。なお、図11の例では、物品受け渡し候補C1〜C17の面積は一律になっているが、物品受け渡し候補C1〜C17の面積は異なっていてもよい。
次いで、サーバ3は、物品受け渡し候補が複数選定されたか否かを判定する(ステップS12)。物品受け渡し候補が複数選定されないと判定された場合(ステップS12:NO)、サーバ3は、ステップS11で選定された物品受け渡し候補の位置情報とともに、UGV2を物品受け渡し候補へ移動させる移動制御指示、及び第2センシング指示をUGV2へ送信する(ステップS13)。
一方、物品受け渡し候補が複数選定されたと判定された場合(ステップS12:YES)、サーバ3は、予め定められた基準に応じた物品受け渡し候補の移動順序を決定する(ステップS14)。そして、サーバ3は、ステップS11で選定された複数の物品受け渡し候補のそれぞれの位置情報とともに、ステップS14で決定された移動順序でUGV2を物品受け渡し候補へ移動させる移動制御指示、及び第2センシング指示をUGV2へ送信する(ステップS15)。
次いで、UGV2は、サーバ3からの移動制御指示及び第2センシング指示を受信すると、物品受け渡し候補の位置情報にしたがって、ステップS11で選定された物品受け渡し候補へ移動するとともに、物品受け渡しエリアAr内において第2のセンシングを開始する(ステップS16)。つまり、UGV2の周囲(上空を含む)がセンシングされる。第2のセンシングは、例えば、物品受け渡しが完了するまで継続される。次いで、UGV2は、第2のセンシングにより得られた第2センシング情報を、UGV2の機体IDとともにサーバ3へ送信する(ステップS17)。
なお、受信された移動制御指示に移動順序が示される場合、UGV2は、当該移動順序で物品受け渡し候補を移動しながら第2のセンシングを行うことになる。これにより、より効率良く物品受け渡し場所を決定することが可能となる。例えば、図11において物品の配送先が建物B1内にあり、決定された移動順序が当該配送先に近い物品受け渡し候補の順である場合、UGV2は、物品の配送先に近い物品受け渡し候補の順に移動する。この場合、UGV2は、図11において、初めに物品受け渡し候補C1またはC2へ移動することになる。これにより、より迅速に物品を配送先に届けることが可能となる。また、決定された移動順序がUGV2の現在位置に近い物品受け渡し候補の順である場合、UGV2は、自身の現在位置に近い物品受け渡し候補の順に移動する。この場合、UGV2は、図11において、初めに物品受け渡し候補C12へ移動することになる。これにより、より迅速に物品受け渡し場所を決定することが可能となる。
また、決定された移動順序が物品受け渡し候補の密集度に応じた移動順序である場合、UGV2は、物品受け渡し候補の密集度に応じた移動順序で移動する。ここで、密集度に応じた移動順序とは、例えば、より密集度が高いエリアを優先することを意味する。例えば、図11において、物品受け渡し候補C6〜C17を含むエリアは、物品受け渡し候補C1及びC2を含むエリア、及び物品受け渡し候補C3〜C5を含むエリアよりも密集度が高い。そのため、この場合、UGV2は、初めに物品受け渡し候補C6〜C17を含むエリアへ移動することになる。従って、より安全性が高いことが推定される物品受け渡し場所を決定することが可能となる。
次いで、サーバ3は、UGV2からの第2センシング情報を受信することで、例えば所定時間範囲の第2センシング情報を取得すると、取得された第2センシング情報に基づいて、上述したように、物品受け渡し場所を決定する(ステップS18)。なお、サーバ3は、屋外センサからも第3センシング情報を取得し、取得された第2センシング情報及び第3センシング情報に基づいて、物品受け渡し場所を決定してもよい。
次に、図10において、サーバ3は、ステップS18で決定された物品受け渡し場所の位置情報とともに、UAV1を物品受け渡し場所へ移動させる移動制御指示をUAV1へ送信する(ステップS19)。さらに、サーバ3は、ステップS18で決定された物品受け渡し場所の位置情報とともに、UGV2を物品受け渡し場所へ移動させる移動制御指示をUGV2へ送信する(ステップS20)。
次いで、UAV1は、サーバ3からの移動制御指示を受信すると、物品受け渡し場所の位置情報にしたがって、当該物品受け渡し場所へ移動する(ステップS21)。次いで、UAV1は、物品受け渡し場所の上空に到着すると、到着通知をサーバ3へ送信する(ステップS22)。この到着通知は、物品受け渡し場所に到着したことを示す到着情報である。
一方、UGV2は、サーバ3からの移動制御指示を受信すると、物品受け渡し場所の位置情報にしたがって、当該物品受け渡し場所へ移動する(ステップS23)。なお、UGV2が既に物品受け渡し場所にある場合、UGV2はその場に留まる。そして、UGV2は、物品受け渡し場所に到着すると、到着通知をサーバ3へ送信する(ステップS24)。
次いで、サーバ3は、UAV1及びUGV2から到着通知を受信すると、物品受け渡し準備指示をUAV1へ送信するとともに(ステップS25)、物品受け渡し準備指示をUGV2へ送信する(ステップS26)。
次いで、UAV1は、サーバ3からの物品受け渡し準備指示を受信すると、物品受け渡し準備を行う(ステップS27)。例えば、物品受け渡し準備において、UAV1は、UGV2上への着陸を行う。そして、UAV1は、物品受け渡し準備が完了したか否かを判定する(ステップS28)。例えば、UGV2上への着陸が完了した場合に、物品受け渡し準備が完了したと判定される。
一方、UGV2は、サーバ3からの物品受け渡し準備指示を受信すると、物品受け渡し準備を行う(ステップS29)。例えば、物品受け渡し準備において、UGV2は、UGV2の上部に設けられた物品搬入口を開口することでUAV1から物品受け取り可能な状態にセットする。そして、UGV2は、物品受け渡し準備が完了したか否かを判定する(ステップS30)。例えば、物品受け取り可能な状態にセットされ、周囲の安全が確認された場合に、物品受け渡し準備が完了したと判定される。
UGV2は、物品受け渡し準備が完了するまでの間に、物品受け渡し場所に対して移動物体(例えば、人)の接近を検知(つまり、第2のセンシングにより検知)した場合(ステップS31:YES)、警報音をスピーカから出力する(ステップS32)。次いで、UGV2は、接近が検知された移動物体による危険エリア内(例えば、物品受け渡し場所から所定距離以内)への侵入を検知した場合(ステップS33:YES)、当該移動物体に対して退去指示音声をスピーカから出力する(ステップS34)とともに、侵入通知をサーバ3へ送信する(ステップS35)。この侵入通知は、移動物体が危険エリア内に侵入したことを示す侵入情報である。
次いで、サーバ3は、UGV2から侵入通知を受信すると、一時停止指示をUAV1へ送信する(ステップS36)。UAV1は、物品受け渡し準備が完了するまでの間に、サーバ3からの一時停止指示を受信すると、UGV2上への着陸を一時停止する(ステップS37)。このとき、UAV1は、その場でホバリングしてもよし、安全高度へ移動してもよい。
次いで、UGV2は、移動物体が危険エリアから退去したと判断した場合(ステップS38:YES)、退去通知をサーバ3へ送信する(ステップS39)。この退去通知は、移動物体が危険エリアから退去したことを示す退去情報である。次いで、サーバ3は、UGV2から退去通知を受信すると、一時停止解除指示をUAV1へ送信する(ステップS40)。次いで、UAV1は、サーバ3からの一時停止解除指示を受信すると、UGV2上への着陸を再開する(ステップS41)。
そして、UAV1は、物品受け渡し準備が完了したと判定した場合(ステップS28:YES)、準備完了通知をサーバ3へ送信する(ステップS42)。この準備完了通知は、物品受け渡し準備が完了したことを示す準備完了情報である。一方、UGV2は、物品受け渡し準備が完了したと判定した場合(ステップS30:YES)、準備完了通知をサーバ3へ送信する(ステップS43)。
次いで、サーバ3は、UAV1及びUGV2から準備完了通知を受信すると、物品受け渡し指示をUAV1へ送信するとともに(ステップS44)、物品受け渡し指示をUGV2へ送信する(ステップS45)。なお、サーバ3は、物品受け渡し指示とともに、UAV1により運搬される物品の配送先情報をUGV2へ送信してもよい。或いは、UGV2は、着陸したUAV1または当該UAV1に搭載された物品から配送先情報を取得してもよい。例えば、UAV1または物品の下部には、物品の配送先情報を含む2次元コード(例えば、QRコード(登録商標))が表示されてもよいし、物品の配送先情報を記憶するICタグが貼り付けられてもよい。
次いで、UAV1は、サーバ3からの物品受け渡し指示を受信すると、物品保持機構に保持された物品を切り離すことでUGV2へ物品を提供する(ステップS46)。一方、UGV2は、UAV1から提供された物品を物品搬入口から受け取る(ステップS47)。こうして、物品受け渡し場所においてUAV1とUGV2との間で物品受け渡しが完了する。
図12は、物品受け渡し場所においてUAV1がUGV2上に着陸している状態を示す図である。図12に示すUGV2の上部には、3つの物品搬入口Op1〜Op3が設けられており、それぞれの物品搬入口Op1〜Op3から物品を搬入することが可能なっている。図12の例では、UGV2の物品搬入口Op1が開口された後、UAV1に保持された物品が切り離されることで物品搬入口Op1から当該物品が搬入及び保持される。
次いで、UAV1は、物品受け渡しが完了すると、例えば出発地点へ帰還する(ステップS48)。一方、UGV2は、物品受け渡しが完了すると、物品の配送先情報に基づいて地上を自律的に移動して物品を配送先へ配送する(ステップS49)。こうして、UAV1により運搬された物品は、UGV2により配送先に届けられる。なお、配送先は、物品の受取人の住居やオフィスの玄関であってもよいし、当該受取人の住居やオフィスの玄関から離れた場所に設置された宅配ボックス(物品を一時的に保管するための保管ボックス)であってもよい。或いは、配送先は、物品の受取人自体であってもよい。
以上説明したように、上記実施形態によれば、物品受け渡しシステムSは、UAV1が飛行中に行う第1のセンシングにより得られた第1センシング情報に基づいて物品受け渡し候補を選定し、当該選定された物品受け渡し候補の位置情報に基づいてUGV2の移動制御を実行し、UGV2が行う第2のセンシングにより得られた第2センシング情報に基づいて上記選定された物品受け渡し候補を基準として物品受け渡し場所を決定するように構成したので、専用の受け渡し施設が存在しない場合であっても、UAV1とUGV2との間の物品受け渡しを安全に行うことが可能な受け渡し場所を確保することができ、UAV1とUGV2との間の物品受け渡しを、より安全な物品受け渡し場所で行わせることができる。また、専用の受け渡し施設を設置するためのコストを削減することができる。
なお、上記動作例では、UAV1からUGV2へ物品が受け渡される例を示したが、UGV2からUAV1へ物品が受け渡されてもよい。この場合も、上記動作例における上記ステップS1〜S45の動作が同様に行われる。ただし、UGV2は、上記ステップS29の物品受け渡し準備において、UGV2の上部に設けられた物品搬入口(物品搬出口)を開口することで運搬する物品を提供可能な状態にセットする。そして、UGV2は、物品を保持する保持テーブル(載置テーブル)を上方にスライドさせることで当該物品を物品搬出口から突出させる。これにより、当該物品が提供される。一方、UAV1は、UGV2の保持テーブルにおいて提供された物品を例えば物品保持用フックにより保持する。こうして、物品受け渡し場所においてUAV1とUGV2との間で物品受け渡しが完了する。その後、UAV1は、物品の配送先情報に基づいて自律的に飛行することで物品を配送先へ配送する。一方、UGV2は、例えば配送機置場へ帰還する。
また、上記動作例では、UAV1がUGV2に着陸することで物品受け渡しが行われる例を示したが、例えば、UAV1に搭載されたリールを用いる受け渡し方法で物品受け渡しが行われてもよい。UAV1からUGV2に物品が受け渡される場合、UAV1は、UGV2の上空をホバリングしている状態で、リールのワイヤをUGV2方向に伸ばすことで、当該ワイヤの先端にある物品保持用フックにより保持された物品を垂直に降下させる。そして、UAV1は、当該物品がUGV2に到達(物品受け渡し準備が完了)したときに当該物品を切り離す。これによりUGV2の物品搬入口から当該物品が搬入される。一方、UGV2からUAV1へ物品が受け渡される場合、UAV1は、UGV2の上空をホバリングしている状態で、リールのワイヤをUGV2方向に伸ばすことで、当該ワイヤの先端にある物品保持用フックを垂直に降下させる。そして、UAV1は、当該物品保持用フックがUGV2に到達(物品受け渡し準備が完了)したときにUGV2の保持テーブルにおいて提供された物品を当該物品保持用フックにより保持し、その後、リールのワイヤを巻き取る。このように、リールを用いる受け渡し方法で物品受け渡しが行われる場合であっても、少なくとも上記第2のセンシングを通じてUGV2の上空にリールのワイヤに接触するような障害物が存在しない物品受け渡し場所が決定されているので、安全な物品受け渡しを行うことができる。
また、上記動作例では、物品受け渡し候補を選定する処理及び物品受け渡し場所を決定する処理がサーバ3により実行される例を示したが、これらの処理はUAV1またはUGV2により行われるように構成してもよい。このような構成では、UAV1とUGV2とは無線通信により各種情報をやり取りする。また、物品受け渡し候補を選定する処理と、物品受け渡し場所を決定する処理とがそれぞれ別々の装置により実行(例えば、物品受け渡し候補を選定する処理がUAV1により実行、物品受け渡し場所を決定する処理がUGV2により実行)されてもよい。
また、上記実施形態においては、本発明の一実施形態に係る物品受け渡しシステム(換言すると、当該システムSに含まれる1以上のコンピュータ)により実行される「物品受け渡し場所の決定方法」に対して適用した場合について説明したが、本発明は、UAV1がUGV2に着陸するための着陸場所の決定方法に対しても適用可能である。この着陸場所の決定方法は、着陸システム(換言すると、当該システムSに含まれる1以上のコンピュータ)により実行されるものであって、UAV1が飛行中に行う第1のセンシングにより得られた第1センシング情報に基づいて、UAV1がUGV2上に着陸するための着陸場所の候補を選定する選定ステップと、選定された候補の情報に基づいて、UGV2の移動制御を実行する制御ステップと、UGV2が行う第2のセンシングにより得られた第2センシング情報に基づいて、選定された候補を基準として着陸場所を決定する決定ステップと、を含むように構成される。このような構成によれば、専用の着陸施設が存在しない場合であっても、UAV1がUGV2上に安全に着陸できる着陸場所を確保することができ、また、専用の着陸施設を設置するためのコストを削減することができる。これにより、例えば、UGV2が大容量バッテリを備え、当該UGV2上に着陸したUAV1へ安全に給電を行う(着陸した時にコネクタが接続されて給電されてもよいし、非接触給電であってもよい)ことができる。なお、このような着陸場所の決定方法においては、上記実施形態において記載される「物品受け渡し」及び「受け渡し」を「着陸」に読み替える(例えば、「物品受け渡し候補」を「着陸候補」に、「物品受け渡し場所」を「着陸場所」に、「物品受け渡しに障害となる障害物」を「着陸に障害となる障害物」に、「過去に行われた受け渡し履歴」を「過去に行われた着陸履歴」に、それぞれ読み替える)ことで、上記実施形態で行われる各処理が適用される。
(付記)
上記決定ステップにおいては、上記着陸候補を基準としてUGV2が所定時間以上停止可能なスペースを検索し、検索されたスペースまたはスペース内の地点を上記着陸場所として決定してもよい。また、上記決定ステップにおいては、上記着陸候補を基準として、着陸に障害となる障害物が地上及び上空に存在しないスペースを検索し、検索されたスペースまたはスペース内の地点を上記着陸場所として決定してもよい。また、上記決定ステップにおいては、UGV2の移動制御にしたがってUGV2が移動している間に上記第2のセンシングにより得られた第2センシング情報に基づいて、上記着陸場所を決定してもよい。また、上記決定ステップにおいては、上記第2のセンシングにより得られた第2センシング情報に加えて、地上に設置されたセンサが行う第3のセンシングにより得られた第3センシング情報に基づいて、上記着陸場所を決定してもよい。また、上記決定ステップにおいては、上記第2のセンシングにより得られた第2センシング情報に加えて、過去に行われた着陸履歴に基づいて、上記着陸場所を決定してもよい。
また、上記選定ステップにおいては、UGV2が所定時間以上停止可能なスペースを検索し、検索されたスペースまたはスペース内の地点を上記着陸候補として選定してもよい。また、上記選定ステップにおいては、着陸に障害となる障害物が地上及び上空に存在しないスペースを検索し、検索されたスペースまたはスペース内の地点を上記着陸候補として選定してもよい。また、上記選定ステップにおいては、上記第1のセンシングにより得られた第1センシング情報に加えて、地上に設置されたセンサが行う第3のセンシングにより得られた第3センシング情報に基づいて、上記着陸候補を選定してもよい。また、上記選定ステップにおいては、上記第1のセンシングにより得られた第1センシング情報に加えて、過去に行われた着陸履歴に基づいて、上記着陸候補を選定してもよい。また、上記選定ステップにおいては、上記第1のセンシングにより得られた第1センシング情報に基づいて、上記着陸候補を複数選定し、上記制御ステップにおいては、予め定められた基準に応じた上記着陸候補の順にUGV2を移動させてもよい。予め定められた基準に応じた上記着陸候補の順の例として、物品の配送先に近い上記着陸候補の順、UGV2の現在位置に近い上記着陸候補の順、及び複数の上記着陸候補の密集度に応じた移動順序が挙げられる。また、上記着陸場所に対して移動物体の接近が検知された場合、警報を出力してもよい。
なお、上記実施形態は本発明の一実施形態であり、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で上記実施形態から種々構成等に変更を加えてもよく、その場合も本発明の技術的範囲に含まれる。
1 UAV
2 UGV
3 サーバ
11,21 駆動部
12,22 測位部
13,23 無線通信部
14,24 撮像部
15,25 制御部
31 通信部
32 記憶部
33 情報処理部
33a センシング指示部
33b 移動制御指示部
33c センシング情報取得部
33d 受け渡し候補選定部
33e 受け渡し場所決定部
33f 受け渡し指示部
S 物品受け渡しシステム

Claims (1)

  1. 無人地上機を制御する制御部を含むシステムにより実行される制御方法であって、
    無人航空機と前記無人地上機との間で行われる物品受け渡し場所の候補を選定する選定ステップと、
    前記候補の情報に基づいて、前記無人地上機の移動制御を実行する制御ステップと、
    を含むことを特徴とする制御方法。
JP2019227485A 2019-12-17 2019-12-17 制御方法、及び物品受け渡しシステム Active JP7280174B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019227485A JP7280174B2 (ja) 2019-12-17 2019-12-17 制御方法、及び物品受け渡しシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019227485A JP7280174B2 (ja) 2019-12-17 2019-12-17 制御方法、及び物品受け渡しシステム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019088058A Division JP6637209B1 (ja) 2019-05-08 2019-05-08 制御方法、物品受け渡しシステム、着陸システム、及び情報処理装置

Publications (3)

Publication Number Publication Date
JP2020090396A true JP2020090396A (ja) 2020-06-11
JP2020090396A5 JP2020090396A5 (ja) 2022-01-13
JP7280174B2 JP7280174B2 (ja) 2023-05-23

Family

ID=71012353

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019227485A Active JP7280174B2 (ja) 2019-12-17 2019-12-17 制御方法、及び物品受け渡しシステム

Country Status (1)

Country Link
JP (1) JP7280174B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022057822A (ja) * 2020-09-30 2022-04-11 トヨタ自動車株式会社 端末プログラム、無人航空機、及び情報処理装置
JP2022096877A (ja) * 2020-12-18 2022-06-30 トヨタ自動車株式会社 配送システム
WO2022162850A1 (ja) * 2021-01-29 2022-08-04 日本電気株式会社 飛行体、管制システム、飛行体識別方法及びコンピュータ可読媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170023947A1 (en) * 2015-07-26 2017-01-26 John Benjamin Mcmillion Autonomous cleaning system
JP2017105242A (ja) * 2015-12-07 2017-06-15 高木 賀子 無人飛行体を用いた輸送システム
WO2017195325A1 (ja) * 2016-05-12 2017-11-16 株式会社プロドローン 配送状況検知装置、配送状況検知システム、及び無人機
WO2017198696A2 (en) * 2016-05-18 2017-11-23 Unmanned Systems Ltd. Intelligent autonomous drone fleet management
JP2018097444A (ja) * 2016-12-09 2018-06-21 アイシン・エィ・ダブリュ株式会社 荷物配達システムおよび荷物配達プログラム
JP2018527488A (ja) * 2015-05-22 2018-09-20 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh 特に物品送付物の引渡しのために、自動車の室内へのアクセスを許可するための方法及び装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018527488A (ja) * 2015-05-22 2018-09-20 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh 特に物品送付物の引渡しのために、自動車の室内へのアクセスを許可するための方法及び装置
US20170023947A1 (en) * 2015-07-26 2017-01-26 John Benjamin Mcmillion Autonomous cleaning system
JP2017105242A (ja) * 2015-12-07 2017-06-15 高木 賀子 無人飛行体を用いた輸送システム
WO2017195325A1 (ja) * 2016-05-12 2017-11-16 株式会社プロドローン 配送状況検知装置、配送状況検知システム、及び無人機
WO2017198696A2 (en) * 2016-05-18 2017-11-23 Unmanned Systems Ltd. Intelligent autonomous drone fleet management
JP2018097444A (ja) * 2016-12-09 2018-06-21 アイシン・エィ・ダブリュ株式会社 荷物配達システムおよび荷物配達プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022057822A (ja) * 2020-09-30 2022-04-11 トヨタ自動車株式会社 端末プログラム、無人航空機、及び情報処理装置
CN114326779A (zh) * 2020-09-30 2022-04-12 丰田自动车株式会社 非临时计算机可读介质、无人航空器以及信息处理装置
JP7363733B2 (ja) 2020-09-30 2023-10-18 トヨタ自動車株式会社 端末プログラム、無人航空機、及び情報処理装置
JP2022096877A (ja) * 2020-12-18 2022-06-30 トヨタ自動車株式会社 配送システム
JP7355725B2 (ja) 2020-12-18 2023-10-03 トヨタ自動車株式会社 配送システム
WO2022162850A1 (ja) * 2021-01-29 2022-08-04 日本電気株式会社 飛行体、管制システム、飛行体識別方法及びコンピュータ可読媒体

Also Published As

Publication number Publication date
JP7280174B2 (ja) 2023-05-23

Similar Documents

Publication Publication Date Title
WO2020115902A1 (ja) 物品受け渡し場所の決定方法、着陸場所の決定方法、物品受け渡しシステム、及び情報処理装置
AU2018311702B2 (en) Model for determining drop-off spot at delivery location
US12037117B2 (en) Unmanned aerial vehicle and payload delivery system
AU2020289790B2 (en) Drop-off location planning for delivery vehicle
US20180373269A1 (en) Systems and methods using a backup navigational tool for unmanned aerial vehicles delivering merchandise
JP7280174B2 (ja) 制御方法、及び物品受け渡しシステム
KR101846318B1 (ko) 무인항공기를 이용한 물건과 인력 관리시스템
JP6775091B2 (ja) 配送方法、情報処理装置、及び配送システム
JP6712682B1 (ja) 配置場所の決定方法、輸送システム、及び情報処理装置
EP3761136B1 (en) Control device, mobile body, and program
JP6637209B1 (ja) 制御方法、物品受け渡しシステム、着陸システム、及び情報処理装置
TWI813077B (zh) 行駛控制系統、控制方法、及控制裝置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230511

R150 Certificate of patent or registration of utility model

Ref document number: 7280174

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150