JP2023081288A - ナビゲーション装置、およびナビゲーション方法 - Google Patents

ナビゲーション装置、およびナビゲーション方法 Download PDF

Info

Publication number
JP2023081288A
JP2023081288A JP2022156883A JP2022156883A JP2023081288A JP 2023081288 A JP2023081288 A JP 2023081288A JP 2022156883 A JP2022156883 A JP 2022156883A JP 2022156883 A JP2022156883 A JP 2022156883A JP 2023081288 A JP2023081288 A JP 2023081288A
Authority
JP
Japan
Prior art keywords
vehicle
unit
communication device
image data
smartphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022156883A
Other languages
English (en)
Inventor
彰 松原
Akira Matsubara
昌宏 脊尾
Masahiro Seo
晴子 寺井
Haruko Terai
厳太朗 竹田
Gentaro Takeda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2023081288A publication Critical patent/JP2023081288A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

【課題】通信機能を有する車載装置が車両に搭載されていない場合であっても、車両に関する情報を、当該車両の運転者の通信デバイスに提供する。【解決手段】本開示に係るナビゲーション装置は、受信部、画像データ取得部、特定部、認識部、対応付け部、および送信部を備える。受信部は、通信デバイスから当該通信デバイスの位置情報を受信する。画像データ取得部は、車両が走行可能な空間が撮影された画像データを取得する。特定部は、位置情報に基づいて通信デバイスの移動方向および移動速度を特定する。認識部は、画像データから空間に存在する一または複数の車両の位置、移動方向、および移動速度を認識する。対応付け部は、通信デバイスと、画像データから認識された車両とを、通信デバイスと車両の位置、移動方向、および移動速度に基づいて対応付ける。送信部は、通信デバイスに、当該通信デバイスに対応付けられた車両に関する情報を送信する。【選択図】図4

Description

本開示は、ナビゲーション装置、およびナビゲーション方法に関する。
従来、駐車場等に設けられた情報処理装置と車両に搭載された車載装置とが通信することにより、車両の制御または当該車両に関する情報提供を行う技術があった。また、スマートフォン等の通信デバイスを用いて、車両の駐車位置等に関する情報提供を行う技術も知られている。
特開2010-78602号公報
従来、スマートフォン等の通信デバイスを用いて、車両の運転者に対して車両に関する情報を提供する場合、通信デバイスの位置情報からだけでは、当該通信デバイスがどの車両の中にあるかを特定することが困難であった。このため、車載装置が搭載されていない車両の運転者に対する情報提供が困難な場合があった。
本開示は、通信機能を有する車載装置が車両に搭載されていない場合であっても、車両に関する情報を、当該車両の運転者の通信デバイスに提供することができるナビゲーション装置、およびナビゲーション方法を提供する。
本開示に係るナビゲーション装置は、受信部と、画像データ取得部と、特定部と、認識部と、対応付け部と、送信部とを備える。受信部は、通信デバイスから当該通信デバイスの位置情報を受信する。画像データ取得部は、車両が走行可能な空間が撮影された画像データを取得する。特定部は、位置情報に基づいて通信デバイスの移動方向および移動速度を特定する。認識部は、画像データから空間に存在する一または複数の車両の位置、移動方向、および移動速度を認識する。対応付け部は、通信デバイスと、画像データから認識された一または複数の車両のうちの一の車両とを、通信デバイスと当該一の車両の位置、移動方向、および移動速度に基づいて対応付ける。送信部は、通信デバイスに、当該通信デバイスに対応付けられた一の車両に関する情報を送信する。
本開示に係るナビゲーション装置、およびナビゲーション方法によれば、車両に関する情報を、当該車両の運転者の通信デバイスに提供することができる。
図1は、第1の実施形態に係るサーバ装置により管理される駐車場の一例を示す図である。 図2は、第1の実施形態に係るサーバ装置のハードウェア構成の一例を示す図である。 図3は、第1の実施形態に係るスマートフォンのハードウェア構成の一例を示す図である。 図4は、第1の実施形態に係るサーバ装置の機能の一例を示すブロック図である。 図5は、第1の実施形態に係るスマートフォンと車両との位置関係の一例を示す図である。 図6は、図5よりも後の時点におけるスマートフォンと車両との位置関係の一例を示す図である。 図7は、第1の実施形態に係る立体駐車場におけるスマートフォンと車両との位置関係の一例を示す図である。 図8は、第1の実施形態に係る駐車場における逆走検知の一例を示す図である。 図9は、第1の実施形態に係る駐車場における接触予測の一例を示す図である。 図10は、第1の実施形態に係るスマートフォンの機能の一例を示すブロック図である。 図11は、第1の実施形態に係るナビゲーション画像の一例を示す図である。 図12は、第1の実施形態に係る警告通知の一例を示す図である。 図13は、第1の実施形態に係る案内画像の一例を示す図である。 図14は、第1の実施形態に係る車両1の入庫時のナビゲーション処理の流れの一例を示すシーケンス図である。 図15は、第2の実施形態に係るスマートフォンの機能の一例を示すブロック図である。 図16は、第2の実施形態に係る車両の運転席近傍の構成の一例を示す図である。 図17は、第2の実施形態に係るスマートフォンと車両との位置関係の一例を示す図である。 図18は、第2の実施形態に係る車両の入庫時のナビゲーション処理の流れの一例を示すシーケンス図である。 図19は、第2の実施形態に係る車両の出庫時のナビゲーション処理の流れの一例を示すシーケンス図である。 図20は、第3の実施形態に係るサーバ装置の機能の一例を示すブロック図である。 図21は、第3の実施形態に係る有料駐車場の一例を示す図である。 図22は、第4の実施形態に係るサーバ装置により管理されるショッピングカート収容場の一例を示す図である。 図23は、第4の実施形態に係るショッピングカートの構成の一例を示す図である。 図24は、第4の実施形態に係るショッピングカートの制御装置のハードウェア構成の一例を示す図である。 図25は、第4の実施形態に係るサーバ装置の機能の一例を示すブロック図である。 図26は、第4の実施形態に係るショッピングカートの制御装置の構成の一例を示すブロック図である。 図27は、第4の実施形態に係るショッピングカートの整列処理の流れの一例を示すシーケンス図である。 図28は、第5の実施形態に係るサーバ装置により監視される交差点の一例を示す図である。 図29は、第5の実施形態に係る車載装置のハードウェア構成の一例を示すブロック図である。 図30は、第5の実施形態に係るサーバ装置の機能の一例を示すブロック図である。 図31は、第5の実施形態に係る交差点の車両と歩行者との位置関係の一例を示す図である。 図32は、第5の実施形態に係る車両によるハザードランプの点滅処理の一例を示す図である。 図33は、第5の実施形態に係る車載装置の機能の一例を示すブロック図である。 図34は、第5の実施形態に係る交差点の監視処理の流れの一例を示すシーケンス図である。 図35は、第6の実施形態に係るサーバ装置により監視される工場の一例を示す図である。 図36は、第6の実施形態に係るフォークリフトの外観の一例を示す斜視図である。 図37は、第6の実施形態に係るサーバ装置の機能の一例を示すブロック図である。 図38は、第6の実施形態に係るスマートフォンの機能の一例を示すブロック図である。 図39は、第6の実施形態に係るサーバ装置によって実行されるフォークリフトの個体および向きの特定処理の一例を示すフローチャートである。 図40は、第6の実施形態に係る工場の監視処理の流れの一例を示すシーケンス図である。 図41は、第7の実施形態に係る車両のロック解除処理の一例を説明する図である。 図42は、第7の実施形態に係るサーバ装置の機能の一例を示すブロック図である。 図43は、第7の実施形態に係るスマートフォンの機能の一例を示すブロック図である。 図44は、第7の実施形態に係るロック解除処理の流れの一例を示すシーケンス図である。 図45は、変形例1に係る複数のカメラが設置された駐車場の一例を示す図である。 図46は、変形例2に係る複数のカメラが設置された立体駐車場の一例を示す図である。 図47は、変形例10に係るサーバ装置により管理される商品倉庫の一例を示す図である。 図48は、変形例10に係るサーバ装置の各機能の動作の一例を説明する図である。 図49は、変形例11に係るサーバ装置により管理される積荷置き場の一例を示す図である。
以下、図面を参照しながら、本開示に係る車両誘導装置、車載装置、方法、およびプログラムの実施形態について説明する。
(第1の実施形態)
図1は、第1の実施形態に係るサーバ装置200により管理される駐車場90の一例を示す図である。
駐車場90は、本実施形態における車両が走行可能な空間の一例である。駐車場90は、複数の駐車枠を含む。
図1では、車両1が駐車場90の入り口に位置する。車両1の中には、スマートフォン6が存在する。当該スマートフォン6は、例えば、車両1の運転者のものであり、車両1の運転席付近に置かれている。スマートフォン6は、本実施形態における通信デバイスの一例である。
サーバ装置200は、駐車場90を管理する。例えば、サーバ装置200は、駐車場90に入庫する車両1と、当該車両1内のスマートフォン6等の通信デバイスとを対応付ける。サーバ装置200は、車両1と対応付けられたスマートフォン6に対して、車両1に関する情報を送信する。サーバ装置200は、本実施形態におけるナビゲーション装置および外部装置の一例である。
例えば、サーバ装置200は、駐車場90に入庫する車両1に対して駐車枠を割り当て、割り当てた駐車枠に関する情報を当該車両に対応付けられたスマートフォン6に送信する。また、サーバ装置200は、駐車場90内の複数の車両間の接触、および歩行者と車両間の接触を予測し、接触予測に関する情報を、接触すると予測される車両に対応付けられたスマートフォン6に送信する。なお、サーバ装置200によって送信される情報は、これらに限定されるものではない。
なお、サーバ装置200の設置場所は特に限定しない。例えば、サーバ装置200は、駐車場90内に設けられても良いし、駐車場90近傍の管理施設等に設けられても良い。なお、サーバ装置200の代わりに、PC(Personal Computer)等のコンピュータがナビゲーション装置および外部装置として用いられても良い。
駐車場90には、カメラ5が設置される。カメラ5は、駐車場90全体または一部を撮影可能な固定カメラとする。本実施形態においては、少なくとも、カメラ5は車両1が駐車する駐車場90の駐車枠とそこに至るまでの通路を撮影可能であるものとする。なお、カメラ5は、防犯カメラまたは監視カメラ等を兼ねても良い。本実施形態においては、カメラ5が撮影する画像データは動画データとするが、静止画データでも良い。
図1に示す例では、サーバ装置200とカメラ5とは、ケーブル3により、通信可能に接続している。なお、サーバ装置200とカメラ5との通信手法は直接的な有線接続に限定されるものではなく、無線通信によって接続しても良いし、他の情報処理装置等を介して間接的に接続しても良い。
次に、図2、図3を用いて、本実施形態のサーバ装置200およびスマートフォン6のハードウェア構成について説明する。
図2は、第1の実施形態に係るサーバ装置200のハードウェア構成の一例を示す図である。図2に示すように、サーバ装置200は、CPU(Central Processing Unit)21A、ROM(Read Only Memory)21B、RAM(Random Access Memory)21C、デバイスI/F(インタフェース)21D、NW I/F21E、HDD(Hard Disk Drive)21F等がバス21Gにより相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。
CPU21Aは、サーバ装置200を制御する演算装置である。なお、CPU21Aは、本実施形態のサーバ装置200におけるプロセッサの一例であり、他のプロセッサまたは処理回路がCPU21Aの代わりに設けられても良い。
ROM21B、RAM21C、およびHDD21Fは、サーバ装置200の記憶部として機能する。例えば、ROM21Bは、CPU21Aによる各種処理を実現するプログラム等を記憶する。RAM21Cは、例えばサーバ装置200の主記憶装置であり、CPU21Aによる各種処理に必要なデータを記憶する。
デバイスI/F21Dは、各種のデバイスと接続可能なインタフェースである。例えば、デバイスI/F21Dは、カメラ5とケーブル3を介して接続する。
NW I/F21Eは、インターネット等のネットワークを介してスマートフォン6と通信可能な通信装置である。サーバ装置200とスマートフォン6との間の無線通信には、例えば、LTE(Long Term Evolution)(登録商標)等の公衆回線、Wi-Fi(登録商標)やBluetooth(登録商標)等の近距離通信等が採用されても良い。また、サーバ装置200とスマートフォン6とは、直接的に無線通信しても良いし、他の情報処理装置、管制サーバ、または基地局等を介して、間接的に通信しても良い。本実施形態においては、一例として、サーバ装置200とスマートフォン6とは、駐車場90内に設けられた構内Wi-fiのアクセスポイント、または公衆回線を介して通信するものとする。
図3は、第1の実施形態に係るスマートフォン6のハードウェア構成の一例を示す図である。図3に示すように、サーバ装置200は、CPU61A、ROM61B、RAM61C、デバイスI/F61D、NW I/F61E、フラッシュメモリ61F、ディスプレイ61G、タッチパネル61H、スピーカ61I等がバス61Jにより相互に接続された構成となっている。
CPU61Aは、スマートフォン6を制御する演算装置である。なお、CPU61Aは、本実施形態のスマートフォン6におけるプロセッサの一例であり、他のプロセッサまたは処理回路がCPU61Aの代わりに設けられても良い。
ROM61B、RAM61C、およびフラッシュメモリ61Fは、スマートフォン6の記憶部として機能する。例えば、ROM61Bは、CPU61Aによる各種処理を実現するプログラム等を記憶する。RAM61Cは、例えばスマートフォン6の主記憶装置であり、CPU61Aによる各種処理に必要なデータを記憶する。
ディスプレイ61Gは、例えば液晶ディスプレイであり、CPU61Aによる制御の下、各種の情報を表示する。ディスプレイ61Gは、本実施形態における表示部の一例である。
タッチパネル61Hは、例えばユーザの指等で操作可能な投影型静電容量方式のタッチパネルである。本実施形態においては、ディスプレイ61Gとタッチパネル61Hは、積層されて構成されており、タッチパネルディスプレイを構成する。
スピーカ61Iは、CPU61Aによる制御の下、音または音声メッセージを出力する。
デバイスI/F61Dは、デバイスI/F21Dは、各種のデバイスと接続可能なインタフェースである。例えば、デバイスI/F61Dは、GPS(Global Positioning System)装置61Kと接続し、GPS装置61Kから、スマートフォン6の現在位置を示す位置情報を取得する。当該位置情報は、例えば、スマートフォン6の絶対位置を示す緯度と経度の値である。
GPS装置61Kは、GPSアンテナ61Lが受信したGPS信号に基づいてスマートフォン6の位置を表すGPS座標を特定する装置である。GPSアンテナ61Lは、GPS信号を受信可能なアンテナである。
なお、図2、図3に示すサーバ装置200およびスマートフォン6のハードウェア構成は一例であり、これに限定されるものではない。
次に、本実施形態のサーバ装置200が備える機能について説明する。
図4は、第1の実施形態に係るサーバ装置200の機能の一例を示すブロック図である。図4に示すように、サーバ装置200は、受信部201、画像データ取得部202、特定部203、認識部204、対応付け部205、割当部206、検知部207、行動予測部208、送信部209、および記憶部250を備える。なお、受信部201と画像データ取得部202とを総称して取得部と称しても良い。また、受信部201を第1の取得部、画像データ取得部202を第2の取得部と称しても良い。
記憶部250は、例えばROM21B、RAM21C、またはHDD21Fによって構成される。なお、図4では1つの記憶部250がサーバ装置200に含まれるように記載したが、複数の記憶媒体が記憶部250として機能しても良い。
また、記憶部250は、駐車場90内の駐車枠の位置と大きさ、および、駐車場90内の車道の位置と車道の走行方向の情報を含む地図データを記憶する。
受信部201、画像データ取得部202、特定部203、認識部204、対応付け部205、割当部206、検知部207、行動予測部208、および送信部209は、例えば、ROM21BまたはHDD21Fに記憶されたプログラムをCPU21Aが読み出すことにより、実行される機能である。あるいは、これらの機能を備えるハードウェア回路がサーバ装置200に設けられても良い。
受信部201は、NW I/F21Eを介してスマートフォン6と通信する。より詳細には、受信部201は、スマートフォン6からスマートフォン6の位置情報を受信する。当該位置情報は、例えば、上述のように、スマートフォン6のGPS装置61Kによって特定されたGPS位置情報である。なお、スマートフォン6は、車両1に搭載された機器から車両1の位置情報を取得しても良い。車両1に搭載された機器による車両1の位置情報の計測の方法としては、GPS位置情報の他に、車載カメラによって撮影された白線などから自己位置情報を推定する方法などが採用可能である。この場合、サーバ装置200の受信部201は、車両1に搭載された機器によって計測された車両1の位置情報を、スマートフォン6から取得しても良い。なお、サーバ装置200の受信部201は、スマートフォン6の位置情報と、スマートフォン6が車両1に搭載された機器から取得した車両1の位置情報の両方を受信しても良いし、いずれか一方のみを受信しても良い。
また、受信部201は、駐車場90に設置された構内Wi-fiのアクセスポイントのうち、スマートフォン6と通信したアクセスポイントからスマートフォン6と通信したことを示す情報を取得しても良い。
また、受信部201は、スマートフォン6から、スマートフォン6のユーザを特定可能な個人ID、ユーザの認証情報、およびスマートフォン6のユーザが乗車する車両1の車両情報を取得しても良い。個人IDは、スマートフォン6のユーザの識別情報の一例である。
車両情報は、例えば、車両1の車台番号(別称:車体番号)、車両1の車両番号、車両1の大きさを表すサイズ情報、車両1に車椅子利用者が乗車していることを示す情報等である。なお、車両番号は、車両1のナンバープレートに記載された番号であり、車両1の大きさを表す分類番号を含む。例えば、分類番号が5ナンバーである場合、車両1は“小型乗用自動車および小型乗合自動車”であり、全長4700mm以下、全幅1700mm以下、かつ、全高2000mm以下となる。また、分類番号が3ナンバーである場合、車両1は、“普通乗用自動車”となり、全長4701mm以上、全幅1701mm以上、全高2001mm以上となる。
サイズ情報は、例えば、車両1の縦および横の長さを示す。また、サイズ情報は、さらに、車両1の高さの情報を含んでも良い。また、サイズ情報は、“軽四車両”、“普通乗用自動車”等の車両1の大きさを表す区分であっても良い。
画像データ取得部202は、カメラ5から、駐車場90が撮影された画像データを取得する。
特定部203は、受信部201によりスマートフォン6から取得されたスマートフォン6の位置情報に基づいてスマートフォン6の移動方向および移動速度を特定する。より詳細には、特定部203は、受信部201が時系列に複数回取得した位置情報の変化に基づいて、スマートフォン6の移動方向および移動速度を表す動きベクトルを特定する。また、特定部203は、受信部201によりスマートフォン6から取得された車両1に搭載された機器によって計測された位置情報をスマートフォン6の位置情報と見做して、スマートフォン6の移動方向および移動速度を特定しても良い。
また、特定部203は、駐車場90に設置された複数の構内Wi-fiのアクセスポイントのうち、スマートフォン6と通信した2点以上のアクセスポイントの位置に基づいて、3点計測によりスマートフォン6の位置を求めても良い。例えば、上述のようにスマートフォン6のGPS装置61Kは、スマートフォン6のGPS位置情報を特定するが、特に屋内などGPSの受信電波が弱い地理条件においてはGPS位置情報の精度が低下する場合がある。このような場合に、特定部203は、構内Wi-fiのアクセスポイントとスマートフォン6との間の距離からスマートフォン6の位置を特定したり、スマートフォン6のGPS位置情報と構内Wi-fiのアクセスポイントとスマートフォン6との間の距離の両方に基づいてスマートフォン6の位置を特定したりすることが可能である。
また、特定部203は、スマートフォン6から取得されたユーザの認証情報に基づいて、スマートフォン6を認証する。なお、サーバ装置200は、特定部203とは別に、認証部を備えても良い。
認識部204は、画像データ取得部202によりカメラ5から取得された画像データから駐車場90内に存在する一または複数の車両1の位置、移動方向、および移動速度を認識する。
カメラ5によって撮影された画像データ内の座標と、実空間上の位置とは、予めキャリブレーションされているものとする。認識部204は、画像データ上で車両1が描述された位置から、実空間上の車両1の位置を認識する。
例えば、認識部204は、ディープラーニング等の技術を用いた画像認識処理により、動画データに含まれる複数のフレームの各々に描出された車両1の位置を認識する。認識部204は、各フレームにおいて認識した車両1の位置の変化に基づいて、車両1の移動方向および移動速度を表す動きベクトルを特定する。
また、カメラ5により撮影された画像データが静止画データである場合には、認識部204は、画像データ取得部202が時系列に複数回取得した複数の静止画データの各々からディープラーニング等の技術を用いた画像認識処理により車両1の位置を認識し、各静止画データ間の車両1の位置の変化に基づいて、車両1の移動方向および移動速度を表す動きベクトルを特定する。
また、認識部204は、画像データから歩行者および障害物を画像認識処理により認識しても良い。
対応付け部205は、スマートフォン6と、画像データから認識された一または複数の車両1のうちの一の車両1とを、スマートフォン6と車両1の位置、移動方向、および移動速度に基づいて対応付ける。
より詳細には、対応付け部205は、画像データから認識された一または複数の車両1のうち、GPS位置情報の誤差範囲に含まれる車両1を対応付け候補車両として特定する。対応付け部205は、特定した対応付け候補車両のうち、移動方向および移動速度が、スマートフォン6の移動方向および移動速度と一致する車両1を、スマートフォン6に対応付ける。
ここで、図5、図6を用いてスマートフォン6と車両1との対応付けについて説明する。
図5は、第1の実施形態に係るスマートフォン6と車両1a,1bとの位置関係の一例を示す図である。
図5に示すように、スマートフォン6のGPS位置情報は、スマートフォン6が誤差範囲A1内に位置することを示す。GPS位置情報の誤差範囲A1は、例えば、半径d1=5m程度の大きさの略円形の領域である。なお、誤差範囲A1の大きさはこれに限定されるものではない。特に、スマートフォン6が屋内にある場合はGPS位置情報の誤差が大きくなる傾向があるため、スマートフォン6と通信した構内Wi-fiのアクセスポイントの位置に基づいて特定された位置情報の方が、スマートフォン6のGPS位置情報よりも誤差が小さくなる。このため、特定部203は、アクセスポイントの位置に基づいて特定された位置情報とスマートフォン6のGPS位置情報の組み合わせで、誤差の判定を行う。また、特定部203は、それぞれアクセスポイントの電波の強度によって、誤差範囲を調整しても良い。
また、特定部203がスマートフォン6と通信した構内Wi-fiのアクセスポイントAPの位置に基づく3点計測によってスマートフォン6の位置情報を求める場合は、誤差範囲A1は、3点計測によって求められた位置情報の誤差範囲でも良い。なお、図5、図6では1台のアクセスポイントAPを図示するが、3点計測が行われる場合には、駐車場90内には少なくとも2台以上のアクセスポイントAPが設けられているものとする。
また、図5に示す車両領域50a,50bは、認識部204が画像データから認識した車両1a,1bの位置である。以下、個々の車両領域50a,50bを特に区別しない場合、単に車両領域50という。
図5に示す例では、誤差範囲A1内に2台の車両1a,1bが存在するため、対応付け部205は、車両1a,1bを対応付け候補車両として特定する。図5に示すように、ある1つの時点におけるスマートフォン6の位置情報と、画像データから認識された車両1a,1bの位置からは、スマートフォン6がいずれの車両1a,1bに存在するかまでは特定することが困難な場合がある。
図6は、図5よりも後の時点におけるスマートフォン6と車両1a,1bとの位置関係の一例を示す図である。図6では、スマートフォン6の移動に伴い、スマートフォン6のGPS位置情報の誤差範囲A1が図5に図示した位置から移動している。また、図6では、認識部204が画像データから認識した車両1aの位置が図5に図示した位置から移動している。これに対して、車両1bの位置は図5に図示した位置から変化していない。
図6に示す例では、特定部203によって特定されたスマートフォン6の動きベクトルV1と、車両1の移動方向および移動速度を表す動きベクトルV2の大きさ及び向きが一致する。
この場合、対応付け部205は、特定した対応付け候補車両1a,1bのうち、移動方向および移動速度が、スマートフォン6の移動方向および移動速度と一致する車両1aを、スマートフォン6に対応付ける。
なお、スマートフォン6の移動方向および移動速度と車両1aの移動方向および移動速度とが完全に一致しなくとも、スマートフォン6の移動距離と車両1aの移動距離、およびスマートフォン6の動きと車両1aの動きに相関関係がある場合、対応付け部205は、車両1aを、スマートフォン6に対応付けても良い。
対応付け部205は、スマートフォン6と車両1aとの対応関係を記憶部250に保存する。例えば、対応付け部205は、スマートフォン6から取得された個人IDと、画像データから認識された車両1aの画像とを対応付けて記憶部250に保存する。なお、スマートフォン6と車両1aとの対応関係の保存方法はこれらの例に限定されない。
なお、図5、図6では平面状の駐車場90を例示したが、複数の駐車フロアを含む立体駐車場においても、対応付け部205は、スマートフォン6と車両1aとの対応付けが可能である。
図7は、第1の実施形態に係る立体駐車場90aにおけるスマートフォン6と車両1との位置関係の一例を示す図である。図7に示す例では、立体駐車場90aの1階と2階にそれぞれカメラ5a,5bが設置されている。立体駐車場90aも、駐車場90と同様に車両が走行可能な空間の一例である。
図7に示すように、実際にはスマートフォン6は立体駐車場90aの2階に位置するが、GPS位置情報からは上下方向の位置が特定できないため、立体駐車場90aの1階と2階の両方がスマートフォン6のGPS位置情報の誤差範囲A1に含まれる。また、Wi-fiにより特定された位置情報でも、スマートフォン6の電波がどの階から発信されたものであるか特定することが困難な場合がある。
しかしながら、認識部204により、各階に設けられたカメラ5a,5bにより撮影された画像データから、車両1は2階に位置することが認識される。図7に示す車両領域50は、認識部204が画像データから認識した車両1の位置である。
このような場合、対応付け部205は、画像データから認識された車両1のうち、GPS位置情報の誤差範囲A1に含まれる車両1は1台だけであるため、当該1台の車両1を対応付け候補車両として特定する。そして、対応付け部205は、当該車両1の移動方向および移動速度がスマートフォン6の移動方向および移動速度と一致する場合、当該車両1をスマートフォン6に対応付ける。なお、図7のように候補車両が1台のみの場合は、対応付け部205は、移動方向および移動速度による判定を行わずに、候補車両をスマートフォン6に対応付けても良い。
なお、本実施形態においては、対応付け部205によってスマートフォン6と車両1とが対応付けられた後も、車両1の駐車が完了するまでは、認識部204による車両1の移動方向および移動速度の認識処理が継続する。なお、特定部203によるスマートフォン6の移動方向および移動速度の特定処理は対応付け部205によってスマートフォン6と車両1とが対応付けられた場合に終了しても良いし、車両1の駐車が完了するまであるいはスマートフォン6がユーザとともに車両1から降車してサーバ装置200の通信圏内を出るまで継続しても良い。
図4に戻り、割当部206は、駐車場90に含まれる複数の駐車枠のうち、車両1に割り当てる駐車枠を決定する。例えば、割当部206は、記憶部250に記憶された地図データと、認識部204によって認識された車両1の車両領域50の大きさに基づいて、当該大きさの車両1が駐車可能な駐車枠を割り当てる。また、割当部206は、スマートフォン6から取得されたサイズ情報または分類番号に応じて、車両1に割り当てる駐車枠を決定しても良い。また、割当部206は、スマートフォン6から車両1に車椅子利用者が乗車していることを示す情報が取得された場合、車両1に車椅子利用者用の駐車枠を割り当てるなど、車両1の特性に応じて駐車枠を割り当てても良い。
検知部207は、記憶部250に記憶された地図データと、駐車場90に存在する一または複数の車両の移動方向とを比較し、一または複数の車両1のうち、車道の走行方向と異なる方向に移動する逆走車両を検知する。
図8は、第1の実施形態に係る駐車場90における逆走検知の一例を示す図である。図8に示す例では、認識部204によって認識された車両1の移動方向は、地図データに登録された駐車場90内の車道の走行方向の逆向きである。このような場合、検知部207は、当該車両1が逆走していることを検知する。また、このような場合、後述の送信部209により、逆走車両である車両1に対応付けられたスマートフォン6に、車両1が逆走していることを示す情報が送信される。
また、検知部207は、車両1の逆走だけではなく、車両1の速度超過を検知しても良い。この場合、記憶部250に駐車場90内の走行における制限速度が記憶されており、検知部207は、認識部204によって認識された車両1の移動速度が制限速度より早い場合に、車両1の速度超過を検知する。
図4に戻り、行動予測部208は、画像データから認識された一または複数の車両1、および歩行者の行動予測をする。例えば、行動予測部208は、ディープラーニング等の学習済みモデルを用いて、車両1および歩行者の進行方向および進行速度を予測する。なお、予測の手法は、特に限定されるものではなく、公知の手法を採用しても良い。
そして、行動予測部208は、一または複数の車両1同士の接触、または、一または複数の車両1と歩行者との接触の有無を予測する。
図9は、第1の実施形態に係る駐車場90における接触予測の一例を示す図である。図9に示す例では、行動予測部208により予測される車両1cの進行方向と、車両1dの進行方向とが対向している。行動予測部208は、認識部204によって認識された車両1cおよび車両1dの位置と、行動予測部208により予測された車両1cおよび車両1dの進行方向および進行速度とから、車両1cと車両1dとが接触する可能性が高いと予測する。このような場合、車両1cに対応付けられたスマートフォン6aに、後述の送信部209により、車両1dとの接触予測に関する情報が送信される。また、車両1dに対応付けられたスマートフォン6bにも、後述の送信部209により、車両1cとの接触予測に関する情報が送信される。
図4に戻り、送信部209は、スマートフォン6に、当該スマートフォン6に対応付けられた車両1に関する情報を送信する。車両1に関する情報は、例えば、車両1に割り当てられた駐車枠を表す情報、実際に車両1が駐車した駐車枠の位置を示す情報、車両1が逆走していることを示す情報、車両1の速度超過を表す情報、および車両1と他の車両または歩行者との接触予測に関する情報等である。
例えば、送信部209は、図8で説明したように、検知部207により車両1の逆走が検知された場合、車両1に対応付けられたスマートフォン6に、車両1が逆走していることを示す情報を送信する。
また、送信部209は、図9で説明したように、行動予測部208により一または複数の車両1同士の接触、または、一または複数の車両1と歩行者との接触が予測される場合に、接触すると予測される一または複数の車両1に対応付けられたスマートフォン6に、他の車両または歩行者との接触予測に関する情報を送信する。
また、送信部209は、車両1が駐車枠に駐車した場合に、当該駐車枠の位置を示す情報を、車両1に対応付けられたスマートフォン6に送信する。駐車枠の位置を示す情報は、例えば、駐車場90の地図データ上の駐車枠の位置を表す画像、および当該駐車枠を特定可能な駐車枠番号等であるが、これらに限定されるものではない。
また、送信部209は、スマートフォン6から接続要求を受けた場合に、認証情報の送信を要求する。当該認証情報の要求を受けて、スマートフォン6は、ユーザの個人IDおよび認証情報をサーバ装置200に送信する。
なお、送信部209がスマートフォン6に送信する情報は、上述の例に限定されない。送信部209は、上述の情報の他に、車両1をナビゲーションするための各種の情報を送信しても良い。
次に、本実施形態のスマートフォン6が備える機能について説明する。
図10は、第1の実施形態に係るスマートフォン6の機能の一例を示すブロック図である。図10に示すように、スマートフォン6は、取得部601、送信部602、受信部603、表示制御部604、出力制御部605、受付部606、および記憶部650を備える。
記憶部650は、例えばROM61B、RAM61C、またはフラッシュメモリ61Fによって構成される。なお、図10では1つの記憶部650がスマートフォン6に含まれるように記載したが、複数の記憶媒体が記憶部650として機能しても良い。
記憶部650は、スマートフォン6のユーザを特定可能な個人ID、ユーザの認証情報、およびスマートフォン6のユーザが乗車する車両1の車両情報を記憶する。これらの情報は、例えば、受付部606が受け付けたユーザの操作によりに入力される。
取得部601、送信部602、受信部603、表示制御部604、出力制御部605、および受付部606は、例えば、ROM61Bまたはフラッシュメモリ61Fに記憶されたプログラムをCPU61Aが読み出すことにより、実行される機能である。当該プログラムは、例えば、スマートフォン6で実行されるアプリケーションプログラムである。
取得部601は、デバイスI/F61Dを介して、GPS装置61Kからスマートフォン6のGPS位置情報を取得する。また、取得部601は、車両1に搭載された機器から車両1の位置情報を取得しても良い。
送信部602は、スマートフォン6のGPS位置情報をサーバ装置200に送信する。また、送信部602は、記憶部650に記憶されたスマートフォン6のユーザを特定可能な個人ID、ユーザの認証情報、およびスマートフォン6のユーザが乗車する車両1の車両情報をサーバ装置200に送信しても良い。
受信部603は、サーバ装置200からスマートフォン6に対応付けられた車両1に関する情報を受信する。
表示制御部604は、受信部603が受信した車両1に関する情報に基づく文字または画像をディスプレイ61Gに表示させる。
例えば、表示制御部604は、サーバ装置200から送信された車両1に割り当てられた駐車枠を表す情報に基づいて、当該駐車枠までの経路を示すナビゲーション画像をディスプレイ61Gに表示させる。
図11は、第1の実施形態に係るナビゲーション画像の一例を示す図である。図11に示す例では、スマートフォン6のディスプレイ61Gに、駐車場90の地図画像810と、車両1に割り当てられた駐車枠の位置を示す記号820と、車両1の現在位置を示すアイコン画像830と、車両1の現在位置から車両1に割り当てられた駐車枠までの経路を示す経路画像800と、駐車枠を特定可能な番号とが表示されている。当該ナビゲーション画像により、スマートフォン6のユーザである車両1の運転者は、車両1に割り当てられた駐車枠までの経路を容易に把握することができる。
また、表示制御部604は、サーバ装置200から送信された車両1と他の車両または歩行者との接触予測に関する情報に基づいて、警告通知をディスプレイ61Gに表示させる。
図12は、第1の実施形態に係る警告通知の一例を示す図である。図12に示す例では、スマートフォン6に対応付けられた車両1の進行方向において、他の車両が出庫動作中である。図12では、表示制御部604は、出庫動作中の他の車両を示すアイコン画像831を地図画像810上に表示する。出庫動作中の他の車両の位置は、サーバ装置200から送信された接触予測に関する情報に含まれるものとする。表示制御部604は、「前方の出庫車両にご注意ください」というメッセージM1を、警告通知としてディスプレイ61Gに表示させる。
なお、警告通知の表示態様およびメッセージの内容は図12に示す例に限定されるものではない。例えば、車両1が逆走していることまたは車両1が速度超過をしていることがサーバ装置200から通知された場合には、表示制御部604は、「逆走しています。進行方向を変更してください。」、「速度超過です。速度を落としてください。」等のメッセージをディスプレイ61Gに表示させても良い。
また、表示制御部604は、サーバ装置200から送信された、実際に車両1が駐車した駐車枠の位置を示す情報に基づいて、実際の駐車位置を表す案内画像をディスプレイ61Gに表示させる。
図13は、第1の実施形態に係る案内画像の一例を示す図である。図13に示す例では、スマートフォン6のディスプレイ61Gに、駐車場90の地図画像810と、車両1が実施に駐車した駐車枠の位置を示す記号820と、駐車枠を特定可能な番号とが表示されている。図13に示す例では、車両1は、図11に示したナビゲーション画像で表示された駐車枠に実際に駐車したものとする。また、車両1が、図11に示したナビゲーション画像で表示された駐車枠とは異なる駐車枠に駐車した場合、サーバ装置200からは、実際に車両1が駐車した駐車枠の位置および当該駐車枠を特定可能な番号がスマートフォン6に送信される。この場合、案内画像において表示される駐車枠は、ナビゲーション画像において表示された駐車枠と異なるものとなる。
図10に戻り、出力制御部605は、受信部603が受信した車両1に関する情報に基づいて、スピーカ61Iに音または音声メッセージを出力させる。出力制御部605は、例えば、図12で例示した「前方の出庫車両にご注意ください」というメッセージM1を、音声メッセージとしてスピーカ61Iに出力させても良い。
受付部606は、ユーザの操作によりタッチパネル61Hから入力された各種の情報を受け付ける。例えば、受付部606は、ユーザの操作により入力されたスマートフォン6のユーザを特定可能な個人ID、ユーザの認証情報、およびスマートフォン6のユーザが乗車する車両1の車両情報を受け付け、記憶部650に保存する。
次に、以上のように構成された本実施形態のスマートフォン6およびサーバ装置200によって実行されるナビゲーション処理の流れについて説明する。
図14は、第1の実施形態に係る車両1の入庫時のナビゲーション処理の流れの一例を示すシーケンス図である。
スマートフォン6の取得部601は、デバイスI/F61Dを介して、GPS装置61Kからスマートフォン6のGPS位置情報を取得する(S101)。なお、図14ではS101の処理として図示するが、スマートフォン6の取得部601は、スマートフォン6の起動中は、GPS位置情報を継続的に取得する。当該処理は、取得ステップの一例である。
そして、スマートフォン6の送信部602は、スマートフォン6がサーバ装置200または構内Wi-fiのアクセスポイントAPの通信圏内に入った場合、またはスマートフォン6がサーバ装置200または構内Wi-fiのアクセスポイントAPと規定の距離まで接近した場合に、サーバ装置200に接続要求を送信する(S102)。なお、規定の距離の長さは特に限定されるものではなく、駐車場90の大きさ、またはサーバ装置200または構内Wi-fiのアクセスポイントAPの設置位置等に応じて設定可能である。
この場合、サーバ装置200の送信部209は、スマートフォン6に認証情報を要求する(S103)。
そして、スマートフォン6の送信部602は、スマートフォン6のGPS位置情報、スマートフォン6のユーザの個人ID、認証情報、およびスマートフォン6のユーザの乗車する車両の車両情報をサーバ装置200に送信する(S104)。S104は、本実施形態における第1の送信ステップの一例である。サーバ装置200の受信部201は、スマートフォン6から送信された情報を受信する。当該受信処理は、本実施形態における受信ステップの一例である。
サーバ装置200の特定部203は、取得された認証情報に基づいて、スマートフォン6を認証する(S105)。
なお、図14ではS104の処理として図示するが、スマートフォン6の送信部602は、S105の認証処理後、スマートフォン6がサーバ装置200または構内Wi-fiのアクセスポイントAPの通信圏内にある間は、スマートフォン6のGPS位置情報を継続的にサーバ装置200に送信する。サーバ装置200の受信部201は、スマートフォン6から送信されたスマートフォン6のGPS位置情報を継続的に取得する。
また、サーバ装置200の画像データ取得部202は、カメラ5から、駐車場90が撮影された画像データを取得する(S106)。なお、図14では106の処理として図示するが、サーバ装置200の画像データ取得部202は、サーバ装置200およびカメラ5の起動中は、画像データを継続的に取得する。当該取得処理は、本実施形態における画像データ取得ステップの一例である。
そして、サーバ装置200の認識部204は、取得された画像データから駐車場90内に存在する一または複数の車両1の位置、および当該一または複数の車両1の移動方向および移動速度を認識する(S107)。当該認識処理は、本実施形態における認識ステップの一例である。
そして、サーバ装置200の対応付け部205は、スマートフォン6のGPS位置情報と、画像データから認識された一または複数の車両1の位置とを照合する(S108)。
そして、サーバ装置200の対応付け部205は、画像データから認識された一または複数の車両1のうち、スマートフォン6のGPS位置情報の誤差範囲A1に含まれる車両1を対応付け候補車両として特定する(S109)。
そして、サーバ装置200の特定部203は、受信部201が時系列に複数回取得したGPS位置情報の変化に基づいて、スマートフォン6の移動方向および移動速度を表す動きベクトルを特定する(S110)。当該特定処理は、本実施形態における特定ステップの一例である。
また、サーバ装置200の認識部204は、動画である画像データに含まれる複数のフレームの各々から認識した車両1の位置の変化に基づいて、対応付け候補車両の移動方向および移動速度を表す動きベクトルを特定する(S111)。
そして、サーバ装置200の対応付け部205は、スマートフォン6の動きベクトルと、対応付け候補車両の動きベクトルとを照合する(S112)。
そして、サーバ装置200の対応付け部205は、特定した対応付け候補車両のうち、動きベクトルが、スマートフォン6の動きベクトルと一致する車両1を、スマートフォン6に対応付ける(S113)。当該対応付けの処理は、本実施形態における対応付けステップの一例である。
そして、サーバ装置200の割当部206は、駐車場90に含まれる複数の駐車枠のうち、スマートフォン6に対応付けられた車両1に割り当てる駐車枠を決定する(S114)。
そして、サーバ装置200の送信部209は、車両1に割り当てられた駐車枠を表す情報をスマートフォン6に送信する(S115)。スマートフォン6の受信部603は、サーバ装置200から車両1に割り当てられた駐車枠を表す情報受信する。S115および後述のS118、S122は、本実施形態における第1の受信ステップの一例である。
そして、スマートフォン6の表示制御部604は、サーバ装置200から送信された車両1に割り当てられた駐車枠を表す情報に基づいて、当該駐車枠までの経路を示すナビゲーション画像をディスプレイ61Gに表示させる(S116)。S116および後述のS119、S123は、本実施形態における表示制御ステップの一例である。
また、サーバ装置200の検知部207は、車両1の逆走および速度超過を監視する。また、サーバ装置200の行動予測部208は、一または複数の車両1同士の接触、または、一または複数の車両1と歩行者との接触の可能性を監視する(S117)。
そして、検知部207により車両1の逆走または速度超過が検知された場合、あるいは、行動予測部208によって接触可能性があると予測された場合、サーバ装置200の送信部209は、車両1が逆走していることを示す情報、車両1の速度超過を表す情報、または車両1と他の車両または歩行者との接触予測に関する情報を、警告として車両1に対応付けられたスマートフォン6に送信する(S118)。スマートフォン6の受信部603は、サーバ装置200から、当該警告を受信する。
この場合、スマートフォン6の表示制御部604は、サーバ装置200から送信された警告に基づいて、警告通知をディスプレイ61Gに表示させる(S119)。
また、車両1が駐車枠への駐車を完了した場合(S120)、サーバ装置200の認識部204は、画像データから車両1が駐車枠を認識する(S121)。
そして、サーバ装置200の送信部209は、車両1が実際に駐車した駐車枠の情報を、スマートフォン6に送信する(S122)。スマートフォン6の受信部603は、サーバ装置200から、車両1が実際に駐車した駐車枠の情報を受信する。また、S115、S118、S122の送信処理は、本実施形態における送信ステップの一例である。
スマートフォン6の表示制御部604は、サーバ装置200から送信された、実際に車両1が駐車した駐車枠の位置を示す情報に基づいて、実際の駐車位置を表す案内画像をディスプレイ61Gに表示させる(S123)。
また、サーバ装置200の認識部204が画像データから車両1が駐車枠内で停止したことを認識した場合、サーバ装置200の検知部207および行動予測部208は、当該車両1に対する監視処理を終了する(S124)。ここで、このシーケンス図の処理は終了する。なお、再び車両1が走行を開始した場合、車両1は検知部207および行動予測部208の監視対象となる。
また、図14では、車両1が駐車場90に入庫する場合を例としたが、車両1が出庫する際にも、サーバ装置200の検知部207および行動予測部208は、車両1の逆走、速度超過、および接触可能性を監視する。また、車両1が出庫する場合、サーバ装置200の送信部209は、車両1が駐車した駐車枠から、駐車場90の出口までの経路を示す情報をスマートフォン6に送信しても良い。この場合、スマートフォン6の表示制御部604は、駐車場90の出口までの経路を示すナビゲーション画像をディスプレイ61Gに表示させる。
このように、本実施形態のサーバ装置200は、スマートフォン6と画像データから認識された一または複数の車両1のうちの一の車両1とをスマートフォン6と車両1の位置、移動方向、および移動速度に基づいて対応付け、スマートフォン6に当該スマートフォン6に対応付けられた車両1に関する情報を送信する。このため、本実施形態のサーバ装置200によれば、車両1がサーバ装置200と通信可能な車載装置を備えていなくとも、車両1の運転者に車両1に関する情報を提供することができる。
また、本実施形態のサーバ装置200は、画像データから認識された一または複数の車両1のうち、スマートフォン6のGPS位置情報の誤差範囲A1に含まれる車両1を対応付け候補車両として特定し、対応付け候補車両のうち、移動方向および移動速度が、スマートフォン6の移動方向および移動速度と一致する車両1を、スマートフォン6に対応付ける。このため、本実施形態のサーバ装置200によれば、GPS位置情報の誤差範囲A1に複数の車両1が存在する場合であっても、スマートフォン6が乗っている車両1を高精度に特定することができる。
また、本実施形態のサーバ装置200は、駐車場90に含まれる複数の駐車枠のうち、車両1に割り当てる駐車枠を決定し、当該駐車枠を表す情報を、車両1に対応付けられたスマートフォン6に送信する。このため、本実施形態のサーバ装置200によれば、車両1がサーバ装置200と通信可能な車載装置を備えていなくとも、車両1を駐車枠に誘導することができる。
また、本実施形態のサーバ装置200は、スマートフォン6から、当該スマートフォン6が乗っている車両1の大きさを表すサイズ情報を取得し、取得したサイズ情報に応じて、当該スマートフォン6に対応付けられた車両1に割り当てる駐車枠を決定しても良い。このため、本実施形態のサーバ装置200によれば、スマートフォン6から取得した情報を有効に活用して車両1を適切な駐車枠に割り当てられる。
また、本実施形態のサーバ装置200は、駐車場90内で車道の走行方向と異なる方向に移動する逆走車両を検知し、当該逆走車両に対応付けられたスマートフォン6に、逆走車両が逆走していることを示す情報を送信する。このため、本実施形態のサーバ装置200によれば、駐車場90内の安全性を向上させることができる。
また、本実施形態のサーバ装置200は、駐車場90内で車両1同士の接触、または車両1と歩行者との接触が予測される場合に、接触すると予測される車両1に対応付けられたスマートフォン6に、他の車両または歩行者との接触予測に関する情報を送信する。このため、本実施形態のサーバ装置200によれば、駐車場90内の安全性をさらに向上させることができる。
また、本実施形態のスマートフォン6は、スマートフォン6の位置情報をサーバ装置200に送信し、サーバ装置200から受信した、スマートフォン6に対応付けられた車両1に関する情報に基づく文字または画像をディスプレイ61Gに表示させる。このため、本実施形態のスマートフォン6によれば、スマートフォン6によって車両1に関する情報を車両1の運転者に提供することができる。
(第2の実施形態)
この第2の実施形態では、サーバ装置200は、スマートフォン6が車両内と車両外のいずれに位置するかについてスマートフォン6自身によって判定された結果を、スマートフォン6と車両1との対応付けに利用する。
図15は、第2の実施形態に係るスマートフォン6の機能の一例を示すブロック図である。図15に示すように、本実施形態のスマートフォン6は、取得部601、送信部602、受信部603、表示制御部604、出力制御部605、受付部606、判定部607、および記憶部650を備える。取得部601、表示制御部604、出力制御部605、受付部606、および記憶部650は、第1の実施形態と同様の機能を備える。
本実施形態の受信部603は、第1の実施形態の機能を備えた上で、車両1内に設置されたBluetooth通信装置から発信されたBluetoothの電波を受信する。Bluetooth通信装置は、本実施形態における近距離無線通信装置の一例である。また、Bluetoothの電波は、本実施形態における第2の信号の一例である。
判定部607は、受信部603が受信したBluetoothの電波の強度に基づいてスマートフォン6が車両内と車両外のいずれに位置するかを判定する。
図16は、第2の実施形態に係る車両1の運転席130a近傍の構成の一例を示す図である。図16に示すように、車両1の車室内には、複数のBluetooth通信装置BT1~BT3が設けられる。以下、以下、個々のBluetooth通信装置BT1~BT3を特に区別しない場合、単にBluetooth通信装置BTという。
図16に示すように、車両1は運転席130a、および助手席130bを備える。また、一例として、運転席130aの前方にはフロントガラス180、ダッシュボード190、ステアリングホイール140、表示装置120、および操作ボタン141等が設けられる。
運転席130aの右側、および助手席130bの左側には、それぞれ不図示のドアがある。
第1のBluetooth通信装置BT1は、例えば、運転席130aの前方右側に設置される。具体的には、第1のBluetooth通信装置BT1は、運転席130a側のドアの近傍、またはドアの内側に設置されても良い。
また、第2のBluetooth通信装置BT2は、例えば、ダッシュボード190の中央付近に設置される。
また、第3のBluetooth通信装置BT3は、例えば、助手席130bの前方左側に設置される。具体的には、第3のBluetooth通信装置BT3は、助手席130b側のドアの近傍、またはドアの内側に設置されても良い。
このように、複数のBluetooth通信装置BTが離れた位置に設置されることで、判定部607は、例えばBluetooth通信装置BT1~BT3の各々から受信した電波の強度に基づいて、車室内のスマートフォン6の位置を求めることができる。例えば、判定部607は、Bluetooth通信装置BT1~BT3の各々から受信した電波の強度に基づいて、スマートフォン6が車両1の内部に位置するか、外部に位置するかを求める。
また、判定部607は、さらに、スマートフォン6が車両1の運転席130a近傍に位置するか、助手席130bまたは後部座席に位置するかを判定しても良い。3点のBluetooth通信装置BT1~BT3から受信した電波の強度に基づく相対位置情報の誤差範囲は、例えば1m程度とする。
図16では、3台のBluetooth通信装置BTが設置される例を図示したが、4台以上のBluetooth通信装置BTが設置されても良い。また、Bluetooth通信装置BTの数は2台以下でも良い。この場合、判定部607は、スマートフォン6がBluetooth電波を、ドアを挟まずに受信しているか、ドアを挟んで受信しているかを電波の通信減衰により判定する。判定部607は、スマートフォン6がドアを挟まずにBluetooth電波を受信している場合、スマートフォン6が車両1の内部に位置すると判定する。また、判定部607は、スマートフォン6がドアを挟んでBluetooth電波を受信している場合、スマートフォン6が車両1の外部に位置すると判定する。また、Bluetooth以外の近距離通信手段が採用されても良い。また、スマートフォン6は、Bluetooth等の近距離通信手段によって、車体番号などの車両情報を車両1に搭載された機器から取得しても良い。この場合、サーバ装置200は、スマートフォン6から取得した車両情報と、サーバ装置200に登録された車両情報とを照合することによって車両1を特定しても良い。
本実施形態の送信部602は、第1の実施形態の機能を備えた上で、スマートフォン6が車両内と車両外のいずれに位置するかについての情報を、サーバ装置200に送信する。また、送信部602は、スマートフォン6が車両1の運転席130a近傍に位置するか、助手席130bまたは後部座席に位置するかについての情報を、サーバ装置200に送信しても良い。
本実施形態のサーバ装置200は、第1の実施形態と同様に、受信部201、画像データ取得部202、特定部203、認識部204、対応付け部205、割当部206、検知部207、行動予測部208、送信部209、および記憶部250を備える。画像データ取得部202、特定部203、認識部204、割当部206、検知部207、行動予測部208、送信部209、および記憶部250は、第1の実施形態と同様の機能を備える。
本実施形態の受信部201は、第1の実施形態の機能を備えた上で、スマートフォン6から、スマートフォン6が車両内と車両外のいずれに位置するかについての情報を取得する。当該情報は、車両1の内部に設けられたBluetoothの電波強度に基づいてスマートフォン6が判定した結果である。また、受信部201は、スマートフォン6から、スマートフォン6が車両1の運転席130a近傍に位置するか、助手席130bまたは後部座席に位置するかについての情報を取得しても良い。
本実施形態の対応付け部205は、第1の実施形態の機能を備えた上で、スマートフォン6が車両内に位置する場合にスマートフォン6と、画像データから認識された一または複数の車両1のうちの一の車両1とを対応付ける。
また、スマートフォン6が車両外に位置する場合は、当該スマートフォン6は、車両1を運転中の運転者が所持するスマートフォン6ではない。このため、対応付け部205は、スマートフォン6が車両外に位置する場合には、スマートフォン6と、画像データから認識された車両1とを対応付けない。
なお、受信部201がスマートフォン6から、スマートフォン6が車両1の運転席130a近傍に位置するか、助手席130bまたは後部座席に位置するかについての情報を取得した場合、対応付け部205は、スマートフォン6が車両1の運転席130a近傍に位置する場合にのみ対応付けを行い、スマートフォン6が助手席130bまたは後部座席に位置する場合には対応付けを行わない、としても良い。これは、スマートフォン6が車両1の運転席130a近傍以外の場所にある場合、当該スマートフォン6は、車両1の運転者のものではなく、同乗者のものである可能性があるためである。対応付け部205は、スマートフォン6が車両1の運転席130a近傍に位置する場合にのみ対応付けを行うことで、誤って同乗者のスマートフォン6を車両1と対応付けてしまうことを低減することができる。
図17は、第2の実施形態に係るスマートフォン6と車両1a,1bとの位置関係の一例を示す図である。例えば、受信部201がスマートフォン6から、スマートフォン6が車両内に位置することを示す情報を取得したものとする。この場合、対応付け部205は、当該スマートフォン6を、車両1a,1bのいずれかとの対応付けの対象として特定する。
図17に示す時点では、スマートフォン6が画像データから認識された車両1a,1bのいずれの車内にあるかが不明であるため、スマートフォン6が存在する可能性のある領域は、候補領域51aと候補領域51bの2つとなる。この後、対応付け部205は、第1の実施形態と同様に、スマートフォン6の移動方向および移動速度と、車両1a,1bの移動方向および移動速度とに基づいて、スマートフォン6を、車両1a,1bのいずれかと対応付ける。
次に、以上のように構成された本実施形態のスマートフォン6およびサーバ装置200によって実行されるナビゲーション処理の流れについて説明する。
図18は、第2の実施形態に係る車両1の入庫時のナビゲーション処理の流れの一例を示すシーケンス図である。
S101のGPS位置情報の取得処理は、第1の実施形態と同様の処理である。
次に、スマートフォン6の受信部603は、Bluetooth通信装置BTから発信されたBluetoothの電波を受信する。そして、スマートフォン6の判定部607は、受信部603が受信したBluetoothの電波の強度に基づいてスマートフォン6が車両内と車両外のいずれに位置するかを判定する。当該処理を、車内・車外位置判定処理という(S201)。なお、図18では図示を省略するが、スマートフォン6の受信部603および判定部607は、Bluetooth通信装置BTから発信されたBluetoothの電波の強度に基づく車内・車外位置判定処理を、継続的に実行する。スマートフォン6の受信部603によるBluetoothの電波の受信は、本実施形態における第2の受信ステップの一例である。また、スマートフォン6の判定部607によるスマートフォン6が車両内と車両外のいずれに位置するかの判定処理は、本実施形態における判定ステップの一例である。
S102の接続要求から~S103の認証情報の要求までは、第1の実施形態と同様の処理である。
次に、スマートフォン6の送信部602は、スマートフォン6の車内・車外位置判定結果、スマートフォン6のGPS位置情報、スマートフォン6のユーザの個人ID、認証情報、およびスマートフォン6のユーザの乗車する車両の車両情報をサーバ装置200に送信する(S202)。S202のスマートフォン6の車内・車外位置判定結果の送信は、本実施形態における第2の送信ステップの一例である。サーバ装置200の受信部201は、スマートフォン6から送信された情報を受信する。
次に、サーバ装置200の対応付け部205は、スマートフォン6から送信された車内・車外位置判定結果に基づいて、当該スマートフォン6を車両1への割り当て対象とするか否かを判定する(S203)。対応付け部205は、スマートフォン6から送信された車内・車外位置判定結果が、スマートフォン6が車内に位置することを示す場合、S105の処理に進む。また、対応付け部205は、スマートフォン6から送信された車内・車外位置判定結果が、スマートフォン6が車外に位置することを示す場合、S105以降の処理は実行しない。
S105の認証処理から、S121の車両が駐車した駐車枠の認識までの処理は、第1の実施形態と同様の処理である。
そして、スマートフォン6の判定部607は、Bluetooth通信装置BTから発信されたBluetoothの電波の強度に基づいて、スマートフォン6が車両1から降車したか否かを判定する(S204)。
スマートフォン6の送信部602は、スマートフォン6が車両1から降車したと判定された場合、降車判定結果をサーバ装置200に送信する(S205)。サーバ装置200の受信部201は、スマートフォン6から送信された降車判定結果を受信する。スマートフォン6が車両1から降車した場合、当該スマートフォン6の持ち主である車両1の運転者も車両1を降車した可能性が高い。
本実施形態においては、スマートフォン6が車両1から降車したことを示す降車判定結果をスマートフォン6から取得した場合に、サーバ装置200の送信部209は、車両1が実際に駐車した駐車枠の情報を、スマートフォン6に送信する(S122)。S123の処理は、第1の実施形態と同様の処理である。
また、本実施形態においては、スマートフォン6が車両1から降車したことを示す降車判定結果をスマートフォン6から取得した場合に、サーバ装置200の検知部207および行動予測部208は、当該車両1に対する監視処理を終了する(S124)。
また、図19は、第2の実施形態に係る車両1の出庫時のナビゲーション処理の流れの一例を示すシーケンス図である。このシーケンス図の処理では、車両1は、既に駐車場90の駐車枠に駐車しており、運転者が降車した状態から車両1に戻って来た場合を想定する。
運転者がスマートフォン6と共に車両1に乗車した場合、スマートフォン6の受信部603は、Bluetooth通信装置BTから発信されたBluetoothの電波を受信する。そして、スマートフォン6の判定部607は、受信部603が受信したBluetoothの電波の強度に基づいてスマートフォン6が車両内と車両外のいずれに位置するかを判定する。この場合は、当該処理を乗車判定処理という(S301)。
S101のGPS位置情報の取得処理から、S103の認証情報の要求処理までは、第1の実施形態と同様の処理である。
そして、スマートフォン6の送信部602は、スマートフォン6の乗車判定結果、車両1が駐車している駐車枠を示す駐車枠情報、スマートフォン6のGPS位置情報、スマートフォン6のユーザの個人ID、認証情報、およびスマートフォン6のユーザの乗車する車両の車両情報をサーバ装置200に送信する(S302)。なお、駐車枠情報については、サーバ装置200側でスマートフォン6と対応付けられて保存されている場合、送信部602が送信しなくとも良い。
S303の割り当て要否判定は、図18のS203の処理と同様である。また、S105の認証処理から、S113のスマートフォン6と車両1の対応付けの処理までは、第1の実施形態と同様の処理である。なお、対応付け部205は、入庫時におけるスマートフォン6と車両1の対応付けの結果を採用しても良い。
そして、サーバ装置200の送信部209は、スマートフォン6に、車両1が駐車した駐車枠から、駐車場90の出口までの経路を示す経路情報を送信する(S304)。スマートフォン6の受信部603は、サーバ装置200から、当該経路情報を受信する。
この場合、スマートフォン6の表示制御部604は、サーバ装置200から送信された経路情報に基づいて、案内情報をディスプレイ61Gに表示させる(S305)。
S117の逆走、速度超過、および接触可能性の監視の処理から、S119の警告通知の処理までは、第1の実施形態と同様の処理である。
そして、スマートフォン6のユーザが運転する車両1の駐車場90からの出庫が完了すると(S306)、スマートフォン6がサーバ装置200または構内Wi-fiのアクセスポイントAPの通信圏外となる。この場合、サーバ装置200の検知部207および行動予測部208は、当該車両1に対する監視処理を終了する(S307)。検知部207が車両1に対する監視処理を終了した場合、車両1に対応するスマートフォン6への送信部209による指示情報の送信が停止する。また、検知部207が監視処理を終了した場合、サーバ装置200は、当該車両1に関する情報をRAM21C等のワークメモリからHDD21F等のストレージへ退避させても良い。また、サーバ装置200の認識部204が画像データから車両1が駐車枠内で停止したことを認識した場合に、検知部207および行動予測部208が監視処理を終了しても良い。
このように、本実施形態のサーバ装置200は、スマートフォン6から、当該スマートフォン6が車両内と車両外のいずれに位置するかについての情報を取得し、スマートフォン6が車両内に位置する場合に当該スマートフォン6と、画像データから認識された車両1とを対応付け、スマートフォン6が車両外に位置する場合には当該スマートフォン6と、画像データから認識された車両1とを対応付けない。このように、本実施形態のサーバ装置200によれば、スマートフォン6が車両内と車両外のいずれに位置するかによって処理を分けることにより、単に駐車場90を通行する歩行者が所持するスマートフォン6等を誤って近傍の車両1に対応付けることを低減することができる。
(第3の実施形態)
この第3の実施形態では、サーバ装置200を、有料駐車場における課金処理に適用する。
図20は、第3の実施形態に係るサーバ装置200の機能の一例を示すブロック図である。本実施形態のサーバ装置200は、受信部201、画像データ取得部202、特定部203、認識部204、対応付け部205、割当部206、検知部207、行動予測部208、送信部209、算出部210、課金部211、および記憶部250を備える。
画像データ取得部202、特定部203、認識部204、割当部206、検知部207、行動予測部208、送信部209、および記憶部250は、第1の実施形態と同様の機能を備える。
図21は、第3の実施形態に係る有料駐車場90bの一例を示す図である。有料駐車場90bは、例えば、無人の時間貸し駐車場であり、本変形における車両が走行可能な空間の一例である。
有料駐車場90bの入口には、例えばゲート710が設けられている。
また、ゲート710の近傍の有料駐車場90bの外側に、認証装置700が設けられる。認証装置700は、例えば、スマートフォン6がタッチされることでスマートフォン6と通信する。また、認証装置700は、Bluetoothまたはその他の近距離通信によりスマートフォン6と通信しても良い。認証装置700は、例えば、スマートフォン6から、スマートフォン6のユーザの個人ID等の識別情報、および支払い方法に関する情報を取得する。支払い方法に関する情報は、例えば、クレジットカード決済に関する情報、または各種電子マネー決済に関する情報である。認証装置700は、サーバ装置200と有線または無線により接続しており、スマートフォン6から取得した情報をサーバ装置200に送信する。認証装置700は、本実施形態における通信装置の一例である。
一般に、無人の有料駐車場90bにおいては、防犯等を目的とした監視カメラが設置される場合があるが、設置場所の都合等により、有料駐車場90bの全体が必ずしも撮影範囲A2に含まれるとは限らない。本実施形態の画像データは、有料駐車場90bのうちの少なくとも一部を撮影した画像データとする。図21に示す例では、カメラ5の撮影範囲A2には有料駐車場90bの入口は含まれず、有料駐車場90b内の一部のみが含まれる。
図20に戻り、本実施形態のサーバ装置200の受信部201は、第1の実施形態の機能を備えた上で、有料駐車場90bの入り口に設置された認証装置700から、認証装置700が取得したスマートフォン6のユーザの識別情報、支払い方法に関する情報、および認証装置700とスマートフォン6が通信した時刻を取得する。認証装置700とスマートフォン6が通信した時刻は、入庫時刻として課金の起算時刻となる。
また、本実施形態のサーバ装置200の対応付け部205は、第1の実施形態の機能を備えた上で、画像データから認識された車両1と、当該車両1に対応するスマートフォン6のユーザの識別情報および支払い方法に関する情報と、入庫時刻とを対応付けて記憶部に記憶させる。スマートフォン6と車両1の対応付けの手法は、第1の実施形態と同様である。
算出部210は、車両1が有料駐車場90bから出庫した場合に、出庫時刻と、入庫時刻とに基づいて駐車料金を算出する。例えば、本実施形態の認識部204は、車両1が駐車枠から移動したことを画像データから認した場合に、車両1が有料駐車場90bから出庫したと認識するものとする。なお、車両1が有料駐車場90bから出庫したか否かの判定手法はこれに限定されない。
課金部211は、スマートフォン6から取得された支払い方法に関する情報に基づいて、駐車料金を課金する。課金の方法はクレジットカード決済または電子マネー決済等であり、一般にスマートフォン6により利用される既存の課金手法を採用可能である。
このように、本実施形態のサーバ装置200によれば、有料駐車場90bにおける課金処理においてスマートフォン6と車両1の自動的な対応付けを実施するため、有料駐車場90bにフラップ等の車輪止めを用いなくとも、車両1の入出庫および課金先を管理することができる。また、本実施形態によれば、カメラ5が入口から入ってくる車両1を撮影していなくても、有料駐車場90bに入場後の車両1を撮影することにより、有料駐車場90bは、車両1とスマートフォン6とを対応付けて、スマートフォン6を搭載した車両1を特定することができる。このような構成により、有料駐車場90b内の個々の駐車枠にフラップを設けたり、有料駐車場90b全体を監視可能な複数のカメラ5を設置したりしなくとも良いため、有料駐車場90b開設のための初期投資を低減することができる。
なお、本実施形態では、サーバ装置200およびスマートフォン6は第1の実施形態と同様の機能を備えた上で、本実施形態特有の構成をさらに備えるものとして説明したが、本実施形態の構成に、第2の実施形態の構成が組み合わせられても良い。
(第4の実施形態)
この第4の実施形態では、サーバ装置を、ショッピングモール等の施設におけるショッピングカートの整列処理に適用する。
図22は、第4の実施形態に係るサーバ装置200aにより管理されるショッピングカート収容場92の一例を示す図である。
ショッピングカート収容場92は、ショッピングモール等で利用されるショッピングカート10を収容する施設である。なお、ショッピングカート収容場92は、施設の顧客が利用する駐車場内のスペースを利用したものであっても良い。
ショッピングカート収容場92は、通路92a、ショッピングカート収容位置92bおよび92cを含む。通路92aは、ショッピングカート10を搬送するための通路である。本実施形態では、ショッピングカート10は、通路92a上を図22に矢印で示した方向に自動的に移動している。なお、通路92aは、例えば、ベルトコンベア等のような載置した物体を自動的に搬送する機構を有していても良い。
ショッピングカート収容位置92bおよび92cは、複数のショッピングカート10を収容する場所である。なお、ショッピングカート収容位置92bおよび92cは、ショッピングカート10が備える制御装置100を充電する機能を備えていても良い。
通路92a、ショッピングカート収容位置92bおよび92cは、本実施形態におけるモビリティが走行可能な領域の一例である。また、ショッピングカート収容位置92bおよび92cは本実施形態における目的位置の一例である。
サーバ装置200aは、ショッピングカート収容場92に収容するショッピングカート10を管理する。例えば、サーバ装置200aは、制御範囲Da1内に存在するショッピングカート10と、カメラ5cで撮影された画像データ上に表されるショッピングカート10とを対応付ける。
制御範囲Da1は、例えば、カメラ5cの画角に応じて設定される領域である。サーバ装置200aは、画像上のショッピングカート10と対応付けられたショッピングカート10の制御装置100に対して、ショッピングカート10を制御する制御命令を送信する。
例えば、サーバ装置200は、制御範囲Da1内に存在するショッピングカート10に対してショッピングカート収容位置92bまたは92cを割り当て、割り当てた収容位置にショッピングカート10を誘導する制御命令を制御装置100に送信する。なお、サーバ装置200aによって送信される情報は、これらに限定されるものではない。
なお、サーバ装置200aの設置場所は特に限定しない。例えば、サーバ装置200aは、ショッピングカート収容場92内に設けられても良いし、ショッピングカート収容場92近傍の管理施設等に設けられても良い。なお、サーバ装置200aの代わりに、PC等のコンピュータが設けられていても良い。
ショッピングカート収容場92には、カメラ5cが設置される。カメラ5cは、ショッピングカート収容場92全体または一部を撮影可能な固定カメラとする。本実施形態においては、少なくとも、カメラ5cはショッピングカート10が収納される収容位置とそこに至るまでの通路を撮影可能であるものとする。
図22に示す例では、サーバ装置200aとカメラ5cとは、ケーブル3aにより、通信可能に接続している。なお、サーバ装置200aとカメラ5cとの通信手法は直接的な有線接続に限定されるものではなく、無線通信によって接続しても良いし、他の情報処理装置等を介して間接的に接続しても良い。
なお、サーバ装置200aは、図2に示したサーバ装置200と同様のハードウェアで構成されるため、ハードウェア構成についての説明は省略する。
次に、ショッピングカートの構成について説明する。図23は、第4の実施形態に係るショッピングカート10の構成の一例を示す図である。ショッピングカート10は、制御装置100と、台車101とを備える。ショッピングカートは、本実施形態におけるモビリティの一例である。制御装置100は、本実施形態における通信デバイスの一例である。
制御装置100は、施設において、サーバ装置200aと協働してショッピングカート10を制御し、所定の場所に収容する。制御装置100は、図23に示すように、基台11と、一対の支柱12と、搬送部14と、操作盤15と、を備える。
基台11は、例えば、複数(例えば4つ)の車輪(図示しない)を有する。複数の車輪の各々は、例えば、オムニホイール等の全方向移動型車輪である。複数の車輪の各々は、後述する駆動部13の制御によって駆動し、ショッピングカート10を自走させる。
一対の支柱12は、基台11の後端部から上方に突出する。支柱12の上端部は、鉛直方向に対して傾斜している。
搬送部14は、台車101を搬送する機構である。搬送部14は、例えば、図22に示すように、基台11の前端部の上面に設けられる。搬送部14は、本実施形態では、台車101の後部を持ち上げることにより、台車101を保持する機構である。図23の例では、搬送部14は、制御装置100の前方に位置する台車101を、制御装置100が後方から押すようにして搬送を行う。
操作盤15は、顧客等のユーザから操作入力を受付ける。操作盤15は、例えば、図23に示すように、一対の支柱12の上端部間に跨るようにして、一対の支柱12にて支持される。操作盤15には、例えば、タッチパネルディスプレイからなるヒューマンマシンインタフェース(Human Machine Interface)15aが配置される。
台車101は、ショッピングモール等の施設で購入した商品(または購入予定の商品)を運搬するために用いられる。台車101は、第1フレーム102に複数個の車輪103を備え、第1フレーム102から立ち上がる第2フレーム104にハンドル105を備えている。本実施形態において、台車101は、制御装置100を着脱可能に構成される。ハンドル105は、顧客等のユーザが手動で台車101を搬送する場合に用いられる。
次に、図24を用いて、本実施形態の制御装置100のハードウェア構成について説明する。
図24は、第4の実施形態に係る制御装置100のハードウェア構成の一例を示す図である。図24に示すように、制御装置100は、CPU100A、ROM100B、RAM100C、デバイスI/F100D、NW I/F100E、フラッシュメモリ100F、ディスプレイ100G、タッチパネル100H、スピーカ100I等がバス100Jにより相互に接続された構成となっている。
CPU100Aは、制御装置100を制御する演算装置である。なお、CPU100Aは、本実施形態の制御装置100におけるプロセッサの一例であり、他のプロセッサまたは処理回路がCPU100Aの代わりに設けられても良い。
ROM100B、RAM100C、およびフラッシュメモリ100Fは、制御装置100の記憶部として機能する。例えば、ROM100Bは、CPU100Aによる各種処理を実現するプログラム等を記憶する。RAM100Cは、例えば制御装置100の主記憶装置であり、CPU100Aによる各種処理に必要なデータを記憶する。
ディスプレイ100Gは、例えば液晶ディスプレイであり、CPU100Aによる制御の下、各種の情報を表示する。ディスプレイ100Gは、本実施形態における表示部の一例である。
タッチパネル100Hは、例えばユーザの指等で操作可能な投影型静電容量方式のタッチパネルである。本実施形態においては、ディスプレイ100Gとタッチパネル100Hは、積層されて構成されており、タッチパネルディスプレイを構成する。
スピーカ100Iは、CPU100Aによる制御の下、音または音声メッセージを出力する。
デバイスI/F100Dは、デバイスI/F21Dは、各種のデバイスと接続可能なインタフェースである。
なお、図24に示す制御装置100のハードウェア構成は一例であり、これに限定されるものではない。例えば、制御装置100は、GPS装置等を備えていてもよい。
次に、本実施形態のサーバ装置200aが備える機能について説明する。
図25は、第4の実施形態に係るサーバ装置200の機能の一例を示すブロック図である。図25に示すように、サーバ装置200aは、受信部201a、画像データ取得部202a、認識部204a、対応付け部205a、割当部206a、送信部209a、車両検知部212、ベクトル算出部213、経路生成部214、制御命令生成部215および記憶部250aを備える。
記憶部250aは、例えばROM21B、RAM21C、またはHDD21Fによって構成される。なお、図25では1つの記憶部250aがサーバ装置200aに含まれるように記載したが、複数の記憶媒体が記憶部250aとして機能しても良い。
また、記憶部250aは、ショッピングカート10を収容するショッピングカート収容場92内のショッピングカート収容位置92bおよび92cの位置、および、ショッピングカート収容場内の通路92aの位置の情報を含む地図データを記憶する。また、記憶部250aは、ショッピングカート10を識別する車両IDと、ショッピングカート収容位置92bまたは92cを識別する収容部IDと、ショッピングカート10が収納済か否かを表す情報とを対応付けた収容情報を記憶する。
受信部201a、画像データ取得部202a、認識部204a、対応付け部205a、割当部206a、送信部209a、車両検知部212、ベクトル算出部213、経路生成部214、および制御命令生成部215は、例えば、ROM21BまたはHDD21Fに記憶されたプログラムをCPU21Aが読み出すことにより、実行される機能である。あるいは、これらの機能を備えるハードウェア回路がサーバ装置200aに設けられても良い。
受信部201aは、NW I/F21Eを介してショッピングカート10の制御装置100と通信する。より詳細には、受信部201は、ショッピングカート10の制御装置100からショッピングカート10(制御装置100)の位置情報を受信する。
当該位置情報は、例えば、ショッピングカート収容場92に設置された複数の構内Wi-fiのアクセスポイントと、ショッピングカート10との間の距離から特定した、ショッピングカート10(制御装置100)の位置を表す情報(以下、Wi-fi位置情報ともいう)である。なお、制御装置100にGPS装置が搭載されている場合、受信部201aは、制御装置100のGPS位置情報をショッピングカート10の位置情報として受信してもよい。
画像データ取得部202aは、カメラ5cから、ショッピングカート収容場92が撮影された画像データを取得する。
認識部204aは、画像データ取得部202aによりカメラ5cから取得された画像データからショッピングカート収容場92内に存在する一または複数のショッピングカート10の位置、移動方向、および移動速度を認識する。
カメラ5cによって撮影された画像データ内の座標と、実空間上の位置とは、予めキャリブレーションされているものとする。認識部204aは、画像データ上でショッピングカート10が描述された位置から、実空間上のショッピングカート10の位置を認識する。
例えば、認識部204aは、ディープラーニング等の技術を用いた画像認識処理により、動画データに含まれる複数のフレームの各々に描出されたショッピングカート10の位置を認識する。認識部204aは、各フレームにおいて認識したショッピングカート10の位置の変化に基づいて、ショッピングカート10の移動方向および移動速度を表す動きベクトルを特定する。
また、カメラ5cにより撮影された画像データが静止画データである場合には、認識部204aは、画像データ取得部202aが時系列に複数回取得した複数の静止画データの各々からディープラーニング等の技術を用いた画像認識処理によりショッピングカート10の位置を認識し、各静止画データ間のショッピングカート10の位置の変化に基づいて、ショッピングカート10の移動方向および移動速度を表す動きベクトルを特定する。
対応付け部205aは、画像データ上に表されたショッピングカート10の動きと、ショッピングカート10の位置情報の動きとに基づいて、画像データに表されたショッピングカート10に対応する実空間上でのショッピングカート10を特定し、両ショッピングカートを対応付ける。
例えば、対応付け部205aは、候補として特定されたショッピングカート10の理論上の位置、移動方向、および移動速度と、認識部204aで認識されたショッピングカート10の位置、移動方向、および移動速度とに基づいて、実際のショッピングカート10のカートIDと、画像データ上のショッピングカート10の制御カートIDとを対応付ける。対応付け部205aの処理については後述する。
割当部206aは、ショッピングカート収容場92に含まれる複数の収容位置のうち、ショッピングカート10に割り当てる収容位置を決定する。例えば、割当部206aは、記憶部250aに記憶された地図データと、収容情報とに基づいて、ショッピングカート10に収容位置を割り当てる。
より具体的には、割当部206aは、制御対象となるショッピングカート10の位置の近傍であって、ショッピングカート10の収容台数が少ない収容位置を、制御対象となるショッピングカート10に割り当てる。なお、収容位置が充電機能を有する場合、割当部206aは、制御装置100の充電量を考慮して、収納位置を割り当てても良い。
送信部209aは、制御装置100に各種情報を送信する。例えば、送信部209aは、制御装置100に対してカートIDの送信要求を送信する。また、例えば、送信部209aは、ショッピングカート10を制御するための制御命令を送信する。制御命令には、対応付け部205aによって対応付け候補として特定されたショッピングカート10のカートIDが含まれる。
車両検知部212は、制御対象となるショッピングカート10を検知する。例えば、車両検知部212は、画像データ取得部202aで取得された画像データを解析し、制御範囲Da1内に存在するショッピングカート10を検知する。また、車両検知部212は、画像データ上で制御範囲Da1内に存在するショッピングカート10を制御対象となるショッピングカート10として特定する。
また、車両検知部212は、画像データ上で特定された制御対象となるショッピングカート10を識別する制御カートIDを、画像データ上で特定したショッピングカート10に割り当てる処理を実行する。
ベクトル算出部213は、制御対象となるショッピングカート10の理論上におけるショッピングカート10の位置、移動方向、および移動速度を算出する。
例えば、ベクトル算出部213は、対応付け候補として特定されたショッピングカート10に対して複数回送信された駆動指示および停止指示(GO/STOP命令)に基づいて、対応付け候補のショッピングカート10の理論上におけるショッピングカート10の位置を算出する。また、ベクトル算出部213は、算出された理論上のショッピングカート10の位置の変化から、理論上の移動方向、および移動速度を表す理論上の動きベクトルを算出する。
また、対応付け部205aは、受信部201aで受信した一または複数のショッピングカート10のWi-fi位置情報に基づいて、画像データから特定された制御対象のショッピングカート10の位置の誤差範囲内の位置に存在する一または複数のショッピングカート10を対応付け候補カートとして特定する。
また、対応付け部205aは、特定した対応付け候補カートのうち、理論上の移動方向および移動速度が、認識部204aで認識された制御対象のショッピングカート10の移動方向および移動速度と一致するショッピングカート10のカートIDを、制御対象として特定されたショッピングカート10の制御カートIDに対応付ける。
経路生成部214は、ショッピングカート10を誘導するための経路を生成する。例えば、経路生成部214は、制御対象のショッピングカート10を割当部206aで割り当てられたショッピングカート収容位置92b(92c)に誘導するための経路を生成する。
制御命令生成部215は、ショッピングカート10を制御するための制御命令を生成する。例えば、制御命令生成部215は、ショッピングカート10を前進または後退させる駆動指示を生成する。また、例えば、制御命令生成部215は、駆動しているショッピングカート10を停止させる停止指示を生成する。また、例えば、制御命令生成部215は、経路生成部214で生成された経路に沿ってショッピングカート10を移動させるための制御命令を生成する。
次に、ショッピングカート10の制御装置100が備える機能について説明する。
図26は、第4の実施形態に係るショッピングカート10の制御装置100の構成の一例を示すブロック図である。図26に示すように、制御装置100は、処理回路110を備える。また、処理回路110は、駆動部13及び記憶部1050と接続される。
駆動部13は、ショッピングカート10を自動的に搬送するための機構である。駆動部13は、複数の車輪をそれぞれ駆動する電動モータ、及び電動モータを駆動するドライバ回路等で構成される。駆動部13は、複数の車輪の各々を個別に駆動することにより、基台11を全方向に移動させることが可能である。駆動部13は、処理回路110から入力される制御信号に基づいて、複数の車輪の各々を制御信号に応じた回転方向及び回転速度で駆動する。
記憶部1050は、例えばROM100B、RAM100C、またはフラッシュメモリ100Fによって構成される。なお、図25では1つの記憶部1050が制御装置100に含まれるように記載したが、複数の記憶媒体が記憶部1050として機能しても良い。また、記憶部1050は、ショッピングカート10のカートID等を記憶する。
処理回路110は、制御装置100を統括的に制御する。処理回路110は、例えばCPU100Aによって構成される。図26に示すように、処理階と110は、取得部1101、送信部1102、受信部1103、駆動制御部1104、および表示制御部1105を備える。
取得部1101、送信部1102、受信部1103、駆動制御部1104、および表示制御部1105は、例えば、ROM100Bまたはフラッシュメモリ100Fに記憶されたプログラムをCPU100Aが読み出すことにより、実行される機能である。当該プログラムは、例えば、制御装置100で実行されるアプリケーションプログラムである。
取得部1101は、ショッピングカート10の位置情報を取得する。例えば、取得部1101は、ショッピングカート収容場92に設置された複数の構内Wi-fiのアクセスポイントのうち、制御装置100と通信した2点以上のアクセスポイントの位置に基づいて、3点計測により制御装置100の位置を求め、ショッピングカート10の位置情報として取得する。
なお、取得部1101は、デバイスI/F100DにGPS装置が接続されている場合、デバイスI/F100Dを介して、GPS装置から制御装置100のGPS位置情報を取得してもよい。
送信部1102は、各種情報をサーバ装置200aへ送信する。例えば、送信部1102は、ショッピングカート10のWi-fi位置情報をサーバ装置200aに送信する。また、送信部1102は、ショッピングカート10のWi-fi位置情報と共に、記憶部1050に記憶されたカートIDをサーバ装置200aに送信してもよい。
受信部1103は、サーバ装置200aからショッピングカート10の制御命令を受信する。例えば、受信部1103は、ショッピングカート10の駆動指示を受信する。また、例えば、受信部1103は、ショッピングカート10の駆動指示を受信する。
駆動制御部1104は、駆動部13を制御して、ショッピングカート10を搬送する制御を行う。例えば、駆動制御部1104は、受信部1103で受信されたショッピングカート10の駆動指示に従い、ショッピングカート10を前進または後退させる制御を行う。また、例えば、駆動制御部1104は、受信部1103で受信されたショッピングカート10の駆動指示に従い、ショッピングカート10を停止させる制御を行う。
また、例えば、駆動制御部1104は、サーバ装置200aからの制御命令によらずに、駆動部13を制御し、ショッピングカート10を前進させる等の制御を実行しても良い。
表示制御部1105は、各種情報をディスプレイ100Gに表示させる。例えば、表示制御部1105は、サーバ装置200aの割当部206aで割り当てられた収納位置を表す情報をディスプレイ100Gに表示させても良い。
次に、以上のように構成された本実施形態の制御装置100およびサーバ装置200aによって実行されるショッピングカート10の整列処理の流れについて説明する。
図27は、第4の実施形態に係るショッピングカート10の整列処理の流れの一例を示すシーケンス図である。
まず、サーバ装置200aの画像データ取得部202aは、カメラ5cから、ショッピングカート収容場92が撮影された画像データを取得する(S401)。なお、図27ではS401の処理として図示しているが、サーバ装置200aの画像データ取得部202aは、サーバ装置200aおよびカメラ5cの起動中は、画像データを継続的に取得する。
そして、車両検知部212は、ショッピングカート10が制御範囲Da1内に入ったことを検知する(S402)。例えば、車両検知部212は、S401で取得された画像データを解析し、ショッピングカート10が制御範囲Da1内に入ったことを検知する。
また、車両検知部212は、画像データ上における制御対象のショッピングカートを特定し、制御カートIDを割り当てる(S403)。例えば、車両検知部212は、S401で取得された画像データの解析結果から、制御範囲Da1内に移動したと認識される、画像データ上に描画されたショッピングカート10を制御対象として特定し、制御カートIDを割り当てる。
次いで、制御装置100の取得部1101は、ショッピングカート10の位置情報を取得する(S404)。例えば、取得部1101は、制御装置100と通信した構内Wi-fiのアクセスポイントの位置に基づいて特定した位置情報をショッピングカート10の位置情報として取得する。なお、図27ではS404の処理として図示するが、取得部1101は、制御装置100の起動中は、ショッピングカート10の位置情報を継続的に取得する。
次いで、制御装置100の送信部1102は、制御装置100がサーバ装置200aまたは構内Wi-fiのアクセスポイントの通信圏内に入った場合、または制御装置100がサーバ装置200aまたは構内Wi-fiのアクセスポイントと規定の距離まで接近した場合に、サーバ装置200aにショッピングカート10の位置情報を送信する(S405)。このとき、送信部1102は、ショッピングカート10の位置情報と併せて、制御装置100の記憶部1050に記憶されたカートIDをサーバ装置200aに送信する。
なお、規定の距離の長さは特に限定されるものではなく、ショッピングカート収容場92の大きさ、またはサーバ装置200aまたは構内Wi-fiのアクセスポイントの設置位置等に応じて設定可能である。
なお、図27ではS405の処理として図示するが、送信部1102は、S405の処理後、制御装置100がサーバ装置200aまたは構内Wi-fiのアクセスポイントの通信圏内にある間は、ショッピングカート10の位置情報を継続的にサーバ装置200aに送信する。
サーバ装置200aの受信部201aは、制御装置100から送信されたショッピングカート10の位置情報を受信する(S406)。なお、図27ではS406の処理として図示するが、受信部201aは、制御装置100から送信されたショッピングカート10の位置情報を継続的に取得する。
次いで、対応付け部205aは、対応付けの候補となるショッピングカート10を特定する(S407)。例えば、対応付け部205aは、S406で受信した複数のショッピングカート10の位置情報に基づいて、画像データから特定された制御対象のショッピングカート10の位置の誤差範囲内の位置に存在するショッピングカート10を対応付け候補カートとして特定する。
次いで、サーバ装置200aの送信部209aは、ショッピングカート10を停止させる停止指示を制御装置100に送信する(S408)。例えば、送信部209aは、制御命令生成部215で生成された停止指示を制御装置100に送信する。制御装置100の受信部1103は、停止指示を受信する(S409)。また、駆動制御部1104は、S409で受信された停止指示に従い、駆動部13を駆動させ、ショッピングカート10を停止させる停止制御を行う(S410)。
次いで、サーバ装置200aの送信部209aは、ショッピングカート10を前進または後退させる駆動指示を制御装置100に送信する(S411)。例えば、送信部209aは、制御命令生成部215で生成された駆動指示を制御装置100に送信する。制御装置100の受信部1103は、駆動指示を受信する(S412)。また、駆動制御部1104は、S411で受信された駆動指示に従い、駆動部13を駆動させ、ショッピングカート10を前進または後退させる駆動制御を行う(S413)。
そして、サーバ装置200aおよび制御装置100は、上記S408~S413と同様の処理を繰り返す(S414~S419)。なお、図27では、S408~S413と同様の処理を2回繰り返して実行する場合を図示しているが、処理の繰り返し回数は、2回に限定されるものではない。例えば、上記S408~S413と同様の処理を3回以上繰り返してもよい。
次いで、サーバ装置200aのベクトル算出部213は、S407で対応付け候補として特定された一または複数のショッピングカート10の理論上の動きベクトルを算出する(S420)。例えば、ベクトル算出部213は、S408、S411、S414およびS417で送信された停止指示および駆動指示に基づいて、S407で対応付け候補として特定された一または複数のショッピングカート10の理論上の動きベクトルを算出する。
また、サーバ装置200aの認識部204aは、S403で特定された制御対象のショッピングカート10の動きベクトルを特定する(S421)。例えば、認識部204aは、画像データが動画データである場合、動画データに含まれる複数のフレームの各々に描出されたショッピングカート10の位置を認識する。また、認識部204aは、各フレームにおいて認識したショッピングカート10の位置の変化に基づいて、ショッピングカート10の移動方向および移動速度を表す動きベクトルを特定する。
次いで、サーバ装置200aの対応付け部205aは、動きベクトルの照合を行う(S422)。例えば、対応付け部205aは、S420で算出された対応付け候補として特定された一または複数のショッピングカート10の理論上の動きベクトルと、S421で特定された制御対象のショッピングカート10の動きベクトルとの照合を行う。
そして、サーバ装置200aの対応付け部205aは、カートIDと制御カートIDとの対応付けを行う(S423)。例えば、対応付け部205aは、対応付け候補カートのうち、理論上の移動方向および移動速度が、認識部204aで認識された制御対象のショッピングカート10の移動方向および移動速度と一致するショッピングカート10のカートIDを、制御対象のショッピングカート10の制御カートIDに対応付ける。
次いで、サーバ装置200aの割当部206aは、S402で特定された制御対象のショッピングカート10に、収納位置を割り当てる(S424)。例えば、割当部206aは、記憶部250aに記憶された収容情報を参照し、収容数が少ない収容位置を制御対象のショッピングカート10に割り当てる。
次いで、サーバ装置200aの経路生成部214は、制御対象のショッピングカート10を割り当てられた収容位置に搬送するための経路を生成する(S425)。例えば、経路生成部214は、画像データから制御対象のショッピングカート10の位置を特定し、当該位置から割り当てられた収容位置に至る経路を生成する。
そして、サーバ装置200aの制御命令生成部215は、制御対象のショッピングカート10を収容位置まで移動させる制御を行うための制御命令を生成する。例えば、制御命令生成部215は、S425で生成された経路で制御対象のショッピングカート10が搬送されるように、制御命令を生成する。
次いで、サーバ装置200aの送信部209aは、S426で生成された制御命令を制御装置100に送信する(S426)。制御装置100の受信部1103は、制御命令を受信する(S427)。また、制御装置100の駆動制御部1104は、受信した制御命令に従って、駆動部13を駆動し、制御対象のショッピングカート10を収容位置まで移動させる制御を行う(S428)。
そして、制御装置100の駆動制御部1104は、制御対象のショッピングカート10を割り当てられた収容位置に収容する(S429)。次いで、サーバ装置200aの割当部206aは、収容情報を更新し(S430)、本処理を終了する。例えば、割当部206aは、収容情報の収容済か否かを表す情報を、未収容から収容済の変更する処理を実行する。
このように、本実施形態のサーバ装置200aは、制御装置100に送信した停止指示および駆動指示に基づいて算出される理論上のショッピングカート10の位置、移動方向、および移動速度と、画像データから認識される制御対象のショッピングカート10の位置、移動方向、および移動速度とに基づいて、両者を対応付ける。このため、本実施形態のサーバ装置200aによれば、制御対象のショッピングカート10を正確に特定することができる。したがって、制御対象でないショッピングカート10を制御してしまうことがなくなり、効率的且つ正確にショッピングカート10を所定の収容位置に収容する処理(整列処理)を実行することができる。
(第5の実施形態)
この第5の実施形態では、サーバ装置を、交差点の監視処理に適用する。
図28は、第5の実施形態に係るサーバ装置200bにより監視される交差点93の一例を示す図である。
図28では、交差点93は、道路93aと道路93bとが交差する位置を含む。また、図28では、車両1eが交差点93の入口付近に位置する。
車両1eの中には、スマートフォン6が存在する。当該スマートフォン6は、例えば、車両1eの運転者のものであり、車両1eの運転席付近に置かれている。スマートフォン6については、第1の実施形態と同様であるため、説明は省略する。また、車両1eには、車載装置7が搭載されている。車載装置7は、例えば、車両1eのナビゲーション等を行う情報処理装置である。車載装置7は、本実施形態における通信デバイスの一例である。
また、図28では、交差点93内には、歩行者P1~P3、他車両1fが存在している。歩行者P1およびP2は、道路93aを横断するための横断歩道を渡っている。また、歩行者P3は、道路93bを横断するための横断歩道の手前で立ち止まっている。また、他車両1fは、交差点93の中心位置付近を走行中である。
また、交差点93には、カメラ5dが設置される。本実施形態では、カメラ5dは、交差点93全体または一部を撮影可能な固定カメラとする。なお、交差点93内には、複数のカメラが設置されても良い。
なお、図28では図示しないが、サーバ装置200bとカメラ5dとは、通信可能に接続されているものとする。サーバ装置200bとカメラ5dとの通信手法は、直接的な有線接続であっても良いし、無線通信によって接続しても良いし、他の情報処理装置等を介して間接的に接続しても良い。
サーバ装置200bは、交差点93内を監視する。例えば、サーバ装置200bは、カメラ5dが撮影した画像データに基づいて、車両同士の接触、車両と歩行者との接触等を予測する。図28では、サーバ装置200bは、カメラ5dが撮影した画像データを解析し、歩行者P1~P3、車両1e、および他車両1fの動きを監視する。
また、サーバ装置200bは、車両同士の接触、車両と歩行者との接触等が予測される場合、車両にブレーキを掛けさせる等の制御を行う危険回避処理を実行する。例えば、図28で、車両1eと歩行者P1との接触が予測される場合、サーバ装置200bは、車両1eに制御命令を送信し、ブレーキを掛けさせる制動処理等の危険回避処理を実行する。
なお、危険回避処理を実行させる命令を制御対象以外の車両1に誤って送信してしまうと、命令を誤送信された車両1は、当該車両1の運転車が意図していない動作をすることになる。これは事故に繋がりかねないため、制御対象となる車両を確実に特定することが求められる。そこで、本実施形態に係るサーバ装置200bは、多段階で制御対象となる車両を特定する処理を実行する。
なお、サーバ装置200bの設置場所は特に限定しない。例えば、サーバ装置200bは、交差点93近傍の管理施設等に設けられても良い。なお、サーバ装置200bの代わりに、PC等のコンピュータが設けられていても良い。
なお、サーバ装置200bは、図2に示したサーバ装置200と同様のハードウェアで構成されるため、ハードウェア構成についての説明は省略する。
次に、図29を用いて、本実施形態の車載装置7のハードウェア構成について説明する。
図29は、第5の実施形態に係る車載装置7のハードウェア構成の一例を示すブロック図である。図29に示すように、車載装置7は、CPU71A、ROM71B、RAM71C、デバイスI/F71D、NW I/F71E、フラッシュメモリ71F、ディスプレイ71G、タッチパネル71H、スピーカ71I等がバス71Jにより相互に接続された構成となっている。
CPU71Aは、車載装置7を制御する演算装置である。なお、CPU71Aは、本実施形態の車載装置7におけるプロセッサの一例であり、他のプロセッサまたは処理回路がCPU71Aの代わりに設けられても良い。
ROM71B、RAM71C、およびフラッシュメモリ71Fは、車載装置7の記憶部として機能する。例えば、ROM71Bは、CPU71Aによる各種処理を実現するプログラム等を記憶する。RAM71Cは、例えば車載装置7の主記憶装置であり、CPU71Aによる各種処理に必要なデータを記憶する。
ディスプレイ71Gは、例えば液晶ディスプレイであり、CPU71Aによる制御の下、各種の情報を表示する。ディスプレイ71Gは、本実施形態における表示部の一例である。
タッチパネル71Hは、例えばユーザの指等で操作可能な投影型静電容量方式のタッチパネルである。本実施形態においては、ディスプレイ71Gとタッチパネル71Hは、積層されて構成されており、タッチパネルディスプレイを構成する。
スピーカ71Iは、CPU71Aによる制御の下、音または音声メッセージを出力する。
デバイスI/F71Dは、デバイスI/F21Dは、各種のデバイスと接続可能なインタフェースである。例えば、デバイスI/F71Dは、GPS装置71Kと接続し、GPS装置71Kから、車載装置7の現在位置を示す位置情報を取得する。当該位置情報は、例えば、車載装置7の絶対位置を示す緯度と経度の値である。
GPS装置71Kは、GPSアンテナ71Lが受信したGPS信号に基づいて車載装置7の位置を表すGPS座標を特定する装置である。GPSアンテナ71Lは、GPS信号を受信可能なアンテナである。
なお、図29に示す車載装置7のハードウェア構成は一例であり、これに限定されるものではない。
次に、本実施形態のサーバ装置200bが備える機能について説明する。
図30は、第5の実施形態に係るサーバ装置200bの機能の一例を示すブロック図である。図30に示すように、サーバ装置200bは、受信部201b、画像データ取得部202b、特定部203b、認識部204b、対応付け部205b、行動予測部208b、送信部209b、車両検知部212b、制御命令生成部215b、および記憶部250bを備える。
受信部201b、画像データ取得部202b、特定部203b、認識部204b、対応付け部205b、行動予測部208bおよび記憶部250bは、第1の実施形態と同様の機能を備える。
送信部209bは、スマートフォン6および車載装置7に各種情報を送信する。例えば、送信部209bは、車載装置7に後述する制御命令生成部215bで生成された制御命令を送信する。
車両検知部212bは、制御対象となる車両1を検知する。例えば、行動予測部208bで一または複数の車両1同士の接触、または、一または複数の車両1と歩行者Pとの接触が予測された場合に、当該予測に関わる一または複数の車両1を制御対象となる車両1として検知する。
制御命令生成部215bは、車両1を制御するための制御命令を生成する。例えば、制御命令生成部215bは、車両1に所定のパターンでハザードランプを点滅させる制御を行わせる制御命令(点灯指示および消灯指示)を生成する。当該命令は、制御対象となる車両1の特定処理に用いられる。
また、制御命令生成部215bは、車両1にブレーキを掛ける制御を行わせる制御命令(制動指示)を生成する。当該命令は、制御対象となる車両1の特定処理や危険回避処理に用いられる。なお、急ブレーキは危険が伴う処理であるため、当該処理を制御対象となる車両1の特定処理に用いる場合は、当該処理を危険回避処理に用いる場合よりも、弱くブレーキをかけることが好ましい。
なお、制御命令生成部215bが生成する制御命令は、上記に限定されるものではない。例えば、制御命令生成部215bは、車両1にハンドルを切る制御を行わせる制御命令やアクセルを緩める制御を行わせる制御命令等を生成しても良い。
なお、本実施形態では、制御命令生成部215bが生成する制御命令には、制御する車両1を識別する車両識別情報(車両識別番号等)が含まれるものとする。そして、制御命令を受信した車載装置7は、制御命令に含まれる車両識別情報と、車載装置7の記憶部750(図34参照)に記憶される車両識別情報とが一致する場合のみ、制御命令に従って車両1を制御するものとする。
制御車両特定部216は、多段階で制御対象となる車両1を特定する特定処理を実行する。例えば、制御車両特定部216は、スマートフォン6から受信したスマートフォン6の位置情報に基づいて、制御対象となる車両1の候補を特定する(1段階目の特定)。このとき、制御車両特定部216は、1台の車両1を、制御対象となる車両1の候補として特定するものとする。
なお、制御車両特定部216は、車載装置7から受信した車載装置7のGPS位置情報等に基づいて、制御対象となる車両1の候補を特定してもよい。
この場合、制御命令生成部215bは、車両1に所定のパターンでハザードランプを点滅させる制御を行わせる制御命令(点灯指示および消灯指示)を生成する。当該制御命令は、送信部209bにより、制御対象となる車両1の候補(1段階目)の車載装置7へ送信される。
また、制御車両特定部216は、車載装置7が道路上の白線等を画像認識する処理を実行することにより推定された、当該車載装置7が搭載された車両1(以下、自車両ともいう)の位置に基づいて、制御対象となる車両1の候補を特定してもよい。
そして、制御車両特定部216は、画像データ取得部202bで取得された画像データに描画された車両1のハザードランプの点滅パターン(以下、検出点滅パターンともいう)と、制御命令から導出されるハザードランプの点滅パターン(以下、理論点滅パターンともいう)とを照合する。制御車両特定部216は、検出点滅パターンと理論点滅パターンとが一致した場合、1段階目の特定処理で特定した車両1の候補を、制御対象となる車両1の候補として特定する(2段階目の特定)。
この場合、制御命令生成部215bは、車両1に弱くブレーキを掛ける制御を行わせる制御命令を生成する。当該制御命令は、送信部209bにより、制御対象となる車両1の候補(2段階目)の車載装置7へ送信される。
そして、制御車両特定部216は、画像データ取得部202bで取得された画像データから特定される車両1の減速ベクトル(以下、検出減速ベクトルともいう)と、制御命令から導出される減速ベクトル(以下、理論減速ベクトルともいう)とを照合する。制御車両特定部216は、理論減速ベクトルと検出減速ベクトルとが一致した場合、2段階目の特定処理で特定した車両1の候補を、制御対象となる車両1として特定する(3段階目の特定)。
ここで、図31、図32を用いて制御対象となる車両1の特定処理について説明する。図31は、第5の実施形態に係る交差点93の車両1と歩行者Pとの位置関係の一例を示す図である。なお、図31は、カメラ5dにより撮影された画像データを表しているものとする。
前提として、行動予測部208bが車両1eと歩行者P1とが接触すると予測されたものとする。この場合、まず、車両検知部212bは、画像データ上における車両1eを制御対象となる車両1として検知する。
次いで、制御車両特定部216は、受信部201bで受信されたスマートフォン6のGPS位置情報が、画像データ取得部202bで取得された画像データ上の制御対象となる車両1eの位置情報の誤差範囲にある車両1を、制御対象となる車両1eの候補として特定する(1段階目の特定処理)。なお、2台以上の車両1が候補として特定された場合、制御車両特定部216は、最も誤差が小さい車両1を制御対象となる車両1eの候補として特定する。
次いで、制御命令生成部215bは、車両1に所定のパターンでハザードランプを点滅させる制御を行わせる制御命令を生成する。送信部209bは、当該制御命令を、1段階目の特定処理で特定された制御対象となる車両1eの候補となる車両1の車載装置7へ送信する。
当該制御命令を受信した車載装置7を搭載する車両1が車両1eであれば、画像データ上において、車両1eが所定のパターンでハザードランプを点滅させることになる。一方、当該制御命令を受信した車載装置7を搭載する車両1が車両1eでない場合、画像データ上において、車両1eが所定のパターンでハザードランプを点滅させないことになる。この場合、制御車両特定部216による1段階目の特定処理が誤っていたことがわかる。
図32は、第5の実施形態に係る車両1によるハザードランプの点滅処理の一例を示す図である。図32では、車両1eがハザードランプを点滅させている。制御車両特定部216は、ハザードランプの理論点滅パターンと、画像データ取得部202bで取得された画像データに描画された車両1eのハザードランプの検出点滅パターンとを照合する。
そして、制御車両特定部216は、理論点滅パターンと検出点滅パターンとが一致した場合、1段階目の特定処理で特定された制御対象となる車両1の候補を、制御対象となる車両1の候補として特定する(2段階目の特定処理)。
次いで、制御命令生成部215bは、車両1に弱くブレーキを掛ける制御を行わせる制御命令を生成する。送信部209bは、当該制御命令を、2段階目の特定処理で特定された制御対象となる車両1eの候補となる車両1の車載装置7へ送信する。
当該制御命令を受信した車載装置7を搭載する車両1が車両1eであれば、画像データ上の車両1eの検出減速ベクトルと、理論減速ベクトルとが一致することになる。一方、当該制御命令を受信した車載装置7を搭載する車両1が車両1eでない場合、画像データ上の車両1eの減速ベクトルと、理論減速ベクトルとが一致しないことになる。この場合、制御車両特定部216による2段階目の特定処理が誤っていたことがわかる。
そして、制御車両特定部216は、理論減速ベクトルと検出減速ベクトルとが一致した場合、2段階目の特定処理で特定された制御対象となる車両1の候補を、制御対象となる車両1eとして特定する(3段階目の特定処理)。
次いで、制御命令生成部215bは、車両1に強くブレーキを掛ける制御を行わせる制御命令を生成する。送信部209bは、当該制御命令を、3段階目の特定処理で特定された制御対象となる車両1eの車載装置7へ送信する。これにより、車両1eには強いブレーキが掛かり、車両1eと歩行者P1との接触を回避できる可能性が高まる。
このように、多段階で制御対象となる車両1を特定することで、本実施形態に係るサーバ装置200bは、誤送信による事故を防止しつつ、危機回避処理が必要な車両1に、確実に機器回避処理を実行させることができる。
次に、本実施形態の車載装置7が備える機能について説明する。
図33は、第5の実施形態に係る車載装置7の機能の一例を示すブロック図である。図33に示すように、車載装置7は、受信部701、送信部702、照明制御部703、制動制御部704および記憶部750を備える。
記憶部750は、例えばROM71B、RAM71C、またはフラッシュメモリ71Fによって構成される。なお、図10では1つの記憶部750が車載装置7に含まれるように記載したが、複数の記憶媒体が記憶部750として機能しても良い。
記憶部750は、車載装置7を搭載する車両1の車両情報等を記憶する。
受信部701、送信部702、照明制御部703、および制動制御部704は、例えば、ROM71Bまたはフラッシュメモリ71Fに記憶されたプログラムをCPU71Aが読み出すことにより、実行される機能である。当該プログラムは、例えば、車載装置7で実行されるアプリケーションプログラムである。
受信部701は、サーバ装置200bおよびスマートフォン6から各種情報を受信する。また、受信部701は、サーバ装置200bから車両1を制御する制御命令を受信する。例えば、受信部701は、サーバ装置200bからハザードランプを点灯させる点灯指示を受信する。また、例えば、受信部701は、サーバ装置200bからハザードランプを消灯させる消灯指示を受信する。また、例えば、受信部701は、サーバ装置200bからブレーキを掛けさせる制動指示を受信する。
送信部702は、サーバ装置200bおよびスマートフォン6に各種情報を送信する。例えば、送信部702は、記憶部750に記憶された車両1の車両情報をサーバ装置200bおよびスマートフォン6に送信してもよい。また、例えば、送信部702は、車載装置7のGPS位置情報等をサーバ装置200bおよびスマートフォン6に送信してもよい。
照明制御部703は、受信部701で受信された車両1の制御命令に基づいて、ハザードランプの点灯または消灯を制御する。例えば、受信部701でハザードランプの点灯指示が受信された場合、照明制御部703は、当該点灯指示に基づいて、ハザードランプを点灯させる制御を行う。また、例えば、受信部701でハザードランプの消灯指示が受信された場合、照明制御部703は、当該消灯指示に基づいて、ハザードランプを消灯させる制御を行う。
制動制御部704は、受信部701で受信された車両1の制御命令に基づいて、車両1のブレーキを制御する。例えば、受信部701で車両1の弱い制動指示が受信された場合、制動制御部704は、当該制動指示に基づいて、車両1に弱くブレーキを掛ける制御を行う。また、例えば、受信部701で車両1の強い制動指示が受信された場合、制動制御部704は、当該制動指示に基づいて、車両1に強くブレーキを掛ける制御を行う。
次に、以上のように構成された本実施形態の制御装置100およびサーバ装置200bによって実行される交差点93の監視処理の流れについて説明する。
図34は、第5の実施形態に係る交差点93の監視処理の流れの一例を示すシーケンス図である。
前提として、本実施形態のスマートフォン6の取得部601は、スマートフォン6の起動中は、GPS位置情報を継続的に取得するものとする。また、スマートフォン6が交差点93内にある間は、スマートフォン6の送信部602は、スマートフォン6のGPS位置情報を継続的にサーバ装置200bに送信するものとする。
また、サーバ装置200bの受信部201bは、スマートフォン6から送信されたスマートフォン6のGPS位置情報を車両1の位置情報として継続的に取得するものとする。また、スマートフォン6のGPS位置情報には、スマートフォン6の使用者が運転する車両1の車両識別情報が含まれるものとする。
まず、サーバ装置200bの画像データ取得部202bは、カメラ5dから、交差点93が撮影された画像データを取得する(S501)。なお、図34ではS501の処理として図示しているが、サーバ装置200bの画像データ取得部202bは、サーバ装置200bおよびカメラ5dの起動中は、画像データを継続的に取得する。
また、サーバ装置200bの車両検知部212bは、制御対象となる車両1を検知する(S502)。例えば、車両検知部212bは、サーバ装置200bの行動予測部208bが車両1同士の接触、または車両1と歩行者Pとの接触を予測した場合に、当該接触に係る車両1を、制御対象となる車両1として検知する。
次いで、サーバ装置200bの制御車両特定部216は、スマートフォン6のGPS位置情報に基づいて、制御対象となる車両1の候補を特定(1段階目の特定)する(S503)。例えば、制御車両特定部216は、車両1のGPS位置情報が、画像データ上における制御対象となる車両1の位置情報の誤差範囲である車両1を、1段階目の制御対象となる車両1の候補として特定する。
なお、図34のシーケンス図では、制御車両特定部216は、スマートフォン6のGPS位置情報に基づいて、制御対象となる車両1の候補を特定しているが、上記は一例であり、制御車両特定部216は、車載装置7のGPS位置情報に基づいて、制御対象となる車両1の候補を特定してもよい。
また、制御車両特定部216は、車載装置7が道路上の白線等を画像認識する処理を実行することにより推定された自車両の位置に基づいて、制御対象となる車両1の候補を特定してもよい。
次いで、サーバ装置200bの制御命令生成部215bは、車両1のハザードランプを点灯させる点灯指示を生成する。そして、サーバ装置200bの送信部209bは、生成された点灯指示を、1段階目の制御対象となる車両1の候補に搭載された車載装置7へ送信する(S504)。
車載装置7の受信部701は、サーバ装置200bから点灯指示を受信する(S505)。次いで、車載装置7の照明制御部703は、受信部701で受信された点灯指示に基づいて、車両1のハザードランプを点灯させる制御を行う(S506)。
次いで、サーバ装置200bの制御命令生成部215bは、車両1のハザードランプを消灯させる消灯指示を生成する。そして、サーバ装置200bの送信部209bは、生成された消灯指示を、制御対象となる車両1の候補に搭載された車載装置7へ送信する(S507)。
車載装置7の受信部701は、サーバ装置200bから消灯指示を受信する(S508)。次いで、車載装置7の照明制御部703は、受信部701で受信された点灯指示に基づいて、車両1のハザードランプを消灯させる制御を行う(S509)。なお、S504~S509の処理は複数回繰り返し実行してもよい。
次いで、サーバ装置200bの制御車両特定部216は、ハザードランプの理論点滅パターンを特定する(S510)。例えば、制御車両特定部216は、サーバ装置200bの制御命令生成部215bで生成された点灯指示および消灯指示から、理論点滅パターンを特定する。
また、サーバ装置200bの制御車両特定部216は、ハザードランプの検出点滅パターンを特定する(S511)。例えば、制御車両特定部216は、サーバ装置200bの画像データ取得部202bで取得された画像データを解析し、画像データ上の制御対象となる車両1のハザードランプの点灯パターンから検出点滅パターンを特定する。
次いで、制御車両特定部216は、S510で特定されたハザードランプの理論点滅パターンと、S511で特定されたハザードランプの検出点滅パターンとを照合する(S512)。そして、制御車両特定部216は、両者が一致した場合、S503で特定された車両1を、2段階目の制御対象となる車両1の候補として特定する(S513)。
次いで、サーバ装置200bの制御命令生成部215bは、車両1に弱くブレーキを掛ける制御を行わせる制動指示を生成する。そして、サーバ装置200bの送信部209bは、生成された制動指示を、2段階目の制御対象となる車両1の候補に搭載された車載装置7へ送信する(S514)。
車載装置7の受信部701は、サーバ装置200bから制動指示を受信する(S515)。次いで、車載装置7の制動制御部704は、受信部701で受信された制動指示に基づいて、弱く車両1のブレーキを掛ける制御を行う(S516)。なお、S514~S516の処理は複数回繰り返し実行してもよい。
次いで、サーバ装置200bの制御車両特定部216は、制御対象となる車両1の理論減速ベクトルを算出する(S517)。例えば、制御車両特定部216は、サーバ装置200bの制御命令生成部215bで生成された制動指示から、理論減速ベクトルを算出する。
また、サーバ装置200bの制御車両特定部216は、制御対象となる車両1の検出減速ベクトルを特定する(S518)。例えば、制御車両特定部216は、サーバ装置200bの画像データ取得部202bで取得された画像データを解析し、画像データ上の制御対象となる車両1の変化から検出減速ベクトルを特定する。
次いで、サーバ装置200bの制御車両特定部216は、S517で算出された理論点滅パターンと、S518で特定された検出減速ベクトルとを照合する(S519)。そして、制御車両特定部216は、両者が一致した場合、S514で特定された車両1を、制御対象となる車両1として特定する(S520)。
次いで、サーバ装置200bの制御命令生成部215bは、車両1に強くブレーキを掛ける制御を行わせる制動指示を生成する。そして、サーバ装置200bの送信部209bは、生成された制動指示を、制御対象となる車両1に搭載された車載装置7へ送信する(S521)。
車載装置7の受信部701は、サーバ装置200bから制動指示を受信する(S522)。次いで、車載装置7の制動制御部704は、受信部701で受信された制動指示に基づいて、強く車両1のブレーキを掛ける制御を行い(S523)、本処理を終了する。
このように、本実施形態のサーバ装置200bは、多段階で制御対象となる車両1を特定する。例えば、車両1のGPS位置情報のみに基づいて、制御対象となる車両1を特定した場合、GPS位置情報の誤差により、制御対象となる車両1を正しく特定できない場合がある。仮に制御対象となる車両1以外に制御命令を誤送信してしまうと、車両1は運転者の意図しない動きをすることになるため、事故の原因となる可能性がある。一方で、本実施形態のように多段階で制御対象となる車両1を特定すれば、制御対象となる車両1を正確に特定することができる。つまり、本実施形態に係るサーバ装置200bによれば、制御命令の誤送信による事故の発生を防止することができる。
(第6の実施形態)
この第6の実施形態では、サーバ装置を、工場等の施設の監視処理に適用する。
図35は、第6の実施形態に係るサーバ装置200cにより監視される工場94の一例を示す図である。
図35では、フォークリフト40a、40bが作業を行っている。なお、以下の説明では、フォークリフト40a、40bを特に区別しない場合、フォークリフト40と称することがある。フォークリフト40は、本実施形態におけるモビリティの一例である。
また、フォークリフト40a、40bは、夫々バーコードb1、b2を有する。なお、バーコードb1、b2を特に区別しない場合、バーコードbと称することがある。バーコードbにより、フォークリフト40の個体および向きが特定される。なお、複数種類のフォークリフトが工場94内に存在する場合、バーコードbにより、フォークリフト40の大きさを特定できるようにしてもよい。
ここで、図36は、第6の実施形態に係るフォークリフト40aの外観の一例を示す斜視図である。図36に示すように、フォークリフト40aは、上部にバーコードb1を備える。バーコードb1は、黒枠BFを有する。黒枠BFは、カメラ5e、5fで撮影された画像データ上におけるバーコード位置を検知するために用いられる。サーバ装置200cは、バーコードb1を読取ることで、フォークリフト40aの個体および向きを特定する。
図35に戻り、説明を続ける。フォークリフト40a、40bは、夫々運転者D1、D2により操作される。なお、運転者D1、D2を区別しない場合、運転者Dと称することがある。また、工場94内では、フォークリフト40に搭乗していない作業員Wも存在する。
また、フォークリフト40の中には、スマートフォン6aが存在する。当該スマートフォン6aは、例えば、フォークリフト40の運転者Dのものであり、運転者Dの衣服のポケット等に収められている。
なお、スマートフォン6aは、図3に示したスマートフォン6と同様のハードウェアで構成されるため、ハードウェア構成についての説明は省略する。
また、工場94には、カメラ5e、5fが設置される。本実施形態では、カメラ5e、5fは、工場94全体または一部を撮影可能な固定カメラとする。なお、工場94内には、2台以上のカメラが設置されても良い。
なお、図35に示す例では、サーバ装置200cとカメラ5e、5fとは、ケーブル3aにより、通信可能に接続している。なお、サーバ装置200cとカメラ5e、5fとの通信手法は直接的な有線接続に限定されるものではなく、無線通信によって接続しても良いし、他の情報処理装置等を介して間接的に接続しても良い。
サーバ装置200cは、工場94内を監視する。例えば、サーバ装置200cは、カメラ5e、5fが撮影した画像データに基づいて、フォークリフト40同士の接触、フォークリフト40と作業員Wとの接触等を予測する。
図35では、サーバ装置200cは、カメラ5e、5fが撮影した画像データを解析し、フォークリフト40a、40b、および作業員Wの動きを監視する。また、フォークリフト40同士の接触、フォークリフト40と作業員Wとの接触等が予測される場合、サーバ装置200cは、運転者Dのスマートフォン6に対して警告の通知を行う。
また、例えば、サーバ装置200cは、フォークリフト40のバーコードを読取ることにより、フォークリフト40の個体および向きを特定する。
なお、サーバ装置200cの設置場所は特に限定しない。例えば、サーバ装置200cは、工場94内に設けられても良いし、工場94近傍の管理施設等に設けられても良い。なお、サーバ装置200cの代わりに、PC等のコンピュータが設けられていても良い。
なお、サーバ装置200bは、図2に示したサーバ装置200と同様のハードウェアで構成されるため、ハードウェア構成についての説明は省略する。
次に、本実施形態のサーバ装置200cが備える機能について説明する。
図37は、第6の実施形態に係るサーバ装置200cの機能の一例を示すブロック図である。図37に示すように、サーバ装置200cは、受信部201c、画像データ取得部202c、特定部203c、認識部204c、対応付け部205c、行動予測部208c、送信部209c、バーコード検知部217、読取部218、照合部219および記憶部250cを備える。
記憶部250cは、各種情報を記憶する。例えば、記憶部250cは、フォークリフト40を特定するための識別コードのリスト(以下、単にリストともいう)を記憶する。
受信部201c、画像データ取得部202c、特定部203c、認識部204c、対応付け部205c、行動予測部208cは、第1の実施形態と同様の機能を備える。
送信部209bは、スマートフォン6aに各種情報を送信する。例えば、送信部209bは、スマートフォン6aに、フォークリフト40と作業員Wとが接触すると予測される旨の警告通知を送信する。
バーコード検知部217は、画像データ取得部202cで取得された画像データに描画されたバーコードbを検知する。例えば、バーコード検知部217は、画像データ上の黒枠BF(白地)を検知することにより、バーコードbを検知する。
読取部218は、バーコード検知部217で検知されたバーコードbから識別コードを読取る。識別コードは、例えば、フォークリフト40を特定するためにフォークリフト40毎に割り当てられたコードである。識別コードは、例えば、13桁の数字であるJANコード等であっても良い。
照合部219は、読取部218で読取った識別コードの照合を行う。例えば、照合部219は、記憶部250cに記憶されたリストを参照し、読取部218で読取った識別コードとリストに登録された識別コードとを照合する。また、例えば、照合の結果、リストに読取部218で読取った識別コードが存在しなかった場合、照合部219は、読取部218にバーコードbを逆向きで読取らせる。そして、照合部219は、読取部218によるバーコードbの読取結果から、フォークリフト40の個体および向きを特定する。
なお、本実施形態では、照合部219は、バーコードbの読取結果から、フォークリフト40の個体および向きを特定しているが、フォークリフト40の個体および向きを特定する方法はこれに限定されない。照合部219は、例えば、QRコード(登録商標)、数字、記号、文字、マーク等を用いてフォークリフト40の個体および向きを特定しても良い。数字、記号、文字、マーク等を用いる場合、照合部219は、画像データを解析し、数字等の向きを認識することにより、フォークリフト40の向きを特定する。
次に、本実施形態のスマートフォン6aが備える機能について説明する。
図38は、第6の実施形態に係るスマートフォン6aの機能の一例を示すブロック図である。図38に示すように、スマートフォン6aは、取得部601a、送信部602a、受信部603a、表示制御部604a、出力制御部605a、受付部606a、および記憶部650aを備える。
記憶部650aは、スマートフォン6aのユーザを特定可能な個人ID、およびスマートフォン6のユーザが搭乗しているフォークリフト40の情報等を記憶する。これらの情報は、例えば、受付部606aが受け付けたユーザの操作によりに入力される。
取得部601aは、スマートフォン6aの位置情報を取得する。例えば、取得部601aは、工場94に設置された複数の構内Wi-fiのアクセスポイントのうち、スマートフォン6aと通信した2点以上のアクセスポイントの位置に基づいて、3点計測によりスマートフォン6aの位置を求め、フォークリフト40の位置情報として取得する。
なお、取得部601aは、デバイスI/F61Dを介して、GPS装置からスマートフォン6aのGPS位置情報を取得してもよい。
送信部602aは、各種情報をサーバ装置200cへ送信する。例えば、送信部602aは、フォークリフト40のWi-fi位置情報をサーバ装置200cに送信する。また、送信部602aは、フォークリフト40のWi-fi位置情報と共に、記憶部650aに記憶されたカートIDをサーバ装置200aに送信してもよい。
受信部603aは、サーバ装置200cから各種情報を受信する。例えば、受信部603aは、行動予測部208cでフォークリフト40が作業員Wと接触すると予測された場合に、サーバ装置200cから警告通知を受信する。
表示制御部604aは、各種情報をディスプレイ61Gに表示させる。例えば、表示制御部604aは、サーバ装置200cから送信された警告通知に基づいて、警告メッセージをディスプレイ61Gに表示させる。表示制御部604aは、例えば、「前方の作業員にご注意ください」等のメッセージを、警告メッセージとしてディスプレイ61Gに表示させても良い。
出力制御部605aは、受信部603aが受信した警告通知に基づいて、スピーカ61Iに警告音または音声メッセージを出力させる。出力制御部605aは、例えば、「前方の作業員にご注意ください」等のメッセージを、音声メッセージとしてスピーカ61Iに出力させても良い。
受付部606aは、ユーザの操作によりタッチパネル61Hから入力された各種の情報を受け付ける。例えば、受付部606aは、ユーザの操作により入力されたスマートフォン6aのユーザを特定可能な個人ID、およびスマートフォン6のユーザが搭乗しているフォークリフト40に関する情報を受け付け、記憶部650aに保存する。
次に、以上のように構成された本実施形態のサーバ装置200cによって実行されるフォークリフト40の個体および向きの特定処理について説明する。
図39は、第6の実施形態に係るサーバ装置200cによって実行されるフォークリフト40の個体および向きの特定処理の一例を示すフローチャートである。
まず、画像データ取得部202cは、カメラ5e、5fから、工場94が撮影された画像データを取得する(ステップS71)。次いで、バーコード検知部217は、S71で取得された画像データ上に描画された黒枠BFを検知する(ステップS72)。次いで、読取部218は、ステップS72で検出された黒枠BFに基づいて、画像データ上のバーコードbの位置を特定し、バーコードbから識別コードを読取る(ステップS73)。
次いで、照合部219は、記憶部250aのリストを参照し、ステップS73で読取られた識別コードと、リストに登録された識別コードとを照合する。そして、照合部219は、ステップS73で読取られた識別コードがリストに存在するか否かを確認する(ステップS74)。
識別コードがリストに存在する場合(ステップS74:Yes)、照合部219は、正方向で読取ったバーコードbの読取結果に基づいて、フォークリフト40の個体および向きを特定し(ステップS76)、本処理を終了する。
識別コードがリストに存在しない場合(ステップS74:No)、照合部219は、読取部218に、逆向きでバーコードを読取らせる処理を実行する(ステップS75)。次いで、照合部219は、逆方向で読取ったバーコードbの読取結果に基づいて、フォークリフト40の個体および向きを特定し(ステップS76)、本処理を終了する。
次に、本実施形態のスマートフォン6aおよびサーバ装置200cによって実行される工場94の監視処理の流れについて説明する。
図40は、第6の実施形態に係る工場94の監視処理の流れの一例を示すシーケンス図である。
まず、サーバ装置200cの画像データ取得部202cは、カメラ5e、5fから、工場94が撮影された画像データを取得する(S701)。なお、図40ではS701の処理として図示しているが、サーバ装置200cの画像データ取得部202cは、サーバ装置200cおよびカメラ5e、5fの起動中は、画像データを継続的に取得する。
次いで、サーバ装置200cのバーコード検知部217は、画像データ上の黒枠BF(白地)を検知することにより、バーコードbを検知する(S702)。次いで、読取部218は、バーコードbから識別コードを読取る(S703)。
そして、照合部219は、バーコードbの読取結果から、監視対象とするフォークリフト40の個体および向きを特定する(S704)。なお、照合部219は、記憶部250aに記憶されたリストを参照し、読取部218で読取られた識別コードがリストに存在するか否かを確認する。リストに識別コードが存在しない場合、照合部219は、読取部218にバーコードbを逆向きに読取らせる。
照合部219は、リストを参照し、読取った識別コードに対応するフォークリフト40を監視対象として特定する。また、照合部219は、正方向でバーコードbを読取ったか、逆方向でバーコードbを読取ったかに応じて、監視対象のフォークリフト40の向きを特定する。
次いで、スマートフォン6aの取得部601aは、スマートフォン6aの位置情報を取得する(S705)。例えば、取得部601aは、スマートフォン6aと通信した構内Wi-fiのアクセスポイントの位置に基づいて特定した位置情報をスマートフォン6aの位置情報として取得する。なお、図37ではS705の処理として図示するが、取得部601aは、スマートフォン6aの起動中は、スマートフォン6aの位置情報を継続的に取得する。
次いで、スマートフォン6aの送信部602aは、S705で取得されたスマートフォン6aの位置情報をサーバ装置200cに送信する(S706)。そして、サーバ装置200cの認識部204cは、取得された画像データから、S704で監視対象として特定されたフォークリフト40の位置、移動方向および移動速度を認識する(S707)。
次いで、サーバ装置200cの対応付け部205cは、一または複数のスマートフォン6aの位置情報と、フォークリフト40の位置とを照合する(S708)。
次いで、サーバ装置200cの対応付け部205cは、一または複数のスマートフォン6aのうち、位置情報が監視対象として特定されたフォークリフト40の位置情報の誤差範囲に含まれるスマートフォン6aを対応付け候補として特定する(S709)。
次いで、サーバ装置200cの特定部203cは、受信部201cが時系列に複数回取得したスマートフォン6aの位置情報の変化に基づいて、対応付け候補の移動方向および移動速度を表す動きベクトルを特定する(S710)。
また、サーバ装置200cの認識部204cは、動画である画像データに含まれる複数のフレームの各々から認識した監視対象のフォークリフト40の位置の変化に基づいて、監視対象のフォークリフト40の移動方向および移動速度を表す動きベクトルを特定する(S711)。
次いで、サーバ装置200cの対応付け部205cは、対応付け候補の動きベクトルと、監視対象のフォークリフト40の動きベクトルとを照合する(S712)。
次いで、サーバ装置200cの対応付け部205cは、特定した対応付け候補のうち、動きベクトルが、監視対象のフォークリフト40の動きベクトルと一致するスマートフォン6aを、監視対象のフォークリフト40に対応付ける(S713)。なお、S704で監視対象とするフォークリフト40が複数台特定された場合、1台毎にS707~S713の処理を実行する。
次いで、サーバ装置200cの行動予測部208cは、監視対象のフォークリフト40の監視処理を開始する(S714)。
そして、サーバ装置200cの行動予測部208cは、監視対象のフォークリフト40と作業員Wとの接触を予測した場合(S715)、その旨の警告通知を生成する。なお、図40では、フォークリフト40と作業員Wとの接触を予測した例を示したが、行動予測部208cは、フォークリフト40同士の接触を予測しても良い。
次いで、サーバ装置200cの送信部209cは、行動予測部208cで生成された警告通知を、監視対象のフォークリフト40に対応付けられたスマートフォン6aに送信する(S716)。
そして、スマートフォン6aの表示制御部604aは、ディスプレイ61Gに警告メッセージを表示させる処理を実行する等で、ユーザに警告を報知し(ステップS717)、本処理を終了する。なお、スマートフォン6aの出力制御部605aがスピーカ61Iに警告音を出力させる等でユーザに警告を報知してもよい。
このように、本実施形態に係るサーバ装置200cは、バーコードbの読取結果から監視対象とするフォークリフト40を特定する。また、本実施形態のサーバ装置200cは、画像データから特定した当該フォークリフト40の動きベクトルと、当該フォークリフト40に搭乗する運転者Dが使用するスマートフォン6aの候補となる一または複数のスマートフォン6aの動きベクトルとを照合し、当該フォークリフト40に搭乗する運転者Dが使用するスマートフォン6aを特定する。
これにより、本実施形態に係るサーバ装置200cは、例えば、監視対象のフォークリフト40が、作業員Wや他のフォークリフト40と接触すると予測された場合に、監視対象のフォークリフト40に搭乗する運転者Dが使用するものではないスマートフォン6aに警告通知を誤送信してしまうことを防止することができる。つまり、本実施形態に係るサーバ装置200cによれば、監視対象のフォークリフト40に搭乗する運転者Dに対して確実に警告を報知することができる。
(第7の実施形態)
この第7の実施形態では、サーバ装置を、スマートフォンを用いた車両のロック解除処理(キーレスエントリシステム)に適用する。
図41は、第7の実施形態に係る車両1gのロック解除処理の一例を説明する図である。図41では、車両1gが駐車場90cの駐車枠95に駐車している。また、車両1gの近傍では、歩行者P7およびP8が歩行中である。
また、歩行者P7およびP8は、夫々スマートフォン6bを有している。当該スマートフォン6bは、例えば、衣服のポケット等に収められている。ここで、例えば、スマートフォン6bを制御して、車両1gのロックを解除する場合、車両1gの持ち主が使用するスマートフォン6bを特定することが求められる。しかしながら、図41のように、複数の歩行者Pがロック解除を行う車両1の近傍に存在する場合、制御するスマートフォン6bを特定することが困難な場合がある。
なお、スマートフォン6bは、図3に示したスマートフォン6と同様のハードウェアで構成されるため、ハードウェア構成についての説明は省略する。
サーバ装置200dは、駐車場90c内に駐車している車両1のドアロック処理を制御する。例えば、サーバ装置200dは、車両1に近付く歩行者と、当該歩行者が使用するスマートフォン6bとを対応付ける。サーバ装置200dは、歩行者と対応付けられたスマートフォン6bに対して、ドアロックを解除する解除信号を送信させる等の制御を行わせる。これにより、制御する必要のないスマートフォン6bに制御命令を誤送信してしまうことを防止できる。
なお、サーバ装置200dの設置場所は特に限定しない。例えば、サーバ装置200dは、駐車場90c内に設けられてもよいし、駐車場90c近傍の管理施設等に設けられても良い。なお、サーバ装置200dの代わりに、PC等のコンピュータがナビゲーション装置および外部装置として用いられてもよい。
駐車場90cには、カメラ5gが設置される。カメラ5gは、駐車場90c全体または一部を撮影可能な固定カメラとする。本実施形態においては、少なくとも、カメラ5cは車両1gが駐車する駐車場90cの駐車枠95とそこに至るまでの通路を撮影可能であるものとする。
図41に示す例では、サーバ装置200dとカメラ5gとは、ケーブル3bにより、通信可能に接続している。なお、サーバ装置200dとカメラ5gとの通信手法は直接的な有線接続に限定されるものではなく、無線通信によって接続しても良いし、他の情報処理装置等を介して間接的に接続しても良い。
なお、サーバ装置200dは、図2に示したサーバ装置200と同様のハードウェアで構成されるため、ハードウェア構成についての説明は省略する。
次に、本実施形態のサーバ装置200dが備える機能について説明する。
図42は、第7の実施形態に係るサーバ装置200dの機能の一例を示すブロック図である。図42に示すように、サーバ装置200dは、受信部201d、画像データ取得部202d、特定部203d、認識部204d、対応付け部205d、送信部209c、制御命令生成部215d、対象検知部220および記憶部250dを備える。
記憶部250dは、各種情報を記憶する。例えば、記憶部250dは、車両1と、車両1のドアロックをロック/アンロックするスマートキーとなるスマートフォン6bの識別情報とを対応付けた情報を記憶する。
受信部201c、画像データ取得部202c、特定部203c、認識部204c、対応付け部205cは、第1の実施形態と同様の機能を備える。
送信部209bは、スマートフォン6bに各種情報を送信する。例えば、送信部209dは、スマートフォン6bに後述する制御命令生成部215dで生成された制御命令を送信する。
制御命令生成部215dは、スマートフォン6bを制御するための制御命令を生成する。例えば、制御命令生成部215dは、スマートフォン6bに、当該スマートフォン6と対応する車両1のドアロックを解除するための解除信号を送信させる送信指示を生成する。
対象検知部220は、ドアロックの解除処理の対象となる車両1(以下、対象車両ともいう)に近付く歩行者P(以下、対象歩行者ともいう)を検知する。例えば、対象検知部220は、画像データ取得部202dで取得された画像データから、対象車両を中心とした半径Nmの領域に入った歩行者Pを対象歩行者として検知する。
次に、本実施形態のスマートフォン6bが備える機能について説明する。
図43は、第7の実施形態に係るスマートフォン6bの機能の一例を示すブロック図である。図43に示すように、スマートフォン6bは、取得部601b、送信部602b、受信部603b、表示制御部604b、受付部606b、解除信号生成部608および記憶部650bを備える。
取得部601b、送信部602b、表示制御部604b、受付部606b、および記憶部650bは、第1の実施形態と同様の機能を備える。
送信部602bは、対応する車両1に対して、後述する解除信号生成部608で生成されたドアロックを解除するための解除信号を送信する。
受信部603bは、サーバ装置200dから各種情報を受信する。例えば、受信部603bは、サーバ装置200dから車両1のドアロックを解除するための解除信号を送信させる送信指示を受信する。
解除信号生成部608は、対応する車両1のドアロックを解除するための解除信号を生成する。例えば、解除信号生成部608は、サーバ装置200dから受信した解除信号の送信指示に従い、解除信号を生成する。
次に、以上のように構成された本実施形態のスマートフォン6bおよびサーバ装置200dによって実行されるロック解除処理の流れについて説明する。
図44は、第7の実施形態に係るロック解除処理の流れの一例を示すシーケンス図である。
まず、サーバ装置200dの画像データ取得部202dは、カメラ5gから、駐車場90cが撮影された画像データを取得する(S901)。なお、図44ではS901の処理として図示しているが、サーバ装置200dの画像データ取得部202dは、サーバ装置200dおよびカメラ5gの起動中は、画像データを継続的に取得する。
次いで、サーバ装置200dの対象検知部220は、対象歩行者を検知する(S902)。例えば、対象検知部220は、サーバ装置200dの画像データ取得部202dで取得された画像データから、画像データ上において対象車両との距離が、所定の距離以下になる位置まで対象車両に近付いた歩行者Pを対象歩行者として検知する。
スマートフォン6bの取得部601bは、デバイスI/F61Dを介して、GPS装置61Kからスマートフォン6bのGPS位置情報を取得する(S903)。なお、図44ではS903の処理として図示するが、スマートフォン6bの取得部601bは、スマートフォン6bの起動中は、GPS位置情報を継続的に取得する。
次いで、スマートフォン6bの送信部602bは、S903で取得されたスマートフォン6bの位置情報をサーバ装置200dに送信する(S904)。そして、サーバ装置200dの認識部204dは、取得された画像データから、S904で検知された対象歩行者の位置、移動方向および移動速度を認識する(S905)。
次いで、サーバ装置200dの対応付け部205dは、一または複数のスマートフォン6bの位置情報と、S902で検知された対象歩行者の位置とを照合する(S906)。
次いで、サーバ装置200dの対応付け部205dは、一または複数のスマートフォン6bのうち、位置情報が対象歩行者の位置情報の誤差範囲に含まれるスマートフォン6bを対応付け候補として特定する(S907)。
次いで、サーバ装置200dの特定部203dは、受信部201dが時系列に複数回取得したスマートフォン6aの位置情報の変化に基づいて、対応付け候補の移動方向および移動速度を表す動きベクトルを特定する(S908)。
また、サーバ装置200dの認識部204dは、動画である画像データに含まれる複数のフレームの各々から認識した、対象歩行者の位置の変化に基づいて、対象歩行者の移動方向および移動速度を表す動きベクトルを特定する(S909)。
次いで、サーバ装置200cの対応付け部205cは、対応付け候補の動きベクトルと、対象歩行者の動きベクトルとを照合する(S910)。
次いで、サーバ装置200dの対応付け部205dは、特定した対応付け候補のうち、動きベクトルが、対象歩行者の動きベクトルと一致するスマートフォン6bを、対象歩行者に対応付ける(S911)。
次いで、サーバ装置200dの制御命令生成部215dは、S911で対象歩行者に対応付けられたスマートフォン6bに、対象車両のドアロックを解除する解除信号を送信させる送信指示を生成する(S912)。
次いで、サーバ装置200dの送信部602bは、S912で生成された送信指示を、S911で対象歩行者に対応付けられたスマートフォン6bに送信する(S913)。
次いで、スマートフォン6bの受信部603bは、S913で送信された送信指示を受信する(S914)。
次いで、スマートフォン6bの解除信号生成部は、対象車両のドアロックを解除する解除信号を生成する(S915)。例えば、解除信号生成部は、S914で受信された送信指示に基づいて、解除信号を生成する。
そして、スマートフォン6bの送信部602bは、S915で生成された解除信号を対象車両に送信し(S916)、本処理を終了する。
このように、本実施形態に係るサーバ装置200dは、対象車両に近付く歩行者を対象歩行者として検知する。また、本実施形態に係るサーバ装置200dは、画像データから特定した当該対象歩行者の動きベクトルと、当該対象歩行者が使用するスマートフォン6bの候補となる一または複数のスマートフォン6bの動きベクトルとを照合し、当該歩行者が使用するスマートフォン6bを特定する。
これにより、本実施形態に係るサーバ装置200dは、例えば、対象歩行者の近傍にスマートフォン6bを持った他の歩行者Pが存在する場合であっても、他の歩行者Pが使用するスマートフォン6bに制御命令を誤送信してしまうことを防止することができる。つまり、本実施形態に係るサーバ装置200dによれば、対象歩行者の動きに合わせて確実に対象車両のロックを解除することができる。
(変形例1)
上述の第1、第2の実施形態では、1台のカメラ5が駐車場90全体を撮影する場合を例示したが、駐車場90の一部のみを撮影可能な複数のカメラ5が用いられても良い。
図45は、変形例1に係る複数のカメラ5c,5dが設置された駐車場90の一例を示す図である。図45に示す例では、複数のカメラ5c,5dの撮影範囲は連続しているため、車両1が駐車場90の入口から、駐車枠に駐車するまで、途切れなく撮影される。
このような場合、サーバ装置200の認識部204は、複数のカメラ5c,5dで撮影された画像データから車両1を連続的に追跡し、複数のカメラ5c,5dの撮影範囲をまたいで車両1の移動方向および移動速度を認識する。
(変形例2)
また、駐車場90の一部のみを撮影可能な複数のカメラ5が用いられる場合に、各カメラ5の撮影範囲が連続しない場合もある。
図46は、変形例2に係る複数のカメラ5e,5fが設置された立体駐車場90aの一例を示す図である。立体駐車場90aの1階と2階はそれぞれカメラ5e,5fによって撮影されるが、1階と2階を接続する通路91はカメラ5e,5fの撮影範囲以外である。このような場合、車両1が立体駐車場90aの1階から2階に移動すると、車両1がいずれのカメラ5e,5fの撮影範囲にも含まれない期間が発生する。
このような場合、サーバ装置200の認識部204は、個々のカメラ5e,5fの画像データごとに車両1を認識し、対応付け部205は、個々のカメラ5e,5fの撮影範囲ごとに、スマートフォン6と車両1との対応付けをする。つまり、変形例1とは異なり、複数のカメラ5e,5fの撮影範囲をまたいで車両1を追跡するのではなく、対応付け部205は、各カメラ5e,5fの撮影範囲ごとに、対応付けを別個に実行する。
(変形例3)
上述の各実施形態では、サーバ装置200の受信部201は、車両1のナンバープレートに記載された車両番号をスマートフォン6から取得しても良いとしたが、車両番号の取得方法はこれに限定されるものではない。例えば、サーバ装置200の認識部204は、カメラ5によって撮影された画像データから車両1のナンバープレートに記載された車両番号を読み取っても良い。この場合、対応付け部205は、認識部204によって読み取られた車両番号を、スマートフォン6と対応付けで記憶部250に保存する。
また、この場合、サーバ装置200の割当部206は、認識部204によって読み取られた車両番号に含まれる分類番号に応じて、車両1に割り当てる駐車枠を決定しても良い。
また、認識部204は、カメラ5によって撮影された画像データから車両1の車種を認識しても良い。
(変形例4)
上述の各実施形態では、サーバ装置200は駐車場90内または駐車場90の近傍に設置されるものとしたが、サーバ装置200の設置場所はこれに限定されない。
例えば、サーバ装置200は、クラウド環境上に設けられても良い。また、カメラ5が上述のサーバ装置200の機能を備えても良い。この場合、カメラ5がサーバ装置200および外部装置の一例となる。
(変形例5)
上述の各実施形態では、サーバ装置200は、割当部206、検知部207、行動予測部208を備えるものとしたが、これらの構成は必須ではない。また、サーバ装置200は、これらの機能部のうちの1つまたは2つのみを備えても良い。また、サーバ装置200は、これらの機能部以外に、車両1のナビゲーションに関する他の機能部を備えていても良い。
(変形例6)
上述の各実施形態では、スマートフォン6を通信デバイスの一例としたが、通信デバイスは当該通信デバイスの位置情報を発信可能なものであればよく、スマートフォン6に限定されるものではない。例えば、通信デバイスは、IC(Integrated Circuit)タグであっても良い。また、通信デバイスは、車両1に恒常的または暫定的に取り付けられた車載通信装置であっても良い。
また、通信デバイスがディスプレイ61G等の表示部を備えない場合、サーバ装置200は、駐車場90に設置された投影機器を制御して、通信デバイスに対応付けられた車両1の進行方向の道路にプロジェクションマッピングで車両1に関する情報を表示させても良い。
(変形例7)
上述の第2の実施形態では、同乗者のスマートフォン6を誤って車両1に対応付けることを回避するために、スマートフォン6が車両1の運転席130a近傍以外の場所にある場合には、対応付け部205が当該スマートフォン6を車両1に対応付けないという手法を説明した。同乗者のスマートフォン6を車両1に対応付けることを回避する手法は、これに限定されない。
例えば、第1、第2の実施形態で説明したように、サーバ装置200は、スマートフォン6のユーザの個人IDを取得することおよび認証処理をすることにより、予め運転者として登録されたユーザのスマートフォン6のみを対応付けの対象とすることができる。このような構成により、未登録の同乗者のスマートフォンが車両1に対応付けられることを回避することができる。
また、さらに他の例として、スマートフォン6の受付部606は、当該スマートフォン6のユーザが現在、車両1の運転者であることを登録するユーザの操作を受け付ける。この場合、スマートフォン6の記憶部650は、スマートフォン6のユーザが現在、車両1の運転者であることを記憶する。そして、送信部602は、サーバ装置200に、スマートフォン6のユーザが現在、車両1の運転者であることを送信する。送信のタイミングは、例えば、接続要求または個人ID等の情報提供のタイミングとする。
サーバ装置200の対応付け部205は、スマートフォン6のユーザが現在車両1の運転者であることがスマートフォン6から送信された場合にのみ、当該スマートフォン6の対応付けの処理を実行し、スマートフォン6のユーザが現在車両1の運転者であることがスマートフォン6から送信されない場合には、当該スマートフォン6の対応付けの処理を実行しない。当該処理により、同乗者のスマートフォン6を誤って車両1に対応付けることを低減することができる。
(変形例8)
また、サーバ装置200は、スマートフォン6から、ハートビート(heart beat)を取得して通信途絶の有無を監視しても良い。例えば、本変形例のサーバ装置200の受信部201は、規定の間隔でスマートフォン6から通信信号を受信する。通信信号は、本変形例における第1の信号の一例である。
また、本変形例のサーバ装置200の送信部209は、スマートフォン6からの通信信号の受信が途切れた場合に、当該スマートフォン6に対する、安全に関する情報の送信を停止する。これは、スマートフォン6とサーバ装置200間の通信が断絶または遅延している場合に、車両1の安全に関する情報を送信すると、当該情報が遅れてスマートフォン6に届き、ユーザの混乱を招く可能性があるためである。
安全に関する情報は、例えば、他の車両または歩行者との接触予測に関する情報、逆走または速度超過に関する情報等である。
(変形例9)
なお、上述の各実施形態では、駐車場90または立体駐車場90aを車両が走行可能な空間の一例としたが、車両が走行可能な空間は、これらに限定されるものではない。例えば、道路、広場、河川敷、イベント会場等を、車両が走行可能な空間の一例としても良い。また、カメラ5は、常設の固定カメラに限らず、臨時で設置されたカメラであっても良い。また、通常は監視カメラまたは防犯カメラとして使用されているカメラが、一時的にカメラ5として使用されても良い。
(変形例10)
上述の第4の実施形態では、サーバ装置200aを、ショッピングカート10を制御して割り当てた収容位置へと誘導する処理に用いる形態について説明した。しかしながら、サーバ装置200cを、例えば、EC(Electronic Commerce)サイト等で販売される商品の仕分けを行う自走式ロボットを、割り当てたピッキング位置へ誘導する処理に用いてもよい。
図47は、変形例10に係るサーバ装置200aにより管理される商品倉庫96の一例を示す図である。
商品倉庫96は、ピッキング位置97a、97b、および97cを含む。ピッキング位置97a、97b、および97cを特に区別しない場合、ピッキング位置97と称することがある。ピッキング位置97は、必要な商品(例えば、受注があった商品等)を集めるための作業を行う場所である。
また、図47では、自動仕分けロボット30a、30b、および30cが商品倉庫96内を自走している。なお、自動仕分けロボット30a、30b、および30cを特に区別しない場合、自動仕分けロボット30と称することがある。自動仕分けロボット30は、本変例におけるモビリティの一例である。
また、図47において、商品倉庫96では仕分け人S1、S2、およびS3が作業を行っている。なお、仕分け人S1、S2、およびS3を特に区別しない場合、仕分け人Sと称することがある。
自動仕分けロボット30は、複数の商品を載置することが可能な自走式のロボットである。また、自動仕分けロボット30は、第4の実施形態の制御装置100と同様の装置を有している。なお、本変形例では、自動仕分けロボット30はアームを有していないため、商品の積み込みおよび積み出しは、仕分け人Sの手で行われるものとする。
本変形例のサーバ装置200aは、自動仕分けロボット30にピッキング位置97を割り当て、当該ピッキング位置97まで自動仕分けロボット30を誘導する処理を実行する。
また、商品倉庫96には、カメラ5l、5m、および5nが設置される。カメラ5l、5m、および5nは、ピッキング位置付近に設けられる。カメラ5l、5m、および5nは、商品倉庫96全体または一部を撮影可能な固定カメラとする。本実施形態においては、カメラ5l、5m、5nは、少なくとも、ピッキング位置とそこに至るまでの通路を撮影可能であるものとする。
以下、図48を用いて本変形例に係るサーバ装置200aの動作について説明する。図48は、変形例10に係るサーバ装置200aの各機能の動作の一例を説明する図である。
前提として、自動仕分けロボット30bは、サーバ装置200aの割当部206aにより、ピッキング位置97bを割り当てられ、当該ピッキング位置97bに移動済であるものとする。同様に、自動仕分けロボット30cは、サーバ装置200aの割当部206aにより、ピッキング位置97cを割り当てられ、当該ピッキング位置97cに移動済であるものとする。
また、自動仕分けロボット30aには、ピッキング位置97が割り当てられておらず、商品倉庫96内を巡回中であるものとする。例えば、この状態で自走する自動仕分けロボット30aが、制御範囲Da2に進入した場合、サーバ装置200aの車両検知部212は、自動仕分けロボット30aが制御範囲Da2内に移動したことを検知する。
また、車両検知部212は、画像データ上における制御対象の自動仕分けロボットを特定し、制御ロボットID(第4の実施形態の制御カートIDに相当)を割り当てる。その後、サーバ装置200aの各機能によって第4の実施形態と同様の処理が行われ、自動仕分けロボット30aを識別するロボットID(第4の実施形態のカートIDに相当)と制御ロボットIDとが対応付けられる。つまり、サーバ装置200aの各機能によって制御対象となる自動仕分けロボット30aが特定される。
また、対応付け部205aによる対応付け処理後、割当部206aは、例えば、商品の受注状況等に応じて、ピッキング位置97aを、制御対象として特定された自動仕分けロボット30aに割り当てる。そして、サーバ装置200aの各機能は、第4の実施形態と同様に、自動仕分けロボット30aを割り当てたピッキング位置97aまで誘導する処理を実行する。
本変形例によれば、制御対象の自動仕分けロボット30を正確に特定することができる。したがって、制御対象でない自動仕分けロボット30を制御してしまうことがなくなり、仕分け人Sは、効率的に商品のピッキング処理を行うことができる。
(変形例11)
上述の第6の実施形態では、バーコードの読取結果に基づいて、フォークリフト40の個体および向きを特定する形態について説明した。しかしながら、個体および向きを特定する対象は、フォークリフト40に限定されない。例えば、バーコードの読取結果に基づいて、トラック等により運搬される積荷の個体、大きさ、および向きを特定してもよい。
図49は、変形例11に係るサーバ装置200cにより管理される積荷置き場CPの一例を示す図である。
図49では、トラックヤードTYは、トラックドックTD1およびTD2を含む。トラックヤードTYは、積荷の積み替えを行うエリアである。トラックドックTD1およびTD2は、実際に積み替えを行う施設である。
図49では、トラックドックTD1には、積荷C1、C2、およびC3が設置されている。なお、積荷を特に区別しない場合、積荷Cと称することがある。積荷C1、C2、およびC3の上部には、夫々バーコードb4、b5、およびb6が付される。なお、バーコードを特に区別しない場合、バーコードbと称することがある。
また、トラックドックTD1には、カメラ5o、5pが設けられる。サーバ装置200cは、第6の実施形態と同様の手法により、カメラ5o、5pが撮影した積荷Cの画像データから、積荷Cを識別する識別コードを読取可能である。また、サーバ装置200cは、第6の実施形態と同様の手法により、積荷Cの個体、大きさ、向きを特定することができる。
また、トラックドックTD2には、積荷C4、C5、C6、C7、C8およびC9が設置されている。また、トラックドックTD2の内部は暗いため、トラックドックTD2内を照らすことが可能な照明LTが設けられている。また、積荷C4、C5、C6、C7、C8およびC9の上部には、夫々バーコードb7、b8、b9、b10、b11およびb12が付される。また、トラックドックTD2には、カメラ5qが設けられる。
なお、バーコードb7、b8、b9、b10、b11およびb12は、積荷C4、C5、C6、C7、C8およびC9の上部の照明LTで照らすことが可能な位置に付されている。これにより、カメラ5qで撮影された画像データが暗過ぎて積荷Cの識別コードが読取れないといった事態を防止できる。
また、トラックヤードTYには、トラック70a、70b、および70cの3台のトラックが存在している。なお、トラックを特に区別しない場合、トラック70と称することがある。サーバ装置200cは、第6の実施形態と同様の手法により、積荷Cの個体、大きさ、向きを特定して、特定した積荷Cの個体、大きさ、向きに基づいて、トラック70に積荷Cを割り当てる処理を実行する。
図49では、トラック70aに積荷C2が割り当てられ、トラック70cに積荷C6が割り当てられているものとする。一方、トラック70bは積荷Cが割り当てられていないため、例えば、サーバ装置200cは、トラック70bの位置情報付近の積荷Cのバーコードbを読取って、積荷Cの個体、大きさ、向きを特定する。
この場合、サーバ装置200cは、トラック70bの特性(例えば、大きさや排気量等)と、特定した一または複数の積荷Cの個体、大きさ、および向きとに基づいて、トラック70cに積荷Cを割り当てる処理を実行する。
本変形例に係るサーバ装置200cは、トラック70の特性と、積荷Cの個体、大きさ、および向きとに応じて最適な積荷Cをトラック70に割り当てることができる。つまり、本変形例に係るサーバ装置200cによれば、効率的に積荷Cの積み替え作業の支援を行うことができる。
上述の各実施形態のサーバ装置200で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、CD-R、DVD(Digital Versatile Disc)、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、上述の各実施形態のサーバ装置200およびスマートフォン6で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述の各実施形態のサーバ装置200およびスマートフォン6で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
また、上述の各実施形態のサーバ装置200およびスマートフォン6で実行されるプログラムを、ROM21B,61B等に予め組み込んで提供するように構成しても良い。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1,1a~1d 車両
5,5a~5f カメラ
6,6a,6b スマートフォン
21A,61A CPU
21B,61B ROM
21C,61C RAM
21D,61D デバイスI/F
21E,61E NWI/F
21F HDD
21G,61J バス
50,50a,50b 車両領域
51a,51b 候補領域
61F フラッシュメモリ
61G ディスプレイ
61H タッチパネル
61I スピーカ
61K GPS装置
61L GPSアンテナ
90 駐車場
90a 立体駐車場
90b 有料駐車場
130a 運転席
130b 助手席
200 サーバ装置
201 受信部
202 画像データ取得部
203 特定部
204 認識部
205 対応付け部
206 割当部
207 検知部
208 行動予測部
209 送信部
210 算出部
211 課金部
250 記憶部
601 取得部
602 送信部
603 受信部
604 表示制御部
605 出力制御部
606 受付部
607 判定部
650 記憶部
700 認証装置
710 ゲート
800 経路画像
810 地図画像
820 記号
830 アイコン画像
A1 誤差範囲
A2 撮影範囲
AP アクセスポイント
BT,BT1~BT3 Bluetooth(登録商標)通信装置

Claims (18)

  1. 通信デバイスから当該通信デバイスの位置情報を受信する受信部と、
    車両が走行可能な空間が撮影された画像データを取得する画像データ取得部と、
    前記位置情報に基づいて前記通信デバイスの移動方向および移動速度を特定する特定部と、
    前記画像データから前記空間に存在する一または複数の車両の位置、移動方向、および移動速度を認識する認識部と、
    前記通信デバイスと、前記画像データから認識された前記一または複数の車両のうちの一の車両とを、前記通信デバイスと前記一の車両の位置、移動方向、および移動速度に基づいて対応付ける対応付け部と、
    前記通信デバイスに、当該通信デバイスに対応付けられた前記一の車両に関する情報を送信する送信部と、
    を備えるナビゲーション装置。
  2. 前記受信部は、前記通信デバイスから当該通信デバイスのGPS位置情報を受信し、
    前記対応付け部は、
    前記画像データから認識された前記一または複数の車両のうち、前記GPS位置情報の誤差範囲に含まれる車両を対応付け候補車両として特定し、
    前記対応付け候補車両のうち、移動方向および移動速度が、前記通信デバイスの移動方向および移動速度と一致する一の車両を、前記通信デバイスに対応付ける、
    請求項1に記載のナビゲーション装置。
  3. 前記空間は、複数の駐車枠を備える駐車場であり、
    前記複数の駐車枠のうち、前記一の車両に割り当てる駐車枠を決定する割当部、をさらに備え、
    前記送信部は、前記一の車両に割り当てられた前記駐車枠を表す情報を、前記一の車両に対応付けられた前記通信デバイスに送信する、
    請求項1に記載のナビゲーション装置。
  4. 前記受信部は、前記通信デバイスから、前記通信デバイスが乗っている車両の大きさを表すサイズ情報を受信し、
    前記割当部は、前記サイズ情報に応じて、当該車両に割り当てる駐車枠を決定する、
    請求項3に記載のナビゲーション装置。
  5. 前記認識部は、前記画像データから車両のナンバープレートに記載された分類番号を読み取り、
    前記割当部は、前記分類番号に応じて、当該車両に割り当てる駐車枠を決定する、
    請求項3に記載のナビゲーション装置。
  6. 前記空間内の車道の走行方向の情報を含む地図データと、前記空間に存在する一または複数の車両の移動方向とを比較し、前記一または複数の車両のうち、前記車道の走行方向と異なる方向に移動する逆走車両を検知する検知部、をさらに備え、
    前記送信部は、前記逆走車両に対応付けられた前記通信デバイスに、前記逆走車両が逆走していることを示す情報を送信する、
    請求項1に記載のナビゲーション装置。
  7. 前記認識部は、前記画像データから歩行者を認識し、
    前記画像データから認識された一または複数の車両、および前記歩行者の行動予測をする行動予測部、をさらに備え、
    前記送信部は、前記行動予測部により前記一または複数の車両同士の接触、または前記一または複数の車両と前記歩行者との接触が予測される場合に、接触すると予測される前記一または複数の車両に対応付けられた前記通信デバイスに、他の車両または歩行者との接触予測に関する情報を送信する、
    請求項1に記載のナビゲーション装置。
  8. 前記受信部は、規定の間隔で前記通信デバイスから第1の信号を受信し、
    前記送信部は、前記通信デバイスからの前記第1の信号の受信が途切れた場合に、前記通信デバイスに対する、前記他の車両または歩行者との接触予測に関する情報の送信を停止する、
    請求項7に記載のナビゲーション装置。
  9. 前記受信部は、前記通信デバイスから、前記通信デバイスが車両内と車両外のいずれに位置するかについての情報を受信し、
    前記対応付け部は、前記通信デバイスが車両内に位置する場合に前記通信デバイスと、前記画像データから認識された前記一または複数の車両のうちの一の車両とを対応付け、前記通信デバイスが車両外に位置する場合には前記通信デバイスと、前記画像データから認識された前記一または複数の車両とを対応付けない、
    請求項1に記載のナビゲーション装置。
  10. 前記空間は、有料駐車場であり、
    前記画像データは、前記有料駐車場のうちの一部を撮影した画像データであり、
    前記受信部は、前記有料駐車場の入り口に設置された通信装置から、前記通信装置が取得した前記通信デバイスのユーザの識別情報、支払い方法に関する情報、および前記通信装置と前記通信デバイスが通信した時刻を入庫時刻として受信し、
    前記対応付け部は、前記画像データから認識された車両と、当該車両に対応する車両前記通信デバイスのユーザの識別情報および支払い方法に関する情報と、前記入庫時刻とを対応付けて記憶部に記憶させ、
    入庫した車両が前記有料駐車場から出庫した場合に、出庫時刻と、前記入庫時刻とに基づいて駐車料金を算出する算出部と、
    前記支払い方法に関する情報に基づいて、前記駐車料金を課金する課金部と、をさらに備える、
    請求項1から9のいずれか1項に記載のナビゲーション装置。
  11. モビリティの各々に搭載された通信デバイスから当該通信デバイスの位置情報を受信する受信部と、
    前記モビリティが走行可能な領域を撮影した画像データを取得する画像データ取得部と、
    前記画像データに表された前記モビリティの動きと、前記位置情報の動きとに基づいて、前記画像データに表された前記モビリティに対応する実空間上でのモビリティを特定し、両モビリティを対応付ける対応付け部と、
    を備えるナビゲーション装置。
  12. 前記画像データ上のモビリティが画像データ上の特定の領域に存在することを検知する検知部と、
    検知された前記画像データ上のモビリティの移動先となる目的位置を割り当てる割当部と、
    前記画像データ上のモビリティに対応付けられた前記実空間上のモビリティを実空間上の前記目的位置まで移動させるための経路を生成する経路生成部と、
    前記経路に従って、前記実空間上のモビリティを実空間上の前記目的位置まで移動させる制御命令を生成する制御命令生成部と、
    前記制御命令を前記通信デバイスに送信する送信部と、
    を更に備える、
    請求項11に記載のナビゲーション装置。
  13. 前記モビリティは、商品を運搬するショッピングカートである、
    請求項11または12に記載のナビゲーション装置。
  14. 前記モビリティは、商品のピッキング処理を行うロボットである、
    請求項11または12に記載のナビゲーション装置。
  15. 通信デバイスから当該通信デバイスの位置情報を受信する受信ステップと、
    車両が走行可能な空間が撮影された画像データを取得する画像データ取得ステップと、
    前記位置情報に基づいて前記通信デバイスの移動方向および移動速度を特定する特定ステップと、
    前記画像データから前記空間に存在する一または複数の車両の位置、および当該一または複数の車両の移動方向および移動速度を認識する認識ステップと、
    前記通信デバイスと、前記画像データから認識された前記一または複数の車両のうちの一の車両とを、前記通信デバイスと前記一の車両の位置、移動方向、および移動速度に基づいて対応付ける対応付けステップと、
    前記通信デバイスに、当該通信デバイスに対応付けられた前記一の車両に関する情報を送信する送信ステップと、
    を含むナビゲーション方法。
  16. 通信デバイスの位置情報を取得する取得ステップと、
    取得した位置情報を外部装置に送信する第1の送信ステップと、
    前記外部装置から前記通信デバイスに対応付けられた車両に関する情報を受信する第1の受信ステップと、
    受信した前記車両に関する情報に基づく文字または画像を表示部に表示させる表示制御ステップと、
    を含むナビゲーション方法。
  17. 前記車両内に設置された近距離無線通信装置から第2の信号を受信する第2の受信ステップと、
    前記第2の信号の強度に基づいて前記通信デバイスが車両内と車両外のいずれに位置するかを判定する判定ステップと、
    前記通信デバイスが車両内と車両外のいずれに位置するかについての情報を送信する第2の送信ステップと、
    を含む請求項16に記載のナビゲーション方法。
  18. モビリティの各々に搭載された通信デバイスから当該通信デバイスの位置情報を受信する受信ステップと、
    前記モビリティが走行可能な領域を撮影した画像データを取得する画像データ取得ステップと、
    前記画像データに表された前記モビリティの動きと、前記位置情報の動きとに基づいて、前記画像データに表された前記モビリティに対応する実空間上でのモビリティを特定し、両モビリティを対応付ける対応付けステップと、
    を含むナビゲーション方法。
JP2022156883A 2021-11-30 2022-09-29 ナビゲーション装置、およびナビゲーション方法 Pending JP2023081288A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021193903 2021-11-30
JP2021193903 2021-11-30

Publications (1)

Publication Number Publication Date
JP2023081288A true JP2023081288A (ja) 2023-06-09

Family

ID=86656691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022156883A Pending JP2023081288A (ja) 2021-11-30 2022-09-29 ナビゲーション装置、およびナビゲーション方法

Country Status (1)

Country Link
JP (1) JP2023081288A (ja)

Similar Documents

Publication Publication Date Title
US10883843B2 (en) Method for remotely identifying one of a passenger and an assigned vehicle to the other
US10803423B2 (en) System for managing parking of autonomous driving vehicles
KR102325200B1 (ko) 자율 주행 차량에서 정차 분석을 향상시키기 위해 승객들의 승하차 시간을 추정하기
EP3635707B1 (en) Parking objects detection system
JP2021527204A (ja) 配送多目的サービス実行のためのシステムおよび方法
CN109311650A (zh) 用于认证和跟踪工业车辆操作员的电子徽章
CN109313829A (zh) 间接电子徽章跟踪
CN110239538A (zh) 车辆控制装置、车辆控制方法及存储介质
CN109311649A (zh) 电子徽章在过道超车动作中的应用
JP6710714B2 (ja) 車両管理システム、車両管理方法、およびプログラム
JP2020111223A (ja) 車両制御装置及び車両制御方法
JP2020106929A (ja) 車両制御システム、車両制御方法、およびプログラム
CN111665835B (zh) 车辆控制系统及车辆控制方法
CN113469602A (zh) 管理装置、搬运系统、管理方法及存储介质
JP2020086744A (ja) 停止位置制御装置、停止位置制御方法、及び停止位置制御用コンピュータプログラム
JP2018095250A (ja) ケーブルによって牽引されて輸送される車両のための方法および装置
CN114503177A (zh) 信息处理装置、信息处理系统和信息处理方法
JP2023081288A (ja) ナビゲーション装置、およびナビゲーション方法
KR102590551B1 (ko) 순찰 차량 주행 경로 생성 방법 및 이에 따른 장치
CN114730185A (zh) 显示控制装置、显示系统和显示控制方法
US20220398926A1 (en) Eliminating use of a mobile printing device in issuing a record of transaction activity information
KR20210005761A (ko) 자율성 극대화를 위한 자율주행차량 제어 시스템 및 이를 위한 자율성 제공 서버
US20210304117A1 (en) Management device, management method, and storage medium
US11333523B2 (en) Vehicle control device, output device, and input and output device
GB2606801A (en) Passenger authentication and entry for autonomous vehicles

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20240226