JP2022130187A - 情報処理装置、及び情報処理システム - Google Patents
情報処理装置、及び情報処理システム Download PDFInfo
- Publication number
- JP2022130187A JP2022130187A JP2021029222A JP2021029222A JP2022130187A JP 2022130187 A JP2022130187 A JP 2022130187A JP 2021029222 A JP2021029222 A JP 2021029222A JP 2021029222 A JP2021029222 A JP 2021029222A JP 2022130187 A JP2022130187 A JP 2022130187A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- holding
- unit
- forklift
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims description 56
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 239000003550 marker Substances 0.000 claims description 66
- 238000012544 monitoring process Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 abstract description 51
- 230000008569 process Effects 0.000 abstract description 21
- 238000010586 diagram Methods 0.000 description 72
- 238000012545 processing Methods 0.000 description 23
- 238000001514 detection method Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 15
- 230000008859 change Effects 0.000 description 14
- 230000009466 transformation Effects 0.000 description 13
- 230000000717 retained effect Effects 0.000 description 12
- 230000032258 transport Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000005192 partition Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000003032 molecular docking Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【課題】移動体により搬送される物体の位置情報を簡単に処理可能な情報処理装置を提供すること。【解決手段】本発明の一態様に係る情報処理装置は、移動体の位置に関わる情報と、前記移動体に設けられた保持部による物体の保持又は非保持の何れか一方の状態を示す保持情報と、に基づいて取得される前記物体の位置情報を出力する出力部を有し、前記保持情報は、撮像部による撮像画像に基づいて取得される。【選択図】図2
Description
本願は、情報処理装置、及び情報処理システムに関する。
従来、フォークリフト等の移動体により搬送される貨物又はパレット等の物体の位置情報を処理する情報処理装置が知られている。
また、運搬機械の動きを直接的に検出する第1検出器から送信された第1信号と、運搬機械における物品の有無を検出する第2検出器から送信された第2信号とを用いて、運搬機械の稼働状況を分類する処理部を備え、運搬機械の位置を示す情報を用いて、分類された稼働状況ごとに、運搬機械の移動経路を示す情報を出力する構成が開示されている(例えば、特許文献1参照)。
しかしながら、特許文献1の装置では、複数の検出器からの信号を処理するため、物体の位置情報の処理が複雑化する場合がある。
本発明は、移動体により移動される物体の位置情報を簡単に処理可能な情報処理装置を提供することを課題とする。
本発明の一態様に係る情報処理装置は、移動体の位置に関わる情報と、前記移動体に設けられた保持部による物体の保持又は非保持の何れか一方の状態を示す保持情報と、に基づいて取得される前記物体の位置情報を出力する出力部を有し、前記保持情報は、撮像部による撮像画像に基づいて取得される。
本発明によれば、移動体により移動される物体の位置情報を簡単に処理可能な情報処理装置を提供できる。
以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一の構成部分には同一符号を付し、重複した説明を省略する場合がある。
実施形態に係る情報処理装置は、移動体により移動される物体の位置情報を処理するものである。例えば、移動体はフォークリフトであり、物体はパレットを含む。実施形態に係る情報処理装置は、フォークリフトにより移動されるパレット等の物体の位置情報を処理して、物体の移動を認識し、また追跡する。
ここで図1は、倉庫内における物体の位置情報の一例を説明する図である。図1は、倉庫100の内部及び倉庫100の周辺を上方(天井側)から視た様子を示している。
倉庫100はターミナル倉庫(輸送の中継地において設置される倉庫)である。このターミナル倉庫には、クロスドッキング型と呼ばれる倉庫の形態がある。クロスドッキング型の倉庫では、商品ごとに複数のパレットが工場又は卸売業者等から入荷され、倉庫内に一時仮置きされる。その後、出荷の際に同じパレットの荷姿のまま、複数の種類のパレットが組み合わされ、小売店の方面別に出荷される。
図1において、倉庫100の周囲にはトラックヤード200がある。図1は、トラックヤード200にはトレーラーによって運ばれ、切り離されたコンテナ300や、トラックの荷台を倉庫に接続している様子を示している。フォークリフト10は、トラックヤード200に到着したトラックの荷台、或いはトレーラーによって運ばれたコンテナ300の少なくとも一方からパレット31を取出す。
その後、フォークリフト10は、仮置き場所40にパレット31を運び、仮置きする。その後、出荷の際には、フォークリフト10は、倉庫100内のトラックヤード200に近い場所にパレット31を運んで荷揃えした後、トラックの荷台又はコンテナ300にパレット31を積込む。
仮置き場所40では、出入りする商品の種類や量が日々変動することに対して柔軟にスペースを確保するために、商品ごとの区画が定められていないことが多い。一方で、複数の作業者が任意の場所にパレット31を仮置きするため、出荷の際には、仮置きされた複数のパレットの中から所望のパレットを探索する必要がある。
この探索作業を効率的に行うために、パレット31の仮置き場所を定めないことでスペースを有効活用しながら、倉庫100内でのパレット31の移動を認識し、また追跡することで可視化する情報処理システムが求められている。実施形態に係る情報処理装置は、一例として、このような情報処理システムで使用されるものである。
以下、実施形態に係る情報処理装置を有する情報処理システムについて説明する。
[第1実施形態]
(情報処理システム1の全体構成例)
図2は、第1実施形態に係る情報処理システム1の全体構成の一例を示す図である。図2に示すように、情報処理システム1は、フォークリフト10と、全天球カメラ20と、オンプレミスサーバ50とを有する。これらは、LAN(Local Area Network)等のネットワーク400を介して通信可能に接続されている。なお、ネットワーク400には、外部サーバ又は画像形成装置等の上記以外の装置が通信可能に接続されていてもよい。
(情報処理システム1の全体構成例)
図2は、第1実施形態に係る情報処理システム1の全体構成の一例を示す図である。図2に示すように、情報処理システム1は、フォークリフト10と、全天球カメラ20と、オンプレミスサーバ50とを有する。これらは、LAN(Local Area Network)等のネットワーク400を介して通信可能に接続されている。なお、ネットワーク400には、外部サーバ又は画像形成装置等の上記以外の装置が通信可能に接続されていてもよい。
フォークリフト10は、パレット31に載置された貨物32を保持し、保持した状態で搬送することで、パレット31及び貨物32を搬送する移動体の一例である。なお、移動体による搬送は、移動体による移動の一例である。またパレット31及び貨物32はそれぞれ物体の一例である。なお、以下では、パレット31及び貨物32を特に区別しない場合には物体30と総称する。また、フォークリフト10は複数のフォークリフトの総称表記であり、パレット31は複数のパレットの総称表記であり、貨物32は複数の貨物の総称表記である。
フォークリフト10は、作業者の運転操作に応じて物体30を搬送するものであってもよいし、作業者を介さず自動運転により物体30を搬送するものであってもよい。
全天球カメラ20は、フォークリフト10に設けられた撮像部の一例である。全天球カメラ20は、全天球カメラ20の周囲における360度の全方位を撮像可能なカメラである。方位20aは、全天球カメラ20が撮像可能な方位を示している。
全天球カメラ20が撮像する全天球画像(全方位画像)は撮像画像の一例である。但し、撮像部は全天球カメラ20に限定されるものではなく、フォークリフト10の周囲を撮像できるものであれば如何なるものであってもよい。また撮像画像も必ずしも全天球画像でなくてもよい。
全天球画像は、フォークリフト10から視た物体30の搬送方向11側の風景と、フォークリフト10から視た鉛直上方向12側の風景とが撮像された画像を含む。換言すると、搬送方向11はフォークリフト10の前方であり、鉛直上方向12はフォークリフト10の上方である。全天球カメラ20は全方位を撮像できるため、フォークリフト10の前方及び上方を1枚の画像に含んで撮像できる。なお、搬送方向11は移動方向の一例である。
全天球カメラ20は、フォークリフト10の屋根上、又はフォーク21を支持する支持部材22上に取り付けることが好ましい。これにより、フォークリフト10の前方及び上方を撮像するための視界を好適に確保できる。ここで、フォーク21はフォークリフト10に設けられた保持部の一例である。
全天球カメラ20は、無線による通信機能を有し、撮像した全天球画像を、ネットワーク400を介してオンプレミスサーバ50に送信する。
貨物32には、貨物32を示す識別情報の一例であるバーコード33が設けられている。このようなバーコードは、パレット31に設けられ、パレット31を示す識別情報として利用されてもよい。バーコード33は、バーコードリーダ等の読取器により読み取られ、読み取られた結果である識別情報は、ネットワーク400を介してオンプレミスサーバ50に送信される。なお、識別情報はバーコードに限らず、QRコード(登録商標)又はID(Identifier)番号等であってもよい。
オンプレミスサーバ50は、倉庫100内に設置され、フォークリフト10により搬送される物体30の位置情報を処理する情報処理装置の一例である。
オンプレミスサーバ50は、ネットワーク400を介して受信した全天球画像及び物体30を示す識別情報に基づき、物体30の位置情報を処理する。また複数の全天球カメラ20がそれぞれ撮像した全天球画像を用いることで、複数のフォークリフト10が保持する物体30の位置情報を取得できる。
(オンプレミスサーバ50のハードウェア構成例)
次に図3は、オンプレミスサーバ50のハードウェア構成の一例を示すブロック図である。オンプレミスサーバ50はコンピュータにより構築される。
次に図3は、オンプレミスサーバ50のハードウェア構成の一例を示すブロック図である。オンプレミスサーバ50はコンピュータにより構築される。
図3に示すように、オンプレミスサーバ50は、CPU(Central Processing Unit)501と、ROM(Read Only Memory)502と、RAM(Random Access Memory)503と、HD(Hard Disk)504と、HDD(Hard Disk Drive)コントローラ505と、ディスプレイ506とを有する。またオンプレミスサーバ50は、外部機器接続I/F(Interface)508と、ネットワークI/F509と、データバス510と、キーボード511と、ポインティングデバイス512と、DVD-RW(Digital Versatile Disk Rewritable)ドライブ514と、メディアI/F516とを有する。
これらのうち、CPU501は、オンプレミスサーバ50全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。
HD504は、プログラム等の各種データを記憶する。HDDコントローラ505は、CPU501の制御に従ってHD504に対する各種データの読み出し又は書き込みを制御する。ディスプレイ506は、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種情報を表示する。
外部機器接続I/F508は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリやプリンタ等である。ネットワークI/F509は、ネットワーク400を利用してデータ通信をするためのインターフェースである。バスライン510は、図3に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
キーボード511は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。DVD-RWドライブ514は、着脱可能な記録媒体の一例としてのDVD-RW513に対する各種データの読み出し又は書き込みを制御する。なお、DVD-RWに限らず、DVD-R等であってもよい。メディアI/F516は、フラッシュメモリ等の記録メディア515に対するデータの読み出し又は書き込み(記憶)を制御する。
(情報処理システム1の機能構成例)
図4は、情報処理システム1の機能構成の一例を示すブロック図である。図4に示すように、オンプレミスサーバ50は、受信部51と、移動体位置取得部52と、保持情報取得部53と、識別情報取得部54と、時刻取得部55と、物体位置取得部56と、出力部57と、格納部58とを有する。
図4は、情報処理システム1の機能構成の一例を示すブロック図である。図4に示すように、オンプレミスサーバ50は、受信部51と、移動体位置取得部52と、保持情報取得部53と、識別情報取得部54と、時刻取得部55と、物体位置取得部56と、出力部57と、格納部58とを有する。
これら各部は、図3に示した各構成要素の何れかが、HD504からRAM503上に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能、又は機能する手段である。
また、フォークリフト10には、全天球カメラ20と、送信部101とが設けられている。送信部101の機能は、フォークリフト10又は全天球カメラ20の何れか一方に設けられた電気回路で実現される他、ソフトウェア(CPU)によって実現することもできる。また複数の回路又は複数のソフトウェアによって実現されてもよい。
オンプレミスサーバ50は、全天球カメラ20による全天球画像に基づいて取得されるフォークリフト10の位置情報と、フォークリフト10による物体30の保持又は非保持の何れか一方の状態を示す保持情報とに基づいて、物体30の位置情報を取得する。そして、取得した物体30の位置情報を、出力部57を介して外部に出力できる。
受信部51は、全天球カメラ20が撮像し、送信部101を介して送信した全天球画像を、ネットワーク400を介して受信し、移動体位置取得部52及び保持情報取得部53のそれぞれに出力する。また受信部51は、バーコードリーダ等の読取器により読み取られた識別情報を、ネットワーク400を介して受信し、識別情報取得部54に出力する。
移動体位置取得部52は、入力した全天球画像に基づき、フォークリフト10の位置情報を演算により取得し、物体位置取得部56に出力する。フォークリフト10の位置情報の取得処理(自己位置推定処理)には、地図作成と自己位置認識の同時実行技術(SLAM:Simultaneous Localization and Mapping)を適用できる(例えば、「解説 SLAMの現状と今後の展望,」、友納正裕、原祥尭、システム/制御/情報, 2020年64巻2号 p.45-50、https: //www.jstage.jst.go.jp /article/isciesci /64 / 2 /64_45/_article/-char/ja/を参照)。
保持情報取得部53は、入力した全天球画像に基づき、フォークリフト10による物体30の保持又は非保持の何れか一方の状態を示す保持情報を演算により取得し、物体位置取得部56に出力する。
識別情報取得部54は、受信部51から識別情報を入力することで該識別情報を取得し、物体位置取得部56に出力する。但し、識別情報取得部54による識別情報の取得は、ネットワーク400を経由するものに限定されない。例えば、識別情報取得部54は、図3のキーボード511又はポインティングデバイス512を用いて管理者等のユーザが入力した識別情報を取得してもよいし、格納部58に予め格納された識別情報を取得してもよいし、外部機器接続I/F508を介して識別情報を取得してもよい。なお、管理者は情報処理システム1又は倉庫100の管理者である。
時刻取得部55は、受信部51が全天球画像及び識別情報を受信した時刻を示す情報を取得し、物体位置取得部56に出力する。
物体位置取得部56は、フォークリフト10の位置情報と、保持情報とに基づいて、物体30の位置情報を取得する。また、物体位置取得部56は、物体30の位置情報と、物体30を示す識別情報と、時刻情報とを相互に対応付け、出力部57を介して出力する。出力部57の出力先は、PC(Personal Computer)等の外部装置、ディスプレイ506等の表示装置、又はHD504等の記憶装置等である。
格納部58は、パレット31又は貨物32等の物体30を示す識別情報を格納できる。
(オンプレミスサーバ50による処理例)
図5は、オンプレミスサーバ50による処理の一例を示すフローチャートである。図5は、オンプレミスサーバ50が物体30の位置情報の取得開始操作を受け付けたタイミングをトリガーにした処理を示している。物体30の位置情報の取得開始操作は、図3におけるポインティングデバイス512等を用いて管理者等のユーザが行ったものである。
図5は、オンプレミスサーバ50による処理の一例を示すフローチャートである。図5は、オンプレミスサーバ50が物体30の位置情報の取得開始操作を受け付けたタイミングをトリガーにした処理を示している。物体30の位置情報の取得開始操作は、図3におけるポインティングデバイス512等を用いて管理者等のユーザが行ったものである。
まず、ステップS51において、受信部51は、ネットワーク400を介して全天球画像及び識別情報を受信する。
続いて、ステップS52において、移動体位置取得部52は、入力した全天球画像に基づき、フォークリフト10の位置情報を演算により取得し、物体位置取得部56に出力する。
続いて、ステップS53において、保持情報取得部53は、入力した全天球画像に基づき、フォークリフト10による物体30の保持又は非保持の何れか一方の状態を示す保持情報を演算により取得し、物体位置取得部56に出力する。
続いて、ステップS54において、識別情報取得部54は、物体30を示す識別情報を入力することで取得し、物体位置取得部56に出力する。
続いて、ステップS55において、時刻取得部55は、受信部51が全天球画像及び識別情報を受信した時刻を示す情報を取得し、物体位置取得部56に出力する。
なお、ステップS52乃至S55の処理は、適宜順番を入れ替えてもよいし、それぞれが並行に行われてもよい。
続いて、ステップS56において、物体位置取得部56は、フォークリフト10の位置情報と、保持情報とに基づいて、物体30の位置情報を取得する。
続いて、ステップS57において、物体位置取得部56は、物体30の位置情報と、物体30を示す識別情報と、時刻情報とを相互に対応付け、出力部57を介して出力する。
続いて、ステップS58において、オンプレミスサーバ50は処理を終了するか否かを判定する。オンプレミスサーバ50は、ポインティングデバイス512等を介した管理者等のユーザによる終了操作に基づき、処理を終了するか否かを判定する。
ステップS58で、終了すると判定された場合には(ステップS58、Yes)、オンプレミスサーバ50は処理を終了する。一方、終了しないと判定された場合には(ステップS58、No)、オンプレミスサーバ50はステップS51以降の処理を再度行う。
このようにして、オンプレミスサーバ50は物体30の位置情報を処理し、物体30の位置情報を取得できる。
(保持情報の取得方法例)
次に、保持情報取得部53による保持情報の取得方法について、詳細に説明する。
次に、保持情報取得部53による保持情報の取得方法について、詳細に説明する。
本実施形態では、保持情報取得部53は、フォークリフト10による物体30の保持情報と、着脱時における物体30の絶対位置情報とを取得する。物体30の保持情報は、換言すると、物体30の積み込みと積み下ろしである着脱タイミング情報である。また、保持情報取得部53は、全天球カメラ20による全天球画像に基づいて、物体30の着脱タイミング情報を取得する
なお、物体30の着脱タイミング情報の取得には、赤外線や超音波等を利用した近接センサの利用も可能である。また、貨物32の加重を検出する荷重センサやフォークの高さセンサ等のフォークリフト10に内蔵したり、フォークリフト10に外付けしたりするセンサを利用することもできる。
<入力画像について>
フォーク21に取り付けた全天球カメラ20は、フォーク21及び物体30等を1つの全天球画像内に撮像できる(図2参照)。ここで、図6はフォーク21の画像変換の一例を説明する図である。図6(a)は全天球画像の一部を示す図、図6(b)は透視変換カメラを示す図、図6(c)は透視変換画像を示す図である。
フォーク21に取り付けた全天球カメラ20は、フォーク21及び物体30等を1つの全天球画像内に撮像できる(図2参照)。ここで、図6はフォーク21の画像変換の一例を説明する図である。図6(a)は全天球画像の一部を示す図、図6(b)は透視変換カメラを示す図、図6(c)は透視変換画像を示す図である。
全天球カメラ20は、Equirectangularや等距離射影方式等の投影方式により広角視野を平面に投影する。しかし、これらの投影方式では、図6(a)に示すフォーク画像262のように、3次元空間での直線が曲線に投影されるため、直線部でその多くが構成されるフォーク21も曲線として投影され、着脱タイミング情報の取得処理には好ましくない。そこで、本実施形態では、全天球画像261のうち、フォーク21又は物体30等を含む撮像範囲のみを、予め透視変換画像に変形した画像を利用する。これによって、直線検出などの汎用的なアルゴリズムを活用した画像認識を行うことが可能となる。
図6(b)に示すように、仮想的な透視変換画像の被撮像面264として、床面と平行で、且つ上下軸をフォーク21の長手方向に合わせてフォーク21全体を含む適切な範囲を設定する。投影中心263は、全天球カメラ20の投影中心である。
これにより、図6(c)に示す透視変換画像266のように、2本のフォーク21が略平行に並んだフォーク画像267を取得できる。この変換は、元の全天球画像261の投影方式と、全天球カメラ20の設置方向と、に基づき実現できる。そのため、全天球カメラ20をフォークリフト10に取り付ける際に全天球カメラ20の設置方向を計測しておけばよい。以下、この透視変換画像266を入力画像として、物体30の着脱タイミング情報を取得する処理について説明する。
なお、全天球カメラ20とは別にカメラを設け、該カメラを利用して着脱タイミング情報を取得することもできるが、その場合でもフォーク21の中央真上にカメラを設置することは困難であるため、透視変換処理は有効である。
<マーカ方式について>
全天球カメラにより撮像されるフォーク21の面にバーコード又はARマーカ等のマーカを予め設けておくと、画像認識しやすいため好ましい。ARマーカの画像認識処理には、例えばオープンソースソフトウエアOpenCVのARマーカの画像認識機能を利用できる。ここで、図7は、ARマーカを用いて保持情報を取得する方式であるマーカ方式を説明する図である。図7(a)はマーカの一例を示す図、図7(b)は貨物32によりマーカが遮蔽される様子を示す図、図7(c)は複数マーカによる水平距離推定を示す図である。
全天球カメラにより撮像されるフォーク21の面にバーコード又はARマーカ等のマーカを予め設けておくと、画像認識しやすいため好ましい。ARマーカの画像認識処理には、例えばオープンソースソフトウエアOpenCVのARマーカの画像認識機能を利用できる。ここで、図7は、ARマーカを用いて保持情報を取得する方式であるマーカ方式を説明する図である。図7(a)はマーカの一例を示す図、図7(b)は貨物32によりマーカが遮蔽される様子を示す図、図7(c)は複数マーカによる水平距離推定を示す図である。
図7に示すARマーカ画像272は、フォーク21に設けられたARマーカの画像を示している。このARマーカは識別マーカの一例である。ARマーカ画像272に基づき、ARマーカの位置情報とARマーカが示す識別情報を高速に取得できる。
フォークリフト10が物体30を保持していない状態では、図7(a)に示すように、透視変換画像266内でARマーカ画像272が検出される。しかし、フォークリフト10が物体30を保持している状態では、図7(b)に示すように、物体30に遮蔽されてARマーカ画像272が透視変換画像266内に検出されなくなる。
本実施形態では、これを利用し、透視変換画像266内でのARマーカ画像272の検出結果から物体30の着脱タイミング情報を取得する。なお、図7(b)では、貨物画像273を透視してフォーク画像267を示しているが、透視変換画像266では貨物画像273に遮蔽されてARマーカは全く見えず、検出できなくなる。
<着脱タイミング情報の取得>
保持情報取得部53は、透視変換画像266内に、ARマーカ画像272が検出されない状態からARマーカ画像272が検出される状態へ変化した着脱タイミング情報を、パレット積み込み時刻、逆の変化を積み下ろし時刻として取得する。但し、この取得には誤差があるため、複数フレーム連続した場合のみに取得結果として採用する等のノイズ低減処理を行うことが好ましい。取得誤差は、例えば、透視変換画像266にARマーカ画像272が含まれているのにARマーカ画像272が検出されない誤差、或いは含まれていないのにARマーカ画像272が検出される誤差である。
保持情報取得部53は、透視変換画像266内に、ARマーカ画像272が検出されない状態からARマーカ画像272が検出される状態へ変化した着脱タイミング情報を、パレット積み込み時刻、逆の変化を積み下ろし時刻として取得する。但し、この取得には誤差があるため、複数フレーム連続した場合のみに取得結果として採用する等のノイズ低減処理を行うことが好ましい。取得誤差は、例えば、透視変換画像266にARマーカ画像272が含まれているのにARマーカ画像272が検出されない誤差、或いは含まれていないのにARマーカ画像272が検出される誤差である。
<物体30の位置決定>
次に、保持情報取得部53が、VisualSLAMによるフォークリフト10の位置情報の取得結果(自己位置推定結果)と、着脱タイミング情報を取得するための透視変換画像266と、に基づいて、着脱する物体30の位置を決定する方法について説明する。
次に、保持情報取得部53が、VisualSLAMによるフォークリフト10の位置情報の取得結果(自己位置推定結果)と、着脱タイミング情報を取得するための透視変換画像266と、に基づいて、着脱する物体30の位置を決定する方法について説明する。
≪水平方向の位置決定≫
フォークリフト10上における全天球カメラ20の取付位置が一定であり、保持される物体30のサイズがほぼ一定であれば、水平方向における全天球カメラ20と物体30との相対位置はほぼ一定であると考えられる。例えば、全天球カメラ20からフォークリフト10の搬送方向11に沿って約1[m]の距離にパレット31の中心がくるように、フォークリフト10は物体30を保持すること等が想定される。
フォークリフト10上における全天球カメラ20の取付位置が一定であり、保持される物体30のサイズがほぼ一定であれば、水平方向における全天球カメラ20と物体30との相対位置はほぼ一定であると考えられる。例えば、全天球カメラ20からフォークリフト10の搬送方向11に沿って約1[m]の距離にパレット31の中心がくるように、フォークリフト10は物体30を保持すること等が想定される。
フォークリフト10の搬送方向11はVisualSLAMにより計測できる。保持情報取得部53は、物体30の着脱時における全天球カメラ20の絶対位置から、フォークリフト10の搬送方向11に沿って例えば1[m]離れた位置を、着脱時の物体30の絶対位置として決定できる。
また、識別情報が異なるARマーカをフォーク21上に複数設置し、どのARマーカが透視変換画像266内で検出されたかに応じてフォーク21の先端に物体30を保持するようにすると、全天球カメラ20と物体30との間の水平距離が変化する場合にも対応できる。
例えば、2つのフォーク21のそれぞれに3つずつARマーカを設けておく。図7(c)に示すARマーカ画像272a1、272b1及び272c1と、ARマーカ画像272a2、272b2及び272c2は、透視変換画像266内での複数のARマーカの画像である。
ここで、ARマーカ画像272c1及び272c2が透視変換画像266内で検出されており、ARマーカ画像272a1、272a2、272b1及び272b2が透視変換画像266内で検出されていないとする。この場合には、フォーク21の根元から距離Eだけ離れた位置に物体30が保持されていると決定される。そして、全天球カメラ20と物体30との間の水平距離を、フォーク21の根元まで差した場合(例えば1[m])と比較して距離Eだけ遠い1+E[m]であると決定できる。
≪高さ方向の位置決定≫
フォークリフト10は一般に、フォーク21を鉛直方向に沿って上下に移動でき、床に置いた貨物32だけではなく、他の貨物32の上に置かれたパレット31だけを積み込む等の作業や、逆に他の貨物32の上にパレット31を設置する等の作業も行える。保持情報取得部53は、このような着脱時の物体30の高さ方向における位置情報を全天球画像に基づいて取得する。
フォークリフト10は一般に、フォーク21を鉛直方向に沿って上下に移動でき、床に置いた貨物32だけではなく、他の貨物32の上に置かれたパレット31だけを積み込む等の作業や、逆に他の貨物32の上にパレット31を設置する等の作業も行える。保持情報取得部53は、このような着脱時の物体30の高さ方向における位置情報を全天球画像に基づいて取得する。
透視変換画像266では、全天球カメラ20から物体30までの距離に反比例して、透視変換画像266内での大きさが変化する。そのため、透視変換画像266内での物体30の大きさと、物体30の実寸及び全天球カメラ20に含まれるレンズの焦点距離と、に基づき、保持情報取得部53は物体30までの距離を推定できる。
図8はフォーク21の高さ推定の一例を示す図である。図8(a)は透視変換画像266内でのARマーカ画像272間の距離を示す図、図8(b)は全天球カメラ20とフォーク21の高さ関係を示す図である。
図8(a)に示すように、透視変換画像266内で検出された2つのフォーク画像267に設けられたARマーカ画像272の位置から、透視変換画像266内における2つのフォーク画像267間の間隔wを計測する。
フォークリフト10が物体30を保持している間は、ARマーカ画像272を検出できない。しかしフォークリフト10による物体30の着脱動作中には、フォーク21の高さは固定される。そのため、図8(b)に示すように、積み込み時刻直前、又は積み下ろし時刻直後のフォーク21上におけるARマーカ画像272間の間隔wから、物体30の着脱時における全天球カメラ20とARマーカ、つまり全天球カメラ20とフォーク21間の高さ方向の距離dを計測できる。
透視変換画像266では、被撮像面264と平行な平面上での物体30の大きさSは、透視変換画像266上での大きさs、全天球カメラ20と物体30との間の距離d、全天球カメラ20に含まれるレンズの焦点距離をfとして、以下の(1)式が成立する。
d=S×f/s ・・・(1)
d=S×f/s ・・・(1)
実際のフォーク21上のARマーカ間の間隔Wを予め計測しておけば、透視変換画像266内でのARマーカ画像272間の間隔wに基づき、全天球カメラ20から物体30までの距離dを求めることができる。つまり、(1)式におけるSにWを代入し、sにwを代入することで、距離dを演算で取得できる。
また全天球カメラ20が取り付けられた位置の床281からの高さHcを予め計測しておけば、フォーク21の床281からの高さHは、以下の(2)式で算出できる。
H=Hc-d ・・・(2)
H=Hc-d ・・・(2)
なお、フォークリフト10上で鉛直方向に沿って上下に移動する位置に全天球カメラ20を取り付けた場合には、全天球カメラ20の高さHcは、VisualSLAM処理の結果を利用して決定できる。
≪フォーク検出方式≫
フォーク21の上面はパレット31と接触して摩擦が激しいため、ARマーカを設けても破損したり汚染されたりする場合がある。そのため、保持情報取得部53は、ARマーカを利用しないフォーク検出方式により着脱タイミング情報を取得することもできる。
フォーク21の上面はパレット31と接触して摩擦が激しいため、ARマーカを設けても破損したり汚染されたりする場合がある。そのため、保持情報取得部53は、ARマーカを利用しないフォーク検出方式により着脱タイミング情報を取得することもできる。
フォーク検出方式では、透視変換画像266からフォーク画像267そのものを検出する。フォーク21は鉛直方向に沿って上下に移動して位置が変化する。しかし2本のフォーク画像267の太さと間隔は一定のまま全天球カメラ20との距離が変化するため、透視変換画像266内では、位置とサイズは変化するが、相似的な変形となる。
そのため、フォーク画像267の太さwfと間隔wgの比率は変化しない。ここで、図9は、フォーク検出方式の一例を説明する図である。図9(a)はフォーク21が低い位置にある場合を示す図、図9(b)はフォーク21が高い位置にある場合を示す図である。図9において、フォーク画像267の太さwfと間隔wgの比率は変化しないため、wf0/wg0=wf1/wg1となる。この比率に注目して、フォーク画像267の外形を検出する。なお、2つのフォーク21の太さは同じと仮定する。
ここで、図10は、エッジ線分の組合せ選択の一例を説明する図である。図10(a)は抽出直線を示す図、図10(b)は第1棄却例を示す図、図10(c)は第2棄却例を示す図である。
まず、入力画像からCannyフィルタやHough変換等により直線分を検出する。
次に、検出された直線分のうち、方向がY方向に近いもののみを抽出する。この時点では、フォーク21上の汚れや床の線等によるフォーク画像267の輪郭以外の直線分も含まれる可能性が高いため、以下のような手順で直線分を選択する。
次に、検出されたY方向に沿う直線から任意の4本である直線301を選び、その間隔3つ(w0、w1、w2)を計測する。なお、両端の間隔w0、w1がフォーク21の太さに対応し、中央のw1がフォーク21の間隔に対応する。なお直線301は、4つの直線の総称表記である。
検出される直線301は、フォーク画像267の傾きや検出誤差のため厳密には平行線ではないが、ほぼY方向に沿う線であるため、図10(a)に示すように、X方向に沿う所定の水平線302との交点の間隔を幅と見なせる。
次に、予め計測しておいたフォーク21の移動範囲内における透視変換画像266内でのフォーク画像267の太さと間隔を有するエッジの組み合わせのうち、比率が実測値に最も近い4本の組み合わせをフォークエッジとして採用する。
例えば図10(b)は、フォーク21の移動範囲におけるフォーク21の撮像画像として太すぎる場合や、間隔が狭すぎる場合には棄却される。また図10(c)は、図10(a)に比べて太さ及び間隔の比率が実寸の比率として遠いため、図10(a)が選択される。
このように、エッジに注目したフォーク画像267の検出により、フォーク21表面の照明条件や汚れによる外観の変化に影響されず、安定した検出が可能となる。そして、フォーク21にARマーカを設けなくても、鉛直方向に沿って上下に移動するフォーク21の透視変換画像266内での位置を決定できる。その結果、ARマーカ方式と同様に、物体30の着脱タイミング情報を取得できる。
具体的には、透視変換画像266において、フォーク画像267の検出有無をARマーカ画像272の検出有無の代わりとし、透視変換画像266内でのフォーク画像267の間隔を透視変換画像266内でのARマーカ画像272間の距離の代わりとする。これにより、着脱タイミング情報と物体30の着脱位置を決定できる。
また検出されたフォーク画像267のエッジの縦方向長さを、複数のARマーカ画像272の検出結果の代用として、全天球カメラ20と物体30との間の水平距離の計測も可能である。
≪画像移動量判定方式≫
エッジに基づくフォーク21の検出は、平坦な床上ではうまく機能するが、貨物32やパレット31上にフォーク21と類似した形状の縦線が存在する場合には誤認識する場合がある。貨物32の外形形状に依存しない検出方式として、以下に示す画像移動量判定方式を用いることもできる。
エッジに基づくフォーク21の検出は、平坦な床上ではうまく機能するが、貨物32やパレット31上にフォーク21と類似した形状の縦線が存在する場合には誤認識する場合がある。貨物32の外形形状に依存しない検出方式として、以下に示す画像移動量判定方式を用いることもできる。
鉛直上方からフォーク21を見下ろすと、貨物32を保持していない状態では、2つのフォーク21の間に床面が見える。一方、貨物32を保持した状態では、貨物32とパレット31が透明でない限り、どのような外形形状であっても床面が見えない。
また、貨物32を保持していない場合、フォークリフト10自体の移動により床面の模様は、透視変換画像266内での位置が変化する。しかし、フォークリフト10に保持された貨物32の画像が透視変換画像266内に含まれると、フォークリフト10が移動しても透視変換画像266内での位置は大きく変化しない。
そのため、画像移動量判定方式では、透視変換画像266内で、貨物32を保持していない場合には、床面が見えるはずの領域を監視し、その時間的な変化がフォークリフト10の移動に対応しているか否かに基づき、物体30の保持情報を取得する。
ここで、図11は、画像移動量判定方式の一例を説明する図である。図11(a)は透視変換画像266内での監視領域313の一例を示す図、図11(b)は複数の監視領域314の一例を示す図である。
まず、透視変換画像266内でのフォーク画像267の間に監視領域313を設定する(図11(a)参照)。この監視領域313は、貨物32が保持されていなければ、床等のフォーク21以外の被写体の画像が含まれ、貨物32が保持されている場合には、貨物32の画像が含まれる。監視領域313は小さすぎると、含まれる画像の特徴が少なくなるため、追跡が難しくなるが、監視領域313が大きすぎると床と貨物32の両方が含まれ、区別しづらくなる。本方式では、一辺がフォーク21の間隔に含まれる正方形とする。フォーク21の間隔の形状が細長ければ、図11(b)のように、複数の監視領域314を並べ、領域ごとに独立に追跡した結果を総合判定することもできる。
VisualSLAMによりフォークリフト10の位置情報を取得した結果、前画像フレームから一定距離の位置変化があった場合について説明する。
まず、監視領域313内に追跡可能な特徴点があるか否か判定する。例えばハリス演算子等を利用できる。
特徴点があった場合には、前画像フレームからの画像内での変位量を計測する。計測には、テンプレートマッチング技術等を利用できる。
次に、 前画像フレームと現画像フレームの位置情報から、特徴点が床に固定されていた場合の画像上の変位量を予測する。
追跡結果の変位量が、自己移動量から予測され、像移動量と変位なしのどちらに近いか判別する。なお、物体30がフォークリフト10に保持されている場合にも、揺れ等により、多少変位する場合はある。また、特徴点が床より高い(カメラに近い)位置にある場合、床面での予想移動量より大きく移動する。そこで例えば、自己位置変化による像移動と同方向にその半分以上の変位がある場合に、その特徴点は床固定と判定し、何れの方向でも所定量以下の場合には、全天球カメラ20の固定(どちらでもない場合はミスマッチとして棄却)できる。
このようにして、フォーク間の画像が床固定と判定された場合には、物体30を保持していない状態(非保持状態)、全天球カメラ20が固定と判定された場合には、物体30を保持した状態(保持状態)と判断できる。
なお、床面が平坦で輝度変化に乏しい場合には、特徴がないため変位を計測できない。しかし、フォーク21をパレット31に挿抜する期間は、パレット31の端部が特徴点となり画像追跡できる可能性が高い。そのため、物体30の積み込みタイミングの前後では、床固定特徴点検出から全天球カメラ20固定特徴点検出の変化が、積み下ろしタイミング前後では逆の変化を生じやすい。そのため、この間を着脱タイミングと判定できる。
さらに、物体30の着脱時には、安全のためフォークリフト10は停止、又は極低速移動となることが多いため、これら変化タイミングの近辺で、フォークリフト10移動速度が極小化した時点を着脱タイミングとすることで、より精度を高めることもできる。
この画像移動量判定だけでは、着脱時の物体30の高さを計測することは難しい。そこで、着脱タイミング前後にフォークエッジ検出を併用することで高さを検出する。
≪画像移動量判定方式のバリエーション≫
全天球カメラ20をフォーク21の根元の鉛直方向に沿う上方に固定し、フォーク21が上下動のみする場合には、移動量判定のための監視領域313は透視変換画像266内で固定できる。しかし、フォーク21の状態に応じて監視領域313を変化させた方が良い場合もある。
全天球カメラ20をフォーク21の根元の鉛直方向に沿う上方に固定し、フォーク21が上下動のみする場合には、移動量判定のための監視領域313は透視変換画像266内で固定できる。しかし、フォーク21の状態に応じて監視領域313を変化させた方が良い場合もある。
ここで、図12は、画像移動量判定方式の他の例を示す図であり、図12(a)は画像内での監視領域例を示す図、図12(b)はフォーク21が低い場合の図、図12(c)はフォーク21が高い場合の図である。
例えば、全天球カメラ20を支持部材22等に取り付けた場合、フォーク21の上下位置によってはフォーク21の根元の固定部材321が、図12(a)に示すように、全天球カメラ20とフォーク21の間に介在し、透視変換画像266内に含まれる場合等がある。固定部材321はフォークリフト10と共に移動するため、物体30を保持していない時にも、全天球カメラ20の固定特徴点が検出され誤認識の原因となり得る。
また、支持部材22の前後傾に連動しない位置に全天球カメラ20を固定した場合等にも、フォーク画像267の位置が鉛直方向に沿って上下に移動するため、監視領域も移動してしまう。これらの場合に対応するため、監視領域に連動する部材へARマーカを設置し、そのARマーカの検出位置に応じて監視領域の位置、大きさを変化させることができる。
例えば、図12(b)のように、位置m0に障害物上のARマーカが検出された場合には、監視領域は領域a0、a1及びa2の3箇所とする。また図12(c)のように位置m1にARマーカが検出された場合は領域a2を監視領域から外し,a0及びa1のみを監視する。その他、フォーク21が移動して監視領域がずれる場合にも同様に対応することができる。
これらの場合、フォーク21の面と比較すればARマーカの摩耗の可能性は低いので長期間の稼働も可能と考えられる。また、検出したい部材の形状が既知で安定しているならば、フォーク検出方式と同様に、ARマーカなしでその部材自体の形状を検出することもできる。
≪特徴点3次元位置計測方式≫
画像移動量判定方式では、フォーク21間から床が見える位置に全天球カメラ20を設置することを前提としていた。全天球カメラ20の設置位置によっては、フォーク21自体が障害物に遮蔽され、全天球カメラ20による全天球画像に含まれない場合も考えられる。例えば、支持部材22に全天球カメラ20を取り付けた場合、ある程度の高さの物体30を保持すれば全天球画像に含まれるが、フォーク21自体は含まれない場合がある。
画像移動量判定方式では、フォーク21間から床が見える位置に全天球カメラ20を設置することを前提としていた。全天球カメラ20の設置位置によっては、フォーク21自体が障害物に遮蔽され、全天球カメラ20による全天球画像に含まれない場合も考えられる。例えば、支持部材22に全天球カメラ20を取り付けた場合、ある程度の高さの物体30を保持すれば全天球画像に含まれるが、フォーク21自体は含まれない場合がある。
この場合、物体30を保持していない時には、全天球画像にはフォークリフト10の搬送方向11側に存在する壁等が撮像されるが、遠方の被写体は、フォークリフト10が移動しても像位置の変化は小さいため、画像移動量判定方式では全天球カメラ20の固定特徴点と判定されてしまう可能性が高い。そのような全天球カメラ20の設置位置に対応するために、VisualSLAMと同様の3次元位置計測を利用する方法がある。
VisualSLALMでは、静止した被写体上の特徴点の画像間の対応関係に基づき、自己位置と被写体位置を同時に決定する。フォークリフト10により保持される前の物体30も床に対して静止しているため、物体30上の特徴点もVisualSLAM処理によりその3次元位置を計測できる。
一方、物体30がフォークリフト10に保持された後は、同じ特徴点であっても床に静止せず、全天球カメラ20に対してほぼ静止状態になるため、3次元計測に有効な特徴点とはならない。具体的には、外れ値として3次元計算処理対象から除去される。
そこで、物体30が含まれる画像領域で特徴点を追跡し、特徴点が3次元計算の処理対象になるか否かで、対象特徴点が床に対して静止しているか、カメラに対して静止しているかを判定することができる。
この結果を利用すれば、フォーク21自体やフォーク21間の床が全天球画像に含まれない場合でも、画像移動量判定方式と同様に物体30の保持又は非保持の状態を判定し、着脱を検出できる。
なお、この場合、フォーク21自体が全天球画像に含まれないため、フォーク21のエッジ検出やARマーカ検出による物体30の着脱高さは計測できない。そのためフォーク21を高所まで挙げられず床面からの着脱のみ可能なタイプのリフトに適用するか、別途フォーク高さ計測センサ等を併用する必要がある。
(物体位置情報の取得結果例)
図13は、物体位置情報の取得結果の第1例を示す図である。図13(a)は位置マップを示す図、図13(b)は位置情報とタイムスタンプを示す図である。
図13は、物体位置情報の取得結果の第1例を示す図である。図13(a)は位置マップを示す図、図13(b)は位置情報とタイムスタンプを示す図である。
図13(a)に示す位置マップ61は、全天球カメラ20が撮像した全天球画像に基づいて、移動体位置取得部52が作成したものである。移動体位置取得部52は、3次元座標情報を含む点群を取得し、この点群を2次元平面に投影することで位置マップ61を作成する。
位置マップ61は、例えば1台のフォークリフト10の移動に応じて作成され、全てのフォークリフト10の位置情報の取得(自己位置認識)において使用される。これにより、同一座標系において複数のフォークリフト10の各位置を表現できる。
全天球画像等の撮像画像に基づく位置マップ61の作成方法には、例えば、上述したSLAM技術を適用できる。
クロスドッキング型の倉庫で多い平置き型の倉庫では、パレット31の入出荷に伴う物体30の位置変化に応じて、位置マップ61が変化しやすい。位置マップ61の変化は、位置情報の取得処理を複雑にする場合がある。なお、平置き型の倉庫とは、棚等の構造物が少なく、パレット31又は貨物32を床面に置くタイプの倉庫をいう。
一方、倉庫は天井の高さが5[m]等と高いことが多く、天井側である上方の視界を確保しやすい。そのため、実施形態では、全天球カメラ20が撮像した全天球画像のうちの上方向を示す画像を用いて位置マップ61を作成し、フォークリフト10の位置情報を取得する。これにより、時間変化を抑制した位置マップ61を用いて、処理が複雑になることなく、フォークリフト10の位置情報を取得できる。
また、保持情報取得部53は、フォークリフト10による物体30の保持情報を取得するために、全天球画像のうちの前方を示す画像を使用する。これにより、全天球カメラ20が撮像した1つの全天球画像を用いて、フォークリフト10の位置情報を取得するとともに物体30の保持情報を取得可能となる。
なお、保持情報取得部53は、保持情報を取得するために、全天球画像以外の情報を使用することもできる。全天球画像以外の情報には、例えば、接触センサ、赤外線センサ、超音波センサ、測距センサ又は荷重センサ等による検出情報が挙げられる。保持情報取得部53は、全天球画像又は各センサによる検出情報を組み合わせて保持情報を取得することもできる。但し、処理を簡単に行う観点では、フォークリフト10の位置情報と保持情報とを1つの全天球画像から取得可能な全天球カメラ20を使用することがより好ましい。
物体位置取得部56は、位置マップ61に示すフォークリフト10の位置情報のうち、保持情報が非保持を示すものを削除することで、物体30の位置を示す位置マップ62を、物体30の位置情報として取得できる。図13(a)に示す位置マップ61は、物体30の位置情報を示すものとも言えるため、図13(a)では位置マップ62を括弧付きで表示している。
また、図13(b)に示す位置テーブル63は、物体30の位置を示す点群の3次元座標と、該3次元座標が取得された時の時刻を示すタイムスタンプ64とを含むテーブルである。位置テーブル63は、物体位置取得部56が作成したものである。タイムスタンプ64は、時刻取得部55が取得した時刻情報の一例である。物体位置取得部56は、物体30の位置情報と時刻情報とを対応付けた位置テーブル63を、出力部57を介して出力できる。
物体位置取得部56は、所定時間が経過した後の点群の情報を除外し、新しい点群の情報を用いて位置テーブル63を更新する。フォークリフト10の動きが少ない場合には、位置テーブル63に示す点群の情報が減少し過ぎないように、更新頻度を下げると好適である。これにより、フォークリフト10の周囲で状態変化があり、またフォークリフト10の上方の視界確保が難しい場合にも、物体の位置を示す位置マップ62及び位置テーブル63を更新することで、物体30の位置情報を好適に取得可能になる。
倉庫100内で複数の物体30の各位置を追跡するために、物体30に付与されたバーコード等の識別情報が使用される。物体30を示す識別情報は、物体30の初期位置情報とともに格納部58に格納される。
物体30を示す識別情報として、フォークリフト10がパレット31をコンテナ300等から取出し、パレット31を一旦仮置きする際に、貨物32又はパレット31に付与されているバーコード等が読み取られたものが格納部58に格納される。このような格納を初期登録という。本実施形態では、初期登録される物体30を示す識別情報に加え、物体位置取得部56が取得した物体30の位置情報を対応付けて格納部58に格納させることができる。
ここで、倉庫100内で複数の物体30の各位置を追跡するためのより簡易的な方法の一例を、図14を参照して説明する。図14は、物体位置情報の第2例を示す図である。図14(a)は区画を示す図、図14(b)は位置情報と区画を示すバーコードを示す図である。
図14(a)に示す区画A、B、C及びDは、倉庫100内で予め定められた位置範囲を示すものである。区画A、B、C及びDの各区画内で物体30を初期登録するための作業が行われる。
読取器を用いて物体30を示すバーコードを読み取った前後の何れか一方のタイミングで、区画A、B、C及びDを示すバーコードを読み取ることで、物体30と各区画を示す位置座標を対応付けることができる。その後、フォークリフト10により物体30を搬送する場合に、どの物体30が搬送されているかの識別情報を含めて物体30の位置を追跡可能になる。図14(b)に示すテーブル71は、区画を示すID番号と、区画の位置情報と、区画を示すバーコードとを対応付けて示している。
各区画を示すバーコードは、初期登録を行う作業者が読取器を用いて読み取り可能なように、印刷されて該作業者により携帯される。或いは倉庫100内の床や柱、又はフォークリフト10に貼付される。これにより、物体30を示すバーコードを読み取る作業を行う前後のタイミングで、各区画のバーコードを容易に読取可能となる。
図15は、物体30の初期位置を作業者が登録するための画面の一例を示す図である。例えば、物体30を示すバーコードを読み取るためのモバイル端末がフォークリフト10上に取り付けられており、作業者はこのモバイル端末を用いて登録作業を行う。図15に示す登録画面81は、モバイル端末が表示する画面である。また、図14に示した簡易的な方法で読み取った情報をモバイル端末に表示し、貨物32の入荷又は出荷の何れかを示す情報を作業者に選択させたり、物体30及び区画の各ID番号の確認のみを作業者に求めたりすることもできる。
図16は、物体30の初期位置を作業者が登録するための画面の他の例を示す図である。図16に示す登録画面91は、モバイル端末の表示画面であり、区画を示すバーコード92を表示している。登録画面91に、貨物32の入荷又は出荷の何れかの状態や、初期位置の候補である区画を示すバーコードを表示し、その中から適したバーコードを作業者が読取器を用いて読み取ることで、初期位置を登録することもできる。
図17は、フォークリフト10による物体30の搬送先の表示画面の一例を示す図である。表示画面93は位置マップ94を表示している。位置マップ94は搬送元位置95と、搬送先位置96とを含む。搬送元位置95は搬送元の位置を示し、搬送先位置96は搬送先の位置を示す。予め登録した仮置き場所等の位置を画面に表示することで、より作業しやすい情報を提供できる。
図18は、物体30の位置マップを表示する画面の一例を示す図である。表示画面111は、フォークリフト10に設けられたモバイル端末に表示される画面であってもよいし、オンプレミスサーバ50のディスプレイ506に表示される画面であってもよい。
オンプレミスサーバ50は、物体30が倉庫100内で初期登録された後、出荷時にバーコードが読み取られるまでの期間において、全ての物体30を示すID番号112又は113等を、それぞれの位置座標情報をもとにマップ上に表示する。
図19は、物体30を探索する際に表示する画面の一例を示す図である。表示画面121は、フォークリフト10に設けられたモバイル端末に表示される画面であってもよいし、オンプレミスサーバ50のディスプレイ506に表示される画面であってもよい。
物体30を探索する際に、搬送を行う作業者が探索したいパレット31のID番号を入力すると、表示画面121は、対応するパレット31の位置を示すマーク122を位置マップ123上に表示する。この際に、位置を表示するパレット31は1つに限らず、複数のパレット31のID番号を順に入力して、複数のパレット31の各位置が一括で表示されるようにしてもよい。
(オンプレミスサーバ50の作用効果)
以上説明したように、本実施形態に係る情報処理システム1が有するオンプレミスサーバ50(情報処理装置)は、フォークリフト10(移動体)により搬送(移動)される物体30の位置情報を処理するものである。
以上説明したように、本実施形態に係る情報処理システム1が有するオンプレミスサーバ50(情報処理装置)は、フォークリフト10(移動体)により搬送(移動)される物体30の位置情報を処理するものである。
オンプレミスサーバ50は、フォークリフト10(移動体)の位置に関わる情報と、フォークリフト10に設けられたフォーク21(保持部)による物体30の保持又は非保持の何れか一方の状態を示す保持情報と、に基づいて取得される物体30の位置情報を出力する出力部57を有する。
また保持情報取得部53は、フォークリフト10に取り付けられた全天球カメラ20(撮像部)により撮像されたフォーク21の撮像画像に基づいて保持情報を取得する。換言すると、保持情報は、全天球カメラ20により撮像された撮像画像に基づいて取得される。
全天球画像に基づいてフォーク21による物体30の保持情報を取得するため、複数の検出器からの信号を処理する場合と比較して簡単な処理で物体30の位置情報を取得できる。これにより、フォークリフト10により搬送される物体30の位置情報を簡単に処理可能なオンプレミスサーバ50を提供できる。
また本実施形態では、全天球画像(撮像画像)は、フォーク21と、フォークリフト10が移動する床と、が撮像された画像を含み、保持情報取得部53は、全天球画像に含まれる監視領域313内における床又は物体30の移動量と、フォークリフト10の位置に関わる情報に基づいて取得されるフォークリフト10の移動量と、に基づき、保持情報を取得する。
これにより、貨物32やパレット31上にフォーク21と類似した形状の縦線が存在する場合にも、フォーク21を誤認識することなく物体30を認識でき、物体30の位置情報を正確に取得できる。
また本実施形態では、全天球画像は、フォーク21を示すARマーカ(識別マーカ)を含み、保持情報取得部53は、ARマーカに基づいて保持情報を取得する。ARマーカは画像認識されやすいため、より簡単な処理で保持情報を取得できる。
また本実施形態では、保持情報取得部53は、ARマーカに基づいて物体30の位置情報を補正する。これにより、全天球カメラ20と物体30との間の水平距離が変化する場合にも物体30の位置情報を正確に取得できる。
また本実施形態では、保持情報取得部53は、全天球画像に基づいてフォーク21の高さを検出し、出力部57は、フォーク21の高さと、保持情報と、フォークリフト10の位置に関わる情報と、に基づいて取得される物体30の位置情報を出力する。これにより、フォークリフト10が他の貨物32の上に置かれたパレット31だけを積み込む等の作業や、他の貨物32の上にパレット31を設置する等の作業を行う場合に、着脱時の物体30の高さ方向における位置情報を提供することができる。
また本実施形態では、物体30の位置に対応するタイムスタンプ64(時刻を示す情報)をさらに出力する。これにより、物体30の位置をより認識しやすく、また追跡しやすくなる。
[第2実施形態]
次に第2実施形態に係る情報処理システム1aについて説明する。なお、第1実施形態で説明した同一の構成部には同一の部品番号を付し、重複する説明を適宜省略する。
次に第2実施形態に係る情報処理システム1aについて説明する。なお、第1実施形態で説明した同一の構成部には同一の部品番号を付し、重複する説明を適宜省略する。
図20は、情報処理システム1aの全体構成の一例を示す図である。図20に示すように、情報処理システム1aは、固定型カメラ60と、オンプレミスサーバ50aとを有する。
ここで、倉庫では、フォークリフト10以外にもハンドパレットトラックと呼ばれる、人が簡易に扱えるパレット搬送機器が使われる場合がある。本実施形態では、全天球カメラ20が設けられていないハンドパレットトラックにより物体30の位置が変更された場合にも、固定型カメラ60による撮像画像に基づいて、物体30の位置を認識し、追跡可能にする。
固定型カメラ60は、倉庫100の天井付近等に設けられ、天井側から床側に向けて倉庫100内を撮影するカメラである。固定型カメラ60は、フォークリフト10以外に設けられ、フォークリフト10又は物体30の何れか一方の周囲を撮像する。
固定型カメラ60の種類には、特段の制限はないが、広い範囲を撮像できるものが好ましく、全天球カメラがより好ましい。固定型カメラ60が設置される台数は1台であっても複数台であってもよい。本実施形態では、固定型カメラ60は複数台設けられているものとし、固定型カメラ60は複数の固定型カメラの総称表記とする。
(情報処理システム1aの機能構成例)
図21は、情報処理システム1aの機能構成の一例を示すブロック図である。図21に示すように、天井500には、固定型カメラ60と、天井用物体位置取得部501と、送信部502とが設けられている。
図21は、情報処理システム1aの機能構成の一例を示すブロック図である。図21に示すように、天井500には、固定型カメラ60と、天井用物体位置取得部501と、送信部502とが設けられている。
天井用物体位置取得部501及び送信部502の各機能は、天井500又は固定型カメラ60の何れか一方に設けられた電気回路で実現される他、これらの機能の一部をソフトウェア(CPU)によって実現することもできる。またこれらの機能は複数の回路又は複数のソフトウェアによって実現されてもよい。
天井用物体位置取得部501は、固定型カメラ60が撮像した画像に基づき、フォークリフト10以外による搬送された物体30の位置情報を取得し、送信部502を介してオンプレミスサーバ50aに送信する。
フォークリフト10には、移動体位置取得部102と、保持情報取得部103とが設けられている。フォークリフト10はシングルボードコンピュータを備え、全天球カメラ20に有線接続している。移動体位置取得部102及び保持情報取得部103の各機能は、このシングルボードコンピュータで実現される。
移動体位置取得部102は、全天球カメラ20が撮像した画像に基づき、フォークリフト10の位置情報を取得し、送信部101を介してオンプレミスサーバ50aに送信する。
保持情報取得部103は、全天球カメラ20が撮像した画像に基づき、フォークリフト10による物体30の保持又は非保持の何れか一方の状態を示す保持情報を取得し、送信部101を介してオンプレミスサーバ50aに送信する。
オンプレミスサーバ50aは、物体位置取得部56aを有する。物体位置取得部56aは、受信部51を介して受信したフォークリフト10の位置情報と、保持情報とに基づき、フォークリフト10が搬送する物体30の位置情報を取得する。
また物体位置取得部56aは、受信部51を介してフォークリフト10以外が搬送する物体30の位置情報を取得できる。物体位置取得部56aは、取得した物体30の位置情報を、出力部57を介して出力できる。
物体30の位置を認識し、追跡するためには、固定型カメラ60の位置と、物体30の位置との間で3次元座標系を一致させることが好ましい。この方法としては、3次元座標情報が既知であるマーカを倉庫100の床に貼り付けて固定型カメラ60により認識することで、3次元座標系を一致させる方法が挙げられる。また、自己位置を認識しているフォークリフト10の3次元座標情報を用いて固定型カメラ60の位置を初期登録することで、3次元座標系を一致させる方法もある。
図22は、固定型カメラ60から視たフォークリフト10を示す図である。図22に示すように、フォークリフト10には、ARマーカ15が設けられている。ARマーカ15には、天井500からの認識が容易な2次元コードが好ましい。固定型カメラ60は、ARマーカ15を認識して固定型カメラ60の位置を初期登録することで、3次元座標系を一致させることができる。
(物体30の位置情報の取得結果例)
図23は、固定型カメラ60による物体30の追跡結果を表示する画面の一例を示す図である。表示画面161は、フォークリフト10に設けられたモバイル端末に表示される画面であってもよいし、オンプレミスサーバ50のディスプレイ506に表示される画面であってもよい。
図23は、固定型カメラ60による物体30の追跡結果を表示する画面の一例を示す図である。表示画面161は、フォークリフト10に設けられたモバイル端末に表示される画面であってもよいし、オンプレミスサーバ50のディスプレイ506に表示される画面であってもよい。
図23に示すように、表示画面161は、撮像画像画面162と、カメラ位置マップ画面163とを含む。撮像画像画面162は、固定型カメラ60が撮像した画像を表示するものであり、静止画だけでなく動画も表示可能である。カメラ位置マップ画面163は、固定型カメラ60の位置を示すものである。カメラ位置マップ画面163が含むカメラマーク164は、複数の固定型カメラ60の位置を示している。
撮像画像画面162は、図23に矢印で示したX方向及びY方向のそれぞれにスクロールできる。物体30の搬送を行う作業者は、カメラ位置マップ画面163を視認しながら、複数の固定型カメラ60のうち、撮像画像を表示したい固定型カメラ60を選択できるようになっている。
また、図23における165は早送りボタン、166はスクロールバーである。探索対象となる物体30のID番号について、最後にその場所に置かれた時刻に動画の再生をジャンプできる頭出し機能を設けることもできる。頭出し機能により、その後にフォークリフト10以外による物体30の移動があった場合にも、追跡のための再生を効率的に行える。
(情報処理システム1aの作用効果)
以上説明したように、本実施形態に係る情報処理システム1aは、固定型カメラ60を有する。これにより、全天球カメラ20が設けられていないハンドパレットトラック等により物体30の位置が変更された場合にも、固定型カメラ60による撮像画像に基づいて、物体30の位置を認識し、追跡できる。
以上説明したように、本実施形態に係る情報処理システム1aは、固定型カメラ60を有する。これにより、全天球カメラ20が設けられていないハンドパレットトラック等により物体30の位置が変更された場合にも、固定型カメラ60による撮像画像に基づいて、物体30の位置を認識し、追跡できる。
また本実施形態では、物体位置取得部56aは、フォークリフト10が備えるシングルボードコンピュータにより演算で取得された保持情報を、受信部51を介して取得する。これにより、オンプレミスサーバ50aで保持情報の取得処理を行うことなく、簡単な処理で物体30の位置情報を取得できる。
[変形例]
図24は、第1変形例に係る情報処理システム1bの機能構成の一例を示すブロック図である。図24に示すように、情報処理システム1bは、クラウドサーバ50bと、入出力端末600と、ネットワークスイッチ700とを有する。入出力端末600と、クラウドサーバ50bとはインターネット800を介して通信可能に接続されている。
図24は、第1変形例に係る情報処理システム1bの機能構成の一例を示すブロック図である。図24に示すように、情報処理システム1bは、クラウドサーバ50bと、入出力端末600と、ネットワークスイッチ700とを有する。入出力端末600と、クラウドサーバ50bとはインターネット800を介して通信可能に接続されている。
クラウドサーバ50bは、倉庫100外に設置された外部サーバである。クラウドサーバ50bは、図3に示したオンプレミスサーバ50と同様のハードウェア構成を有する。
入出力端末600は、入出力部601と、送受信部602を有する。入出力端末600は、例えば第1実施形態で説明したフォークリフト10上に取り付けられたモバイル端末である。ネットワークスイッチ700は、ネットワーク400とインターネット800とを切替可能なスイッチである。
実施形態に係る情報処理システムは、図24に示すように構成することもできる。
図25は、第2変形例に係る情報処理システム1cの機能構成の一例を示すブロック図である。図25に示すように、情報処理システム1cは、フォークリフト10cを有する。フォークリフト10cは、センサ104と、保持情報取得部103bとを有する。
センサ104は、接触センサ、赤外線センサ、超音波センサ、測距センサ又は荷重センサのうちの少なくとも1つのセンサである。センサ104は、保持情報を取得するためのデータ又は信号を検出する。
保持情報取得部103bは、センサ104が検出したデータ又は信号に基づき保持情報を取得できる。
実施形態に係る情報処理システムは、図25に示すように構成することもできる。
以上、実施形態を説明してきたが、本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
移動体の一例としてフォークリフトを示したが、これに限定されるものではない。例えば自動搬送車又はドローン等であってもよい。
なお、実施形態の説明で用いた序数、数量等の数字は、全て本発明の技術を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明の技術を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係をこれに限定するものではない。
また、機能ブロック図におけるブロックの分割は一例であり、複数のブロックを一つのブロックとして実現する、一つのブロックを複数に分割する、及び/又は、一部の機能を他のブロックに移してもよい。また、類似する機能を有する複数のブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。また複数のコンピュータに一部又は全部の機能を分散させてもよい。
1 情報処理システム
10 フォークリフト(移動体の一例)
11 搬送方向(移動方向の一例)
12 鉛直上方向
15 ARマーカ(識別マーカの一例)
20 全天球カメラ(撮像部の一例)
20a 方位
21 フォーク(保持部の一例)
22 支持部材
30 物体
31 パレット
32 貨物
33 バーコード
40 仮置き場所
50 オンプレミスサーバ(情報処理装置の一例)
50b クラウドサーバ(情報処理装置の一例)
51 受信部
52 移動体位置取得部
53 保持情報取得部
54 識別情報取得部
55 時刻取得部
56 物体位置取得部
57 出力部
58 格納部
60 固定型カメラ
61 位置マップ(移動体の位置情報の一例)
62 位置マップ(物体の位置情報の一例)
63 位置テーブル(物体の位置情報の一例)
64 タイムスタンプ(時刻情報の一例)
81、91 登録画面
100 倉庫
200 トラックヤード
266 透視変換画像
267 フォーク画像
272 ARマーカ画像
300 コンテナ
313 監視領域
314 複数の監視領域
400 ネットワーク
H 高さ
10 フォークリフト(移動体の一例)
11 搬送方向(移動方向の一例)
12 鉛直上方向
15 ARマーカ(識別マーカの一例)
20 全天球カメラ(撮像部の一例)
20a 方位
21 フォーク(保持部の一例)
22 支持部材
30 物体
31 パレット
32 貨物
33 バーコード
40 仮置き場所
50 オンプレミスサーバ(情報処理装置の一例)
50b クラウドサーバ(情報処理装置の一例)
51 受信部
52 移動体位置取得部
53 保持情報取得部
54 識別情報取得部
55 時刻取得部
56 物体位置取得部
57 出力部
58 格納部
60 固定型カメラ
61 位置マップ(移動体の位置情報の一例)
62 位置マップ(物体の位置情報の一例)
63 位置テーブル(物体の位置情報の一例)
64 タイムスタンプ(時刻情報の一例)
81、91 登録画面
100 倉庫
200 トラックヤード
266 透視変換画像
267 フォーク画像
272 ARマーカ画像
300 コンテナ
313 監視領域
314 複数の監視領域
400 ネットワーク
H 高さ
Claims (11)
- 移動体の位置に関わる情報と、前記移動体に設けられた保持部による物体の保持又は非保持の何れか一方の状態を示す保持情報と、に基づいて取得される前記物体の位置情報を出力する出力部を有し、
前記保持情報は、撮像部による撮像画像に基づいて取得される情報処理装置。 - 前記移動体の位置に関わる情報と、前記保持情報と、に基づいて前記物体の位置情報を取得する物体位置取得部を有する請求項1に記載の情報処理装置。
- 前記撮像画像に基づいて前記保持情報を取得する保持情報取得部を有し、
前記撮像画像は、前記移動体に取り付けられた前記撮像部により前記保持部が撮像された画像を含む請求項1又は2に記載の情報処理装置。 - 前記撮像画像は、前記保持部と、前記移動体が移動する床と、が撮像された画像を含み、
前記保持情報取得部は、前記撮像画像に含まれる監視領域内における前記床又は前記物体の移動量と、前記移動体の位置に関わる情報に基づいて取得される前記移動体の移動量と、に基づき、前記保持情報を取得する請求項3に記載の情報処理装置。 - 前記撮像画像は、前記保持部を示す識別マーカを含み、
前記保持情報取得部は、前記識別マーカに基づいて前記保持情報を取得する請求項3に記載の情報処理装置。 - 前記保持情報取得部は、前記識別マーカに基づいて前記物体の位置情報を補正する請求項5に記載の情報処理装置。
- 前記保持情報取得部は、前記撮像画像に基づいて前記保持部の高さを検出し、
前記出力部は、前記保持部の高さと、前記保持情報と、前記移動体の位置に関わる情報と、に基づいて取得される前記物体の位置情報を出力する請求項3乃至6の何れか1項に記載の情報処理装置。 - 前記保持情報を受信する受信部を有する請求項1又は2に記載の情報処理装置。
- 前記出力部は、前記物体の位置情報と、前記物体の位置情報が取得された時刻を示す時刻情報と、を対応づけて出力する請求項1乃至8の何れか1項に記載の情報処理装置。
- 前記移動体と、
前記移動体に設けられ、前記保持部を少なくとも撮像する撮像部と、
請求項1乃至9の何れか1項に記載の情報処理装置と、を有する情報処理システム。 - 前記撮像部は、前記移動体から視た前記移動体の移動方向側の風景と、前記保持部と、を撮像可能に前記移動体に取り付けられている請求項10に記載の情報処理システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021029222A JP2022130187A (ja) | 2021-02-25 | 2021-02-25 | 情報処理装置、及び情報処理システム |
EP22700254.0A EP4298603A1 (en) | 2021-02-25 | 2022-01-13 | Information processing apparatus, information processing system, information processing method, and recording medium |
PCT/IB2022/050221 WO2022180453A1 (en) | 2021-02-25 | 2022-01-13 | Information processing apparatus, information processing system, information processing method, and recording medium |
US18/277,581 US20240127471A1 (en) | 2021-02-25 | 2022-01-13 | Information processing apparatus, information processing system, information processing method, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021029222A JP2022130187A (ja) | 2021-02-25 | 2021-02-25 | 情報処理装置、及び情報処理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022130187A true JP2022130187A (ja) | 2022-09-06 |
Family
ID=83150784
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021029222A Pending JP2022130187A (ja) | 2021-02-25 | 2021-02-25 | 情報処理装置、及び情報処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022130187A (ja) |
-
2021
- 2021-02-25 JP JP2021029222A patent/JP2022130187A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11100300B2 (en) | Systems and methods for tracking items | |
US8508590B2 (en) | Method and apparatus for simulating a physical environment to facilitate vehicle operation and task completion | |
EP3434626B1 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
KR20220000951A (ko) | 창고 환경에서 차량 추적 | |
US20120287280A1 (en) | Method and system for sensing the position of a vehicle | |
US20230092401A1 (en) | Systems and methods for tracking items | |
CN110889317B (zh) | 操作辅助装置 | |
EP3434621B1 (en) | Instruction projecting device, parcel sorting system and instruction projecting method | |
EP3434623A1 (en) | Projection indicator, cargo assortment system, and projection indicating method | |
US11543249B2 (en) | Method, system and apparatus for navigational assistance | |
JP7200601B2 (ja) | 在庫管理装置、及び、プログラム | |
JP6728995B2 (ja) | 自動倉庫システムおよび自動倉庫の管理方法 | |
WO2020247087A1 (en) | Method, system and apparatus for gap detection in support structures with peg regions | |
US20240127471A1 (en) | Information processing apparatus, information processing system, information processing method, and recording medium | |
JP5674933B2 (ja) | 倉庫内の物体の位置を特定するための方法及び装置 | |
WO2020247271A1 (en) | Method, system and apparatus for detecting support structure obstructions | |
JP2022130187A (ja) | 情報処理装置、及び情報処理システム | |
US11327504B2 (en) | Method, system and apparatus for mobile automation apparatus localization | |
US20200182623A1 (en) | Method, system and apparatus for dynamic target feature mapping | |
US11954882B2 (en) | Feature-based georegistration for mobile computing devices | |
JP2022130032A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
US20220180559A1 (en) | On-Site Calibration for Mobile Automation Apparatus | |
US11158075B2 (en) | Method, system and apparatus for depth sensor artifact removal | |
US20230177853A1 (en) | Methods and Systems for Visual Item Handling Guidance | |
WO2023119389A1 (ja) | 作業管理システム、作業管理装置、作業管理方法、及び非一時的なコンピュータ可読媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240628 |