JP2022130187A - 情報処理装置、及び情報処理システム - Google Patents

Abstract

【課題】移動体により搬送される物体の位置情報を簡単に処理可能な情報処理装置を提供すること。【解決手段】本発明の一態様に係る情報処理装置は、移動体の位置に関わる情報と、前記移動体に設けられた保持部による物体の保持又は非保持の何れか一方の状態を示す保持情報と、に基づいて取得される前記物体の位置情報を出力する出力部を有し、前記保持情報は、撮像部による撮像画像に基づいて取得される。【選択図】図２

Description

本願は、情報処理装置、及び情報処理システムに関する。

従来、フォークリフト等の移動体により搬送される貨物又はパレット等の物体の位置情報を処理する情報処理装置が知られている。

また、運搬機械の動きを直接的に検出する第１検出器から送信された第１信号と、運搬機械における物品の有無を検出する第２検出器から送信された第２信号とを用いて、運搬機械の稼働状況を分類する処理部を備え、運搬機械の位置を示す情報を用いて、分類された稼働状況ごとに、運搬機械の移動経路を示す情報を出力する構成が開示されている（例えば、特許文献１参照）。

しかしながら、特許文献１の装置では、複数の検出器からの信号を処理するため、物体の位置情報の処理が複雑化する場合がある。

本発明は、移動体により移動される物体の位置情報を簡単に処理可能な情報処理装置を提供することを課題とする。

本発明の一態様に係る情報処理装置は、移動体の位置に関わる情報と、前記移動体に設けられた保持部による物体の保持又は非保持の何れか一方の状態を示す保持情報と、に基づいて取得される前記物体の位置情報を出力する出力部を有し、前記保持情報は、撮像部による撮像画像に基づいて取得される。

本発明によれば、移動体により移動される物体の位置情報を簡単に処理可能な情報処理装置を提供できる。

倉庫内における物体の位置情報例を説明する図である。 実施形態に係る情報処理システムの全体構成例を示す図である。 実施形態に係るオンプレミスサーバのハードウェア構成例のブロック図である。 第１実施形態に係る情報処理システムの機能構成例のブロック図である。 第１実施形態に係るオンプレミスサーバによる処理例のフローチャートである。 フォークの画像変換例を示す図であり、図６（ａ）は全天球画像の一部を示す図、図６（ｂ）は透視変換カメラを示す図、図６（ｃ）は透視変換画像を示す図である。 マーカ方式を示す図であり、図７（ａ）はマーカ例の図、図７（ｂ）は貨物によるマーカ遮蔽を示す図、図７（ｃ）は複数マーカによる水平距離推定の図である。 フォークの高さ推定例の図であり、図８（ａ）は透視変換画像内でのＡＲマーカ画像間の距離の図、図８（ｂ）は全天球カメラとフォークの高さ関係の図である。 フォーク検出方式の一例を示す図であり、図９（ａ）はフォークが低い位置にある場合の図、図９（ｂ）はフォークが高い位置にある場合の図である。 エッジ線分の組合せ選択例を示す図であり、図１０（ａ）は抽出直線の図、図１０（ｂ）は第１棄却例の図、図１０（ｃ）は第２棄却例の図である。 画像移動量判定方式例を示す図であり、図１１（ａ）は透視変換画像内での監視領域の一例の図、図１１（ｂ）は複数の監視領域の一例の図である。 画像移動量判定方式の他の例の図であり、図１２（ａ）は画像内での監視領域例の図、図１２（ｂ）はフォークが低い場合の図、図１２（ｃ）はフォークが高い場合の図である。 物体位置情報の取得結果の第１例を示す図であり、図１３（ａ）は位置マップを示す図、図１３（ｂ）は位置情報とタイムスタンプを示す図である。 物体位置情報の取得結果の第２例を示す図であり、図１４（ａ）は区画を示す図、図１４（ｂ）は区画の位置情報と区画を示すバーコードを示す図である。 登録画面の一例を示す図である。 登録画面の他の例を示す図である。 フォークリフトによる物体の搬送先の表示例を示す図である。 物体の位置マップの表示画面例を示す図である。 物体を探索する際の表示画面例を示す図である。 第２実施形態に係る情報処理システムの全体構成例を示す図である。 第２実施形態に係る情報処理システムの機能構成例のブロック図である。 固定型カメラから視たフォークリフトを示す図である。 固定型カメラによる物体の追跡結果の表示画面例を示す図である。 第１変形例に係る情報処理システムの機能構成例のブロック図である。 第２変形例に係る情報処理システムの機能構成例のブロック図である。

以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一の構成部分には同一符号を付し、重複した説明を省略する場合がある。

実施形態に係る情報処理装置は、移動体により移動される物体の位置情報を処理するものである。例えば、移動体はフォークリフトであり、物体はパレットを含む。実施形態に係る情報処理装置は、フォークリフトにより移動されるパレット等の物体の位置情報を処理して、物体の移動を認識し、また追跡する。

ここで図１は、倉庫内における物体の位置情報の一例を説明する図である。図１は、倉庫１００の内部及び倉庫１００の周辺を上方（天井側）から視た様子を示している。

倉庫１００はターミナル倉庫（輸送の中継地において設置される倉庫）である。このターミナル倉庫には、クロスドッキング型と呼ばれる倉庫の形態がある。クロスドッキング型の倉庫では、商品ごとに複数のパレットが工場又は卸売業者等から入荷され、倉庫内に一時仮置きされる。その後、出荷の際に同じパレットの荷姿のまま、複数の種類のパレットが組み合わされ、小売店の方面別に出荷される。

図１において、倉庫１００の周囲にはトラックヤード２００がある。図１は、トラックヤード２００にはトレーラーによって運ばれ、切り離されたコンテナ３００や、トラックの荷台を倉庫に接続している様子を示している。フォークリフト１０は、トラックヤード２００に到着したトラックの荷台、或いはトレーラーによって運ばれたコンテナ３００の少なくとも一方からパレット３１を取出す。

その後、フォークリフト１０は、仮置き場所４０にパレット３１を運び、仮置きする。その後、出荷の際には、フォークリフト１０は、倉庫１００内のトラックヤード２００に近い場所にパレット３１を運んで荷揃えした後、トラックの荷台又はコンテナ３００にパレット３１を積込む。

仮置き場所４０では、出入りする商品の種類や量が日々変動することに対して柔軟にスペースを確保するために、商品ごとの区画が定められていないことが多い。一方で、複数の作業者が任意の場所にパレット３１を仮置きするため、出荷の際には、仮置きされた複数のパレットの中から所望のパレットを探索する必要がある。

この探索作業を効率的に行うために、パレット３１の仮置き場所を定めないことでスペースを有効活用しながら、倉庫１００内でのパレット３１の移動を認識し、また追跡することで可視化する情報処理システムが求められている。実施形態に係る情報処理装置は、一例として、このような情報処理システムで使用されるものである。

以下、実施形態に係る情報処理装置を有する情報処理システムについて説明する。

［第１実施形態］
（情報処理システム１の全体構成例）
図２は、第１実施形態に係る情報処理システム１の全体構成の一例を示す図である。図２に示すように、情報処理システム１は、フォークリフト１０と、全天球カメラ２０と、オンプレミスサーバ５０とを有する。これらは、ＬＡＮ（Local Area Network）等のネットワーク４００を介して通信可能に接続されている。なお、ネットワーク４００には、外部サーバ又は画像形成装置等の上記以外の装置が通信可能に接続されていてもよい。

フォークリフト１０は、パレット３１に載置された貨物３２を保持し、保持した状態で搬送することで、パレット３１及び貨物３２を搬送する移動体の一例である。なお、移動体による搬送は、移動体による移動の一例である。またパレット３１及び貨物３２はそれぞれ物体の一例である。なお、以下では、パレット３１及び貨物３２を特に区別しない場合には物体３０と総称する。また、フォークリフト１０は複数のフォークリフトの総称表記であり、パレット３１は複数のパレットの総称表記であり、貨物３２は複数の貨物の総称表記である。

フォークリフト１０は、作業者の運転操作に応じて物体３０を搬送するものであってもよいし、作業者を介さず自動運転により物体３０を搬送するものであってもよい。

全天球カメラ２０は、フォークリフト１０に設けられた撮像部の一例である。全天球カメラ２０は、全天球カメラ２０の周囲における３６０度の全方位を撮像可能なカメラである。方位２０ａは、全天球カメラ２０が撮像可能な方位を示している。

全天球カメラ２０が撮像する全天球画像（全方位画像）は撮像画像の一例である。但し、撮像部は全天球カメラ２０に限定されるものではなく、フォークリフト１０の周囲を撮像できるものであれば如何なるものであってもよい。また撮像画像も必ずしも全天球画像でなくてもよい。

全天球画像は、フォークリフト１０から視た物体３０の搬送方向１１側の風景と、フォークリフト１０から視た鉛直上方向１２側の風景とが撮像された画像を含む。換言すると、搬送方向１１はフォークリフト１０の前方であり、鉛直上方向１２はフォークリフト１０の上方である。全天球カメラ２０は全方位を撮像できるため、フォークリフト１０の前方及び上方を１枚の画像に含んで撮像できる。なお、搬送方向１１は移動方向の一例である。

全天球カメラ２０は、フォークリフト１０の屋根上、又はフォーク２１を支持する支持部材２２上に取り付けることが好ましい。これにより、フォークリフト１０の前方及び上方を撮像するための視界を好適に確保できる。ここで、フォーク２１はフォークリフト１０に設けられた保持部の一例である。

全天球カメラ２０は、無線による通信機能を有し、撮像した全天球画像を、ネットワーク４００を介してオンプレミスサーバ５０に送信する。

貨物３２には、貨物３２を示す識別情報の一例であるバーコード３３が設けられている。このようなバーコードは、パレット３１に設けられ、パレット３１を示す識別情報として利用されてもよい。バーコード３３は、バーコードリーダ等の読取器により読み取られ、読み取られた結果である識別情報は、ネットワーク４００を介してオンプレミスサーバ５０に送信される。なお、識別情報はバーコードに限らず、ＱＲコード（登録商標）又はＩＤ（Identifier）番号等であってもよい。

オンプレミスサーバ５０は、倉庫１００内に設置され、フォークリフト１０により搬送される物体３０の位置情報を処理する情報処理装置の一例である。

オンプレミスサーバ５０は、ネットワーク４００を介して受信した全天球画像及び物体３０を示す識別情報に基づき、物体３０の位置情報を処理する。また複数の全天球カメラ２０がそれぞれ撮像した全天球画像を用いることで、複数のフォークリフト１０が保持する物体３０の位置情報を取得できる。

（オンプレミスサーバ５０のハードウェア構成例）
次に図３は、オンプレミスサーバ５０のハードウェア構成の一例を示すブロック図である。オンプレミスサーバ５０はコンピュータにより構築される。

図３に示すように、オンプレミスサーバ５０は、ＣＰＵ（Central Processing Unit）５０１と、ＲＯＭ（Read Only Memory）５０２と、ＲＡＭ（Random Access Memory）５０３と、ＨＤ（Hard Disk）５０４と、ＨＤＤ(Hard Disk Drive)コントローラ５０５と、ディスプレイ５０６とを有する。またオンプレミスサーバ５０は、外部機器接続Ｉ／Ｆ(Interface)５０８と、ネットワークＩ／Ｆ５０９と、データバス５１０と、キーボード５１１と、ポインティングデバイス５１２と、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ５１４と、メディアＩ／Ｆ５１６とを有する。

これらのうち、ＣＰＵ５０１は、オンプレミスサーバ５０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。

ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御に従ってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種情報を表示する。

外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、ネットワーク４００を利用してデータ通信をするためのインターフェースである。バスライン５１０は、図３に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

キーボード５１１は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

（情報処理システム１の機能構成例）
図４は、情報処理システム１の機能構成の一例を示すブロック図である。図４に示すように、オンプレミスサーバ５０は、受信部５１と、移動体位置取得部５２と、保持情報取得部５３と、識別情報取得部５４と、時刻取得部５５と、物体位置取得部５６と、出力部５７と、格納部５８とを有する。

これら各部は、図３に示した各構成要素の何れかが、ＨＤ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。

また、フォークリフト１０には、全天球カメラ２０と、送信部１０１とが設けられている。送信部１０１の機能は、フォークリフト１０又は全天球カメラ２０の何れか一方に設けられた電気回路で実現される他、ソフトウェア（ＣＰＵ）によって実現することもできる。また複数の回路又は複数のソフトウェアによって実現されてもよい。

オンプレミスサーバ５０は、全天球カメラ２０による全天球画像に基づいて取得されるフォークリフト１０の位置情報と、フォークリフト１０による物体３０の保持又は非保持の何れか一方の状態を示す保持情報とに基づいて、物体３０の位置情報を取得する。そして、取得した物体３０の位置情報を、出力部５７を介して外部に出力できる。

受信部５１は、全天球カメラ２０が撮像し、送信部１０１を介して送信した全天球画像を、ネットワーク４００を介して受信し、移動体位置取得部５２及び保持情報取得部５３のそれぞれに出力する。また受信部５１は、バーコードリーダ等の読取器により読み取られた識別情報を、ネットワーク４００を介して受信し、識別情報取得部５４に出力する。

移動体位置取得部５２は、入力した全天球画像に基づき、フォークリフト１０の位置情報を演算により取得し、物体位置取得部５６に出力する。フォークリフト１０の位置情報の取得処理（自己位置推定処理）には、地図作成と自己位置認識の同時実行技術（SLAM：Simultaneous Localization and Mapping）を適用できる（例えば、「解説 SLAMの現状と今後の展望,」、友納正裕、原祥尭、システム／制御／情報, 2020年64巻2号 p.45-50、https: //www.jstage.jst.go.jp /article/isciesci /64 / 2 /64_45/_article/-char/ja/を参照）。

保持情報取得部５３は、入力した全天球画像に基づき、フォークリフト１０による物体３０の保持又は非保持の何れか一方の状態を示す保持情報を演算により取得し、物体位置取得部５６に出力する。

識別情報取得部５４は、受信部５１から識別情報を入力することで該識別情報を取得し、物体位置取得部５６に出力する。但し、識別情報取得部５４による識別情報の取得は、ネットワーク４００を経由するものに限定されない。例えば、識別情報取得部５４は、図３のキーボード５１１又はポインティングデバイス５１２を用いて管理者等のユーザが入力した識別情報を取得してもよいし、格納部５８に予め格納された識別情報を取得してもよいし、外部機器接続Ｉ／Ｆ５０８を介して識別情報を取得してもよい。なお、管理者は情報処理システム１又は倉庫１００の管理者である。

時刻取得部５５は、受信部５１が全天球画像及び識別情報を受信した時刻を示す情報を取得し、物体位置取得部５６に出力する。

物体位置取得部５６は、フォークリフト１０の位置情報と、保持情報とに基づいて、物体３０の位置情報を取得する。また、物体位置取得部５６は、物体３０の位置情報と、物体３０を示す識別情報と、時刻情報とを相互に対応付け、出力部５７を介して出力する。出力部５７の出力先は、ＰＣ（Personal Computer）等の外部装置、ディスプレイ５０６等の表示装置、又はＨＤ５０４等の記憶装置等である。

格納部５８は、パレット３１又は貨物３２等の物体３０を示す識別情報を格納できる。

（オンプレミスサーバ５０による処理例）
図５は、オンプレミスサーバ５０による処理の一例を示すフローチャートである。図５は、オンプレミスサーバ５０が物体３０の位置情報の取得開始操作を受け付けたタイミングをトリガーにした処理を示している。物体３０の位置情報の取得開始操作は、図３におけるポインティングデバイス５１２等を用いて管理者等のユーザが行ったものである。

まず、ステップＳ５１において、受信部５１は、ネットワーク４００を介して全天球画像及び識別情報を受信する。

続いて、ステップＳ５２において、移動体位置取得部５２は、入力した全天球画像に基づき、フォークリフト１０の位置情報を演算により取得し、物体位置取得部５６に出力する。

続いて、ステップＳ５３において、保持情報取得部５３は、入力した全天球画像に基づき、フォークリフト１０による物体３０の保持又は非保持の何れか一方の状態を示す保持情報を演算により取得し、物体位置取得部５６に出力する。

続いて、ステップＳ５４において、識別情報取得部５４は、物体３０を示す識別情報を入力することで取得し、物体位置取得部５６に出力する。

続いて、ステップＳ５５において、時刻取得部５５は、受信部５１が全天球画像及び識別情報を受信した時刻を示す情報を取得し、物体位置取得部５６に出力する。

なお、ステップＳ５２乃至Ｓ５５の処理は、適宜順番を入れ替えてもよいし、それぞれが並行に行われてもよい。

続いて、ステップＳ５６において、物体位置取得部５６は、フォークリフト１０の位置情報と、保持情報とに基づいて、物体３０の位置情報を取得する。

続いて、ステップＳ５７において、物体位置取得部５６は、物体３０の位置情報と、物体３０を示す識別情報と、時刻情報とを相互に対応付け、出力部５７を介して出力する。

続いて、ステップＳ５８において、オンプレミスサーバ５０は処理を終了するか否かを判定する。オンプレミスサーバ５０は、ポインティングデバイス５１２等を介した管理者等のユーザによる終了操作に基づき、処理を終了するか否かを判定する。

ステップＳ５８で、終了すると判定された場合には（ステップＳ５８、Ｙｅｓ）、オンプレミスサーバ５０は処理を終了する。一方、終了しないと判定された場合には（ステップＳ５８、Ｎｏ）、オンプレミスサーバ５０はステップＳ５１以降の処理を再度行う。

このようにして、オンプレミスサーバ５０は物体３０の位置情報を処理し、物体３０の位置情報を取得できる。

（保持情報の取得方法例）
次に、保持情報取得部５３による保持情報の取得方法について、詳細に説明する。

本実施形態では、保持情報取得部５３は、フォークリフト１０による物体３０の保持情報と、着脱時における物体３０の絶対位置情報とを取得する。物体３０の保持情報は、換言すると、物体３０の積み込みと積み下ろしである着脱タイミング情報である。また、保持情報取得部５３は、全天球カメラ２０による全天球画像に基づいて、物体３０の着脱タイミング情報を取得する

なお、物体３０の着脱タイミング情報の取得には、赤外線や超音波等を利用した近接センサの利用も可能である。また、貨物３２の加重を検出する荷重センサやフォークの高さセンサ等のフォークリフト１０に内蔵したり、フォークリフト１０に外付けしたりするセンサを利用することもできる。

＜入力画像について＞
フォーク２１に取り付けた全天球カメラ２０は、フォーク２１及び物体３０等を１つの全天球画像内に撮像できる（図２参照）。ここで、図６はフォーク２１の画像変換の一例を説明する図である。図６（ａ）は全天球画像の一部を示す図、図６（ｂ）は透視変換カメラを示す図、図６（ｃ）は透視変換画像を示す図である。

全天球カメラ２０は、Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒや等距離射影方式等の投影方式により広角視野を平面に投影する。しかし、これらの投影方式では、図６（ａ）に示すフォーク画像２６２のように、３次元空間での直線が曲線に投影されるため、直線部でその多くが構成されるフォーク２１も曲線として投影され、着脱タイミング情報の取得処理には好ましくない。そこで、本実施形態では、全天球画像２６１のうち、フォーク２１又は物体３０等を含む撮像範囲のみを、予め透視変換画像に変形した画像を利用する。これによって、直線検出などの汎用的なアルゴリズムを活用した画像認識を行うことが可能となる。

図６（ｂ）に示すように、仮想的な透視変換画像の被撮像面２６４として、床面と平行で、且つ上下軸をフォーク２１の長手方向に合わせてフォーク２１全体を含む適切な範囲を設定する。投影中心２６３は、全天球カメラ２０の投影中心である。

これにより、図６（ｃ）に示す透視変換画像２６６のように、２本のフォーク２１が略平行に並んだフォーク画像２６７を取得できる。この変換は、元の全天球画像２６１の投影方式と、全天球カメラ２０の設置方向と、に基づき実現できる。そのため、全天球カメラ２０をフォークリフト１０に取り付ける際に全天球カメラ２０の設置方向を計測しておけばよい。以下、この透視変換画像２６６を入力画像として、物体３０の着脱タイミング情報を取得する処理について説明する。

なお、全天球カメラ２０とは別にカメラを設け、該カメラを利用して着脱タイミング情報を取得することもできるが、その場合でもフォーク２１の中央真上にカメラを設置することは困難であるため、透視変換処理は有効である。

＜マーカ方式について＞
全天球カメラにより撮像されるフォーク２１の面にバーコード又はＡＲマーカ等のマーカを予め設けておくと、画像認識しやすいため好ましい。ＡＲマーカの画像認識処理には、例えばオープンソースソフトウエアＯｐｅｎＣＶのＡＲマーカの画像認識機能を利用できる。ここで、図７は、ＡＲマーカを用いて保持情報を取得する方式であるマーカ方式を説明する図である。図７（ａ）はマーカの一例を示す図、図７（ｂ）は貨物３２によりマーカが遮蔽される様子を示す図、図７（ｃ）は複数マーカによる水平距離推定を示す図である。

図７に示すＡＲマーカ画像２７２は、フォーク２１に設けられたＡＲマーカの画像を示している。このＡＲマーカは識別マーカの一例である。ＡＲマーカ画像２７２に基づき、ＡＲマーカの位置情報とＡＲマーカが示す識別情報を高速に取得できる。

フォークリフト１０が物体３０を保持していない状態では、図７（ａ）に示すように、透視変換画像２６６内でＡＲマーカ画像２７２が検出される。しかし、フォークリフト１０が物体３０を保持している状態では、図７（ｂ）に示すように、物体３０に遮蔽されてＡＲマーカ画像２７２が透視変換画像２６６内に検出されなくなる。

本実施形態では、これを利用し、透視変換画像２６６内でのＡＲマーカ画像２７２の検出結果から物体３０の着脱タイミング情報を取得する。なお、図７（ｂ）では、貨物画像２７３を透視してフォーク画像２６７を示しているが、透視変換画像２６６では貨物画像２７３に遮蔽されてＡＲマーカは全く見えず、検出できなくなる。

＜着脱タイミング情報の取得＞
保持情報取得部５３は、透視変換画像２６６内に、ＡＲマーカ画像２７２が検出されない状態からＡＲマーカ画像２７２が検出される状態へ変化した着脱タイミング情報を、パレット積み込み時刻、逆の変化を積み下ろし時刻として取得する。但し、この取得には誤差があるため、複数フレーム連続した場合のみに取得結果として採用する等のノイズ低減処理を行うことが好ましい。取得誤差は、例えば、透視変換画像２６６にＡＲマーカ画像２７２が含まれているのにＡＲマーカ画像２７２が検出されない誤差、或いは含まれていないのにＡＲマーカ画像２７２が検出される誤差である。

＜物体３０の位置決定＞
次に、保持情報取得部５３が、ＶｉｓｕａｌＳＬＡＭによるフォークリフト１０の位置情報の取得結果（自己位置推定結果）と、着脱タイミング情報を取得するための透視変換画像２６６と、に基づいて、着脱する物体３０の位置を決定する方法について説明する。

≪水平方向の位置決定≫
フォークリフト１０上における全天球カメラ２０の取付位置が一定であり、保持される物体３０のサイズがほぼ一定であれば、水平方向における全天球カメラ２０と物体３０との相対位置はほぼ一定であると考えられる。例えば、全天球カメラ２０からフォークリフト１０の搬送方向１１に沿って約１［ｍ］の距離にパレット３１の中心がくるように、フォークリフト１０は物体３０を保持すること等が想定される。

フォークリフト１０の搬送方向１１はＶｉｓｕａｌＳＬＡＭにより計測できる。保持情報取得部５３は、物体３０の着脱時における全天球カメラ２０の絶対位置から、フォークリフト１０の搬送方向１１に沿って例えば１［ｍ］離れた位置を、着脱時の物体３０の絶対位置として決定できる。

また、識別情報が異なるＡＲマーカをフォーク２１上に複数設置し、どのＡＲマーカが透視変換画像２６６内で検出されたかに応じてフォーク２１の先端に物体３０を保持するようにすると、全天球カメラ２０と物体３０との間の水平距離が変化する場合にも対応できる。

例えば、２つのフォーク２１のそれぞれに３つずつＡＲマーカを設けておく。図７（ｃ）に示すＡＲマーカ画像２７２ａ１、２７２ｂ１及び２７２ｃ１と、ＡＲマーカ画像２７２ａ２、２７２ｂ２及び２７２ｃ２は、透視変換画像２６６内での複数のＡＲマーカの画像である。

ここで、ＡＲマーカ画像２７２ｃ１及び２７２ｃ２が透視変換画像２６６内で検出されており、ＡＲマーカ画像２７２ａ１、２７２ａ２、２７２ｂ１及び２７２ｂ２が透視変換画像２６６内で検出されていないとする。この場合には、フォーク２１の根元から距離Ｅだけ離れた位置に物体３０が保持されていると決定される。そして、全天球カメラ２０と物体３０との間の水平距離を、フォーク２１の根元まで差した場合（例えば１［ｍ］)と比較して距離Ｅだけ遠い１＋Ｅ［ｍ］であると決定できる。

≪高さ方向の位置決定≫
フォークリフト１０は一般に、フォーク２１を鉛直方向に沿って上下に移動でき、床に置いた貨物３２だけではなく、他の貨物３２の上に置かれたパレット３１だけを積み込む等の作業や、逆に他の貨物３２の上にパレット３１を設置する等の作業も行える。保持情報取得部５３は、このような着脱時の物体３０の高さ方向における位置情報を全天球画像に基づいて取得する。

透視変換画像２６６では、全天球カメラ２０から物体３０までの距離に反比例して、透視変換画像２６６内での大きさが変化する。そのため、透視変換画像２６６内での物体３０の大きさと、物体３０の実寸及び全天球カメラ２０に含まれるレンズの焦点距離と、に基づき、保持情報取得部５３は物体３０までの距離を推定できる。

図８はフォーク２１の高さ推定の一例を示す図である。図８（ａ）は透視変換画像２６６内でのＡＲマーカ画像２７２間の距離を示す図、図８（ｂ）は全天球カメラ２０とフォーク２１の高さ関係を示す図である。

図８（ａ）に示すように、透視変換画像２６６内で検出された２つのフォーク画像２６７に設けられたＡＲマーカ画像２７２の位置から、透視変換画像２６６内における２つのフォーク画像２６７間の間隔ｗを計測する。

フォークリフト１０が物体３０を保持している間は、ＡＲマーカ画像２７２を検出できない。しかしフォークリフト１０による物体３０の着脱動作中には、フォーク２１の高さは固定される。そのため、図８（ｂ）に示すように、積み込み時刻直前、又は積み下ろし時刻直後のフォーク２１上におけるＡＲマーカ画像２７２間の間隔ｗから、物体３０の着脱時における全天球カメラ２０とＡＲマーカ、つまり全天球カメラ２０とフォーク２１間の高さ方向の距離ｄを計測できる。

透視変換画像２６６では、被撮像面２６４と平行な平面上での物体３０の大きさＳは、透視変換画像２６６上での大きさｓ、全天球カメラ２０と物体３０との間の距離ｄ、全天球カメラ２０に含まれるレンズの焦点距離をｆとして、以下の（１）式が成立する。
ｄ＝Ｓ×ｆ／ｓ ・・・（１）

実際のフォーク２１上のＡＲマーカ間の間隔Ｗを予め計測しておけば、透視変換画像２６６内でのＡＲマーカ画像２７２間の間隔ｗに基づき、全天球カメラ２０から物体３０までの距離ｄを求めることができる。つまり、（１）式におけるＳにＷを代入し、ｓにｗを代入することで、距離ｄを演算で取得できる。

また全天球カメラ２０が取り付けられた位置の床２８１からの高さＨｃを予め計測しておけば、フォーク２１の床２８１からの高さＨは、以下の（２）式で算出できる。
Ｈ＝Ｈｃ－ｄ ・・・（２）

なお、フォークリフト１０上で鉛直方向に沿って上下に移動する位置に全天球カメラ２０を取り付けた場合には、全天球カメラ２０の高さＨｃは、ＶｉｓｕａｌＳＬＡＭ処理の結果を利用して決定できる。

≪フォーク検出方式≫
フォーク２１の上面はパレット３１と接触して摩擦が激しいため、ＡＲマーカを設けても破損したり汚染されたりする場合がある。そのため、保持情報取得部５３は、ＡＲマーカを利用しないフォーク検出方式により着脱タイミング情報を取得することもできる。

フォーク検出方式では、透視変換画像２６６からフォーク画像２６７そのものを検出する。フォーク２１は鉛直方向に沿って上下に移動して位置が変化する。しかし２本のフォーク画像２６７の太さと間隔は一定のまま全天球カメラ２０との距離が変化するため、透視変換画像２６６内では、位置とサイズは変化するが、相似的な変形となる。

そのため、フォーク画像２６７の太さｗｆと間隔ｗｇの比率は変化しない。ここで、図９は、フォーク検出方式の一例を説明する図である。図９（ａ）はフォーク２１が低い位置にある場合を示す図、図９（ｂ）はフォーク２１が高い位置にある場合を示す図である。図９において、フォーク画像２６７の太さｗｆと間隔ｗｇの比率は変化しないため、ｗｆ０／ｗｇ０＝ｗｆ１／ｗｇ１となる。この比率に注目して、フォーク画像２６７の外形を検出する。なお、２つのフォーク２１の太さは同じと仮定する。

ここで、図１０は、エッジ線分の組合せ選択の一例を説明する図である。図１０（ａ）は抽出直線を示す図、図１０（ｂ）は第１棄却例を示す図、図１０（ｃ）は第２棄却例を示す図である。

まず、入力画像からＣａｎｎｙフィルタやＨｏｕｇｈ変換等により直線分を検出する。

次に、検出された直線分のうち、方向がＹ方向に近いもののみを抽出する。この時点では、フォーク２１上の汚れや床の線等によるフォーク画像２６７の輪郭以外の直線分も含まれる可能性が高いため、以下のような手順で直線分を選択する。

次に、検出されたＹ方向に沿う直線から任意の４本である直線３０１を選び、その間隔３つ（ｗ０、ｗ１、ｗ２）を計測する。なお、両端の間隔ｗ０、ｗ１がフォーク２１の太さに対応し、中央のｗ１がフォーク２１の間隔に対応する。なお直線３０１は、４つの直線の総称表記である。

検出される直線３０１は、フォーク画像２６７の傾きや検出誤差のため厳密には平行線ではないが、ほぼＹ方向に沿う線であるため、図１０（ａ）に示すように、Ｘ方向に沿う所定の水平線３０２との交点の間隔を幅と見なせる。

次に、予め計測しておいたフォーク２１の移動範囲内における透視変換画像２６６内でのフォーク画像２６７の太さと間隔を有するエッジの組み合わせのうち、比率が実測値に最も近い４本の組み合わせをフォークエッジとして採用する。

例えば図１０（ｂ）は、フォーク２１の移動範囲におけるフォーク２１の撮像画像として太すぎる場合や、間隔が狭すぎる場合には棄却される。また図１０（ｃ）は、図１０（ａ）に比べて太さ及び間隔の比率が実寸の比率として遠いため、図１０（ａ）が選択される。

このように、エッジに注目したフォーク画像２６７の検出により、フォーク２１表面の照明条件や汚れによる外観の変化に影響されず、安定した検出が可能となる。そして、フォーク２１にＡＲマーカを設けなくても、鉛直方向に沿って上下に移動するフォーク２１の透視変換画像２６６内での位置を決定できる。その結果、ＡＲマーカ方式と同様に、物体３０の着脱タイミング情報を取得できる。

具体的には、透視変換画像２６６において、フォーク画像２６７の検出有無をＡＲマーカ画像２７２の検出有無の代わりとし、透視変換画像２６６内でのフォーク画像２６７の間隔を透視変換画像２６６内でのＡＲマーカ画像２７２間の距離の代わりとする。これにより、着脱タイミング情報と物体３０の着脱位置を決定できる。

また検出されたフォーク画像２６７のエッジの縦方向長さを、複数のＡＲマーカ画像２７２の検出結果の代用として、全天球カメラ２０と物体３０との間の水平距離の計測も可能である。

≪画像移動量判定方式≫
エッジに基づくフォーク２１の検出は、平坦な床上ではうまく機能するが、貨物３２やパレット３１上にフォーク２１と類似した形状の縦線が存在する場合には誤認識する場合がある。貨物３２の外形形状に依存しない検出方式として、以下に示す画像移動量判定方式を用いることもできる。

鉛直上方からフォーク２１を見下ろすと、貨物３２を保持していない状態では、２つのフォーク２１の間に床面が見える。一方、貨物３２を保持した状態では、貨物３２とパレット３１が透明でない限り、どのような外形形状であっても床面が見えない。

また、貨物３２を保持していない場合、フォークリフト１０自体の移動により床面の模様は、透視変換画像２６６内での位置が変化する。しかし、フォークリフト１０に保持された貨物３２の画像が透視変換画像２６６内に含まれると、フォークリフト１０が移動しても透視変換画像２６６内での位置は大きく変化しない。

そのため、画像移動量判定方式では、透視変換画像２６６内で、貨物３２を保持していない場合には、床面が見えるはずの領域を監視し、その時間的な変化がフォークリフト１０の移動に対応しているか否かに基づき、物体３０の保持情報を取得する。

ここで、図１１は、画像移動量判定方式の一例を説明する図である。図１１（ａ）は透視変換画像２６６内での監視領域３１３の一例を示す図、図１１（ｂ）は複数の監視領域３１４の一例を示す図である。

まず、透視変換画像２６６内でのフォーク画像２６７の間に監視領域３１３を設定する（図１１（ａ）参照）。この監視領域３１３は、貨物３２が保持されていなければ、床等のフォーク２１以外の被写体の画像が含まれ、貨物３２が保持されている場合には、貨物３２の画像が含まれる。監視領域３１３は小さすぎると、含まれる画像の特徴が少なくなるため、追跡が難しくなるが、監視領域３１３が大きすぎると床と貨物３２の両方が含まれ、区別しづらくなる。本方式では、一辺がフォーク２１の間隔に含まれる正方形とする。フォーク２１の間隔の形状が細長ければ、図１１（ｂ）のように、複数の監視領域３１４を並べ、領域ごとに独立に追跡した結果を総合判定することもできる。

ＶｉｓｕａｌＳＬＡＭによりフォークリフト１０の位置情報を取得した結果、前画像フレームから一定距離の位置変化があった場合について説明する。

まず、監視領域３１３内に追跡可能な特徴点があるか否か判定する。例えばハリス演算子等を利用できる。

特徴点があった場合には、前画像フレームからの画像内での変位量を計測する。計測には、テンプレートマッチング技術等を利用できる。

次に、 前画像フレームと現画像フレームの位置情報から、特徴点が床に固定されていた場合の画像上の変位量を予測する。

追跡結果の変位量が、自己移動量から予測され、像移動量と変位なしのどちらに近いか判別する。なお、物体３０がフォークリフト１０に保持されている場合にも、揺れ等により、多少変位する場合はある。また、特徴点が床より高い（カメラに近い）位置にある場合、床面での予想移動量より大きく移動する。そこで例えば、自己位置変化による像移動と同方向にその半分以上の変位がある場合に、その特徴点は床固定と判定し、何れの方向でも所定量以下の場合には、全天球カメラ２０の固定（どちらでもない場合はミスマッチとして棄却）できる。

このようにして、フォーク間の画像が床固定と判定された場合には、物体３０を保持していない状態（非保持状態）、全天球カメラ２０が固定と判定された場合には、物体３０を保持した状態（保持状態）と判断できる。

なお、床面が平坦で輝度変化に乏しい場合には、特徴がないため変位を計測できない。しかし、フォーク２１をパレット３１に挿抜する期間は、パレット３１の端部が特徴点となり画像追跡できる可能性が高い。そのため、物体３０の積み込みタイミングの前後では、床固定特徴点検出から全天球カメラ２０固定特徴点検出の変化が、積み下ろしタイミング前後では逆の変化を生じやすい。そのため、この間を着脱タイミングと判定できる。

さらに、物体３０の着脱時には、安全のためフォークリフト１０は停止、又は極低速移動となることが多いため、これら変化タイミングの近辺で、フォークリフト１０移動速度が極小化した時点を着脱タイミングとすることで、より精度を高めることもできる。

この画像移動量判定だけでは、着脱時の物体３０の高さを計測することは難しい。そこで、着脱タイミング前後にフォークエッジ検出を併用することで高さを検出する。

≪画像移動量判定方式のバリエーション≫
全天球カメラ２０をフォーク２１の根元の鉛直方向に沿う上方に固定し、フォーク２１が上下動のみする場合には、移動量判定のための監視領域３１３は透視変換画像２６６内で固定できる。しかし、フォーク２１の状態に応じて監視領域３１３を変化させた方が良い場合もある。

ここで、図１２は、画像移動量判定方式の他の例を示す図であり、図１２（ａ）は画像内での監視領域例を示す図、図１２（ｂ）はフォーク２１が低い場合の図、図１２（ｃ）はフォーク２１が高い場合の図である。

例えば、全天球カメラ２０を支持部材２２等に取り付けた場合、フォーク２１の上下位置によってはフォーク２１の根元の固定部材３２１が、図１２（ａ）に示すように、全天球カメラ２０とフォーク２１の間に介在し、透視変換画像２６６内に含まれる場合等がある。固定部材３２１はフォークリフト１０と共に移動するため、物体３０を保持していない時にも、全天球カメラ２０の固定特徴点が検出され誤認識の原因となり得る。

また、支持部材２２の前後傾に連動しない位置に全天球カメラ２０を固定した場合等にも、フォーク画像２６７の位置が鉛直方向に沿って上下に移動するため、監視領域も移動してしまう。これらの場合に対応するため、監視領域に連動する部材へＡＲマーカを設置し、そのＡＲマーカの検出位置に応じて監視領域の位置、大きさを変化させることができる。

例えば、図１２（ｂ）のように、位置ｍ０に障害物上のＡＲマーカが検出された場合には、監視領域は領域ａ０、ａ１及びａ２の３箇所とする。また図１２（ｃ）のように位置ｍ１にＡＲマーカが検出された場合は領域ａ２を監視領域から外し，ａ０及びａ１のみを監視する。その他、フォーク２１が移動して監視領域がずれる場合にも同様に対応することができる。

これらの場合、フォーク２１の面と比較すればＡＲマーカの摩耗の可能性は低いので長期間の稼働も可能と考えられる。また、検出したい部材の形状が既知で安定しているならば、フォーク検出方式と同様に、ＡＲマーカなしでその部材自体の形状を検出することもできる。

≪特徴点３次元位置計測方式≫
画像移動量判定方式では、フォーク２１間から床が見える位置に全天球カメラ２０を設置することを前提としていた。全天球カメラ２０の設置位置によっては、フォーク２１自体が障害物に遮蔽され、全天球カメラ２０による全天球画像に含まれない場合も考えられる。例えば、支持部材２２に全天球カメラ２０を取り付けた場合、ある程度の高さの物体３０を保持すれば全天球画像に含まれるが、フォーク２１自体は含まれない場合がある。

この場合、物体３０を保持していない時には、全天球画像にはフォークリフト１０の搬送方向１１側に存在する壁等が撮像されるが、遠方の被写体は、フォークリフト１０が移動しても像位置の変化は小さいため、画像移動量判定方式では全天球カメラ２０の固定特徴点と判定されてしまう可能性が高い。そのような全天球カメラ２０の設置位置に対応するために、ＶｉｓｕａｌＳＬＡＭと同様の３次元位置計測を利用する方法がある。

ＶｉｓｕａｌＳＬＡＬＭでは、静止した被写体上の特徴点の画像間の対応関係に基づき、自己位置と被写体位置を同時に決定する。フォークリフト１０により保持される前の物体３０も床に対して静止しているため、物体３０上の特徴点もＶｉｓｕａｌＳＬＡＭ処理によりその３次元位置を計測できる。

一方、物体３０がフォークリフト１０に保持された後は、同じ特徴点であっても床に静止せず、全天球カメラ２０に対してほぼ静止状態になるため、３次元計測に有効な特徴点とはならない。具体的には、外れ値として３次元計算処理対象から除去される。

そこで、物体３０が含まれる画像領域で特徴点を追跡し、特徴点が３次元計算の処理対象になるか否かで、対象特徴点が床に対して静止しているか、カメラに対して静止しているかを判定することができる。

この結果を利用すれば、フォーク２１自体やフォーク２１間の床が全天球画像に含まれない場合でも、画像移動量判定方式と同様に物体３０の保持又は非保持の状態を判定し、着脱を検出できる。

なお、この場合、フォーク２１自体が全天球画像に含まれないため、フォーク２１のエッジ検出やＡＲマーカ検出による物体３０の着脱高さは計測できない。そのためフォーク２１を高所まで挙げられず床面からの着脱のみ可能なタイプのリフトに適用するか、別途フォーク高さ計測センサ等を併用する必要がある。

（物体位置情報の取得結果例）
図１３は、物体位置情報の取得結果の第１例を示す図である。図１３（ａ）は位置マップを示す図、図１３（ｂ）は位置情報とタイムスタンプを示す図である。

図１３（ａ）に示す位置マップ６１は、全天球カメラ２０が撮像した全天球画像に基づいて、移動体位置取得部５２が作成したものである。移動体位置取得部５２は、３次元座標情報を含む点群を取得し、この点群を２次元平面に投影することで位置マップ６１を作成する。

位置マップ６１は、例えば１台のフォークリフト１０の移動に応じて作成され、全てのフォークリフト１０の位置情報の取得（自己位置認識）において使用される。これにより、同一座標系において複数のフォークリフト１０の各位置を表現できる。

全天球画像等の撮像画像に基づく位置マップ６１の作成方法には、例えば、上述したＳＬＡＭ技術を適用できる。

クロスドッキング型の倉庫で多い平置き型の倉庫では、パレット３１の入出荷に伴う物体３０の位置変化に応じて、位置マップ６１が変化しやすい。位置マップ６１の変化は、位置情報の取得処理を複雑にする場合がある。なお、平置き型の倉庫とは、棚等の構造物が少なく、パレット３１又は貨物３２を床面に置くタイプの倉庫をいう。

一方、倉庫は天井の高さが５［ｍ］等と高いことが多く、天井側である上方の視界を確保しやすい。そのため、実施形態では、全天球カメラ２０が撮像した全天球画像のうちの上方向を示す画像を用いて位置マップ６１を作成し、フォークリフト１０の位置情報を取得する。これにより、時間変化を抑制した位置マップ６１を用いて、処理が複雑になることなく、フォークリフト１０の位置情報を取得できる。

また、保持情報取得部５３は、フォークリフト１０による物体３０の保持情報を取得するために、全天球画像のうちの前方を示す画像を使用する。これにより、全天球カメラ２０が撮像した１つの全天球画像を用いて、フォークリフト１０の位置情報を取得するとともに物体３０の保持情報を取得可能となる。

なお、保持情報取得部５３は、保持情報を取得するために、全天球画像以外の情報を使用することもできる。全天球画像以外の情報には、例えば、接触センサ、赤外線センサ、超音波センサ、測距センサ又は荷重センサ等による検出情報が挙げられる。保持情報取得部５３は、全天球画像又は各センサによる検出情報を組み合わせて保持情報を取得することもできる。但し、処理を簡単に行う観点では、フォークリフト１０の位置情報と保持情報とを１つの全天球画像から取得可能な全天球カメラ２０を使用することがより好ましい。

物体位置取得部５６は、位置マップ６１に示すフォークリフト１０の位置情報のうち、保持情報が非保持を示すものを削除することで、物体３０の位置を示す位置マップ６２を、物体３０の位置情報として取得できる。図１３（ａ）に示す位置マップ６１は、物体３０の位置情報を示すものとも言えるため、図１３（ａ）では位置マップ６２を括弧付きで表示している。

また、図１３（ｂ）に示す位置テーブル６３は、物体３０の位置を示す点群の３次元座標と、該３次元座標が取得された時の時刻を示すタイムスタンプ６４とを含むテーブルである。位置テーブル６３は、物体位置取得部５６が作成したものである。タイムスタンプ６４は、時刻取得部５５が取得した時刻情報の一例である。物体位置取得部５６は、物体３０の位置情報と時刻情報とを対応付けた位置テーブル６３を、出力部５７を介して出力できる。

物体位置取得部５６は、所定時間が経過した後の点群の情報を除外し、新しい点群の情報を用いて位置テーブル６３を更新する。フォークリフト１０の動きが少ない場合には、位置テーブル６３に示す点群の情報が減少し過ぎないように、更新頻度を下げると好適である。これにより、フォークリフト１０の周囲で状態変化があり、またフォークリフト１０の上方の視界確保が難しい場合にも、物体の位置を示す位置マップ６２及び位置テーブル６３を更新することで、物体３０の位置情報を好適に取得可能になる。

倉庫１００内で複数の物体３０の各位置を追跡するために、物体３０に付与されたバーコード等の識別情報が使用される。物体３０を示す識別情報は、物体３０の初期位置情報とともに格納部５８に格納される。

物体３０を示す識別情報として、フォークリフト１０がパレット３１をコンテナ３００等から取出し、パレット３１を一旦仮置きする際に、貨物３２又はパレット３１に付与されているバーコード等が読み取られたものが格納部５８に格納される。このような格納を初期登録という。本実施形態では、初期登録される物体３０を示す識別情報に加え、物体位置取得部５６が取得した物体３０の位置情報を対応付けて格納部５８に格納させることができる。

ここで、倉庫１００内で複数の物体３０の各位置を追跡するためのより簡易的な方法の一例を、図１４を参照して説明する。図１４は、物体位置情報の第２例を示す図である。図１４（ａ）は区画を示す図、図１４（ｂ）は位置情報と区画を示すバーコードを示す図である。

図１４（ａ）に示す区画Ａ、Ｂ、Ｃ及びＤは、倉庫１００内で予め定められた位置範囲を示すものである。区画Ａ、Ｂ、Ｃ及びＤの各区画内で物体３０を初期登録するための作業が行われる。

読取器を用いて物体３０を示すバーコードを読み取った前後の何れか一方のタイミングで、区画Ａ、Ｂ、Ｃ及びＤを示すバーコードを読み取ることで、物体３０と各区画を示す位置座標を対応付けることができる。その後、フォークリフト１０により物体３０を搬送する場合に、どの物体３０が搬送されているかの識別情報を含めて物体３０の位置を追跡可能になる。図１４（ｂ）に示すテーブル７１は、区画を示すＩＤ番号と、区画の位置情報と、区画を示すバーコードとを対応付けて示している。

各区画を示すバーコードは、初期登録を行う作業者が読取器を用いて読み取り可能なように、印刷されて該作業者により携帯される。或いは倉庫１００内の床や柱、又はフォークリフト１０に貼付される。これにより、物体３０を示すバーコードを読み取る作業を行う前後のタイミングで、各区画のバーコードを容易に読取可能となる。

図１５は、物体３０の初期位置を作業者が登録するための画面の一例を示す図である。例えば、物体３０を示すバーコードを読み取るためのモバイル端末がフォークリフト１０上に取り付けられており、作業者はこのモバイル端末を用いて登録作業を行う。図１５に示す登録画面８１は、モバイル端末が表示する画面である。また、図１４に示した簡易的な方法で読み取った情報をモバイル端末に表示し、貨物３２の入荷又は出荷の何れかを示す情報を作業者に選択させたり、物体３０及び区画の各ＩＤ番号の確認のみを作業者に求めたりすることもできる。

図１６は、物体３０の初期位置を作業者が登録するための画面の他の例を示す図である。図１６に示す登録画面９１は、モバイル端末の表示画面であり、区画を示すバーコード９２を表示している。登録画面９１に、貨物３２の入荷又は出荷の何れかの状態や、初期位置の候補である区画を示すバーコードを表示し、その中から適したバーコードを作業者が読取器を用いて読み取ることで、初期位置を登録することもできる。

図１７は、フォークリフト１０による物体３０の搬送先の表示画面の一例を示す図である。表示画面９３は位置マップ９４を表示している。位置マップ９４は搬送元位置９５と、搬送先位置９６とを含む。搬送元位置９５は搬送元の位置を示し、搬送先位置９６は搬送先の位置を示す。予め登録した仮置き場所等の位置を画面に表示することで、より作業しやすい情報を提供できる。

図１８は、物体３０の位置マップを表示する画面の一例を示す図である。表示画面１１１は、フォークリフト１０に設けられたモバイル端末に表示される画面であってもよいし、オンプレミスサーバ５０のディスプレイ５０６に表示される画面であってもよい。

オンプレミスサーバ５０は、物体３０が倉庫１００内で初期登録された後、出荷時にバーコードが読み取られるまでの期間において、全ての物体３０を示すＩＤ番号１１２又は１１３等を、それぞれの位置座標情報をもとにマップ上に表示する。

図１９は、物体３０を探索する際に表示する画面の一例を示す図である。表示画面１２１は、フォークリフト１０に設けられたモバイル端末に表示される画面であってもよいし、オンプレミスサーバ５０のディスプレイ５０６に表示される画面であってもよい。

物体３０を探索する際に、搬送を行う作業者が探索したいパレット３１のＩＤ番号を入力すると、表示画面１２１は、対応するパレット３１の位置を示すマーク１２２を位置マップ１２３上に表示する。この際に、位置を表示するパレット３１は１つに限らず、複数のパレット３１のＩＤ番号を順に入力して、複数のパレット３１の各位置が一括で表示されるようにしてもよい。

（オンプレミスサーバ５０の作用効果）
以上説明したように、本実施形態に係る情報処理システム１が有するオンプレミスサーバ５０（情報処理装置）は、フォークリフト１０（移動体）により搬送（移動）される物体３０の位置情報を処理するものである。

オンプレミスサーバ５０は、フォークリフト１０（移動体）の位置に関わる情報と、フォークリフト１０に設けられたフォーク２１（保持部）による物体３０の保持又は非保持の何れか一方の状態を示す保持情報と、に基づいて取得される物体３０の位置情報を出力する出力部５７を有する。

また保持情報取得部５３は、フォークリフト１０に取り付けられた全天球カメラ２０（撮像部）により撮像されたフォーク２１の撮像画像に基づいて保持情報を取得する。換言すると、保持情報は、全天球カメラ２０により撮像された撮像画像に基づいて取得される。

全天球画像に基づいてフォーク２１による物体３０の保持情報を取得するため、複数の検出器からの信号を処理する場合と比較して簡単な処理で物体３０の位置情報を取得できる。これにより、フォークリフト１０により搬送される物体３０の位置情報を簡単に処理可能なオンプレミスサーバ５０を提供できる。

また本実施形態では、全天球画像（撮像画像）は、フォーク２１と、フォークリフト１０が移動する床と、が撮像された画像を含み、保持情報取得部５３は、全天球画像に含まれる監視領域３１３内における床又は物体３０の移動量と、フォークリフト１０の位置に関わる情報に基づいて取得されるフォークリフト１０の移動量と、に基づき、保持情報を取得する。

これにより、貨物３２やパレット３１上にフォーク２１と類似した形状の縦線が存在する場合にも、フォーク２１を誤認識することなく物体３０を認識でき、物体３０の位置情報を正確に取得できる。

また本実施形態では、全天球画像は、フォーク２１を示すＡＲマーカ（識別マーカ）を含み、保持情報取得部５３は、ＡＲマーカに基づいて保持情報を取得する。ＡＲマーカは画像認識されやすいため、より簡単な処理で保持情報を取得できる。

また本実施形態では、保持情報取得部５３は、ＡＲマーカに基づいて物体３０の位置情報を補正する。これにより、全天球カメラ２０と物体３０との間の水平距離が変化する場合にも物体３０の位置情報を正確に取得できる。

また本実施形態では、保持情報取得部５３は、全天球画像に基づいてフォーク２１の高さを検出し、出力部５７は、フォーク２１の高さと、保持情報と、フォークリフト１０の位置に関わる情報と、に基づいて取得される物体３０の位置情報を出力する。これにより、フォークリフト１０が他の貨物３２の上に置かれたパレット３１だけを積み込む等の作業や、他の貨物３２の上にパレット３１を設置する等の作業を行う場合に、着脱時の物体３０の高さ方向における位置情報を提供することができる。

また本実施形態では、物体３０の位置に対応するタイムスタンプ６４（時刻を示す情報）をさらに出力する。これにより、物体３０の位置をより認識しやすく、また追跡しやすくなる。

［第２実施形態］
次に第２実施形態に係る情報処理システム１ａについて説明する。なお、第１実施形態で説明した同一の構成部には同一の部品番号を付し、重複する説明を適宜省略する。

図２０は、情報処理システム１ａの全体構成の一例を示す図である。図２０に示すように、情報処理システム１ａは、固定型カメラ６０と、オンプレミスサーバ５０ａとを有する。

ここで、倉庫では、フォークリフト１０以外にもハンドパレットトラックと呼ばれる、人が簡易に扱えるパレット搬送機器が使われる場合がある。本実施形態では、全天球カメラ２０が設けられていないハンドパレットトラックにより物体３０の位置が変更された場合にも、固定型カメラ６０による撮像画像に基づいて、物体３０の位置を認識し、追跡可能にする。

固定型カメラ６０は、倉庫１００の天井付近等に設けられ、天井側から床側に向けて倉庫１００内を撮影するカメラである。固定型カメラ６０は、フォークリフト１０以外に設けられ、フォークリフト１０又は物体３０の何れか一方の周囲を撮像する。

固定型カメラ６０の種類には、特段の制限はないが、広い範囲を撮像できるものが好ましく、全天球カメラがより好ましい。固定型カメラ６０が設置される台数は１台であっても複数台であってもよい。本実施形態では、固定型カメラ６０は複数台設けられているものとし、固定型カメラ６０は複数の固定型カメラの総称表記とする。

（情報処理システム１ａの機能構成例）
図２１は、情報処理システム１ａの機能構成の一例を示すブロック図である。図２１に示すように、天井５００には、固定型カメラ６０と、天井用物体位置取得部５０１と、送信部５０２とが設けられている。

天井用物体位置取得部５０１及び送信部５０２の各機能は、天井５００又は固定型カメラ６０の何れか一方に設けられた電気回路で実現される他、これらの機能の一部をソフトウェア（ＣＰＵ）によって実現することもできる。またこれらの機能は複数の回路又は複数のソフトウェアによって実現されてもよい。

天井用物体位置取得部５０１は、固定型カメラ６０が撮像した画像に基づき、フォークリフト１０以外による搬送された物体３０の位置情報を取得し、送信部５０２を介してオンプレミスサーバ５０ａに送信する。

フォークリフト１０には、移動体位置取得部１０２と、保持情報取得部１０３とが設けられている。フォークリフト１０はシングルボードコンピュータを備え、全天球カメラ２０に有線接続している。移動体位置取得部１０２及び保持情報取得部１０３の各機能は、このシングルボードコンピュータで実現される。

移動体位置取得部１０２は、全天球カメラ２０が撮像した画像に基づき、フォークリフト１０の位置情報を取得し、送信部１０１を介してオンプレミスサーバ５０ａに送信する。

保持情報取得部１０３は、全天球カメラ２０が撮像した画像に基づき、フォークリフト１０による物体３０の保持又は非保持の何れか一方の状態を示す保持情報を取得し、送信部１０１を介してオンプレミスサーバ５０ａに送信する。

オンプレミスサーバ５０ａは、物体位置取得部５６ａを有する。物体位置取得部５６ａは、受信部５１を介して受信したフォークリフト１０の位置情報と、保持情報とに基づき、フォークリフト１０が搬送する物体３０の位置情報を取得する。

また物体位置取得部５６ａは、受信部５１を介してフォークリフト１０以外が搬送する物体３０の位置情報を取得できる。物体位置取得部５６ａは、取得した物体３０の位置情報を、出力部５７を介して出力できる。

物体３０の位置を認識し、追跡するためには、固定型カメラ６０の位置と、物体３０の位置との間で３次元座標系を一致させることが好ましい。この方法としては、３次元座標情報が既知であるマーカを倉庫１００の床に貼り付けて固定型カメラ６０により認識することで、３次元座標系を一致させる方法が挙げられる。また、自己位置を認識しているフォークリフト１０の３次元座標情報を用いて固定型カメラ６０の位置を初期登録することで、３次元座標系を一致させる方法もある。

図２２は、固定型カメラ６０から視たフォークリフト１０を示す図である。図２２に示すように、フォークリフト１０には、ＡＲマーカ１５が設けられている。ＡＲマーカ１５には、天井５００からの認識が容易な２次元コードが好ましい。固定型カメラ６０は、ＡＲマーカ１５を認識して固定型カメラ６０の位置を初期登録することで、３次元座標系を一致させることができる。

（物体３０の位置情報の取得結果例）
図２３は、固定型カメラ６０による物体３０の追跡結果を表示する画面の一例を示す図である。表示画面１６１は、フォークリフト１０に設けられたモバイル端末に表示される画面であってもよいし、オンプレミスサーバ５０のディスプレイ５０６に表示される画面であってもよい。

図２３に示すように、表示画面１６１は、撮像画像画面１６２と、カメラ位置マップ画面１６３とを含む。撮像画像画面１６２は、固定型カメラ６０が撮像した画像を表示するものであり、静止画だけでなく動画も表示可能である。カメラ位置マップ画面１６３は、固定型カメラ６０の位置を示すものである。カメラ位置マップ画面１６３が含むカメラマーク１６４は、複数の固定型カメラ６０の位置を示している。

撮像画像画面１６２は、図２３に矢印で示したＸ方向及びＹ方向のそれぞれにスクロールできる。物体３０の搬送を行う作業者は、カメラ位置マップ画面１６３を視認しながら、複数の固定型カメラ６０のうち、撮像画像を表示したい固定型カメラ６０を選択できるようになっている。

また、図２３における１６５は早送りボタン、１６６はスクロールバーである。探索対象となる物体３０のＩＤ番号について、最後にその場所に置かれた時刻に動画の再生をジャンプできる頭出し機能を設けることもできる。頭出し機能により、その後にフォークリフト１０以外による物体３０の移動があった場合にも、追跡のための再生を効率的に行える。

（情報処理システム１ａの作用効果）
以上説明したように、本実施形態に係る情報処理システム１ａは、固定型カメラ６０を有する。これにより、全天球カメラ２０が設けられていないハンドパレットトラック等により物体３０の位置が変更された場合にも、固定型カメラ６０による撮像画像に基づいて、物体３０の位置を認識し、追跡できる。

また本実施形態では、物体位置取得部５６ａは、フォークリフト１０が備えるシングルボードコンピュータにより演算で取得された保持情報を、受信部５１を介して取得する。これにより、オンプレミスサーバ５０ａで保持情報の取得処理を行うことなく、簡単な処理で物体３０の位置情報を取得できる。

［変形例］
図２４は、第１変形例に係る情報処理システム１ｂの機能構成の一例を示すブロック図である。図２４に示すように、情報処理システム１ｂは、クラウドサーバ５０ｂと、入出力端末６００と、ネットワークスイッチ７００とを有する。入出力端末６００と、クラウドサーバ５０ｂとはインターネット８００を介して通信可能に接続されている。

クラウドサーバ５０ｂは、倉庫１００外に設置された外部サーバである。クラウドサーバ５０ｂは、図３に示したオンプレミスサーバ５０と同様のハードウェア構成を有する。

入出力端末６００は、入出力部６０１と、送受信部６０２を有する。入出力端末６００は、例えば第１実施形態で説明したフォークリフト１０上に取り付けられたモバイル端末である。ネットワークスイッチ７００は、ネットワーク４００とインターネット８００とを切替可能なスイッチである。

実施形態に係る情報処理システムは、図２４に示すように構成することもできる。

図２５は、第２変形例に係る情報処理システム１ｃの機能構成の一例を示すブロック図である。図２５に示すように、情報処理システム１ｃは、フォークリフト１０ｃを有する。フォークリフト１０ｃは、センサ１０４と、保持情報取得部１０３ｂとを有する。

センサ１０４は、接触センサ、赤外線センサ、超音波センサ、測距センサ又は荷重センサのうちの少なくとも１つのセンサである。センサ１０４は、保持情報を取得するためのデータ又は信号を検出する。

保持情報取得部１０３ｂは、センサ１０４が検出したデータ又は信号に基づき保持情報を取得できる。

実施形態に係る情報処理システムは、図２５に示すように構成することもできる。

以上、実施形態を説明してきたが、本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

移動体の一例としてフォークリフトを示したが、これに限定されるものではない。例えば自動搬送車又はドローン等であってもよい。

なお、実施形態の説明で用いた序数、数量等の数字は、全て本発明の技術を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明の技術を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係をこれに限定するものではない。

また、機能ブロック図におけるブロックの分割は一例であり、複数のブロックを一つのブロックとして実現する、一つのブロックを複数に分割する、及び／又は、一部の機能を他のブロックに移してもよい。また、類似する機能を有する複数のブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。また複数のコンピュータに一部又は全部の機能を分散させてもよい。

１ 情報処理システム
１０ フォークリフト（移動体の一例）
１１ 搬送方向（移動方向の一例）
１２ 鉛直上方向
１５ ＡＲマーカ（識別マーカの一例）
２０ 全天球カメラ（撮像部の一例）
２０ａ 方位
２１ フォーク（保持部の一例）
２２ 支持部材
３０ 物体
３１ パレット
３２ 貨物
３３ バーコード
４０ 仮置き場所
５０ オンプレミスサーバ（情報処理装置の一例）
５０ｂ クラウドサーバ（情報処理装置の一例）
５１ 受信部
５２ 移動体位置取得部
５３ 保持情報取得部
５４ 識別情報取得部
５５ 時刻取得部
５６ 物体位置取得部
５７ 出力部
５８ 格納部
６０ 固定型カメラ
６１ 位置マップ（移動体の位置情報の一例）
６２ 位置マップ（物体の位置情報の一例）
６３ 位置テーブル（物体の位置情報の一例）
６４ タイムスタンプ（時刻情報の一例）
８１、９１ 登録画面
１００ 倉庫
２００ トラックヤード
２６６ 透視変換画像
２６７ フォーク画像
２７２ ＡＲマーカ画像
３００ コンテナ
３１３ 監視領域
３１４ 複数の監視領域
４００ ネットワーク
Ｈ 高さ

特許６５８８１２３号公報

Claims (11)

1. 移動体の位置に関わる情報と、前記移動体に設けられた保持部による物体の保持又は非保持の何れか一方の状態を示す保持情報と、に基づいて取得される前記物体の位置情報を出力する出力部を有し、
   前記保持情報は、撮像部による撮像画像に基づいて取得される情報処理装置。
2. 前記移動体の位置に関わる情報と、前記保持情報と、に基づいて前記物体の位置情報を取得する物体位置取得部を有する請求項１に記載の情報処理装置。
3. 前記撮像画像に基づいて前記保持情報を取得する保持情報取得部を有し、
   前記撮像画像は、前記移動体に取り付けられた前記撮像部により前記保持部が撮像された画像を含む請求項１又は２に記載の情報処理装置。
4. 前記撮像画像は、前記保持部と、前記移動体が移動する床と、が撮像された画像を含み、
   前記保持情報取得部は、前記撮像画像に含まれる監視領域内における前記床又は前記物体の移動量と、前記移動体の位置に関わる情報に基づいて取得される前記移動体の移動量と、に基づき、前記保持情報を取得する請求項３に記載の情報処理装置。
5. 前記撮像画像は、前記保持部を示す識別マーカを含み、
   前記保持情報取得部は、前記識別マーカに基づいて前記保持情報を取得する請求項３に記載の情報処理装置。
6. 前記保持情報取得部は、前記識別マーカに基づいて前記物体の位置情報を補正する請求項５に記載の情報処理装置。
7. 前記保持情報取得部は、前記撮像画像に基づいて前記保持部の高さを検出し、
   前記出力部は、前記保持部の高さと、前記保持情報と、前記移動体の位置に関わる情報と、に基づいて取得される前記物体の位置情報を出力する請求項３乃至６の何れか１項に記載の情報処理装置。
8. 前記保持情報を受信する受信部を有する請求項１又は２に記載の情報処理装置。
9. 前記出力部は、前記物体の位置情報と、前記物体の位置情報が取得された時刻を示す時刻情報と、を対応づけて出力する請求項１乃至８の何れか１項に記載の情報処理装置。
10. 前記移動体と、
    前記移動体に設けられ、前記保持部を少なくとも撮像する撮像部と、
    請求項１乃至９の何れか１項に記載の情報処理装置と、を有する情報処理システム。
11. 前記撮像部は、前記移動体から視た前記移動体の移動方向側の風景と、前記保持部と、を撮像可能に前記移動体に取り付けられている請求項１０に記載の情報処理システム。

Images