JP2022130032A - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

Abstract

【課題】移動体により移動される物体の位置情報を簡単に処理可能な情報処理装置を提供すること。【解決手段】本発明の一態様に係る情報処理装置は、移動体により移動される物体の位置情報を処理する情報処理装置であって、撮像部による撮像画像に基づいて取得される前記移動体の位置情報と、前記移動体による前記物体の保持又は非保持の何れか一方の状態を示す保持情報と、に基づいて取得される前記物体の位置情報を出力する出力部を有する。【選択図】図２

Description

本願は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。

従来、フォークリフト等の移動体により移動される貨物又はパレット等の物体の位置情報を処理する情報処理装置が知られている。

また、運搬機械の動きを直接的に検出する第１検出器から送信された第１信号と、運搬機械における物品の有無を検出する第２検出器から送信された第２信号とを用いて、運搬機械の稼働状況を分類する処理部を備え、運搬機械の位置を示す情報を用いて、分類された稼働状況ごとに、運搬機械の移動経路を示す情報を出力する構成が開示されている（例えば、特許文献１参照）。

しかしながら、特許文献１の装置では、複数の検出器からの信号を処理するため、物体の位置情報の処理が複雑化する場合がある。

本発明は、移動体により移動される物体の位置情報を簡単に処理可能な情報処理装置を提供することを課題とする。

本発明の一態様に係る情報処理装置は、移動体により移動される物体の位置情報を処理する情報処理装置であって、撮像部による撮像画像に基づいて取得される前記移動体の位置情報と、前記移動体による前記物体の保持又は非保持の何れか一方の状態を示す保持情報と、に基づいて取得される前記物体の位置情報を出力する出力部を有する。

本発明によれば、移動体により移動される物体の位置情報を簡単に処理可能な情報処理装置を提供できる。

倉庫内における物体の位置情報例を説明する図である。 実施形態に係る情報処理システムの全体構成例を示す図である。 実施形態に係るオンプレミスサーバのハードウェア構成例のブロック図である。 第１実施形態に係る情報処理システムの機能構成例のブロック図である。 第１実施形態に係るサーバによる処理例のフローチャートである。 物体位置情報の取得結果の第１例を示す図であり、図６（ａ）は位置マップを示す図、図６（ｂ）は位置情報とタイムスタンプを示す図である。 物体位置情報の取得結果の第２例を示す図であり、図７（ａ）は区画を示す図、図７（ｂ）は区画の位置情報と区画を示すバーコードを示す図である。 登録画面の一例を示す図である。 登録画面の他の例を示す図である。 フォークリフトによる物体の搬送先の表示例を示す図である。 物体の位置マップの表示画面例を示す図である。 物体を探索する際の表示画面例を示す図である。 第２実施形態に係る情報処理システムの全体構成例を示す図である。 第２実施形態に係る情報処理システムの機能構成例のブロック図である。 固定型カメラから視たフォークリフトを示す図である。 固定型カメラによる物体の追跡結果の表示画面例を示す図である。 第１変形例に係る情報処理システムの機能構成例のブロック図である。 第２変形例に係る情報処理システムの機能構成例のブロック図である。

以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一の構成部分には同一符号を付し、重複した説明を省略する場合がある。

実施形態に係る情報処理装置は、移動体により移動される物体の位置情報を処理するものである。例えば、移動体はフォークリフトであり、物体はパレットを含む。実施形態に係る情報処理装置は、フォークリフトにより移動されるパレット等の物体の位置情報を処理して、物体の移動を認識し、また追跡する。

ここで図１は、倉庫内における物体の位置情報の一例を説明する図である。図１は、倉庫１００の内部及び倉庫１００の周辺を上方（天井側）から視た様子を示している。

倉庫１００はターミナル倉庫（輸送の中継地において設置される倉庫）である。このターミナル倉庫には、クロスドッキング型と呼ばれる倉庫の形態がある。クロスドッキング型の倉庫では、商品ごとに複数のパレットが工場又は卸売業者等から入荷され、倉庫内に一時仮置きされる。その後、出荷の際に同じパレットの荷姿のまま、複数の種類のパレットが組み合わされ、小売店の方面別に出荷される。

図１において、倉庫１００の周囲にはトラックヤード２００がある。図１は、トラックヤード２００にはトレーラーによって運ばれ、切り離されたコンテナ３００や、トラックの荷台を倉庫に接続している様子を示している。フォークリフト１０は、トラックヤード２００に到着したトラックの荷台、或いはトレーラーによって運ばれたコンテナ３００の少なくとも一方からパレット３１を取出す。

その後、フォークリフト１０は、仮置き場所４０にパレット３１を運び、仮置きする。その後、出荷の際には、フォークリフト１０は、倉庫１００内のトラックヤード２００に近い場所にパレット３１を運んで荷揃えした後、トラックの荷台又はコンテナ３００にパレット３１を積込む。

仮置き場所４０では、出入りする商品の種類や量が日々変動することに対して柔軟にスペースを確保するために、商品ごとの区画が定められていないことが多い。一方で、複数の作業者が任意の場所にパレット３１を仮置きするため、出荷の際には、仮置きされた複数のパレットの中から所望のパレットを探索する必要がある。

この探索作業を効率的に行うために、パレット３１の仮置き場所を定めないことでスペースを有効活用しながら、倉庫１００内でのパレット３１の移動を認識し、また追跡することで可視化する情報処理システムが求められている。実施形態に係る情報処理装置は、一例として、このような情報処理システムで使用されるものである。

以下、実施形態に係る情報処理装置を有する情報処理システムについて説明する。

［第１実施形態］
（情報処理システム１の全体構成例）
図２は、第１実施形態に係る情報処理システム１の全体構成の一例を示す図である。図２に示すように、情報処理システム１は、フォークリフト１０と、全天球カメラ２０と、オンプレミスサーバ５０とを有する。これらは、ＬＡＮ（Local Area Network）等のネットワーク４００を介して通信可能に接続されている。なお、ネットワーク４００には、外部サーバ又は画像形成装置等の上記以外の装置が通信可能に接続されていてもよい。

フォークリフト１０は、パレット３１に載置された貨物３２を保持し、保持した状態で搬送することで、パレット３１及び貨物３２を搬送する移動体の一例である。なお、移動体による搬送は、移動体による移動の一例である。またパレット３１及び貨物３２はそれぞれ物体の一例である。なお、以下では、パレット３１及び貨物３２を特に区別しない場合には物体３０と総称する。また、フォークリフト１０は複数のフォークリフトの総称表記であり、パレット３１は複数のパレットの総称表記であり、貨物３２は複数の貨物の総称表記である。

フォークリフト１０は、作業者の運転操作に応じて物体３０を搬送するものであってもよいし、作業者を介さず自動運転により物体３０を搬送するものであってもよい。

全天球カメラ２０は、フォークリフト１０に設けられた撮像部の一例である。全天球カメラ２０は、全天球カメラ２０の周囲における３６０度の全方位を撮像可能なカメラである。方位２０ａは、全天球カメラ２０が撮像可能な方位を示している。

全天球カメラ２０が撮像する全天球画像（全方位画像）は撮像画像の一例である。但し、撮像部は全天球カメラ２０に限定されるものではなく、フォークリフト１０の周囲を撮像できるものであれば如何なるものであってもよい。また撮像画像も必ずしも全天球画像でなくてもよい。

全天球画像は、フォークリフト１０から視た物体３０の搬送方向１１側の風景と、フォークリフト１０から視た鉛直上方向１２側の風景とが撮像された画像を含む。換言すると、搬送方向１１はフォークリフト１０の前方であり、鉛直上方向１２はフォークリフト１０の上方である。全天球カメラ２０は全方位を撮像できるため、フォークリフト１０の前方及び上方を１枚の画像に含んで撮像できる。なお、搬送方向１１は移動方向の一例である。

全天球カメラ２０は、フォークリフト１０の屋根上、又はフォーク２１を支持する支持部材２２上に取り付けることが好ましい。これにより、フォークリフト１０の前方及び上方を撮像するための視界を好適に確保できる。

全天球カメラ２０は、無線による通信機能を有し、撮像した全天球画像を、ネットワーク４００を介してオンプレミスサーバ５０に送信する。

貨物３２には、貨物３２を示す識別情報の一例であるバーコード３３が設けられている。このようなバーコードは、パレット３１に設けられ、パレット３１を示す識別情報として利用されてもよい。バーコード３３は、バーコードリーダ等の読取器により読み取られ、読み取られた結果である識別情報は、ネットワーク４００を介してオンプレミスサーバ５０に送信される。なお、識別情報はバーコードに限らず、ＱＲコード（登録商標）又はＩＤ（Identifier）番号等であってもよい。

オンプレミスサーバ５０は、倉庫１００内に設置され、フォークリフト１０により搬送される物体３０の位置情報を処理する情報処理装置の一例である。

オンプレミスサーバ５０は、ネットワーク４００を介して受信した全天球画像及び物体３０を示す識別情報に基づき、物体３０の位置情報を処理する。また複数の全天球カメラ２０がそれぞれ撮像した全天球画像を用いることで、複数のフォークリフト１０が保持する物体３０の位置情報を取得できる。

（オンプレミスサーバ５０のハードウェア構成例）
次に図３は、オンプレミスサーバ５０のハードウェア構成の一例を示すブロック図である。オンプレミスサーバ５０はコンピュータにより構築される。

図３に示すように、オンプレミスサーバ５０は、ＣＰＵ（Central Processing Unit）５０１と、ＲＯＭ（Read Only Memory）５０２と、ＲＡＭ（Random Access Memory）５０３と、ＨＤ（Hard Disk）５０４と、ＨＤＤ(Hard Disk Drive)コントローラ５０５と、ディスプレイ５０６とを有する。またオンプレミスサーバ５０は、外部機器接続Ｉ／Ｆ(Interface)５０８と、ネットワークＩ／Ｆ５０９と、データバス５１０と、キーボード５１１と、ポインティングデバイス５１２と、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ５１４と、メディアＩ／Ｆ５１６とを有する。

これらのうち、ＣＰＵ５０１は、オンプレミスサーバ５０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。

ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御に従ってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種情報を表示する。

外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、ネットワーク４００を利用してデータ通信をするためのインターフェースである。バスライン５１０は、図３に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

キーボード５１１は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

（情報処理システム１の機能構成例）
図４は、情報処理システム１の機能構成の一例を示すブロック図である。図４に示すように、オンプレミスサーバ５０は、受信部５１と、移動体位置取得部５２と、保持情報取得部５３と、識別情報取得部５４と、時刻取得部５５と、物体位置取得部５６と、出力部５７と、格納部５８とを有する。

これら各部は、図３に示した各構成要素の何れかが、ＨＤ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。

また、フォークリフト１０には、全天球カメラ２０と、送信部１０１とが設けられている。送信部１０１の機能は、フォークリフト１０又は全天球カメラ２０の何れか一方に設けられた電気回路で実現される他、ソフトウェア（ＣＰＵ）によって実現することもできる。また複数の回路又は複数のソフトウェアによって実現されてもよい。

オンプレミスサーバ５０は、全天球カメラ２０による全天球画像に基づいて取得されるフォークリフト１０の位置情報と、フォークリフト１０による物体３０の保持又は非保持の何れか一方の状態を示す保持情報とに基づいて、物体３０の位置情報を取得する。そして、取得した物体３０の位置情報を、出力部５７を介して外部に出力できる。

受信部５１は、全天球カメラ２０が撮像し、送信部１０１を介して送信した全天球画像を、ネットワーク４００を介して受信し、移動体位置取得部５２及び保持情報取得部５３のそれぞれに出力する。また受信部５１は、バーコードリーダ等の読取器により読み取られた識別情報を、ネットワーク４００を介して受信し、識別情報取得部５４に出力する。

移動体位置取得部５２は、入力した全天球画像に基づき、フォークリフト１０の位置情報を演算により取得し、物体位置取得部５６に出力する。

保持情報取得部５３は、入力した全天球画像に基づき、フォークリフト１０による物体３０の保持又は非保持の何れか一方の状態を示す保持情報を演算により取得し、物体位置取得部５６に出力する。

識別情報取得部５４は、受信部５１から識別情報を入力することで該識別情報を取得し、物体位置取得部５６に出力する。但し、識別情報取得部５４による識別情報の取得は、ネットワーク４００を経由するものに限定されない。例えば、識別情報取得部５４は、図３のキーボード５１１又はポインティングデバイス５１２を用いて管理者等のユーザが入力した識別情報を取得してもよいし、格納部５８に予め格納された識別情報を取得してもよいし、外部機器接続Ｉ／Ｆ５０８を介して識別情報を取得してもよい。なお、管理者は情報処理システム１又は倉庫１００の管理者である。

時刻取得部５５は、受信部５１が全天球画像及び識別情報を受信した時刻を示す情報を取得し、物体位置取得部５６に出力する。

物体位置取得部５６は、フォークリフト１０の位置情報と、保持情報とに基づいて、物体３０の位置情報を取得する。また、物体位置取得部５６は、物体３０の位置情報と、物体３０を示す識別情報と、時刻情報とを相互に対応付け、出力部５７を介して出力する。出力部５７の出力先は、ＰＣ（Personal Computer）等の外部装置、ディスプレイ５０６等の表示装置、又はＨＤ５０４等の記憶装置等である。

格納部５８は、パレット３１又は貨物３２等の物体３０を示す識別情報を格納できる。

（オンプレミスサーバ５０による処理例）
図５は、オンプレミスサーバ５０による処理の一例を示すフローチャートである。図５は、オンプレミスサーバ５０が物体３０の位置情報の取得開始操作を受け付けたタイミングをトリガーにした処理を示している。物体３０の位置情報の取得開始操作は、図３におけるポインティングデバイス５１２等を用いて管理者等のユーザが行ったものである。

まず、ステップＳ５１において、受信部５１は、ネットワーク４００を介して全天球画像及び識別情報を受信する。

続いて、ステップＳ５２において、移動体位置取得部５２は、入力した全天球画像に基づき、フォークリフト１０の位置情報を演算により取得し、物体位置取得部５６に出力する。

続いて、ステップＳ５３において、保持情報取得部５３は、入力した全天球画像に基づき、フォークリフト１０による物体３０の保持又は非保持の何れか一方の状態を示す保持情報を演算により取得し、物体位置取得部５６に出力する。

続いて、ステップＳ５４において、識別情報取得部５４は、物体３０を示す識別情報を入力することで取得し、物体位置取得部５６に出力する。

続いて、ステップＳ５５において、時刻取得部５５は、受信部５１が全天球画像及び識別情報を受信した時刻を示す情報を取得し、物体位置取得部５６に出力する。

なお、ステップＳ５２乃至Ｓ５５の処理は、適宜順番を入れ替えてもよいし、それぞれが並行に行われてもよい。

続いて、ステップＳ５６において、物体位置取得部５６は、フォークリフト１０の位置情報と、保持情報とに基づいて、物体３０の位置情報を取得する。

続いて、ステップＳ５７において、物体位置取得部５６は、物体３０の位置情報と、物体３０を示す識別情報と、時刻情報とを相互に対応付け、出力部５７を介して出力する。

続いて、ステップＳ５８において、オンプレミスサーバ５０は処理を終了するか否かを判定する。オンプレミスサーバ５０は、ポインティングデバイス５１２等を介した管理者等のユーザによる終了操作に基づき、処理を終了するか否かを判定する。

ステップＳ５８で、終了すると判定された場合には（ステップＳ５８、Ｙｅｓ）、オンプレミスサーバ５０は処理を終了する。一方、終了しないと判定された場合には（ステップＳ５８、Ｎｏ）、オンプレミスサーバ５０はステップＳ５１以降の処理を再度行う。

このようにして、オンプレミスサーバ５０は物体３０の位置情報を処理し、物体３０の位置情報を取得できる。

（物体位置情報の取得結果例）
図６は、物体位置情報の取得結果の第１例を示す図である。図６（ａ）は位置マップを示す図、図６（ｂ）は位置情報とタイムスタンプを示す図である。

図６（ａ）に示す位置マップ６１は、全天球カメラ２０が撮像した全天球画像に基づいて、移動体位置取得部５２が作成したものである。移動体位置取得部５２は、３次元座標情報を含む点群を取得し、この点群を２次元平面に投影することで位置マップ６１を作成する。

位置マップ６１は、例えば１台のフォークリフト１０の移動に応じて作成され、全てのフォークリフト１０の位置情報の取得（自己位置認識）において使用される。これにより、同一座標系において複数のフォークリフト１０の各位置を表現できる。

全天球画像等の撮像画像に基づく位置マップ６１の作成方法には、例えば、地図作成と自己位置認識の同時実行技術（SLAM：Simultaneous Localization and Mapping）を適用できる（例えば、「解説 SLAMの現状と今後の展望,」、友納正裕、原祥尭、システム／制御／情報, 2020年64巻2号 p.45-50、https: //www.jstage.jst.go.jp /article/isciesci /64 / 2 /64_45/_article/-char/ja/を参照）。このような撮像画像に基づく自己位置認識は、屋内環境のように撮像画像が安定取得できる場合において、ＧＰＳや加速度センサを用いる他の位置取得方法より高い精度で位置情報を取得できる。

クロスドッキング型の倉庫で多い平置き型の倉庫では、パレット３１の入出荷に伴う物体３０の位置変化に応じて、位置マップ６１が変化しやすい。位置マップ６１の変化は、位置情報の取得処理を複雑にする場合がある。なお、平置き型の倉庫とは、棚等の構造物が少なく、パレット３１又は貨物３２を床面に置くタイプの倉庫をいう。

一方、倉庫は天井の高さが５［ｍ］等と高いことが多く、天井側である上方の視界を確保しやすい。そのため、実施形態では、全天球カメラ２０が撮像した全天球画像のうちの上方向を示す画像を用いて位置マップ６１を作成し、フォークリフト１０の位置情報を取得する。これにより、時間変化を抑制した位置マップ６１を用いて、処理が複雑になることなく、フォークリフト１０の位置情報を取得できる。

また、保持情報取得部５３は、フォークリフト１０による物体３０の保持情報を取得するために、全天球画像のうちの前方を示す画像を使用する。これにより、全天球カメラ２０が撮像した１つの全天球画像を用いて、フォークリフト１０の位置情報を取得するとともに物体３０の保持情報を取得可能となる。

なお、保持情報取得部５３は、保持情報を取得するために、全天球画像以外の情報を使用することもできる。全天球画像以外の情報には、例えば、接触センサ、赤外線センサ、超音波センサ、測距センサ又は荷重センサ等による検出情報が挙げられる。保持情報取得部５３は、全天球画像又は各センサによる検出情報を組み合わせて保持情報を取得することもできる。但し、処理を簡単に行う観点では、フォークリフト１０の位置情報と保持情報とを１つの全天球画像から取得可能な全天球カメラ２０を使用することがより好ましい。

物体位置取得部５６は、位置マップ６１に示すフォークリフト１０の位置情報のうち、保持情報が保持から非保持に変化した位置を用いることによって、物体３０の位置を示す位置マップ６２を取得できる。図６（ａ）に示す位置マップ６１は、物体３０の位置情報を示すものとも言えるため、図６（ａ）では位置マップ６２を括弧付きで表示している。

また、図６（ｂ）に示す位置テーブル６３は、物体３０の位置を示す点群の３次元座標と、該３次元座標が取得された時の時刻を示すタイムスタンプ６４とを含むテーブルである。位置テーブル６３は、物体位置取得部５６が作成したものである。タイムスタンプ６４は、時刻取得部５５が取得した時刻情報の一例である。物体位置取得部５６は、物体３０の位置情報と時刻情報とを対応付けた位置テーブル６３を、出力部５７を介して出力できる。

物体位置取得部５６は、所定時間が経過した後の点群の情報は除外し、新しい点群の情報を用いて位置テーブル６３を更新する。これにより、上方の視界確保が難しく、水平方向の視界に頼らざるを得ない場合においても、フォークリフト１０の周囲状態の変化に対応して、フォークリフト１０の位置情報及び物体３０の位置情報を好適に取得可能になる。但し、フォークリフト１０の動きが少ない場合には、新たな取得点群が少ないので、点の数が減少する場合がある。これに対しては、位置テーブル６３に示す点群の情報が減少し過ぎないように、フォークリフト１０の移動量に応じて、移動量が少ないときにはテーブル６３の更新頻度を下げることで、点が減少しすぎないようにすると好適である。

倉庫１００内で複数の物体３０の各位置を追跡するために、物体３０に付与されたバーコード等の識別情報が使用される。物体３０を示す識別情報は、物体３０の初期位置情報とともに格納部５８に格納される。

物体３０を示す識別情報として、フォークリフト１０がパレット３１をコンテナ３００等から取出し、パレット３１を一旦仮置きする際に、貨物３２又はパレット３１に付与されているバーコード等が読み取られたものが格納部５８に格納される。このような格納を初期登録という。本実施形態では、初期登録される物体３０を示す識別情報に加え、物体位置取得部５６が取得した物体３０の位置情報を対応付けて格納部５８に格納させることができる。

ここで、倉庫１００内で複数の物体３０の各位置を追跡するためのより簡易的な方法の一例を、図７を参照して説明する。図７は、物体位置情報の第２例を示す図である。図７（ａ）は区画を示す図、図７（ｂ）は位置情報と区画を示すバーコードを示す図である。

図７（ａ）に示す区画Ａ、Ｂ、Ｃ及びＤは、倉庫１００内で予め定められた位置範囲を示すものである。区画Ａ、Ｂ、Ｃ及びＤの各区画内で物体３０を初期登録するための作業が行われる。

読取器を用いて物体３０を示すバーコードを読み取った前後の何れか一方のタイミングで、区画Ａ、Ｂ、Ｃ及びＤを示すバーコードを読み取ることで、物体３０と各区画を示す位置座標を対応付けることができる。その後、フォークリフト１０により物体３０を搬送する場合に、どの物体３０が搬送されているかの識別情報を含めて物体３０の位置を追跡可能になる。図７（ｂ）に示すテーブル７１は、区画を示すＩＤ番号と、区画の位置情報と、区画を示すバーコードとを対応付けて示している。

各区画を示すバーコードは、初期登録を行う作業者が読取器を用いて読み取り可能なように、印刷されて該作業者により携帯される。或いは倉庫１００内の床や柱、又はフォークリフト１０に貼付される。これにより、物体３０を示すバーコードを読み取る作業を行う前後のタイミングで、各区画のバーコードを容易に読取可能となる。

図８は、物体３０の初期位置を作業者が登録するための画面の一例を示す図である。例えば、物体３０を示すバーコードを読み取るためのモバイル端末がフォークリフト１０上に取り付けられており、作業者はこのモバイル端末を用いて登録作業を行う。図８に示す登録画面８１は、モバイル端末が表示する画面である。また、図７に示した簡易的な方法で読み取った情報をモバイル端末に表示し、貨物３２の入荷又は出荷の何れかを示す情報を作業者に選択させたり、物体３０及び区画の各ＩＤ番号の確認のみを作業者に求めたりすることもできる。

図９は、物体３０の初期位置を作業者が登録するための画面の他の例を示す図である。図９に示す登録画面９１は、モバイル端末の表示画面であり、区画を示すバーコード９２を表示している。登録画面９１に、貨物３２の入荷又は出荷の何れかの状態や、初期位置の候補である区画を示すバーコードを表示し、その中から適したバーコードを作業者が読取器を用いて読み取ることで、初期位置を登録することもできる。

図１０は、フォークリフト１０による物体３０の搬送先の表示画面の一例を示す図である。表示画面９３は位置マップ９４を表示している。位置マップ９４は搬送元位置９５と、搬送先位置９６とを含む。搬送元位置９５は搬送元の位置を示し、搬送先位置９６は搬送先の位置を示す。予め登録した仮置き場所等の位置を画面に表示することで、より作業しやすい情報を提供できる。

図１１は、物体３０の位置マップを表示する画面の一例を示す図である。表示画面１１１は、フォークリフト１０に設けられたモバイル端末に表示される画面であってもよいし、オンプレミスサーバ５０のディスプレイ５０６に表示される画面であってもよい。

オンプレミスサーバ５０は、物体３０が倉庫１００内で初期登録された後、出荷時にバーコードが読み取られるまでの期間において、全ての物体３０を示すＩＤ番号１１２又は１１３等を、それぞれの位置座標情報をもとにマップ上に表示する。

図１２は、物体３０を探索する際に表示する画面の一例を示す図である。表示画面１２１は、フォークリフト１０に設けられたモバイル端末に表示される画面であってもよいし、オンプレミスサーバ５０のディスプレイ５０６に表示される画面であってもよい。

物体３０を探索する際に、搬送を行う作業者が探索したいパレット３１のＩＤ番号を入力すると、表示画面１２１は、対応するパレット３１の位置を示すマーク１２２を位置マップ１２３上に表示する。この際に、位置を表示するパレット３１は１つに限らず、複数のパレット３１のＩＤ番号を順に入力して、複数のパレット３１の各位置が一括で表示されるようにしてもよい。

（オンプレミスサーバ５０の作用効果）
以上説明したように、本実施形態に係る情報処理システム１が有するオンプレミスサーバ５０（情報処理装置）は、フォークリフト１０（移動体）により搬送（移動）される物体３０の位置情報を処理するものである。

オンプレミスサーバ５０は、全天球カメラ２０（撮像部）による全天球画像（撮像画像）に基づいて取得されるフォークリフト１０の位置情報と、フォークリフト１０による物体３０の保持又は非保持の何れか一方の状態を示す保持情報と、に基づいて取得される物体３０の位置情報を出力する。

画像に基づいてフォークリフト１０の位置情報を取得するため、例えば屋内に複数の無線通信タグを設置し、移動体に受信機等のデバイスを設置する方法に比べて、最小のデバイス構成で実現できる。これにより、フォークリフト１０により搬送される物体３０の位置情報を簡単に処理可能なオンプレミスサーバ５０を提供できる。

また本実施形態では、保持情報取得部５３は、全天球画像に基づいて保持情報を取得する。これにより、１つの全天球画像を用いて、フォークリフト１０の位置情報と、保持情報と、を取得できるため、物体３０の位置情報をより簡単に処理できる。

また本実施形態では、全天球画像は、フォークリフト１０に設けられた全天球カメラ２０が撮像した画像である。これにより、倉庫１００の内部又は外部でのフォークリフト１０の移動に応じて全天球カメラ２０による撮像範囲が変化するため、倉庫１００の内部又は外部におけるより広い範囲を撮像可能になる。

また本実施形態では、全天球画像は、フォークリフト１０から視た物体３０の搬送方向１１側の風景と、フォークリフト１０から視た鉛直上方向１２側の風景と、が撮像された画像を含む。視界を確保しやすい倉庫の天井側の風景を撮像した画像から、フォークリフト１０の位置情報を簡単な処理で取得できる。またフォークリフト１０の搬送方向１１側の風景における物体３０の保持又は非保持を示す保持情報を取得できる。これにより、簡単な情報処理システム１の構成で、物体３０の位置を正確に認識し、また追跡できる。

また本実施形態では、オンプレミスサーバ５０は、保持情報又はフォークリフト１０の位置情報の少なくとも一方を受信する受信部５１を有する。受信した保持情報又はフォークリフト１０の位置情報の少なくとも一方を用いて、物体３０の位置情報を取得可能になる。受信部５１は、無線通信によりこれらの情報を受信すると、複雑な配線を省略できるため、より好適である。

また本実施形態では、物体３０の位置に対応するタイムスタンプ６４（時刻を示す情報）をさらに出力する。これにより、物体３０の位置をより認識しやすく、また追跡しやすくなる。

また本実施形態では、オンプレミスサーバ５０は、物体３０を示す識別情報を取得し、物体３０の位置情報に対応付けて識別情報を出力する。これにより、複数の物体３０の各位置をより認識しやすく、また追跡しやすくなる。

［第２実施形態］
次に第２実施形態に係る情報処理システム１ａについて説明する。なお、第１実施形態で説明した同一の構成部には同一の部品番号を付し、重複する説明を適宜省略する。

図１３は、情報処理システム１ａの全体構成の一例を示す図である。図１３に示すように、情報処理システム１ａは、固定型カメラ６０と、オンプレミスサーバ５０ａとを有する。

ここで、倉庫では、フォークリフト１０以外にもハンドパレットトラックと呼ばれる、人が簡易に扱えるパレット搬送機器が使われる場合がある。本実施形態では、全天球カメラ２０が設けられていないハンドパレットトラックにより物体３０の位置が変更された場合にも、固定型カメラ６０による撮像画像に基づいて、物体３０の位置を認識し、追跡可能にする。

固定型カメラ６０は、倉庫１００の天井付近等に設けられ、天井側から床側に向けて倉庫１００内を撮影するカメラである。固定型カメラ６０の種類には、特段の制限はないが、広い範囲を撮像できるものが好ましく、１８０度程度の画角を持つ半天球（魚眼カメラ）がより好ましい。固定型カメラ６０が設置される台数は１台であっても複数台であってもよい。本実施形態では、固定型カメラ６０は複数台設けられているものとし、固定型カメラ６０は複数の固定型カメラの総称表記とする。

（情報処理システム１ａの機能構成例）
図１４は、情報処理システム１ａの機能構成の一例を示すブロック図である。図１４に示すように、天井５００には、固定型カメラ６０と、天井用物体位置取得部５０１と、送信部５０２とが設けられている。

天井用物体位置取得部５０１及び送信部５０２の各機能は、天井５００又は固定型カメラ６０の何れか一方に設けられた電気回路で実現される他、これらの機能の一部をソフトウェア（ＣＰＵ）によって実現することもできる。またこれらの機能は複数の回路又は複数のソフトウェアによって実現されてもよい。

ここで、固定型カメラ６０は、フォークリフト１０以外に設けられ、フォークリフト１０又は物体３０の何れか一方の周囲を撮像する第２撮像部の一例である。固定型カメラ６０が撮像した画像は第２撮像画像の一例である。

天井用物体位置取得部５０１は、固定型カメラ６０が撮像した画像に基づき、フォークリフト１０以外による搬送された物体３０の位置情報を取得し、送信部５０２を介してオンプレミスサーバ５０ａに送信する。固定型カメラ６０が撮像した画像に基づいて、天井用物体位置取得部５０１が取得した物体３０の位置情報は、第２位置情報の一例である。

フォークリフト１０には、移動体位置取得部１０２と、保持情報取得部１０３とが設けられている。フォークリフト１０はシングルボードコンピュータを備え、全天球カメラ２０に有線接続している。移動体位置取得部１０２及び保持情報取得部１０３の各機能は、このシングルボードコンピュータで実現される。

ここで、全天球カメラ２０は、フォークリフト１０に設けられた第１撮像部の一例である。全天球カメラ２０が撮像した全天球画像は第１撮像画像の一例である。

移動体位置取得部１０２は、全天球カメラ２０が撮像した画像に基づき、フォークリフト１０の位置情報を取得し、送信部１０１を介してオンプレミスサーバ５０ａに送信する。

保持情報取得部１０３は、全天球カメラ２０が撮像した画像に基づき、フォークリフト１０による物体３０の保持又は非保持の何れか一方の状態を示す保持情報を取得し、送信部１０１を介してオンプレミスサーバ５０ａに送信する。

オンプレミスサーバ５０ａは、物体位置取得部５６ａを有する。物体位置取得部５６ａは、受信部５１を介して受信したフォークリフト１０の位置情報と、保持情報とに基づき、フォークリフト１０が搬送する物体３０の位置情報を取得する。全天球カメラ２０が撮像した全天球画像に基づいて取得された物体３０の位置情報は、第１位置情報の一例である。

また物体位置取得部５６ａは、受信部５１を介してフォークリフト１０以外が搬送する物体３０の位置情報を取得できる。固定型カメラ６０が撮像した画像に基づいて取得された物体３０の位置情報は、第２位置情報の一例である。物体位置取得部５６ａは、取得した物体３０の位置情報を、出力部５７を介して出力できる。

物体３０の位置を認識し、追跡するためには、固定型カメラ６０の位置と、物体３０の位置との間で３次元座標系を一致させることが好ましい。この方法としては、３次元座標情報が既知であるマーカを倉庫１００の床に貼り付けて固定型カメラ６０により認識することで、３次元座標系を一致させる方法が挙げられる。また、自己位置を認識しているフォークリフト１０の３次元座標情報を用いて固定型カメラ６０の位置を初期登録することで、３次元座標系を一致させる方法もある。

図１５は、固定型カメラ６０から視たフォークリフト１０を示す図である。図１５に示すように、フォークリフト１０には、識別マーカ１５が設けられている。識別マーカ１５には、天井５００からの認識が容易な２次元コードが好ましい。固定型カメラ６０は、識別マーカ１５を認識して固定型カメラ６０の位置を初期登録することで、３次元座標系を一致させることができる。

（物体３０の位置情報の取得結果例）
図１６は、固定型カメラ６０による物体３０の追跡結果を表示する画面の一例を示す図である。表示画面１６１は、フォークリフト１０に設けられたモバイル端末に表示される画面であってもよいし、オンプレミスサーバ５０のディスプレイ５０６に表示される画面であってもよい。

図１６に示すように、表示画面１６１は、撮像画像画面１６２と、カメラ位置マップ画面１６３とを含む。撮像画像画面１６２は、固定型カメラ６０が撮像した画像を表示するものであり、静止画だけでなく動画も表示可能である。カメラ位置マップ画面１６３は、固定型カメラ６０の位置を示すものである。カメラ位置マップ画面１６３が含むカメラマーク１６４は、複数の固定型カメラ６０の位置を示している。

撮像画像画面１６２は、図１６に矢印で示したＸ方向及びＹ方向のそれぞれにスクロールできる。物体３０の搬送を行う作業者は、カメラ位置マップ画面１６３を視認しながら、複数の固定型カメラ６０のうち、撮像画像を表示したい固定型カメラ６０を選択できるようになっている。

また、図１６における１６５は早送りボタン、１６６はスクロールバーである。探索対象となる物体３０のＩＤ番号について、最後にその場所に置かれた時刻に動画の再生をジャンプできる頭出し機能を設けることもできる。頭出し機能により、その後にフォークリフト１０以外による物体３０の移動があった場合にも、追跡のための再生を効率的に行える。

（情報処理システム１ａの作用効果）
以上説明したように、本実施形態に係る情報処理システム１ａは、固定型カメラ６０を有する。これにより、全天球カメラ２０が設けられていないハンドパレットトラック等により物体３０の位置が変更された場合にも、固定型カメラ６０による撮像画像に基づいて、物体３０の位置を認識し、追跡できる。

［変形例］
図１７は、第１変形例に係る情報処理システム１ｂの機能構成の一例を示すブロック図である。図１７に示すように、情報処理システム１ｂは、クラウドサーバ５０ｂと、入出力端末６００と、ネットワークスイッチ７００とを有する。入出力端末６００と、クラウドサーバ５０ｂとはインターネット８００を介して通信可能に接続されている。

クラウドサーバ５０ｂは、倉庫１００外に設置された外部サーバである。クラウドサーバ５０ｂは、図３に示したオンプレミスサーバ５０と同様のハードウェア構成を有する。

入出力端末６００は、入出力部６０１と、送受信部６０２を有する。入出力端末６００は、例えば第１実施形態で説明したフォークリフト１０上に取り付けられたモバイル端末である。ネットワークスイッチ７００は、ネットワーク４００とインターネット８００とを切替可能なスイッチである。

実施形態に係る情報処理システムは、図１７に示すように構成することもできる。

図１８は、第２変形例に係る情報処理システム１ｃの機能構成の一例を示すブロック図である。図１８に示すように、情報処理システム１ｃは、フォークリフト１０ｃを有する。フォークリフト１０ｃは、センサ１０４と、保持情報取得部１０３ｂとを有する。

センサ１０４は、接触センサ、赤外線センサ、超音波センサ、測距センサ又は荷重センサのうちの少なくとも１つのセンサである。センサ１０４は、保持情報を取得するためのデータ又は信号を検出する。

保持情報取得部１０３ｂは、センサ１０４が検出したデータ又は信号に基づき保持情報を取得できる。

実施形態に係る情報処理システムは、図１８に示すように構成することもできる。

以上、実施形態を説明してきたが、本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

移動体の一例としてフォークリフトを示したが、これに限定されるものではない。例えば自動搬送車又はドローン等であってもよい。

また、実施形態は情報処理方法を含む。例えば、情報処理方法は、移動体により移動される物体の位置情報を処理する情報処理装置による情報処理方法であって、撮像装置による撮像画像に基づいて取得される前記移動体の位置情報と、前記移動体による前記物体の保持又は非保持の何れか一方の状態を示す保持情報と、に基づいて取得される前記物体の位置情報を出力する工程を含む。このような物体検出方法により上述した情報処理システムと同様の効果を得ることができる。

また、実施形態はプログラムを含む。例えば、プログラムは、移動体により移動される物体の位置情報を処理する情報処理装置で動作するプログラムであって、撮像装置による撮像画像に基づいて取得される前記移動体の位置情報と、前記移動体による前記物体の保持又は非保持の何れか一方の状態を示す保持情報と、に基づいて取得される前記物体の位置情報を出力する処理をコンピュータに実行させる。このようなプログラムにより上述した情報処理システムと同様の効果を得ることができる。

なお、実施形態の説明で用いた序数、数量等の数字は、全て本発明の技術を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明の技術を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係をこれに限定するものではない。

また、機能ブロック図におけるブロックの分割は一例であり、複数のブロックを一つのブロックとして実現する、一つのブロックを複数に分割する、及び／又は、一部の機能を他のブロックに移してもよい。また、類似する機能を有する複数のブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。また複数のコンピュータに一部又は全部の機能を分散させてもよい。

１ 情報処理システム
１０ フォークリフト（移動体の一例）
１１ 搬送方向（移動方向の一例）
１２ 鉛直上方向
２０ 全天球カメラ（撮像部の一例、第１撮像部の一例）
２０ａ 方位
２１ フォーク
２２ 支持部材
３０ 物体
３１ パレット
３２ 貨物
３３ バーコード（識別情報の一例）
４０ 仮置き場所
５０ オンプレミスサーバ（情報処理装置の一例）
５０ｂ クラウドサーバ（情報処理装置の一例）
５１ 受信部
５２ 移動体位置取得部
５３ 保持情報取得部
５４ 識別情報取得部
５５ 時刻取得部
５６ 物体位置取得部
５７ 出力部
５８ 格納部
６０ 固定型カメラ（第２撮像部の一例）
６１ 位置マップ（移動体の位置情報の一例）
６２ 位置マップ（物体の位置情報の一例）
６３ 位置テーブル（物体の位置情報の一例）
６４ タイムスタンプ（時刻情報の一例）
８１、９１ 登録画面
１００ 倉庫
２００ トラックヤード
３００ コンテナ
４００ ネットワーク

特許６５８８１２３号公報

Claims (14)

1. 移動体により移動される物体の位置情報を処理する情報処理装置であって、
   撮像部による撮像画像に基づいて取得される前記移動体の位置情報と、前記移動体による前記物体の保持又は非保持の何れか一方の状態を示す保持情報と、に基づいて取得される前記物体の位置情報を出力する出力部を有する情報処理装置。
2. 前記撮像画像に基づいて、前記保持情報を取得する保持情報取得部を有する請求項１に記載の情報処理装置。
3. 前記移動体の位置情報と、前記保持情報と、に基づいて前記物体の位置情報を取得する物体位置取得部を有する請求項１又は２に記載の情報処理装置。
4. 前記撮像画像は、前記移動体に設けられた前記撮像部が撮像した画像である請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記撮像画像は、前記移動体から視た前記物体の移動方向側の風景と、前記移動体から視た鉛直上方向の風景と、が撮像された画像を含む請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記撮像画像は、前記移動体に設けられた第１撮像部が撮像した第１撮像画像と、前記移動体以外に設けられ、前記移動体又は前記物体の少なくとも一方の周囲を撮像する第２撮像部が撮像した第２撮像画像と、を含む請求項１乃至３の何れか１項に記載の情報処理装置。
7. 前記物体の位置情報は、前記第１撮像画像に基づいて取得された前記物体の第１位置情報と、前記第２撮像画像に基づいて取得された前記物体の第２位置情報と、を含む請求項６に記載の情報処理装置。
8. 前記保持情報又は前記移動体の位置情報の少なくとも一方を受信する受信部を有する請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記出力部は、前記物体の位置に対応する時刻を示す情報をさらに出力する請求項１乃至８の何れか１項に記載の情報処理装置。
10. 前記物体を示す識別情報を取得する識別情報取得部を有し、
    前記出力部は、前記物体の位置情報に対応付けて前記識別情報をさらに出力する請求項１乃至９の何れか１項に記載の情報処理装置。
11. 前記移動体と、
    前記撮像部と、
    請求項１乃至１０の何れか１項に記載の情報処理装置と、を有する情報処理システム。
12. 前記撮像部は、前記移動体の周囲を撮像する全天球カメラである請求項１１に記載の情報処理システム。
13. 移動体により移動される物体の位置情報を処理する情報処理装置による情報処理方法であって、
    撮像装置による撮像画像に基づいて取得される前記移動体の位置情報と、前記移動体による前記物体の保持又は非保持の何れか一方の状態を示す保持情報と、に基づいて取得される前記物体の位置情報を出力する工程を含む情報処理方法。
14. 移動体により移動される物体の位置情報を処理する情報処理装置で動作するプログラムであって、
    撮像装置による撮像画像に基づいて取得される前記移動体の位置情報と、前記移動体による前記物体の保持又は非保持の何れか一方の状態を示す保持情報と、に基づいて取得される前記物体の位置情報を出力する
    処理をコンピュータに実行させるプログラム。

Images