JP2018016489A - 荷物追跡システム及び荷物追跡方法 - Google Patents

Abstract

【課題】荷物の配送において、荷物識別情報が付された荷物の紛失・破損等のトラブルがあった場合でも、その原因究明を効率化する。【解決手段】複数の全方位カメラＣＡは、荷物ｇｓを搬送するベルトコンベア１００，１１０，１２０が配設された物流倉庫ＷＡ内の異なる既定エリアＡＲＥをそれぞれ撮像する。バーコードカメラＢＣＡは、荷物ｇｓに貼り付けられたバーコードＢＣＬを読み取り、バーコードＩＤとその読取時刻とを取得する。映像記録装置３は、全方位カメラＣＡにより撮像された既定エリアＡＲＥの周辺画像とその撮像時刻と、バーコードカメラＢＣＡにより取得されたバーコードＩＤとその読取時刻と、を対応付けて記録する。端末装置４は、バーコードＩＤの選択に応じて、選択されたバーコードＩＤの読取時刻に対応付けられた既定エリアＡＲＥの周辺画像を表示装置５に表示する。【選択図】図１

Description

本発明は、荷物搬送エリア内に配設されるコンベアにより搬送される荷物を追跡する荷物追跡システム及び荷物追跡方法に関する。

近年、荷物の物流業務においては、配送される荷物にその荷物を識別するためのバーコードが貼り付けられ、例えばコンベアが配設された搬送ライン上でバーコードが読み取られて得られたバーコード情報（例えばバーコードＩＤ）を利用して、荷物の運搬等の各種業務が行われている。

荷物はバーコードＩＤで管理されることが多いが、一方では、荷物の紛失や破損が日々発生することもある。例えば荷物の誤配送による紛失や、搬送中の荷物の落下等による破損があった場合には、その原因を究明することは容易ではなく、原因究明の作業に１日以上の工数を費してしまうこともある。

ここで、生産ラインにおける各工程の生産実績状況を正確に把握する先行技術として、例えば特許文献１に記載の生産システムが知られている。この生産システムが利用される生産ラインでは、画像処理装置は、監視カメラの画像解析により、生産ラインを移動するワークの状況変化（例えば原材料状態、加工状態、検査済み状態）を追跡して識別し、その識別番号をサーバに通知する。サーバは、ワークにバーコードを添付することなく、各種データを識別番号で識別して記録する。

特開２０１０−０５５３３４号公報

このように、荷物の紛失又は破損等のトラブルがあった場合には、バーコードＩＤの情報を基にして、作業員や管理者等のユーザは、搬送ラインに沿って又は搬送ラインの周囲に設けられた膨大な数の監視カメラの映像を逐一確認して当時の状況を確認する必要があり、そのトラブルの原因を究明することは困難であった。

また、特許文献１では、ワークへのバーコードの貼り付けが無いので、荷物にバーコードが貼り付けられる近年の物流分野において荷物の配送時の行方をコントロールする荷物追跡システムの構成として特許文献１の技術を適用することはできない。

本発明は、上述した従来の状況に鑑みて案出され、荷物の配送において、荷物識別情報が付された荷物の紛失又は破損等のトラブルがあった場合でも、その原因究明を効率化し、ユーザの使い勝手を向上する荷物追跡システム及び荷物追跡方法を提供することを目的とする。

本発明は、少なくとも一つの荷物を搬送するコンベアが配設された荷物搬送エリア内の異なる既定エリアをそれぞれ撮像する複数の監視カメラと、前記荷物に付された荷物識別情報を読み取り、前記荷物識別情報の読取結果とその読取時刻とを取得するリーダと、前記監視カメラにより撮像された前記既定エリアの周辺画像とその撮像時刻と、前記リーダにより取得された前記荷物識別情報の読取結果とその読取時刻と、を対応付けて記録するレコーダと、前記荷物識別情報の選択に応じて、選択された前記荷物識別情報の読取時刻に対応付けられた、少なくとも一つの前記監視カメラにより撮像された前記既定エリアの周辺画像をモニタに表示する端末装置と、を備える、荷物追跡システムを提供する。

また、本発明は、少なくとも一つの荷物を搬送するコンベアが配設された荷物搬送エリアに配置される複数の監視カメラと、リーダと、レコーダと、端末装置とを備えた荷物追跡システムにおける荷物追跡方法であって、前記監視カメラは、前記荷物搬送エリア内の異なる既定エリアをそれぞれ撮像し、前記リーダは、前記荷物に付された荷物識別情報を読み取り、前記荷物識別情報の読取結果とその読取時刻とを取得し、前記レコーダは、前記監視カメラにより撮像された前記既定エリアの周辺画像とその撮像時刻と、前記リーダにより取得された前記荷物識別情報の読取結果とその読取時刻と、を対応付けて記録し、前記端末装置は、前記荷物識別情報の選択に応じて、選択された前記荷物識別情報の読取時刻に対応付けられた、少なくとも一つの前記監視カメラにより撮像された前記既定エリアの周辺画像をモニタに表示する、荷物追跡方法を提供する。

本発明によれば、荷物の配送において、荷物識別情報が付された荷物の紛失又は破損等のトラブルがあった場合でも、その原因究明を効率化し、ユーザの使い勝手を向上することができる。

本実施形態の荷物追跡システムのシステム構成及び動作概要の一例を詳細に示す図 バーコードＩＤ一覧テーブルの登録内容の一例を示す図 バーコードカメラ及び端末装置の内部構成の一例を詳細に示すブロック図 （Ａ），（Ｂ）バーコードカメラによるバーコード読み取り動作の一例を説明する図 バーコードカメラの読取動作手順の一例を詳細に説明するフローチャート バーコードＩＤの読取時刻テーブルの登録内容の一例を示す図 表示装置に表示される、バーコードカメラ及び全方位カメラによって撮像された撮像画像を含む画面の表示例を示す図 表示装置に表示される、履歴リストと、バーコードカメラ及び全方位カメラによって撮像された撮像画像とを含む画面の表示例を示す図 荷物追跡システムにおける紛失した荷物の検知動作手順の一例を詳細に説明するフローチャート （Ａ），（Ｂ）荷物のサイズ測定を説明する図 荷物追跡システムにおける破損した荷物の検知動作手順の一例を詳細に説明するフローチャート （Ａ）ベルトコンベアのコーナー付近で発生したジャミングの検知例を示す図、（Ｂ）ベルトコンベアのカーブ付近で発生したジャミングの検知例を示す図

以下、適宜図面を参照しながら、本発明に係る荷物追跡システム及び荷物追跡方法を具体的に開示する実施形態（以下、「本実施形態」という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。また、本発明は、荷物に貼り付けられるバーコードを読み取る監視カメラとしてのバーコードカメラ、そのバーコードカメラにおける荷物読取方法として表現することも可能である。

図１は、本実施形態の荷物追跡システム１のシステム構成及び動作概要の一例を詳細に示す図である。荷物追跡システム１は、例えば荷物の保管や配送等を行う施設である荷物搬送エリアとしての物流倉庫ＷＡに設置され、コンベア（例えばベルトコンベア１００）で搬送される荷物を追跡して監視する。物流倉庫ＷＡは、例えば物流配送会社の営業所内でもいいし、他には空港等でも構わない。以下、コンベアとして、ベルトコンベア１００を例示して説明するが、ベルトコンベア１００に限定されず、他のタイプのコンベアを用いても構わない（後述参照）。

物流倉庫ＷＡでは、配送されるべき荷物を大量に保管する立体倉庫（ストッカ）１５０、このストッカ１５０から出荷された荷物を搬送する複数のベルトコンベア１００，１１０，１２０、各ベルトコンベア１００，１１０，１２０で搬送された荷物を積載するための複数の台車１８０，１８１，１８２等が備えられる。また、これらの台車１８０，１８１，１８２に積載された荷物を移し替えて届け先まで運搬するトラックＴＲ１，ＴＲ２，ＴＲ３が用意されている。

また、物流倉庫ＷＡの各所には、荷物の点検や移し替え等を人手で行う、複数の作業員ｐ１，ｐ２，ｐ３，ｐ４，ｐ５が配置される。

ベルトコンベア１００は、物流の本流ラインであり、ストッカ１５０から出荷された荷物を上流から下流へ（つまり、図１の紙面左側から紙面右側へ）と搬送する。ベルトコンベア１００の終端には、台車１８０が用意されている。作業員ｐ１は、ベルトコンベア１００の終端に到着した荷物を台車１８０に載せ替える。更に、作業員ｐ１は、荷物ｇｓが積載された台車１８０をトラックＴＲ１まで運び、トラックＴＲ１の荷台に荷物ｇｓを載せ替える。なお、トラックＴＲ１の荷台がベルトコンベア１００の終端近くまで接近できる場合は、台車１８０に載せ替えることなく、荷物ｇｓをそのままトラックＴＲ１の荷台に載せ替えることも可能である。

ベルトコンベア１１０，１２０は、ベルトコンベア１００からそれぞれ分岐点ＴＰ１，ＴＰ２で分岐した物流の支流ラインであり、ベルトコンベア１００から受け渡された荷物を支流ラインの終端へ（つまり、図１の紙面下側へ）と搬送する。ベルトコンベア１１０，１２０の終端には、それぞれ台車１８１，１８２が用意されている。作業員ｐ４，ｐ５は、ベルトコンベア１１０，１２０の各終端に到着した荷物ｇｓを各台車１８１，１８２に載せ替える。なお、支流ラインにおいても、トラックＴＲ２，ＴＲ３の荷台がベルトコンベア１１０，１２０の終端近くまで接近できる場合は、台車１８１，１８２に載せ替えることなく、荷物ｇｓをそのままトラックＴＲ２，ＴＲ３の荷台に載せ替えることも可能である。

また、ベルトコンベア１００，１１０，１２０の終端に配置された各作業員ｐ１，ｐ４，ｐ５は、それぞれバーコードリーダＢＲ１，ＢＲ２，ＢＲ３を所持しており、各種の荷物ｇｓを台車１８０，１８１，１８２に載せ替える際、それぞれの荷物ｇｓに貼られた荷物識別情報としてのバーコードＢＣＬを読み取る。なお、本実施形態においてベルトコンベア１００，１１０，１２０を特に区別する必要が無い場合、ベルトコンベア１００を代表として説明する。

また、本流ラインのベルトコンベア１００と、支流ラインのベルトコンベア１１０，１２０との各分岐点ＴＰ１，ＴＰ２で、ベルトコンベア１００によって搬送されてきた荷物ｇｓの載せ替えを行う各作業員ｐ２，ｐ３は、特にバーコードリーダを所持せず、そのまま荷物ｇｓを載せ替えるが、バーコードリーダを所持して荷物ｇｓに貼られたバーコードを読み取るようにしてよい。また、バーコードＢＣＬが荷物ｇｓに付される場合として、バーコードが印刷されたラベルが荷物に貼り付けられる場合を想定しているが、荷物そのものにバーコードが印刷されてもよい。また、バーコードは、２次元バーコードに限らず、３次元バーコードやカラーコード等、各種のバーコードであってもよい。

物流倉庫ＷＡでは、本流ラインのベルトコンベア１００から支流ラインのベルトコンベア１１０、１２０への荷物の載せ替えは、作業員による手作業で行われるが、ソータ（つまり、自動仕分け装置）によって自動的に振り分けが行われてもよい。人手による場合、作業員が誤って荷物を載せ替えたり、荷物を他所にぶつけて破損させてしまうことが起こり得る。一方、ソータによって自動的に振り分けられる場合、荷物に貼られたバーコードの誤り等によって別のベルトコンベアに荷物が搬送されてしまうことが起こり得る。いずれにせよ、物流倉庫ＷＡでは、荷物の誤配送による紛失や破損等は少なからず発生する。

本実施形態の荷物追跡システム１は、入荷情報管理装置２、映像記録装置３、端末装置４、表示装置５、物品管理装置６、及び複数のカメラペア７，８，９，１０，１１を備える。

入荷情報管理装置２は、荷物の入荷情報を取得して記憶する。入荷情報は、搬入される全ての荷物に付されている荷物識別情報であるバーコードＩＤの一覧である。図２は、バーコードＩＤ一覧テーブルＴＬ０の登録内容の一例を示す図である。バーコードＩＤ一覧テーブルＴＬ０では、ベルトコンベア１００に載って流れてくる荷物の順番でバーコードＩＤが記録されている。また、バーコードＩＤ一覧には、バーコードＩＤに対応するバーコードが貼り付けられた荷物ｇｓが物流倉庫ＷＡ内において搬送されるべき搬出口ＤＰ１，ＤＰ２，ＤＰ３，…等の搬出口情報も登録される。この搬出口情報は、バーコードＩＤに記述されている、あるいは紐付けられている荷物の運搬先情報（言い換えると、配送される荷物の到着地）に対応する。図２では、Ｎｏ１，Ｎｏ２，Ｎｏ３，Ｎｏ４，…の順にバーコードＩＤが記録されている。また、入荷情報管理装置２は、荷物を預けた人物（つまり、荷物の配送の依頼者）とバーコードＩＤとを対応付けたテーブル（図示せず）を保持する。

レコーダとしての映像記録装置３は、タイマ（図示せず）を有し、複数のカメラペア７，８，９，１０，１１によりそれぞれ撮像された画像データと、タイマで計測した時刻（つまり、撮像時刻）とを対応付けて記録する。また、映像記録装置３は、複数のカメラペア７，８，９，１０，１１によりそれぞれ撮像された画像データ及びその撮像時刻、並びに、バーコードカメラＢＣＡ１，ＢＣＡ２，ＢＣＡ３，ＢＣＡ４，ＢＣＡ５あるいはバーコードリーダＢＲ１，ＢＲ２，ＢＲ３により読み取られたバーコードＩＤ及びその読取時刻を対応付けて記録してよい。また、映像記録装置３は、物品管理装置６からの指示に従い、その指示に該当する画像データ及び撮像時刻の情報を端末装置４及び物品管理装置６に出力する。

複数のカメラペア７，８，９，１０，１１は、それぞれ監視カメラとしての全方位カメラＣＡ１，ＣＡ２，ＣＡ３，ＣＡ４，ＣＡ５と監視カメラ兼バーコード検知用カメラとしてのバーコードカメラＢＣＡ１，ＢＣＡ２，ＢＣＡ３，ＢＣＡ４，ＢＣＡ５とをペアで備える。カメラペア７，８，９は、本流ラインであるベルトコンベア１００の上流側から下流側に向かって位置する監視ポイントＷＰ１，ＷＰ２，ＷＰ３に配置される。監視ポイントＷＰ１，ＷＰ２，ＷＰ３に配置されたカメラペア７，８，９は、ベルトコンベア１００で荷物ｇｓが搬送される荷物搬送エリア内の異なる既定エリアＡＲＥ１，ＡＲＥ２，ＡＲＥ３をそれぞれ撮像可能である。

また、カメラペア１０，１１は、分岐点ＴＰ１，ＴＰ２において、それぞれベルトコンベア１００から分岐した支流ラインであるベルトコンベア１１０，１２０にそれぞれ位置する監視ポイントＷＰ４，ＷＰ５に配置される。監視ポイントＷＰ４，ＷＰ５は、それぞれベルトコンベア１１０，１２０で荷物ｇｓが搬送される荷物搬送エリア内の異なる既定エリアＡＲＥ４，ＡＲＥ５をそれぞれ撮像可能である。なお、本実施形態において既定エリアＡＲＥ１，ＡＲＥ２，ＡＲＥ３，ＡＲＥ４，ＡＲＥ５を特に区別する必要が無い場合、単に既定エリアＡＲＥと総称する。

全方位カメラＣＡ１，ＣＡ２，ＣＡ３，ＣＡ４，ＣＡ５は、３６０度の画角を有する魚眼レンズを搭載しかつ３６０度の全方位画像（魚眼画像）を撮像可能なカメラであり、ベルトコンベア１００，１１０，１２０の上方（例えば天井）に配置される。全方位カメラＣＡ１，ＣＡ２，ＣＡ３，ＣＡ４，ＣＡ５は、端末装置４又は物品管理装置６からの指示に従い、ベルトコンベア１００，１１０，１２０で搬送される荷物の通過位置を含むように、既定エリアＡＲＥ１，ＡＲＥ２，ＡＲＥ３，ＡＲＥ４，ＡＲＥ５の周辺画像を撮像し、その撮像画像（周辺画像ともいう）を撮像時刻とともに映像記録装置３に出力して記録させる。

バーコードカメラＢＣＡ１，ＢＣＡ２，ＢＣＡ３，ＢＣＡ４，ＢＣＡ５は、ベルトコンベア１００，１１０，１２０で搬送される荷物ｇｓを撮像し、その撮像画像を撮像時刻とともに映像記録装置３に出力して記録させる。また、リーダの一例としてのバーコードカメラＢＣＡ１，ＢＣＡ２，ＢＣＡ３，ＢＣＡ４，ＢＣＡ５は、それぞれ自己が撮像した時の撮像画像を基にして、荷物に貼り付けられたバーコードＢＣＬを検知してその内容を読み取り、その読み取り結果であるバーコードＩＤ（バーコード情報）を、読取時刻とともに映像記録装置３に出力して記録させ、更に端末装置４又は物品管理装置６にも出力する。バーコードカメラＢＣＡ１，ＢＣＡ２，ＢＣＡ３，ＢＣＡ４，ＢＣＡ５の詳細については後述する。なお、バーコードＢＣＬの読み取り動作は、バーコードカメラの代わりに、端末装置４又は物品管理装置６が行うことも可能である。

端末装置４は、例えばパーソナルコンピュータ装置を用いて構成され、ユーザ操作を受け付ける操作部４６を介してバーコードＩＤの入力を受け付け、入力されたバーコードＩＤを検索してその検知結果を表す履歴リスト（つまり、荷物搬送エリア内のバーコードカメラ又はバーコードリーダにより読み取られたバーコードのバーコードＩＤが読取時刻順に並べられた読取履歴リスト、図８参照）を表示装置５に表示する。

また、端末装置４は、映像記録装置３から入力した画像データを表示装置５に表示するための各種の画像表示処理を実行する。また、端末装置４は、各種の荷物を搬送するベルトコンベア１００等の動作を制御する。また、端末装置４は、荷物の紛失又は破損等のトラブルがあった場合、その原因究明を行うための検知動作を行う。これらの検知動作の詳細については後述する。

モニタとしての表示装置５は、例えば画面を分割して、複数のカメラペア７，８，９，１０，１１でそれぞれ撮像される映像を表示する。また、表示装置５は、バーコードＩＤの検知結果を表す履歴リストｈｓｔ（図８参照）を表示する。

物品管理装置６は、画像データベース（ＤＢ）を有し、ベルトコンベア１００，１１０，１２０で搬送されるそれぞれの荷物ｇｓ１，ｇｓ２，ｇｓ３，…に対し、バーコードカメラＢＣＡ１，ＢＣＡ２，ＢＣＡ３，ＢＣＡ４，ＢＣＡ５により読み取られたバーコードＩＤ及びその読取時刻、並びに全方位カメラＣＡ１，ＣＡ２，ＣＡ３，ＣＡ４，ＣＡ５により撮像された画像（周辺画像）及びその撮像時刻を映像記録装置３から取得し、その時刻情報（つまり、画像の撮像時刻、バーコードＩＤの読取時刻）とともに保存して管理する。なお、本実施形態において荷物ｇｓ１，ｇｓ２，ｇｓ３を特に区別する必要が無い場合、荷物ｇｓと総称する。また、物品管理装置６は、荷物ｇｓの配送先をバーコードＩＤで管理しており（図２参照）、特にストッカ１５０から出荷され、ベルトコンベア１００で搬送される荷物ｇｓの搬出口ＤＰ１，ＤＰ２，ＤＰ３を管理する。

図３は、バーコードカメラＢＣＡ１，ＢＣＡ２，ＢＣＡ３，ＢＣＡ４，ＢＣＡ５及び端末装置４の内部構成の一例を詳細に示すブロック図である。バーコードカメラＢＣＡ１，ＢＣＡ２，ＢＣＡ３，ＢＣＡ４，ＢＣＡ５は、同一の構成である。本実施形態においてバーコードカメラＢＣＡ１，ＢＣＡ２，ＢＣＡ３，ＢＣＡ４，ＢＣＡ５を特に区別する必要が無い場合、バーコードカメラＢＣＡと総称する。

バーコードカメラＢＣＡは、荷物により反射した光を入射して撮像することで荷物の画像（可視光に基づく画像）を生成可能なカメラであり、撮像画像に含まれる荷物に貼り付けられたバーコードを電子的に走査するイメージセンシング方式で読み取り、読み取りが成功した場合にバーコードのバーコードＩＤを取得する。バーコードカメラＢＣＡは、イメージセンサ２１、レンズ２２、センサ駆動部２４、レーザダイオード（ＬＤ）２７、ＬＤ駆動部２８、拡散板（ディフューザ）２９、温度センサ２６、信号処理部３０、通信部３１、及びスピーカ３３を有する。

撮像部としてのイメージセンサ２１は、対象物により反射した光を入射して撮像することで対象物の画像データを取得するものであり、例えばＣＭＯＳ（相補性金属酸化膜半導体）センサで構成される。なお、ＣＭＯＳセンサの代わりに、ＣＣＤ（電荷結合素子）センサが用いられてよい。また、イメージセンサ２１は、バーコードカメラＢＣＡが荷物ｇｓの外形までの距離を測定する際、ＬＤ２７から投射されたレーザ光が荷物ｇｓで反射された際、その反射光を画素（あるいは所定数の画素群）単位で受光する。

レンズ２２は、入射する光をイメージセンサ２１に集光させる。レンズ２２は、荷物ｇｓが載せられたベルトコンベア１００を含む比較的広い領域を撮像可能な広角レンズと、荷物ｇｓに貼られたバーコードＢＣＬを囲む比較的狭い領域を撮像可能な狭角レンズとを切り替え可能である。広角レンズと狭角レンズとの切り替えは、例えばセンサ駆動部２４からの制御信号に応じて実現されてよい。また、広角レンズと挟角レンズとの切り替えは、例えば公知の液体レンズを用いることで実現される。液体レンズを使うことで、イメージセンサ２１によって撮像される画角を簡単に広角あるいは狭角に切り替えることができ、部品点数を削減しコンパクト化を図ることができる。

センサ駆動部２４は、信号処理部３０からの指示に従い、イメージセンサ２１の露光時間等を制御する。また、センサ駆動部２４は、信号処理部３０からの指示に従い、例えばレンズ２２の広角な画角の広角レンズと挟角な画角の挟角レンズとの切り替えを時分割に指示する。これにより、レンズ２２は、広角レンズと挟角レンズとを時分割に切り替えることができる。

ＬＤ（Laser Diode）２７は、ＬＤ駆動部２８からの制御信号により、荷物ｇｓの外形までの距離測定に使用されるレーザ光（例えば近赤外光）を照射する。ＬＤ２７は、レーザ光の光源の代わりに、ＬＥＤ（Light Emission Diode）を用いて構成されてよく、この場合にはＬＥＤ光を照射する。

ＬＤ駆動部２８は、信号処理部３０からの指示に従い、ＬＤ２７を駆動するための制御信号を出力する。拡散板（ディフューザ）２９は、ＬＤ２７から出力されるレーザ光を、荷物全体に照射可能なように拡散させる。温度センサ２６は、温度の影響を受け易いＬＤ２７に対し、温調制御を行うための温度を検出する。

信号処理部３０は、イメージセンサ２１から出力される画像信号に対して各種の信号処理を施して出力する。また、信号処理部３０は、バーコード読取時、センサ駆動部２４に駆動信号を出力する。また、信号処理部３０は、距離測定時、ＬＤ駆動部２８に駆動信号を出力する。また、信号処理部３０は、レンズ２２の画角の切り替え時に、センサ駆動部２４に画角の切り替えのための制御信号を出力する。

通信部３１は、端末装置４との間でデータ通信を行い、信号処理部３０から出力される画像データ、及びバーコードカメラＢＣＡから出力されるバーコードＩＤを端末装置４に出力する。

スピーカ３３は、バーコードＢＣＬの読み取りに成功した場合と失敗した場合とで異なる音声（音情報）を出力する（図４（Ａ）及び図４（Ｂ）参照）。

このような構成を有するバーコードカメラＢＣＡにおいて、バーコードカメラＢＣＡによって狭角で撮像される２次元画像は、荷物ｇｓに貼り付けられたバーコードＢＣＬの読み取りに使用される画像であり、例えば荷物ｇｓの誤配送又は破損等のトラブルがあった場合にその原因を究明する時にそのバーコードＩＤの読取があったか否か等により誤配送の有無の状況把握に利用される。また、２次元画像は、後述する荷物ｇｓの距離画像（３次元画像）程ではないが、平面視で破損の有無の状況把握に利用されてよい。

一方、バーコードカメラＢＣＡによって広角で撮像される２次元画像は、ベルトコンベアで搬送される荷物ｇｓを含む、既定エリアを撮像した画像であり、例えば荷物ｇｓの誤配送又は破損等のトラブルがあった場合にその原因を究明する時に既定エリアのトラブル発生当時の状況の把握に利用される。

また、バーコードカメラＢＣＡは、公知のＴＯＦ（Time of Flight）技術を用いて、ＬＤ２７からレーザ光を照射しその反射光を受光することで、対象物までの距離を測定する。即ち、バーコードカメラＢＣＡは、荷物ｇｓの外形までの距離測定を行うことで、荷物ｇｓの立体形状を表す画像（距離画像）を取得する。端末装置４は、バーコードカメラＢＣＡによって取得された荷物ｇｓの距離画像（３次元画像）から荷物ｇｓの破損の有無を判定する。

なお、バーコードカメラＢＣＡ内のＬＤ２７は、ベルトコンベア１００で搬送される荷物ｇｓに対して斜め方向からレーザ光を投射可能なように傾いた状態で配置される。

図４（Ａ）及び図４（Ｂ）は、バーコードカメラＢＣＡによるバーコード読み取り動作を説明する図である。

ベルトコンベア１００で搬送される荷物ｇｓが、バーコードカメラＢＣＡによる読み取り箇所（監視ポイント）を通過する際、図４（Ａ）に示すように、荷物ｇｓにバーコードＢＣＬが貼られている場合、バーコードカメラＢＣＡは、バーコードＢＣＬの周りの画像を撮像し、この画像に対して画像処理を行い、バーコードＩＤを読み取る。バーコードＢＣＬの読み取りが成功すると、バーコードカメラＢＣＡは、スピーカ３３から「ピッ！」という短くて高い音を出力する。

一方、図４（Ｂ）に示すように、荷物ｇｓにバーコードＢＣＬが貼られていない場合、あるいは、荷物ｇｓが転倒してバーコードＢＣＬの読み取りができない場合、バーコードカメラＢＣＡは、スピーカ３３から「ブー」という長くて低い音を出力する。これにより、バーコードカメラＢＣＡ付近にいる作業員等のユーザは、バーコードＢＣＬの読み取りの成否をすぐに知ることができる。

図５は、バーコードカメラＢＣＡの読取動作手順の一例を詳細に説明するフローチャートである。バーコードカメラＢＣＡは、荷物ｇｓが搬送されるベルトコンベア１００を含む、既定エリアＡＲＥを広角で撮像する（Ｓ１）。バーコードカメラＢＣＡは、この広角で撮像された画像にバーコードＢＣＬ（バーコード全体）が含まれるか否かを判別する（Ｓ２）。バーコードＢＣＬが含まれるまで（Ｓ２、ＮＯ）、バーコードカメラＢＣＡにおいてステップＳ１及びステップＳ２の各処理が繰り返される。

一方、バーコードＢＣＬが含まれる場合（Ｓ２、ＹＥＳ）、バーコードカメラＢＣＡは、このバーコードＢＣＬを含む領域を狭角で撮像する。バーコードカメラＢＣＡは、狭角で撮像された画像からバーコードＢＣＬを含む領域を切り出す（Ｓ３）。なお、バーコードカメラＢＣＡは、バーコードＢＣＬを含む領域を挟角で撮像せずに、単に広角で撮像した撮像画像からバーコードＢＣＬを含む領域を部分的に切り出してよい。

バーコードカメラＢＣＡは、切り出された領域の画像に対して画像処理を行い、バーコードＩＤを読み取る（Ｓ４）。バーコードカメラＢＣＡは、読み取り結果であるバーコードＩＤをその読取時刻とともに端末装置４に出力する（Ｓ５）。端末装置４は、このバーコードＩＤを読取時刻とともに、メモリ４２に記憶された読取時刻テーブルＴＬ１（図６参照）に追加する。また、このとき、ステップＳ１でバーコードカメラＢＣＡによって広角で撮像された既定エリアＡＲＥの画像（周辺画像）及びその撮像時刻は、バーコードＩＤ及びバーコードＩＤの読取時刻とともに、映像記録装置３に記録される。また、全方位カメラＣＡは、電源がオンされるとその間は常時撮像しており、既定エリアＡＲＥの全方位画像（周辺画像）を撮像し、映像記録装置３にこの全方位画像を撮像時刻とともに出力して記録させる。

この後、バーコードカメラＢＣＡは、電源オフやタイムアウト等によって撮像を終了するか否かを判別する（Ｓ６）。撮像を終了する場合、バーコードカメラＢＣＡは、本動作を終了し、一方、撮像を継続する場合、ステップＳ１の処理に戻る。

図６は、バーコードＩＤの読取時刻テーブルＴＬ１の登録内容の一例を示す図である。この読取時刻テーブルＴＬ１には、バーコードカメラＢＣＡ１，ＢＣＡ２，ＢＣＡ３，ＢＣＡ４，ＢＣＡ５のそれぞれに対し、各バーコードカメラＢＣＡによって時系列に読み込まれたバーコードＩＤの一覧が記憶される。例えば、読取時刻「１０：１０：３０」にバーコードＩＤ「ＡＡＢＢＢ１２３」、読取時刻「１０：１０：３３」にバーコードＩＤ「ＤＤＢＢＢ１２３」が登録される。

ここで、図３の説明に戻る。

図３において、端末装置４は、荷物追跡システム１の全体動作を制御するコンピュータ装置であり、プロセッサ４１、メモリ４２、通信部４３、ハードディスク４４、表示制御部４５等を有する。プロセッサ４１は、端末装置４の各部を制御する。

メモリ４２は、プロセッサ４１によって実行される、荷物の搬送制御プログラムを格納する。また、メモリ４２は、読取時刻テーブルＴＬ１等のデータを一時的に記憶する。ハードディスク４４は、各種データを保存するストレージメモリである。

表示制御部４５は、端末装置４に接続された表示装置５の表示を制御する。通信部４３は、複数のバーコードカメラＢＣＡ１，ＢＣＡ２，ＢＣＡ３，ＢＣＡ４，ＢＣＡ５、全方位カメラＣＡ１，ＣＡ２，ＣＡ３，ＣＡ４，ＣＡ５、物品管理装置６、映像記録装置３等と接続され、これらの間でデータ通信を行う。

図７は、表示装置５に表示される、バーコードカメラＢＣＡ及び全方位カメラＣＡによって撮像された撮像画像を含む画面５ｚの表示例を示す図である。図７では、表示装置５の画面５ｚは９分割されている。なお、画面の分割数は、６分割、３分割等、任意の数でよい。

画面５ｚを構成する、上位３つの分割画面を左側から分割画面５ｚ−１，５ｚ−２，５ｚ−３という。同様に、中位３つの分割画面を左側から分割画面５ｚ−４，５ｚ−５，５ｚ−６という。同様に、下位３つの分割画面を左側から分割画面５ｚ−７，５ｚ−８，５ｚ−９という。

下位３つの分割画面５ｚ−７，５ｚ−８，５ｚ−９には、それぞれ全方位カメラＣＡ１，ＣＡ２，ＣＡ３で撮像された、各既定エリアＡＲＥの全方位画像（周辺画像ｉｇａ）が表示される。また、中位３つの分割画面５ｚ−４，５ｚ−５，５ｚ−６には、バーコードカメラＢＣＡ１，ＢＣＡ２，ＢＣＡ３がそれぞれ広角で撮像した、ベルトコンベアで搬送される荷物ｇｓを含む、既定エリアを撮像した画像（周辺画像ｉｇｂ）が表示される。分割画面５ｚ−４，５ｚ−５では、ベルトコンベア１００によって荷物が搬送される場合、荷物に貼られたバーコードＢＣＬが読み取り可能である。なお、分割画面５ｚ−６には、ベルトコンベア１００によって搬送される荷物に貼られたバーコードＢＣＬが存在しない。

また、上位３つの分割画面５ｚ−１，５ｚ−２，５ｚ−３には、バーコードカメラＢＣＡ１，ＢＣＡ２，ＢＣＡ３がそれぞれ狭角で撮像した、荷物ｇｓに貼られたバーコードＢＣＬ周りの画像が表示される。但し、分割画面５ｚ−３には、荷物ｇｓにバーコードＢＣＬが貼り付けられていないので、何も表示されない。なお、何も表示しない代わりに、バーコード無しを表す代用画像、メッセージやマーク等が表示されてもよい。

また、表示装置５の画面５ｚにおいて、縦（列）方向の３つの分割画面は、それぞれ各監視ポイントＷＰに配置された各カメラペアに対応している。例えば分割画面５ｚ−１，５ｚ−４，５ｚ−７は、ベルトコンベア１００の上流側の監視ポイントＷＰ１に配置されたカメラペア７、つまりバーコードカメラＢＣＡ１及び全方位カメラＣＡ１によって撮像される撮像画像が表示される。同様に、分割画面５ｚ−２，５ｚ−５，５ｚ−８は、ベルトコンベア１００の中流側の監視ポイントＷＰ２に配置されたカメラペア８、つまりバーコードカメラＢＣＡ２及び全方位カメラＣＡ２によって撮像される撮像画像が表示される。同様に、分割画面５ｚ−３，５ｚ−６，５ｚ−９は、ベルトコンベア１００の下流側の監視ポイントＷＰ３に配置されたカメラペア９、つまりバーコードカメラＢＣＡ３及び全方位カメラＣＡ３によって撮像される撮像画像が表示される。

このように、表示装置の画面５ｚに配置される、縦（列）方向の３つの撮像画像は、同一の監視ポイントＷＰにおけるカメラペアで撮像される画像であるので、ユーザにとって、各監視ポイントＷＰにおける撮像画像が見易くなり直感的に判別し易くなる。

また、監視ポイントＷＰ１，ＷＰ２，ＷＰ３，ＷＰ４，ＷＰ５におけるカメラペア７，８，９，１０，１１の中から、例えば、ユーザがあるカメラペアを指定すると、指定されたカメラペアによる撮像画像が画面５ｚの中央列の分割画面５ｚ−２，５ｚ−５，５ｚ−８に表示される。その左列の分割画面５ｚ−１，５ｚ−４，５ｚ−７には、指定されたカメラペアよりも１つ上流に配置されたカメラペアによる撮像画像が配置される。同様に、右列の分割画面５ｚ−３，５ｚ−６，５ｚ−９には、指定されたカメラペアよりも１つ下流に配置されたカメラペアによる撮像画像が配置される。

このように、表示装置５の画面５ｚにおいて、縦方向に並ぶ分割画面を、ベルトコンベア１００に配置されたカメラペアと対応付けることで、ユーザは分割画面に映し出された、カメラペアで撮像された画像を直感的に判別し易くなり視認もし易くなる。

図８は、表示装置５に表示される、履歴リストｈｓｔと、バーコードカメラＢＣＡ及び全方位カメラＣＡによって撮像された撮像画像とを含む画面５ｙの表示例を示す図である。表示装置５の画面５ｙは、左画面５ｙ１，右画面５ｙ２に２分割される。右画面５ｙ２には、前述した図７の画面と同様、９分割された分割画面５ｙ２−１，５ｙ２−２，５ｙ２−３，５ｙ２−４，５ｙ２−５，５ｙ２−６，５ｙ２−７，５ｙ２−８，５ｙ２−９が表示される。

一方、左画面５ｙ１には、バーコードＩＤを検知した履歴リストｈｓｔが表示される。この履歴リストｈｓｔには、ユーザの入力操作によって入力されたバーコードＩＤの検知情報の履歴が登録される。バーコードＩＤの検知情報として、時刻情報、領域識別ＩＤ（エリア識別情報）、カメラ位置識別ＩＤ（場所識別情報）、責任担当識別ＩＤ（担当者識別情報）が表示される。これらの検知情報が表示されることで、バーコードＩＤが貼り付けられた荷物ｇｓの探索（例えば、どの既定エリアに荷物ｇｓが存在しているか、どのカメラペアの設置場所に荷物ｇｓが存在しているか）が容易になる。また、バーコードＩＤが貼り付けられた荷物ｇｓを取り扱った担当者の責任の有無等の所在を明らかにすることができる。

また、ユーザが履歴リストｈｓｔに登録されている、コラム（図中、点線枠ｅ）をクリック等の選択を行うと、そのコラムに対応する撮像画像が右画面５ｙ２に表示される。右画面５ｙ２には、全方位カメラＣＡで撮像された全方位画像（周辺画像ｉｇａ）、バーコードカメラＢＣＡが広角で撮像した画像（周辺画像ｉｇｂ）が、それぞれ右画面５ｙ２を構成する分割画面として表示される。その他の分割画面には、様々な画像を表示可能である。例えば、選択されたコラムに対応するカメラペアと隣り合ったカメラペアで撮像された撮像画像が表示されてよい。

上記構成を有する荷物追跡システム１の動作を詳細に説明する。

（荷物の紛失）
始めに、物流倉庫ＷＡから出荷される荷物ｇｓが誤配送等により紛失した場合を説明する。例えば、荷物ｇｓがベルトコンベア１００の本流ラインの監視ポイントＷＰ１→監視ポイントＷＰ２→監視ポイントＷＰ３の順に搬送され、作業員ｐ１によりトラックＴＲ１に積載されて配送されるという正解ルートから外れて誤配送されたケースを説明する。

図９は、荷物追跡システム１における紛失した荷物の検知動作手順の一例を詳細に説明するフローチャートである。作業員、管理者等のユーザが操作部４６を用いて、例えば紛失した荷物のバーコードＩＤを入力すると、端末装置４は、このバーコードＩＤを取得してメモリ４２に一時的に記憶する（Ｓ１１）。

端末装置４は、物品管理装置６に保存されている画像データベースに対し、入力されたバーコードＩＤに対応付けられる各種の画像（つまり、バーコードＩＤに対応するバーコードが貼り付けられた荷物が全方位カメラやバーコードカメラにより撮像されたそれぞれの画像）を検索する（Ｓ１２）。

画像検索の結果、端末装置４は、該当するバーコードＩＤに対応付けて物品管理装置６に保存されている周辺画像及びその時刻情報（具体的には、バーコードＩＤの読取時刻、周辺画像の撮像時刻）を取得する。端末装置４は、バーコードＩＤに対応付けられた取得済みの各種データ（周辺画像、バーコードＩＤの読取時刻、周辺画像の撮像時刻）を基に、バーコードＩＤが分岐点ＴＰ２で支流ラインに振り分けられる（分岐される）前、つまり、カット前の監視ポイントＷＰ２でバーコードカメラＢＣＡ２によってこのバーコードＩＤが検知されていたことを確認する（Ｓ１３）。

また、端末装置４は、バーコードＩＤに対応付けられた取得済みの各種データ（周辺画像、バーコードＩＤの読取時刻、周辺画像の撮像時刻）を基に、このバーコードＩＤが本流ライン（ルート）の監視ポイントＷＰ３においてバーコードカメラＢＣＡ３によって未検知であったことを確認する（Ｓ１４）。

更に、端末装置４は、バーコードＩＤに対応付けられた取得済みの各種データ（周辺画像、バーコードＩＤの読取時刻、周辺画像の撮像時刻）を基に、監視ポイントＷＰ５においてこのバーコードＩＤが検知されていたことを確認する（Ｓ１５）。

端末装置４は、ステップＳ１３〜ステップＳ１５において確認した情報を基に、物品管理装置６で管理されているバーコードＩＤの搬出口が監視ポイントＷＰ３で監査される搬出口ＤＰ１であるべきところ、実際には監視ポイントＷＰ５で監査される搬出口ＤＰ２であり、結果的に荷物ｇｓが誤ったルートで搬送されていたと判断する。

端末装置４は、監視ポイントＷＰ５に配置された全方位カメラＣＡ５、及び分岐点ＴＰ２の前後にある監視ポイントＷＰ２，ＷＰ３にそれぞれ配置された全方位カメラＣＡ２，ＣＡ３による全方位画像、つまりカット前後の全方位画像を再生し、搬送時に誤りが発生した画像（周辺画像ｉｇａ）を取得する（Ｓ１６）。なお、端末装置４は、ステップＳ１６において取得した画像（周辺画像ｉｇａ）を表示装置５に出力して再生表示してよい。

この場合、搬送時の誤りが発生した画像として、例えば、作業員ｐ３がベルトコンベア１００に載っている荷物を誤ってベルトコンベア１２０に移し替えた様子が映っている画像が挙げられる。なお、この画像は静止画であってもよいし、作業員による移し替えが分かる程度の短い時間の動画であってもよい。

一方、各監視ポイントＷＰ１〜ＷＰ５で撮像された画像に映っている荷物の搬送ルートが正しい場合、荷物が誤配送される原因として、搬出口から荷物が載せ替えられた台車が誤っている、台車から荷物を載せ替えるトラックが間違っていることも想定される。また、搬出口から直接にトラックの荷台に載せ替える段階では、積載するトラックが間違っていることも想定される。

端末装置４は、搬送時の誤りが発生した画像を証拠画像としてハードディスク４４に保存する（Ｓ１７）。この後、端末装置４は本動作を終了する。

これにより、管理者等のユーザが、端末装置４のハードディスク４４に保存された証拠画像を確認することで、誤配送が発生した原因究明を速やかに行うことができる。なお、ここでは、周辺画像は、全方位カメラＣＡで撮像された全方位画像（魚眼画像）、バーコードカメラＢＣＡによって、ベルトコンベア等を含むように広角で撮像された画像の両方であったが、いずれか一方であってもよい。

なお、上記処理は、作業員、管理者等のユーザが荷物の紛失に気付き、操作部４６に対し、例えば紛失した荷物のバーコードＩＤを入力したことを契機（トリガ）として、実行された。但し、ユーザが荷物の紛失に気付いていない場合、端末装置４は、紛失の可能性があることを促す表示を行ってもよい。

例えば、ベルトコンベアで搬送される荷物のバーコードが読み取られてから、所定時間経っても、次のバーコードカメラＢＣＡによってバーコードが読み取られない場合、途中で荷物が紛失した可能性が高い。この場合、端末装置４は、直前にバーコードが読み取られた読取時刻の時刻情報に対応付けられた周辺画像ｉｇａ，ｉｇｂを、警告情報とともに表示装置５に表示させる。なお、警告情報は、メッセージでもよいし、特定のマークであってもよい。

ユーザは、周辺画像とともに表示された警告情報を見ることで、速やかに荷物の紛失に気付くことができる。この後、ユーザは、操作部４６に対し、警告のあった荷物のバーコードＩＤを入力する等、前述と同様の対処を行う。これにより、荷物の紛失時における迅速な対応が可能となる。

また、上記処理では、ユーザが入力することを契機に実行されたが、ユーザの入力を待つことなく、例えば、ベルトコンベアで搬送される荷物のバーコードが読み取られてから、所定時間経っても、次のバーコードカメラＢＣＡによってバーコードが読み取られない場合、荷物の紛失の可能性が高いとして、自動的に実行してよい。この場合、ユーザは、搬送時に誤りがあった画像を見ることで、紛失の事実とその原因究明を同時に把握することができる。

（荷物の破損）
次に、物流倉庫ＷＡから出荷される荷物ｇｓが破損した場合を説明する。ここでは、荷物の搬入時から搬出時に至る途中の過程で荷物の外形が変わってしまい、荷物が破損したケースを説明する。

図１０（Ａ）及び図１０（Ｂ）は、荷物ｇｓのサイズ測定を説明する図である。図１０（Ａ）に示すように、バーコードカメラＢＣＡは、可視光が荷物ｇｓにより反射されてイメージセンサ２１により撮像されて得た通常のキャプチャ画像（つまり、可視光に基づく撮像画像）を取得する。

更に、バーコードカメラＢＣＡは、荷物ｇｓに向けてＬＤ２７からレーザ光（例えば近赤外光）を照射する。バーコードカメラＢＣＡは、荷物ｇｓにより反射したレーザ光の反射光がレンズ２２を介して入射されてかつイメージセンサ２１により撮像されて、レーザ光の照射に基づく荷物ｇｓの距離画像を生成する。また、バーコードカメラＢＣＡは、ＬＤ２７からレーザ光を照射する際、周知のＴＯＦ（Time of Flight）技術を用いて荷物ｇｓの外形の各所までの距離を測定する。

なお、バーコードカメラＢＣＡは、ＬＤ２７の照射の有無を時分割に切り替えるものとし、可視光に基づく撮像画像を撮像する時にはＬＤ２７の照射を行わないように制御し、一方、ＬＤ２７を照射して距離画像を撮像する時には可視光の反射光成分をカットできるように制御するための可視光カットフィルタ（不図示）を、イメージセンサ２１の前面側（つまり、反射光の入射方向の側）に配置するように制御することが好ましい。これにより、バーコードカメラＢＣＡは、可視光に基づく撮像画像や距離画像の画質をともに向上できる。

図１０（Ｂ）に示すように、バーコードカメラＢＣＡは、距離情報を基に、荷物ｇｓの外形を表す立体形状の画像（距離画像）を取得する。バーコードカメラＢＣＡで取得された距離画像（３次元画像）は、物品管理装置６の画像データベースに保存される。また、バーコードカメラＢＣＡは、イメージセンサ２１によって荷物ｇｓの２次元画像（ＲＧＢ画像）を撮像し、上記３次元画像と紐付けて物品管理装置６の画像データベースに保存する。

端末装置４は、物品管理装置６の画像データベースに保存された３次元画像を読み出し、バーコードカメラＢＣＡによって取得された３次元画像から荷物の破損の有無を判定する。

なお、バーコードカメラＢＣＡは、ＬＤ２７がベルトコンベア１００で搬送される荷物ｇｓに対して斜め方向からレーザ光を投射可能なように、傾いた状態で配置される。これにより、荷物の外形を表す距離情報が得られ易い。

このように、バーコードカメラＢＣＡは、イメージセンサ２１により荷物を撮像して荷物画像を取得し、また、ＬＤ２７により荷物の外形までの距離を測定して距離情報を取得する。

端末装置４は、バーコードカメラＢＣＡから荷物画像及び距離情報を受けると、この距離情報に基づく３次元画像（距離画像）及び荷物画像を表示装置５に表示する。更に、端末装置４は、距離情報に基づき、荷物のサイズを決定する。表示装置５の画面５ｚには、グラフィカルユーザインタフェース（ＧＵＩ）２００が表示される。このＧＵＩ２００には、荷物画像ＧＺ１、距離画像ＧＺ２、サイズ計測テーブルＴＬ２が配置される。

サイズ計測テーブルＴＬ２には、荷物ｇｓの３辺（長辺、短辺、高さ）の長さを含む各種の計測値が登録されている。図１０では、３辺の合計６０３ｍｍ、長辺２７２ｍｍ、短辺２００ｍｍ、高さ１３０ｍｍの計測値、及びこれらの誤差から、荷物ｇｓのサイズは、３辺の合計６００．００ｍｍ、長辺２７０ｍｍ、短辺２００ｍｍ、高さ１３０ｍｍであり、荷物ｇｓに破損が発生していないと判断される。また、荷物ｇｓのサイズを決定する処理時間は、２２３．５９ｍｓｅｃである。

図１１は、荷物追跡システム１における破損した荷物の検知動作手順の一例を詳細に説明するフローチャートである。ここでは、本流ラインであるベルトコンベア１００において、監視ポイントＷＰ１，ＷＰ２の間で荷物ｇｓが破損したケースを説明する。

作業員がバーコードリーダＢＲを用いて破損した荷物ｇｓのバーコードＢＣＬを読み取ると、端末装置４は、破損した荷物ｇｓのバーコードＩＤを確認し、メモリ４２に記憶する（Ｓ２１）。ここでは、破損した荷物ｇｓのバーコードＢＣＬの読み取りは、作業者等のユーザが行っている。但し、端末装置４は、バーコードカメラＢＣＡに荷物ｇｓの距離情報を読み取らせてその距離情報を取得し、予め入力されている荷物ｇｓのサイズの計測値との比較を行った結果、荷物ｇｓが破損しているか否かを自動的に判断し、その荷物ｇｓが破損していると判断した場合に、バーコードカメラＢＣＡにバーコードＢＣＬを読み取らせて取得するようにしてよい。

端末装置４は、バーコードＩＤを基に、物品管理装置６の画像データベースに保存されている、バーコードカメラＢＣＡで撮像された荷物ｇｓの距離画像を検索する（Ｓ２２）。

端末装置４は、バーコードカメラＢＣＡ１で撮像された距離画像から得られる荷物ｇｓの立体形状と、バーコードカメラＢＣＡ２，ＢＣＡ４で撮像された距離画像から得られる荷物ｇｓの立体形状とを比較する（Ｓ２３）。端末装置４は、荷物ｇｓの外観（立体形状）の変化が検知されたバーコードカメラを特定する（Ｓ２４）。ここでは、バーコードカメラＢＣＡ２によって得られる荷物ｇｓの立体形状に変化が検知された場合を想定する。

端末装置４は、バーコードカメラＢＣＡ２による立体形状の変化を検知すると、監視ポイントＷＰ１，ＷＰ２にそれぞれ配置された全方位カメラＣＡ１，ＣＡ２で撮像された、荷物ｇｓの通過時点前後の全方位画像を確認し、破損原因となった全方位画像（破損原因画像）を取得する（Ｓ２５）。破損原因画像は、荷物ｇｓがベルトコンベア１００から落下する、作業員が荷物をぶつけた等、何らかの破損原因が映っている画像である。なお、ここでは、全方位カメラＣＡが撮像した全方位画像で破損原因画像を確認したが、バーコードカメラＢＣＡが広角で撮像した画像で破損原因画像を確認してよい。

端末装置４は、バーコードカメラＢＣＡで読み取られたバーコードＩＤ、時刻情報、距離情報に基づく立体形状を表す画像（距離画像）、及び全方位カメラＣＡで撮像された破損原因画像を、証拠画像としてハードディスク４４に保存する（Ｓ２６）。証拠映像として保存される、破損原因画像には、フラグを付加することでマーキングしておいてもよく、破損原因画像を検索する際に有効である。また、距離画像と破損原因画像とを見比べることで、より深い原因究明を行うことができる。この後、端末装置４は本動作を終了する。

これにより、作業員、管理者等のユーザは、荷物ｇｓが破損した原因究明を速やかに行うことができる。なお、ここでは、端末装置４が破損原因画像を探索する処理を行ったが、バーコードカメラＢＣＡが、撮像画像と距離画像とを用いて、カメラ自身で判断するように構成することも可能であり、端末装置４の処理の負荷を軽減できる。

（ジャミング検知）
図１２（Ａ）及び図１２（Ｂ）は、ジャミングの検知例を説明する図である。図１２（Ａ）は、ベルトコンベア２１０のコーナー付近で発生したジャミングの検知例を示す図である。ベルトコンベア２１０は、略直角に曲がるコーナーを持つ。このコーナーで、大きな荷物ｇｓ１１が詰まっている場合を想定する。

この場合、ベルトコンベア２１０に積載されている荷物を長い距離に亘って撮像するバーコードカメラＢＣＡ１１によって、搬送される荷物ｇｓ１１が検知される。荷物ｇｓ１１がコーナーに着くと、バーコードカメラＢＣＡ１２によって荷物ｇｓ１１が撮像され、荷物ｇｓ１１の到着が検知される。

大きな荷物ｇｓ１１がコーナーを曲がりきれず、滞留している場合、つまりジャミング（ジャム）が発生している場合、バーコードカメラＢＣＡ１２は、時間が経過しても同じ荷物ｇｓ１１を検知し続けることになる。また、その下流に配置されているバーコードカメラＢＣＡ１３は、荷物ｇｓ１１がコーナーで留まっていることにより、待ち続けても荷物ｇｓを検知することはできない。

このように、本実施形態の荷物追跡システム１では、バーコードカメラＢＣＡ１２が荷物ｇｓ１１を検知し続ける、あるいはバーコードカメラＢＣＡ１３が一定時間待っても荷物ｇｓを検知しない場合、荷物ｇｓの滞留を検知すること（ジャミング検知）が可能である。また、ジャミング検知が行われた場合、バーコードカメラＢＣＡが広角で撮像画像を行う、あるいは全方位カメラＣＡで全方位画像をジャミング検知画像として撮像する。端末装置４は、これらのジャミング検知画像を取得し、バーコードＩＤ、時刻情報、ジャミング検知画像を物品管理装置６の画像データベースに保存しておくことで、ジャミングが発生した場合の原因究明に役立たせることができる。また、端末装置４は、ジャミング検知が行われた場合、その読取時刻における周辺画像とともに、ジャミング（ジャム）が発生した箇所として、カメラペアが設置された監視ポイントＷＰの位置を表す位置識別情報を、表示装置５に表示する。また、端末装置４は、警告情報を付加して周辺画像を表示する。これにより、ユーザは、ジャミング（ジャム）が発生した箇所を速やかに知ることができる。

図１２（Ｂ）は、ベルトコンベア２２０のカーブ付近で発生したジャミングの検知例を示す図である。ベルトコンベア２２０は、所定の曲率で曲がるカーブを持つ。このカーブで、複数の小さな荷物ｇｓが詰まっている場合を想定する。

カーブで複数の荷物ｇｓが詰まっている場合、バーコードカメラＢＣＡ１５で読み取られるバーコードＩＤは、何回も読み取られることになる。同じバーコードＩＤが所定回数読み取られると、端末装置４は、ジャムが検知されたと判断する。また、バーコードカメラＢＣＡ１５の画角に、複数の荷物が滞留している場合、同一の読取時刻に複数のバーコードが検知されることになり、同一の読取時刻（時刻情報）を持つ複数の荷物が所定数以上となった場合、端末装置４は、ジャムが検知されたと判断する。これにより、ジャミング検知が早期に行える。

カーブでジャミング検知が行われた場合、コーナーの場合と同様、バーコードカメラＢＣＡが広角で画像を撮像する、あるいは全方位カメラＣＡが全方位画像を撮像する。端末装置４は、これらのジャミング検知画像を取得し、バーコードＩＤ、時刻情報、ジャミング検知画像を物品管理装置６の画像データベースに保存しておくことで、ジャミングが発生した場合の原因究明に役立たせることができる。また、端末装置４は、ジャミング検知が行われた場合、その読取時刻における周辺画像とともに、ジャミング（ジャム）が発生した箇所として、カメラペアが設置された監視ポイントＷＰの位置を表す位置識別情報を、表示装置５に表示する。また、端末装置４は、警告情報を付加して周辺画像を表示する。これにより、ユーザは、ジャミング（ジャム）が発生した箇所を速やかに知ることができる。

以上により、本実施形態の荷物追跡システム１では、複数の全方位カメラＣＡは、少なくとも一つの荷物ｇｓを搬送するベルトコンベア１００，１１０，１２０が配設された物流倉庫ＷＡ内の異なる既定エリアＡＲＥをそれぞれ撮像する。バーコードカメラＢＣＡ（リーダ）は、荷物ｇｓに貼り付けられた（付された）バーコードＢＣＬを読み取り、バーコードＩＤ（荷物識別情報の読取結果）とその読取時刻とを取得する。映像記録装置３は、全方位カメラＣＡにより撮像された既定エリアＡＲＥの周辺画像ｉｇａとその撮像時刻と、バーコードカメラＢＣＡにより取得されたバーコードＩＤとその読取時刻とを対応付けて記録する。端末装置４は、例えばユーザの操作に基づくバーコードＩＤの選択に応じて、選択されたバーコードＩＤの読取時刻に対応付けられた、少なくとも一つの全方位カメラＣＡにより撮像された既定エリアＡＲＥの周辺画像ｉｇａを表示装置５に表示する。

これにより、荷物追跡システム１は、物流の荷物の配送において、バーコードＩＤが貼り付けられた荷物ｇｓの紛失又は破損等のトラブルがあった場合でも、そのバーコードＩＤに対応付けられた、既定エリアＡＲＥの全方位カメラにより撮像された周辺画像及び撮像時刻、更にはバーコードＩＤの読取時刻の一覧（履歴）が表示装置５において示されるので、ユーザ（例えばトラブル対応担当者）によるトラブルの原因究明を効率化でき、ユーザの使い勝手を向上することができる。

また、バーコードカメラＢＣＡが所定時間にバーコードＢＣＬを読み取れなかった場合、端末装置４は、直前に読み取られたバーコードＢＣＬの読取時刻に対応する周辺画像ｉｇａとともに、警告情報を表示する。

これにより、ユーザは、周辺画像とともに表示された警告情報を見ることで、速やかに荷物の紛失に気付くことができる。

また、複数の全方位カメラＣＡと複数のバーコードカメラＢＣＡとは、それぞれカメラペア（ペア）で複数の既定エリアＡＲＥに設置される。端末装置４は、既定エリアＡＲＥを識別するエリア識別ＩＤと、ペアを構成する全方位カメラ及びバーコードカメラの設置場所を識別する場所識別ＩＤと、この設置場所における荷物の取扱（例えば搬送のチェック、台車への載せ替え等）を担当する取扱担当者を識別する担当者識別ＩＤと、の少なくとも１つをバーコードＩＤに対応付けて、周辺画像とともに表示装置５に表示し、更に、バーコードＩＤ及び周辺画像に対応付けて映像記録装置３に記録する。

これにより、荷物追跡システム１は、バーコードＩＤが貼り付けられた荷物ｇｓの探索（例えば、どの既定エリアに荷物ｇｓが存在しているか、どのカメラペアの設置場所に荷物ｇｓが存在しているか）が容易になる。また、荷物追跡システム１は、バーコードＩＤが貼り付けられた荷物ｇｓを取り扱った担当者の責任の有無等の所在を明らかにすることができる。

また、同一の既定エリアＡＲＥにおいて、バーコードＢＣＬの読取時刻が同一である荷物ｇｓが所定数以上ある場合、端末装置４は、読取時刻における周辺画像ｉｇａをカメラ位置識別ＩＤとともに表示装置５に表示する。

これにより、荷物追跡システム１は、既定エリアＡＲＥの一部の場所で複数の荷物が滞留した状況（つまり、ジャムの発生）の検知（いわゆる、ジャミング検知）を早期に行える。

また、バーコードカメラＢＣＡは、荷物ｇｓの外形を表す距離情報を取得する。端末装置４は、バーコードカメラＢＣＡによって取得された距離情報に基づく距離画像ＧＺ２（立体形状の画像）を破損原因画像（周辺画像）とともに表示装置５に表示する。

これにより、荷物追跡システム１は、荷物ｇｓの破損の程度と破損原因とを見比べることができ、ユーザの原因究明をより深く行うことが可能である。

また、端末装置４は、荷物ｇｓの立体形状の画像を基に、荷物の破損の有無を判断する。映像記録装置３は、荷物ｇｓの破損があった場合、荷物の破損があることを示す情報を全方位カメラにより撮像された周辺画像と対応付けて付与し、その周辺画像を破損原因画像として記録する。

これにより、作業員、管理者等のユーザは、荷物ｇｓが破損した原因究明を速やかに行うことができる。

また、バーコードカメラＢＣＡでは、イメージセンサ２１は、少なくとも一つの荷物ｇｓを搬送するベルトコンベア１００が配設された物流倉庫ＷＡ内の既定エリアＡＲＥを撮像する。検知部としての信号処理部３０は、イメージセンサ２１により撮像された既定エリアＡＲＥの周辺画像ｉｇｂを基に、既定エリアＡＲＥに現れる荷物ｇｓに貼り付けられた（付された）バーコードＢＣＬを検知する。読取部としての信号処理部３０は、検知されたバーコードＢＣＬを読み取る。出力部としての通信部３１は、読み取られたバーコードＢＣＬのバーコードＩＤ（つまり、荷物識別情報の読取結果）を、バーコードカメラＢＣＡに接続された各種の外部機器に出力する。

従来、物流において、荷物が付されたバーコードを読み取るバーコードリーダと、監視カメラとは別々の装置であった。つまり、バーコードリーダが周辺画像を撮像するものは無かった。これに対し、本実施形態のバーコードカメラＢＣＡは、既定エリアＡＲＥの周辺画像を広角で撮像可能である。これにより、全方位カメラＣＡを用いなくても、バーコードカメラＢＣＡ単体で、バーコードＢＣＬの読み取りと周辺画像の撮像とが可能となる。従って、ユーザの使い勝手が向上する。また、低コストで荷物追跡システムを構築することができる。

また、イメージセンサ２１は、レンズ２２を広角レンズと狭角レンズとに切り替えて撮像可能であり、ベルトコンベア１００で搬送される荷物ｇｓの周囲を広角レンズで撮像し、荷物ｇｓに貼り付けられたバーコードＢＣＬを狭角レンズで撮像する。

このように、イメージセンサ２１によって撮像される画像の画角を広角あるいは狭角に切り替えることが可能であり、バーコードカメラＢＣＡの部品点数を削減しコンパクト化を図ることができる

また、通信部３１は、読取時の時刻情報を付加してバーコードＩＤを出力する。

これにより、荷物ｇｓに貼り付けられたバーコードＢＣＬのバーコードＩＤを時系列に記録した履歴リストｈｓｔを作成できる。

また、バーコードカメラＢＣＡは、バーコードＢＣＬの読み取りが成功した場合、例えばバーコードＢＣＬの読み取り成功を表す「ピッ！」の音（音情報）をスピーカ３３から出力し、バーコードＢＣＬの読み取りが失敗した場合、例えばバーコードＢＣＬの読み取り失敗を表す「ブー」の音（音情報）を出力する。

これにより、作業員等のユーザは、バーコードＢＣＬの読み取りの成否をすぐに知ることができる。

また、イメージセンサ２１で撮像される周辺画像ｉｇｂに、所定数以上のバーコードＩＤが含まれる場合、バーコードカメラＢＣＡは、警告情報を付加して周辺画像ｉｇｂを出力する。

これにより、ユーザは、周辺画像とともに表示された警告情報を見ることで、速やかにジャミング検知に気付くことができる。従って、ジャミング検知時における迅速な対応が可能となる。

以上、図面を参照しながら実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、荷物をベルトコンベアにより搬送する場合を示したが、ローラコンベア、チェーンコンベア等で荷物を搬送することも可能であり、荷物を搬送可能である限り、特にコンベアの種類は限定されない。

本発明は、荷物の配送において、荷物識別情報が付された荷物の紛失又は破損等のトラブルがあった場合でも、その原因究明を効率化し、ユーザの使い勝手を向上する荷物追跡システム及び荷物追跡方法として有用である。

１ 荷物追跡システム
２ 入荷情報管理装置
３ 映像記録装置
４ 端末装置
５ 表示装置
６ 物品管理装置
７，８，９，１０，１１ カメラペア
２１ イメージセンサ
２２ レンズ
２４ センサ駆動部
２６ 温度センサ
２７ レーザダイオード（ＬＤ）
２８ ＬＤ駆動部
２９ 拡散板
３０ 信号処理部
３１ 通信部
３３ スピーカ
４１ プロセッサ
４２ メモリ
４３ 通信部
４４ ハードディスク
４５ 表示制御部
４６ 操作部
１００，１１０，１２０，２１０，２２０ ベルトコンベア
１５０ 立体倉庫（ストッカ）
ＢＣＡ，ＢＣＡ１〜ＢＣＡ５ バーコードカメラ
ＢＲ１〜ＢＲ３ バーコードリーダ
ＣＡ１〜ＣＡ５ 全方位カメラ

Claims (7)

1. 少なくとも一つの荷物を搬送するコンベアが配設された荷物搬送エリア内の異なる既定エリアをそれぞれ撮像する複数の監視カメラと、
   前記荷物に付された荷物識別情報を読み取り、前記荷物識別情報の読取結果とその読取時刻とを取得するリーダと、
   前記監視カメラにより撮像された前記既定エリアの周辺画像とその撮像時刻と、前記リーダにより取得された前記荷物識別情報の読取結果とその読取時刻と、を対応付けて記録するレコーダと、
   前記荷物識別情報の選択に応じて、選択された前記荷物識別情報の読取時刻に対応付けられた、少なくとも一つの前記監視カメラにより撮像された前記既定エリアの周辺画像をモニタに表示する端末装置と、を備える、
   荷物追跡システム。
2. 請求項１に記載の荷物追跡システムであって、
   前記リーダが所定時間に前記荷物識別情報を読み取れなかった場合、前記端末装置は、直前に読み取られた前記荷物識別情報の読取時刻に対応付けられた前記周辺画像とともに、警告情報を前記モニタに表示する、
   荷物追跡システム。
3. 請求項１に記載の荷物追跡システムであって、
   前記リーダは、複数の前記監視カメラのうちいずれか１つとペアを構成するように前記既定エリアに複数設置され、
   前記端末装置は、前記既定エリアを識別するエリア識別情報と、前記ペアを構成する監視カメラ及びリーダの設置場所を識別する場所識別情報と、前記設置場所における荷物の取扱担当者を識別する担当者識別情報とのうち少なくとも１つを、前記周辺画像とともに前記モニタに表示し、前記周辺画像に対応付けて前記レコーダに記録する、
   荷物追跡システム。
4. 請求項３に記載の荷物追跡システムであって、
   前記既定エリアにおいて、前記荷物識別情報の読取時刻が同一である荷物が所定数以上ある場合に、前記端末装置は、その読取時刻に対応付けられた前記周辺画像を前記場所識別情報とともに前記モニタに表示する、
   荷物追跡システム。
5. 請求項１に記載の荷物追跡システムであって、
   前記リーダは、前記荷物の外形を示す距離情報を取得し、
   前記端末装置は、前記リーダによって取得された前記距離情報に基づく立体形状の画像を前記周辺画像とともに前記モニタに表示し、前記周辺画像に対応付けて前記レコーダに記録する、
   荷物追跡システム。
6. 請求項５に記載の荷物追跡システムであって、
   前記端末装置は、前記立体形状の画像を基に、前記荷物の破損の有無を判断し、
   前記レコーダは、前記荷物の破損があった場合に、前記荷物の破損があることを示す情報を前記周辺画像と対応付けて記録する、
   荷物追跡システム。
7. 少なくとも一つの荷物を搬送するコンベアが配設された荷物搬送エリアに配置される複数の監視カメラと、リーダと、レコーダと、端末装置とを備えた荷物追跡システムにおける荷物追跡方法であって、
   前記監視カメラは、前記荷物搬送エリア内の異なる既定エリアをそれぞれ撮像し、
   前記リーダは、前記荷物に付された荷物識別情報を読み取り、前記荷物識別情報の読取結果とその読取時刻とを取得し、
   前記レコーダは、前記監視カメラにより撮像された前記既定エリアの周辺画像とその撮像時刻と、前記リーダにより取得された前記荷物識別情報の読取結果とその読取時刻と、を対応付けて記録し、
   前記端末装置は、前記荷物識別情報の選択に応じて、選択された前記荷物識別情報の読取時刻に対応付けられた、少なくとも一つの前記監視カメラにより撮像された前記既定エリアの周辺画像をモニタに表示する、
   荷物追跡方法。

Images