JP2017186106A - 配達支援装置、配達支援システム、及び配達支援プログラム - Google Patents

Abstract

【課題】精度よく配達対象物を追跡することができる配達支援装置、配達支援システム、及び配達支援プログラムを提供することである。【解決手段】実施形態の配達支援装置は、取得部と、管理部とを持つ。取得部は、主搬送経路から搬出されて特定領域に搬送される配達対象物を管理する上位装置から、前記配達対象物が前記特定領域に到達する時刻を導出可能な情報を取得すると共に、前記特定領域の前記配達対象物の流れに関する上流側に設けられ前記配達対象物の通過を検知するセンサの検知結果と、前記特定領域を撮像する撮像部により撮像された時系列画像とを取得する。管理部は、前記取得部により取得された時刻を導出可能な情報と前記センサの検知結果とに基づいて、前記撮像部により撮像された時系列画像に新たな配達対象物が出現することを検知すると共に、前記出現が検知された配達対象物を前記時系列画像において追跡して管理する。【選択図】図２

Description

本発明の実施形態は、配達支援装置、配達支援システム、及び配達支援プログラムに関する。

配達対象物を宛先に応じて区分する配達対象物区分システムにおいて、主搬送路から分岐して集積箇所に集積された配達対象物は、作業者により、宛先に応じた区分箇所（区分先）に運ばれる。集積箇所の配達対象物は、カメラにより撮像された画像に基づいて、追跡される。しかしながら、従来の技術では、作業者等が配達対象物として認識され、精度よく配達対象物を追跡することができない場合があった。

特開２０１０−１１３７３２号公報

本発明が解決しようとする課題は、精度よく配達対象物を追跡することができる配達支援装置、配達支援システム、及び配達支援プログラムを提供することである。

実施形態の配達支援装置は、取得部と、管理部とを持つ。取得部は、主搬送経路から搬出されて特定領域に搬送される配達対象物を管理する上位装置から、前記配達対象物が前記特定領域に到達する時刻を導出可能な情報を取得すると共に、前記特定領域の前記配達対象物の流れに関する上流側に設けられ前記配達対象物の通過を検知するセンサの検知結果と、前記特定領域を撮像する撮像部により撮像された時系列画像とを取得する。管理部は、前記取得部により取得された時刻を導出可能な情報と前記センサの検知結果とに基づいて、前記撮像部により撮像された時系列画像に新たな配達対象物が出現することを検知すると共に、前記出現が検知された配達対象物を前記時系列画像において追跡して管理する。

配達支援システム１の概要図。 支援装置５０を中心とした機能構成図。 画像認識部６０および処理部７０の機能の一例を示す図。 画像認識部６０により配達対象物Ｐが認識される一例を示す図。 支援装置５０により実行される識別処理の流れを示すフローチャート。 追跡開始前配達対象物データ９２の一例を示す図。 配達対象物Ｐが特定領域Ａに進入したときの様子を示す俯瞰図。 作業者Ｈが上流領域Ｕに存在するときの様子を示す俯瞰図。 追跡開始後配達対象物データ９４の一例を示す図。 支援装置５０により実行される追跡処理の流れを示すフローチャート。 配達対象物Ｐの追跡処理について説明するための図。 対象撮像フレームにおいて直前撮像フレームの配達対象物Ｐに対応付けることができなかった対象が存在する場面の一例を示す図。 区分台３０の俯瞰図。 対応情報９６の一例を示す図。

以下、実施形態の配達支援装置、配達支援システム、及び配達支援プログラムを、図面を参照して説明する。

（実施形態）
［全体の構成］
図１は、配達支援システム１の概要図である。配達支援システム１は、小包などの配達対象物Ｐを、宛先に応じた区分箇所に区分する際に、配達対象物Ｐを運搬する作業者を支援するシステムである。本実施形態の配達支援システム１は、副搬送路２０と、シュータ２８と、区分台３０と、カメラＣＭと、センサＳと、投影部ＰＪと、支援装置５０とを含んでよいが、これに限定されない。

配達支援システム１の副搬送路２０は、分岐機構１０４を含む主搬送路１０２に連結されている。主搬送路１０２は、例えば周回（循環）経路を形成する。主搬送路１０２は、例えば搬送ベルト、駆動プーリ、および駆動モータを含む。駆動プーリは、駆動モータの駆動により出力される駆動力により回転する。搬送ベルトは、駆動プーリの回転力により駆動されて配達対象物Ｐを搬送する。駆動モータは、上位装置１００の制御に基づいて、搬送ベルトに作用させる搬送力を制御する。駆動モータは、搬送ベルトを任意の速度および加速度で作動させる。

分岐機構１０４は、主搬送路１０２と副搬送路２０とが連結される付近に配置される。分岐機構１０４は、主搬送路１０２において搬送されている配達対象物Ｐを、副搬送路２０に搬出する。分岐機構１０４は、副搬送路２０の搬送方向に駆動される搬送ベルトを備える。この搬送ベルトが副搬送路２０に配達対象物Ｐを搬出する。

副搬送路２０は、分岐機構１０４により搬出された配達対象物Ｐをシュータ２８に搬送する。副搬送路２０は、搬送ベルトや、駆動プーリ、駆動モータを含む。搬送ベルトは、駆動プーリの回転力により動作して配達対象物Ｐを搬送する。駆動モータは、支援装置５０の制御に基づいて、搬送ベルトに作用させる搬送力を制御する。駆動モータは、搬送ベルトを任意の速度および加速度で搬送する。

副搬送路２０と、区分台３０との間にはシュータ２８が連結されている。シュータ２８は、支援装置５０によって制御される搬送ベルトや、駆動プーリ、駆動モータを含む。また、シュータ２８は、副搬送路２０から区分台３０に向けて勾配を有している。副搬送路２０を搬送される配達対象物Ｐはシュータ２８に到達すると、シュータ２８の搬送ベルトによって搬送されて区分台３０（集積箇所の一例）に移動する。区分台３０は、シュータ２８方向から来た配達対象物Ｐが、一時的に置かれる。作業者は、区分台３０に置かれた配達対象物Ｐを、区分先に応じたカゴ車Ｖに運搬する。

上位装置１００は、主搬送路１０２、および分岐機構１０４を制御する。また、上位装置１００は、主搬送路１０２に搬送されている配達対象物Ｐに関する情報を管理する。また、上位装置１００は、主搬送路１０２に搬送されている配達対象物Ｐに関する情報に基づいて、分岐機構１０４を制御して、予め設定された副搬送路２０に配達対象物Ｐを搬出させる。

カメラＣＭは、例えばシュータ２８の少なくとも一部、および区分台３０に置かれた配達対象物Ｐを、所定時間間隔で繰り返し撮像する。また、カメラＣＭは、シュータ２８および区分台３０の周辺だけでなく、区分台３０の周辺に配置されたカゴ車Ｖの周辺を含めて撮像する。以下、カメラＣＭにより撮像される領域を「特定領域」という。カメラＣＭは、撮像した画像データを支援装置５０に供給する。

センサＳは、例えばシュータ２８に設けられる。センサＳは、特定領域の外側であって、特定領域において配達対象物Ｐが搬送されてくる側に設けられる。センサＳは、配達対象物Ｐの通過を検知し、検知結果を支援装置５０に供給する。センサＳは、例えば光学的手法を用いて、配達対象物Ｐの通過を検出する。センサＳは、配達対象物Ｐが搬送されるシュータ２８を横切るようにして対向配置される発光部および受光部（不図示）を備える。発光部から照射される照射光は、遮断物のない状態では受光部により受光され、シュータ２８を搬送される配達対象物Ｐが発光部と受光部との間に存在する場合には受光部による照射光の受光が遮断されるように設置されている。センサＳは、受光部による照射光の受光が遮断された場合、発光部から出力された照射光の光軸上に配達対象物Ｐが存在することを示すオン信号を出力する。一方、センサＳは、受光部による照射光の受光が遮断されていない場合、発光部から出力された照射光の光軸上に配達対象物Ｐが存在しないことを示すオフ信号を出力する。

投影部ＰＪは、例えばスライドプロジェクタである。投影部ＰＪは、支援装置５０の指示に基づいて、シュータ２８または区分台３０に存在する配達対象物Ｐに向けて所定の画像を切り替えて投影する。なお、配達支援システム１は、複数の投影部ＰＪを含んでもよい。また、投影部ＰＪは、異なる色の光を切り替えて配達対象物Ｐに照射するライト（照射部）であってもよい。作業者は、投影部ＰＪにより配達対象物Ｐに投影された画像に基づいて、区分台３０において配達対象物Ｐを移動させたり、配達対象物Ｐに対応する区分先のカゴ車Ｖに配達対象物Ｐを載せたりする。

カゴ車Ｖは、配達先が同じ区分先に属する配達対象物Ｐが積載され、移動可能な配達補助具である。カゴ車Ｖは、配達対象物Ｐが積載された状態で、トラック等の移動体に載置され、別の場所に運搬される。

［支援装置の構成］
図２は、支援装置５０を中心とした機能構成図である。支援装置５０は、通信インターフェース５２（取得部）と、搬送制御部５４と、データ管理部５６と、画像認識部６０と、処理部７０と、投影制御部８０と、記憶部９０とを含んでよいが、これに限定されない。搬送制御部５４と、データ管理部５６と、画像認識部６０と、処理部７０と、投影制御部８０とは、ＣＰＵ（Central Processing Unit）などのプロセッサがプログラムを実行することで実現されてもよい。また、これらの機能部（回路部）のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアで実現されてもよい。記憶部９０は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等の記憶装置により実現される。本実施形態では、データ管理部５６および処理部７０を合わせたものが、「管理部」の一例である。

通信インターフェース５２は、ネットワークＮＷに接続され、上位装置１００、カメラＣＭ、およびセンサＳと通信する。ネットワークＮＷは、例えば、ＬＡＮ（Local Area Network）である。上位装置１００は、主搬送路１０２に搬送されている配達対象物Ｐに関する情報を、ネットワークＮＷを介して支援装置５０に供給する。なお、支援装置５０と、上位装置１００、カメラＣＭ、またはセンサＳとは、それぞれに対応した専用線で接続されてもよい。

搬送制御部５４は、副搬送路２０またはシュータ２８に含まれる駆動モータおよび搬送ベルトを制御して、配達対象物Ｐが搬送される速度を調整する。

データ管理部５６は、上位装置１００から取得した配達対象物Ｐに関する情報を統合したものを、追跡開始前配達対象物データ９２として管理する。追跡開始前配達対象物データ９２は、カゴ車Ｖに積載される前の配達対象物Ｐを管理するためのデータである。また、データ管理部５６は、カゴ車Ｖに積載された後の配達対象物Ｐに関する情報を、追跡開始後配達対象物データ９４として管理する。データ管理部５６は、対応情報９６を管理する。追跡開始前配達対象物データ９２、追跡開始後配達対象物データ９４、および対応情報９６の詳細については後述する。

画像認識部６０は、カメラＣＭによって撮像された画像の画像データに対して認識処理を行う。

処理部７０は、画像認識部６０の認識結果、その他の情報に基づいて、データ管理部５６が取得した配達対象物Ｐを特定し、追跡する。

投影制御部８０は、処理部７０により特定された配達対象物Ｐの位置、およびデータ管理部５６により取得された配達対象物Ｐの区分先に基づいて、投影部ＰＪに、区分先を示す情報を作業者に提示させる。

［画像認識部および処理部の機能］
図３は、画像認識部６０および処理部７０の機能の一例を示す図である。画像認識部６０は、二値化部６２、画像検出部６４、および座標処理部６６を含む。二値化部６２は、カメラＣＭにより撮像された画像の各画素を、所定の閾値に基づいて二値化する。この閾値は、例えば、配達対象物Ｐを撮像した部分が白画像に、背景（搬送ベルトやローラ）を撮像した部分が黒画像となるように、予め設定されている。これにより配達対象物Ｐの占める領域が白画像に、そうでない領域が黒画像に変換される。

画像検出部６４は、二値化部６２により二値化された画像から、白画像領域（白画像である画素がひとかたまりとなった領域）を抽出する。座標処理部６６は、画像検出部６４により抽出された領域を包含する最小の矩形を設定し、それらの各辺のＸＹ座標を取得する。

図４は、画像検出部６４により配達対象物Ｐが認識される一例を示す図である。画像検出部６４は、対象を認識した場合、画像のＸＹ平面における対象のＸの最大値（Ｘ１）と最小値（Ｘ０）を導出し、導出した各値（座標値）からＸ座標と平行な仮想線を生成する。また、画像検出部６４は、画像のＸＹ平面における対象のＹの最大値（Ｙ１）と最小値（Ｙ０）を導出し、導出した各値（座標値）からＹ座標と平行な仮想線を生成する。画像検出部６４は、これらの仮想線により生成された四角形を対象として認識する。このように画像検出部６４は、認識処理を行うことにより処理負荷を低減させることができる。

処理部７０は、第１識別部７２、比較部７３、第２識別部７４、第３識別部７５、および記憶部７６を含む。第１識別部７２は、カメラＣＭにより撮像された画像においてセンサＳが設けられた方向から新たに出現した「対象」を特定する。以下の説明において、「対象」とは、支援装置５０が物体であると認識する画像中の領域である。詳しくは、後述する。

第１識別部７２は、上位装置１００から取得した配達対象物Ｐのある箇所の通過時刻および搬送速度と、センサＳの検知結果を示す情報とに基づいて、時系列画像において配達対象物Ｐが新たに出現することを（或いは出現したであろうことを）検知する。ある箇所の通過時刻および搬送速度は、時刻を導出可能な情報な情報の一例であり、搬送速度が一定に制御されるのであれば、上位装置１００から搬送速度を取得しなくてもよい。

第１識別部７２は、配達対象物Ｐのある箇所の通過時刻、配達対象物Ｐの搬送速度、およびセンサＳの検知結果から、配達対象物Ｐが画像中に出現するタイミングを推定し、そのタイミングで現れた対象（矩形領域）を配達対象物Ｐとして特定し、識別情報を付与して管理する。

また、第１識別部７２は、配達対象物Ｐが画像中に出現するタイミングとは異なるタイミングで、新たに出現した対象を不明物として管理する。

比較部７３は、時系列画像における対象の位置変化と、配達対象物Ｐの搬送速度に基づいて推定した位置変化との比較結果に基づいて、各時系列画像における着目する対象が、過去に配達対象物Ｐとしての識別情報を付与した対象と同一であるか否かを判定する。比較部７３は、時刻ｔ−１で撮像された撮像フレームにおける対象の位置と、推定した位置変化とに基づいて、時刻ｔで撮像された撮像フレームにおける対象の位置を予測する。そして、比較部７３は、予測した位置と、時刻ｔで撮像された撮像フレームにおける対象の位置とが合致するか否かに基づいて、撮像フレーム間における対象の同一性を判定する。比較部７３は、位置変化量および大きさの差が所定の範囲内である場合、撮像フレーム間において対象が同一であると判定する。

第２識別部７４は、比較部７３により撮像フレーム間で対象が同一であると判定された場合、時刻ｔ−１における撮像フレームにおける対象に付与された識別情報と同一の識別情報を、同一であると判定された時刻ｔにおける撮像フレームの対象に付与する。

第３識別部７５は、比較部７３により撮像フレーム間で対象が同一でないと判定された場合、時刻ｔで撮像された撮像フレームにおける着目する対象に識別情報を付与せず（或いはダミーとしての識別情報を付与し）、不明物として処理する。記憶部７６（記憶部９０の一部であってよい）には、第１識別部７２、比較部７３、第２識別部７４、および第３識別部７５の処理結果が記憶される。また、画像認識部６０または処理部７０の処理結果は、データ管理部５６に送信される。

［配達対象物の識別処理］
図５は、支援装置５０により実行される識別処理の流れを示すフローチャートである。本処理は、シュータ２８（上流側）から特定領域に新たなに搬送されてくる配達対象物Ｐを識別する処理である。本フローチャートの処理は、例えばデータ管理部５６が、上位装置１００から供給された情報を取得したときに開始される。また、本フローチャートの処理は、配達対象物Ｐごとに並行して実行される。

支援装置５０のデータ管理部５６が、上位装置１００から当該配達対象物Ｐに関する情報を取得し（ステップＳ１００）、追跡開始前配達対象物データ９２に登録する（ステップＳ１０２）。

図６は、追跡開始前配達対象物データ９２の一例を示す図である。追跡開始前配達対象物データ９２は、上位装置１００により事前に取得された情報である。追跡開始前配達対象物データ９２は、配達対象物Ｐの識別情報に、配達対象物Ｐの区分先を示す情報、配達対象物Ｐが載せられるカゴ車Ｖに関する情報（カゴ車情報）、荷主の情報、配達先の情報、配達対象物Ｐの大きさ、形状、重量、特性（割れ物、天地無用等）、配達対象物Ｐが特定の箇所に到達した時刻等が対応付けられて情報である。追跡開始前配達対象物データ９２は、上述した情報のうち一部を省略したものであってもよい。

配達対象物Ｐの区分先は、例えば予め設定された配達先のグループを示す情報である。配達先のグループとは、例えば、郵便番号が共通するなど、一括して運搬するのが適切なグループである。カゴ車Ｖに関する情報は、配達対象物Ｐが積載されるカゴ車Ｖを識別する情報、またはカゴ車Ｖが配置された位置を識別する情報である。なお、配達対象物Ｐの区分先またはカゴ車Ｖに関する情報は、上位装置１００から取得したデータを用いて、配達先と区分先が対応付けられたテーブルを参照し、データ管理部５６が導出してもよい。この場合、記憶部９０には、配達先、区分先およびカゴ車Ｖに関する情報が互いに対応付けられた情報テーブルが記憶されている。

ステップＳ１０２で取得した情報が登録されると、処理部７０（第１識別部７２）が、搬送されている配達対象物ＰがセンサＳに検知される時刻（検知推定時刻）を推定する（ステップＳ１０４）。例えば処理部７０は、配達対象物Ｐが副搬送路２０に載せられた時刻、副搬送路２０の搬送速度、およびシュータ２８の搬送速度に基づいて、配達対象物ＰがセンサＳに検知される検知推定時刻を推定する。例えば、上位装置１００は、配達対象物Ｐが主搬送路１０２から副搬送路２０に搬出されるタイミングで、支援装置５０に配達対象物Ｐに関する情報を供給する。処理部７０は、搬送制御部５４から搬送速度を取得しておき、配達対象物Ｐが主搬送路１０２から副搬送路２０に搬出されてからの搬送速度を考慮して、配達対象物ＰがセンサＳに検知される検知推定時刻を推定する。

次に、画像認識部６０が、カメラＣＭにより特定領域が撮像された画像を取得し、取得した画像を認識処理する（ステップＳ１０６）。次に、処理部７０が、検知推定時刻（所定の余裕時間の範囲内）にセンサＳにより配達対象物Ｐが通過したことが検知されたか否かを判定する（ステップＳ１０８）。検知推定時刻にセンサＳにより配達対象物Ｐが通過したことが検知された場合、処理部７０は、出現フラグをオンに設定する（ステップＳ１１０）。検知推定時刻にセンサＳにより配達対象物Ｐが通過したことが検知されなかった場合、処理部７０は、出現フラグをオフに設定する（ステップＳ１１２）。

次に、処理部７０は、画像認識部６０の認識結果に基づいて、新たな対象が上流領域に存在するか否かを判定する（ステップＳ１１４）。上流領域とは、後述する図７に示す特定領域が撮像された画像において、配達対象物Ｐが搬送されてくる方向に設定された領域である。新たな対象が上流領域に存在しない場合、本フローチャートの処理は終了する。

新たな対象が所定領域に存在する場合、処理部７０は、出現フラグがオンに設定されているか否かを判定する（ステップＳ１１６）。出現フラグがオンに設定されている場合、
処理部７０は、ステップＳ１１４で認識された新たな対象に対して、上位装置１００から取得した配達対象物Ｐに関する情報から、配達対象物Ｐの識別情報を付与する（ステップＳ１１８）。処理部７０は、検知推定時刻通りにセンサＳにより配達対象物Ｐが検知された場合、その配達対象物Ｐは、ステップＳ１００で送信された情報に対応する配達対象物Ｐとの同一性の確からしさが高いと判定し、送信された情報に含まれる識別情報を付与する。なお、処理部７０は、センサＳにより配達対象物Ｐが検知された時刻と、検知推定時刻とが離れるのに応じて確からしさが低いと判定する。

次に、処理部７０は、識別情報を付与した対象の追跡を開始する（ステップＳ１２０）。そして、投影制御部８０が、処理部７０の処理結果に基づいて、投影部ＰＪに、区分先を示す情報を対象に投影する（ステップＳ１２２）。なお、ステップＳ１２０およびステップＳ１２２の処理の詳細については後述する。また、処理部７０は、センサＳに検知される時刻に代えて、上流領域に出現する時刻を導出し、導出した時刻に基づいて、配達対象物Ｐを特定してもよい。

ステップＳ１１６で出現フラグがオンに設定されていない（オフに設定されている）場合、処理部７０は、ステップＳ１１４で認識された新たな対象を不明物として処理する（ステップＳ１２４）。これにより本フローチャートの処理は終了する。

図７は、配達対象物Ｐが特定領域Ａに進入したときの様子を示す俯瞰図である。検知推定時刻にセンサＳにより配達対象物Ｐの通過が検知された場合、処理部７０は、センサＳの検知結果に基づいて出現フラグをオンに設定する。そして、処理部７０は、この検知から所定時間後に配達対象物Ｐが特定領域Ａの上流領域Ｕに出現した対象に配達対象物Ｐの識別情報を付与する。

図８は、作業者Ｈが上流領域Ｕに存在するときの様子を示す俯瞰図である。作業者Ｈが上流領域Ｕに存在する場合、画像認識部６０は、画像において、対象（作業者Ｈ）が上流領域Ｕに存在すると認識する。しかしながら、このときに処理部７０が、検知推定時刻にセンサＳの検知結果を取得していないため、新たに出現した対象ＯＢを不明物（作業者Ｈやノイズ等）と認識する。

前述したように画像認識部６０は、対象を矩形領域として処理するため、処理部７０は、認識処理によって認識した対象が配達対象物Ｐであるのか、作業者Ｈやノイズ等であるのかを判別するのが困難な場合がある。このため、本実施形態では、処理部７０が、検知推定時刻にセンサＳから配達対象物Ｐが通過したことを示す情報を取得していない場合に、画像認識部６０によって認識された対象を配達対象物Ｐとして特定せず、検知推定時刻にセンサＳから配達対象物Ｐが通過したことを示す情報を取得した場合に、対象を配達対象物Ｐとして特定する。

上述した処理によって、配達物支援装置５０は、処理負荷を軽減しつつ、誤検知を抑制することができる。また、配達物支援装置５０は、より精度よく配達対象物Ｐを追跡することができる。

処理部７０により処理された情報は、データ管理部５６によって追跡開始後配達対象物データ９４として管理される。図９は、追跡開始後配達対象物データ９４の一例を示す図である。追跡開始後配達対象物データ９４には、配達対象物Ｐの識別情報に、区分先の情報、カゴ車Ｖに関する情報、ある時刻における配達対象物Ｐの位置、角度（向き）、確からしさを示す情報、配達対象物Ｐの大きさ、形状等が対応付けて記憶される。また、追跡開始後配達対象物データ９４には、配達対象物Ｐの識別情報に対して、配達対象物Ｐが載せられるカゴ車Ｖに関する情報、および上位装置１００により指定されたカゴ車Ｖに正しく載せられたか否かを示す情報が対応付けて記憶される。また、追跡開始後配達対象物データ９４には、不明物の識別情報に、不明物の位置や、角度（向き）、大きさ、形状等が対応付けて記憶される。追跡開始後配達対象物データ９４は、上述した情報のうち一部を省略してもよい。

［撮像フレーム間の追跡処理］
図１０は、支援装置５０により実行される追跡処理の流れを示すフローチャートである。本処理は、特定領域において、識別情報が付与された対象（配達対象物Ｐ）を撮像フレーム間で追跡する処理である。また、本フローチャートの処理は、画像中の対象ごとに並行して実行される。

まず、画像認識部６０が、カメラＣＭにより特定領域が撮像された画像（以下、対象撮像フレーム）を取得する（ステップＳ２００）。次に、処理部７０（比較部７３）が、記憶部７６に記憶された対象撮像フレームの１フレーム前の撮像フレーム（以下、直前撮像フレーム）における着目した対象の位置と、着目した対象が移動する速度（搬送される速度）とに基づいて、対象撮像フレームにおける着目した対象の位置を推定する（ステップＳ２０２）。次に、処理部７０が、画像認識部６０の認識結果、およびステップＳ２０２の推定結果に基づいて、対象撮像フレームの推定した位置に着目した対象が存在するか否かを判定する（ステップＳ２０４）。なお、処理部７０は、対象の位置履歴や動きベクトルに基づいて、着目した対象が特定領域から消失することを推定する場合もある。

推定した位置に対象が存在する場合、処理部７０（比較部７３）は、直前撮像フレームにおける着目した対象の大きさと、対象撮像フレームにおける対象の大きさとが合致するか否かを判定する（ステップＳ２０６）。合致とは、一致に限らず、所定の範囲の大きさの違いを含む。

対象の大きさが合致する場合、処理部７０（第２識別部７４）は、直前撮像フレームにおける着目した対象に付与された識別情報を、ステップＳ２００で取得された対象撮像フレームにおける対象に付与する（ステップＳ２０８）。次に、投影制御部８０が、処理部７０の処理結果に基づいて、投影部ＰＪに、区分先を示す情報を着目した対象に投影させる（ステップＳ２１０）。

図１１は、配達対象物Ｐの追跡処理について説明するための図である。処理部７０が、時刻ｔ−１で撮像された画像（直前撮像フレーム）において着目した対象ＯＢの位置（上図）と、対象ＯＢが搬送される速度とに基づいて、時刻ｔにおける対象ＯＢの位置ＯＢ＃（中図）を推定する。位置ＯＢ＃は、時刻ｔ−１で着目した対象の大きさに、所定の余裕を持たせたものである。処理部７０は、時刻ｔで撮像された画像（対象撮像フレーム）において対象が位置ＯＢ＃に存在し、且つその対象の大きさが時刻ｔ−１の対象の大きさと合致する場合、対象撮像フレームで着目した対象と、直前撮像フレームで着目した対象と同一であると判定する。

ステップＳ２０４で推定した位置に着目した対象が存在しない場合、またはステップＳ２０６で着目した対象の大きさが合致しない場合、処理部７０（第３識別部７５）は、所定の処理を実行する（ステップＳ２１２）。処理部７０は、例えば所定の処理として、その対象を不明物として処理してもよいし、他の対象の処理結果を参照して、その対象を特定してもよい。例えば処理部７０は、直前撮像フレームにおいて、対象撮像フレームの対象と対応付けがされていない対象が存在する場合、その対象と、ステップＳ２０４またはステップＳ２０６の判定が否定された対象とが同一であると判定してもよい。この場合、処理部７０は、対象撮像フレームにおける対象の位置や、大きさ、形状等、および直前撮像フレームにおける対象の位置や、大きさ、形状等に基づいて、２つの対象の相関度を導出し、導出した相関度に基づいて、２つの対象が同一であるか否かを判定してもよい。これにより本フローチャートの処理は終了する。

［撮像フレーム間の追跡処理の別の一例］
また、処理部７０は、対象撮像フレームにおいて直前撮像フレームの対象に対応付けることができなかった対象が存在する場合、その対象を不明物として管理してもよい。図１２は、対象撮像フレームにおいて直前撮像フレームの対象に対応付けることができなかった対象が存在する場面の一例を示す図である。例えば対象撮像フレームの対象と直前撮像フレームの対象とが、処理部７０によって対応付けられる。この場合に、対象撮像フレームにおいて直前撮像フレームにおいて存在しなかった対象ＯＢが存在する場合、処理部７０は、この対象ＯＢを不明物として認識し、管理する。

［配達対象物Ｐに投影する処理］
投影制御部８０が、処理部７０の処理結果に基づいて、投影部ＰＪに、区分先を示す情報を対象（配達対象物Ｐ）に投影させる。図１３は、区分台３０の俯瞰図である。区分台３０は、例えば、区分台３０の長手方向に並べられ、短手方向に沿った軸を中心に回転する複数のローラコンベアを備える。また、ローラコンベアの表面は摩擦係数の低い金属で形成されている。シュータ２８を滑り落ちてくる配達対象物Ｐは、ローラコンベアの回転や、ローラコンベア上の摺動によって、区分台３０上を移動する。区分台３０は、例えばボールコンベア、ベルトコンベア等により形成されてもよい。

図１３に示すように、区分台３０は、例えば区分台３０の長手および短手を半分に区切って４分割にしたＡからＤの領域が仮想的に設定されている。ＡからＤの領域は、例えば作業者ａからｄの作業範囲に、それぞれ対応する。また、ＡからＤの領域は、配達先の集合である区分先に、それぞれ対応する。すなわち、本実施形態では、作業者と区分先は互いに対応している。また、区分台３０の周辺には作業者が作業する領域を挟んで複数のカゴ車Ｖが配置されている。支援装置５０は、カゴ車Ｖが配置される位置、またはカゴ車Ｖに対して、カゴ車Ｖの識別情報１から１６を付与して処理を行う。

図１４は、対応情報９６の一例を示す図である。対応情報は、領域の識別情報に対して、区分台３０に設定された領域の範囲や、設定された領域の作業を担当する作業者、区分台３０の周辺に配置されたカゴ車Ｖの位置、カゴ車Ｖの位置に対応したカゴ車Ｖの識別情報、投影部ＰＪに投影させる画像の情報（色彩や図形、記号）等が対応付けられている。対応情報９６は、上位装置１００から取得されてもよいし、支援装置５０が備える入力部（不図示）により入力された情報に基づいて設定されてもよい。例えば、各領域や、カゴ車Ｖが配置される位置は、床面を基準としたＸＹ座標として対応情報９６に記憶されている。

投影制御部８０は、図５のフローチャートで説明したように、対象の位置、区分先、運搬先のカゴ車Ｖの情報を取得し、投影部ＰＪに、区分先の情報、およびカゴ車Ｖの識別情報を示す画像を対象に向けて投影させる。例えば、投影制御部８０は、区分先に対応する色彩で、カゴ車Ｖの識別情報に対応する数字などの情報を含めた画像を対象に投影する。

これにより、作業者は、自身が担当する配達対象物Ｐを容易に認識することができる。また、配達対象物Ｐを載せる必要があるカゴ車Ｖを容易に認識することができる。この結果、利便性を向上させることができる。

また、投影制御部８０は、処理部７０により特定された位置を参照し、配達対象物Ｐが、区分台３０における区分先に対応する領域（ＡからＤ）に存在する場合と、存在しない場合とで、投影部ＰＪに、異なる情報を作業者に投影させる。異なる情報とは、区分台３０における区分先に対応する領域に配達対象物Ｐが存在する場合に投影される画像とは、異なる態様の画像である。例えば、投影制御部８０は、配達対象物Ｐが区分台３０における区分先に対応する領域に配達対象物Ｐが存在する場合、上記説明した画像をそのまま作業者に投影し、配達対象物Ｐが存在しない場合、上記説明した画像を点滅表示等（図１３、「ＡＴ」）させる。

また、支援装置５０が配達対象物Ｐの区分先を取得することができなかった場合、投影部ＰＪは、配達対象物Ｐに向けて区分先を取得できなかったことを示す情報を投影してもよい。例えば投影部ＰＪは、配達対象物Ｐに向けてカゴ車Ｖを特定する数字などを含まない画像を点滅して投影させたり、区分先が取得できた場合の色彩とは異なる色彩を投影したりする。これにより、作業者は、配達先の視認が必要な配達対象物Ｐを認識することができる。

また、支援装置５０が配達対象物Ｐの区分先を取得することができなかった場合（不明物として特定した場合）、投影制御部８０は、所定の作業者が担当する区分先の領域に対応する画像を、配達対象物Ｐに向けて投影部ＰＪに投影させてもよい。ここでの所定の作業者とは、予め設定された作業者であり、例えば処理効率や、技能が高い作業者である。

このように投影制御部８０は、処理部７０の処理結果に基づいて、投影部ＰＪが投影する情報を切り替えることで、作業者は区分先の確認が必要である配達対象物Ｐであることを認識することができる。この結果、作業者が配達対象物Ｐの区分先を視認して配達対象物Ｐを仕分けることで、より確実に配達対象物Ｐが正しいカゴ車Ｖに載せられる。

以上説明した実施形態の配達支援システム１によれば、処理部７０が、センサＳにより配達対象物Ｐが検知された時刻とセンサＳの検知結果とに基づいて、カメラＣＭにより撮像された時系列画像に新たな配達対象物Ｐが出現することを検知すると共に、出現が検知された配達対象物Ｐを時系列画像において追跡して管理することにより、精度よく配達対象物を追跡することができる。

以上説明した少なくともひとつの実施形態によれば、主搬送経路から搬出されて特定領域に搬送される配達対象物を管理する上位装置から、配達対象物が特定領域に到達する時刻を導出可能な情報を取得すると共に、特定領域の配達対象物の流れに関する上流側に設けられ配達対象物の通過を検知するセンサの検知結果と、特定領域を撮像する撮像部により撮像された時系列画像とを取得する取得部と、取得部により取得された時刻を導出可能な情報とセンサの検知結果とに基づいて、撮像部により撮像された時系列画像に新たな配達対象物が出現することを検知すると共に、出現が検知された配達対象物を時系列画像において追跡して管理する管理部とを持つことにより、精度よく配達対象物を追跡することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…配達支援システム、２０…副搬送路、２８…シュータ、５０…支援装置、５２…通信インターフェース、５４…搬送制御部、５６…データ管理部、６０…画像認識部、７０…処理部、８０…投影制御部、９０…記憶部、９２…追跡開始前配達対象物データ、９４…追跡開始後配達対象物データ、９６…対応情報、１００…上位装置、ＣＭ…カメラ、ＰＪ…投影部、Ｓ…センサ，Ｖ…カゴ車

Claims (8)

1. 主搬送経路から搬出されて特定領域に搬送される配達対象物を管理する上位装置から、前記配達対象物が前記特定領域に到達する時刻を導出可能な情報を取得すると共に、前記特定領域の前記配達対象物の流れに関する上流側に設けられ前記配達対象物の通過を検知するセンサの検知結果と、前記特定領域を撮像する撮像部により撮像された時系列画像とを取得する取得部と、
   前記取得部により取得された時刻を導出可能な情報と前記センサの検知結果とに基づいて、前記撮像部により撮像された時系列画像に新たな配達対象物が出現することを検知すると共に、前記出現が検知された配達対象物を前記時系列画像において追跡して管理する管理部と、
   を備える配達支援装置。
2. 前記管理部は、更に、前記上位装置から前記配達対象物の識別情報を取得し、前記識別情報を用いて前記配達対象物を管理する、
   請求項１記載の配達支援装置。
3. 前記管理部は、前記取得部により取得された時刻を導出するための情報から前記配達対象物が前記センサに検知される予定の時刻を導出し、前記予定の時刻に前記センサにより配達対象物に対応する対象が検知されなかった場合、前記時系列画像において出現が検知された対象を、前記時系列画像において不明物として管理する、
   請求項１又は請求項２記載の配達支援装置。
4. 前記管理部は、前記時系列画像において出現が検知された配達対象物以外の対象を認識した場合、前記対象を不明物として管理する、
   請求項１乃至３のいずれか１項記載の配達支援装置。
5. 前記管理部は、前記配達対象物が搬送される速度に基づいて、前記時系列画像において予測される前記配達対象物の位置変化と、推定した位置変化との比較の結果に基づいて、前記各画像における着目する対象が前記配達対象物と同一であるか否かを判定し、同一であると判定した場合は、前記対象に前記配達対象物と同一の識別情報を付与して前記対象を管理する、
   請求項１乃至４のいずれか１項記載の配達支援装置。
6. 前記管理部は、前記各画像における着目する対象が前記配達対象物と同一でないと判定した場合は、前記対象を不明物として管理する、
   請求項５記載の配達支援装置。
7. 特定領域の配達対象物の流れに関する上流側に設けられ前記配達対象物の通過を検知するセンサと、
   前記特定領域を撮像する撮像部と、
   主搬送経路から搬出されて前記特定領域に搬送される前記配達対象物を管理する上位装置から、前記配達対象物が前記特定領域に到達する時刻を導出可能な情報を取得すると共に、前記センサの検知結果と、前記撮像部により撮像された時系列画像とを取得する取得部と、
   前記取得部により取得された時刻を導出可能な情報と前記センサの検知結果とに基づいて、前記撮像部により撮像された時系列画像に新たな配達対象物が出現することを検知すると共に、前記出現が検知された配達対象物を前記時系列画像において追跡して管理する管理部と、
   を備える配達支援システム。
8. 主搬送経路から搬出されて特定領域に搬送される配達対象物を管理する上位装置から、前記配達対象物が前記特定領域に到達する時刻を導出可能な情報を取得させると共に、前記特定領域の前記配達対象物の流れに関する上流側に設けられ前記配達対象物の通過を検知するセンサの検知結果と、前記特定領域を撮像する撮像部により撮像された時系列画像とを取得させ、
   前記取得された時刻を導出可能な情報と前記センサの検知結果とに基づいて、前記撮像部により撮像された時系列画像に新たな配達対象物が出現することを検知させると共に、前記出現が検知された配達対象物を前記時系列画像において追跡して管理させる、
   配達支援プログラム。

Images