JP2018019373A - Monitoring camera and package reading method - Google Patents

Monitoring camera and package reading method Download PDF

Info

Publication number
JP2018019373A
JP2018019373A JP2016150692A JP2016150692A JP2018019373A JP 2018019373 A JP2018019373 A JP 2018019373A JP 2016150692 A JP2016150692 A JP 2016150692A JP 2016150692 A JP2016150692 A JP 2016150692A JP 2018019373 A JP2018019373 A JP 2018019373A
Authority
JP
Japan
Prior art keywords
barcode
package
image
camera
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016150692A
Other languages
Japanese (ja)
Inventor
利章 篠原
Toshiaki Shinohara
利章 篠原
龍次 山内
Ryuji Yamauchi
龍次 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2016150692A priority Critical patent/JP2018019373A/en
Priority to DE102017114695.4A priority patent/DE102017114695A1/en
Publication of JP2018019373A publication Critical patent/JP2018019373A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a monitoring camera and a package reading method that can detect and read a bar-code which is utilized to control a delivery time destination of a package.SOLUTION: A bar-code camera BCA as a monitoring camera comprises an image sensor 21 that images a predetermined area within a package conveyance area in which a belt conveyor to convey at least one package is arranged, a signal processing unit 30 that detect a bar-code ID attached on a package appearing in a predetermined area and reads the bar-code ID based on a peripheral image of the predetermined area imaged by the image sensor 21, and a communication unit 31 that outputs a read result of the bar-code ID read by the signal processing unit 30.SELECTED DRAWING: Figure 3

Description

本発明は、荷物搬送エリア内に配設されるコンベアにより搬送される荷物に付されたバーコードを読み取る監視カメラ及び荷物読取方法に関する。   The present invention relates to a surveillance camera and a package reading method for reading a barcode attached to a package transported by a conveyor disposed in a package transport area.

近年、荷物の物流業務においては、配送される荷物にその荷物を識別するためのバーコードが貼り付けられ、例えばコンベアが配設された搬送ライン上でバーコードが読み取られて得られたバーコード情報(例えばバーコードID)を利用して、荷物の運搬等の各種業務が行われている。   2. Description of the Related Art In recent years, in the logistics business of luggage, a barcode obtained by attaching a barcode for identifying the luggage to a delivered package, for example, by reading the barcode on a transport line provided with a conveyor. Various operations such as luggage transportation are performed using information (for example, barcode ID).

荷物はバーコードIDで管理されることが多いが、一方では、荷物の紛失や破損が日々発生することもある。例えば荷物の誤配送による紛失や、搬送中の荷物の落下等による破損があった場合には、その原因を究明することは容易ではなく、原因究明の作業に1日以上の工数を費してしまうこともある。   Baggage is often managed by barcode ID, but on the other hand, lost or damaged baggage may occur daily. For example, if there is a loss due to an incorrect delivery of a package or damage due to a fall of a package being transported, it is not easy to determine the cause, and it takes more than one day to investigate the cause. Sometimes it ends up.

ここで、生産ラインにおける各工程の生産実績状況を正確に把握する先行技術として、例えば特許文献1に記載の生産システムが知られている。この生産システムが利用される生産ラインでは、画像処理装置は、監視カメラの画像解析により、生産ラインを移動するワークの状況変化(例えば原材料状態、加工状態、検査済み状態)を追跡して識別し、その識別番号をサーバに通知する。サーバは、ワークにバーコードを添付することなく、各種データを識別番号で識別して記録する。   Here, as a prior art for accurately grasping the production performance status of each process in the production line, for example, a production system described in Patent Document 1 is known. In production lines where this production system is used, the image processing device tracks and identifies changes in the status of workpieces moving through the production line (for example, raw material status, processing status, and inspected status) through image analysis by a surveillance camera. The server notifies the server of the identification number. The server identifies and records various data with an identification number without attaching a barcode to the work.

特開2010−055334号公報JP 2010-055334 A

また、特許文献1では、ワークへのバーコードの貼り付けが無いので、監視カメラがバーコードを検知して読み取るという思想は考慮されていない。また、特許文献1を含む従来技術においても、近年の物流分野において荷物の配送時の行方をコントロールするために利用されるバーコードを検知して読み取る機能を有する監視カメラの構成は開示されていない。   Moreover, in patent document 1, since there is no sticking of the barcode to a workpiece | work, the thought that the surveillance camera detects and reads a barcode is not considered. In addition, the conventional technology including Patent Document 1 does not disclose a configuration of a monitoring camera having a function of detecting and reading a barcode used for controlling whereabouts at the time of delivery of a package in the recent physical distribution field. .

本発明は、上述した従来の状況に鑑みて案出され、荷物の配送時の行方をコントロールするために利用されるバーコードを検知して読み取ることができる監視カメラ及び荷物読取方法を提供することを目的とする。   The present invention provides a surveillance camera capable of detecting and reading a barcode that has been devised in view of the above-described conventional situation and is used for controlling whereabouts during delivery of a package, and a package reading method. With the goal.

本発明は、少なくとも一つの荷物を搬送するコンベアが配設された荷物搬送エリア内の既定エリアを撮像する撮像部と、前記撮像部により撮像された前記既定エリアの周辺画像を基に、前記既定エリアに現れる前記荷物に付された荷物識別情報を検知する検知部と、前記検知部により検知された前記荷物識別情報を読み取る読取部と、前記読取部により読み取られた前記荷物識別情報の読取結果と前記撮像部により撮像された前記既定エリアの周辺画像とを出力する出力部と、を備える、監視カメラを提供する。   The present invention is based on an imaging unit that images a predetermined area in a baggage transport area in which a conveyor for transporting at least one baggage is disposed, and a peripheral image of the predetermined area captured by the imaging unit. A detection unit that detects package identification information attached to the package that appears in an area; a reading unit that reads the package identification information detected by the detection unit; and a reading result of the package identification information read by the reading unit And an output unit that outputs a peripheral image of the predetermined area captured by the imaging unit.

また、本発明は、少なくとも一つの荷物を搬送するコンベアが配設された荷物搬送エリア内の既定エリアを撮像する撮像部を有する監視カメラにおける荷物読取方法であって、前記撮像部により撮像された前記既定エリアの周辺画像を基に、前記既定エリアに現れる前記荷物に付された荷物識別情報を検知し、検知された前記荷物識別情報を読み取り、読み取られた前記荷物識別情報の読取結果と撮像された前記既定エリアの周辺画像とを出力する、荷物読取方法を提供する。   Further, the present invention is a luggage reading method in a surveillance camera having an imaging unit for imaging a predetermined area in a luggage transport area in which a conveyor for transporting at least one package is disposed, and is captured by the imaging unit Based on the surrounding image of the predetermined area, the package identification information attached to the package appearing in the default area is detected, the detected package identification information is read, and the read result of the read package identification information and imaging And a package reading method for outputting a peripheral image of the predetermined area.

本発明によれば、荷物の配送時の行方をコントロールするために利用されるバーコードを検知して読み取ることができる。   According to the present invention, it is possible to detect and read a bar code used to control where the package is delivered.

本実施形態の荷物追跡システムのシステム構成及び動作概要の一例を詳細に示す図The figure which shows an example of the system configuration | structure of a package tracking system of this embodiment, and an operation | movement outline | summary in detail. バーコードID一覧テーブルの登録内容の一例を示す図The figure which shows an example of the registration content of a barcode ID list table バーコードカメラ及び端末装置の内部構成の一例を詳細に示すブロック図The block diagram which shows an example of an internal structure of a barcode camera and a terminal device in detail (A),(B)バーコードカメラによるバーコード読み取り動作の一例を説明する図(A), (B) The figure explaining an example of the barcode reading operation | movement by a barcode camera バーコードカメラの読取動作手順の一例を詳細に説明するフローチャートFlowchart explaining in detail an example of the reading operation procedure of the barcode camera バーコードIDの読取時刻テーブルの登録内容の一例を示す図The figure which shows an example of the registration content of the reading time table of barcode ID 表示装置に表示される、バーコードカメラ及び全方位カメラによって撮像された撮像画像を含む画面の表示例を示す図The figure which shows the example of a display of the screen containing the picked-up image imaged with the barcode camera and the omnidirectional camera displayed on a display apparatus 表示装置に表示される、履歴リストと、バーコードカメラ及び全方位カメラによって撮像された撮像画像とを含む画面の表示例を示す図The figure which shows the example of a display of the screen containing the log | history list displayed on a display apparatus, and the captured image imaged with the barcode camera and the omnidirectional camera 荷物追跡システムにおける紛失した荷物の検知動作手順の一例を詳細に説明するフローチャートA flowchart for explaining in detail an example of the procedure for detecting a lost package in the package tracking system (A),(B)荷物のサイズ測定を説明する図(A), (B) The figure explaining the size measurement of a load 荷物追跡システムにおける破損した荷物の検知動作手順の一例を詳細に説明するフローチャートA flowchart for explaining in detail an example of a procedure for detecting damaged packages in the package tracking system (A)ベルトコンベアのコーナー付近で発生したジャミングの検知例を示す図、(B)ベルトコンベアのカーブ付近で発生したジャミングの検知例を示す図(A) The figure which shows the example of a detection of the jamming which generate | occur | produced near the corner of a belt conveyor, The figure which shows the example of a detection of the jamming which occurred in the vicinity of the curve of a (B) belt conveyor.

以下、適宜図面を参照しながら、本発明に係る荷物追跡システム及び荷物追跡方法を具体的に開示する実施形態(以下、「本実施形態」という)を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。また、本発明は、荷物に貼り付けられるバーコードを読み取る監視カメラとしてのバーコードカメラ、そのバーコードカメラにおける荷物読取方法として表現することも可能である。   Hereinafter, an embodiment (hereinafter referred to as “the present embodiment”) that specifically discloses a package tracking system and a package tracking method according to the present invention will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of already well-known matters and repeated descriptions for substantially the same configuration may be omitted. This is to avoid the following description from becoming unnecessarily redundant and to facilitate understanding by those skilled in the art. The accompanying drawings and the following description are provided to enable those skilled in the art to fully understand the present disclosure, and are not intended to limit the subject matter described in the claims. The present invention can also be expressed as a barcode camera as a surveillance camera for reading a barcode attached to a package and a package reading method in the barcode camera.

図1は、本実施形態の荷物追跡システム1のシステム構成及び動作概要の一例を詳細に示す図である。荷物追跡システム1は、例えば荷物の保管や配送等を行う施設である荷物搬送エリアとしての物流倉庫WAに設置され、コンベア(例えばベルトコンベア100)で搬送される荷物を追跡して監視する。物流倉庫WAは、例えば物流配送会社の営業所内でもいいし、他には空港等でも構わない。以下、コンベアとして、ベルトコンベア100を例示して説明するが、ベルトコンベア100に限定されず、他のタイプのコンベアを用いても構わない(後述参照)。   FIG. 1 is a diagram showing in detail an example of the system configuration and operation outline of the package tracking system 1 of the present embodiment. The package tracking system 1 is installed in a distribution warehouse WA as a package transport area which is a facility for storing and delivering packages, for example, and tracks and monitors packages transported by a conveyor (for example, the belt conveyor 100). The distribution warehouse WA may be, for example, in a sales office of a distribution delivery company, or may be an airport or the like. Hereinafter, although the belt conveyor 100 is illustrated and demonstrated as a conveyor, it is not limited to the belt conveyor 100, You may use another type of conveyor (refer later).

物流倉庫WAでは、配送されるべき荷物を大量に保管する立体倉庫(ストッカ)150、このストッカ150から出荷された荷物を搬送する複数のベルトコンベア100,110,120、各ベルトコンベア100,110,120で搬送された荷物を積載するための複数の台車180,181,182等が備えられる。また、これらの台車180,181,182に積載された荷物を移し替えて届け先まで運搬するトラックTR1,TR2,TR3が用意されている。   In the distribution warehouse WA, a three-dimensional warehouse (stocker) 150 that stores a large amount of packages to be delivered, a plurality of belt conveyors 100, 110, 120 that transport packages shipped from the stocker 150, and each belt conveyor 100, 110, A plurality of carriages 180, 181, 182 and the like for loading the packages conveyed at 120 are provided. In addition, trucks TR1, TR2, and TR3 are prepared for transferring the packages loaded on these carts 180, 181, and 182 and transporting them to the destination.

また、物流倉庫WAの各所には、荷物の点検や移し替え等を人手で行う、複数の作業員p1,p2,p3,p4,p5が配置される。   In addition, a plurality of workers p1, p2, p3, p4, and p5 are manually disposed at each location of the distribution warehouse WA.

ベルトコンベア100は、物流の本流ラインであり、ストッカ150から出荷された荷物を上流から下流へ(つまり、図1の紙面左側から紙面右側へ)と搬送する。ベルトコンベア100の終端には、台車180が用意されている。作業員p1は、ベルトコンベア100の終端に到着した荷物を台車180に載せ替える。更に、作業員p1は、荷物gsが積載された台車180をトラックTR1まで運び、トラックTR1の荷台に荷物gsを載せ替える。なお、トラックTR1の荷台がベルトコンベア100の終端近くまで接近できる場合は、台車180に載せ替えることなく、荷物gsをそのままトラックTR1の荷台に載せ替えることも可能である。   The belt conveyor 100 is a mainstream line for physical distribution, and transports packages shipped from the stocker 150 from upstream to downstream (that is, from the left side to the right side in FIG. 1). A carriage 180 is prepared at the end of the belt conveyor 100. The worker p <b> 1 transfers the load that has arrived at the end of the belt conveyor 100 to the carriage 180. Furthermore, the worker p1 carries the carriage 180 loaded with the luggage gs to the truck TR1 and transfers the luggage gs onto the loading platform of the truck TR1. In addition, when the loading platform of the truck TR1 can approach to the end of the belt conveyor 100, the cargo gs can be directly loaded on the loading platform of the truck TR1 without being loaded on the carriage 180.

ベルトコンベア110,120は、ベルトコンベア100からそれぞれ分岐点TP1,TP2で分岐した物流の支流ラインであり、ベルトコンベア100から受け渡された荷物を支流ラインの終端へ(つまり、図1の紙面下側へ)と搬送する。ベルトコンベア110,120の終端には、それぞれ台車181,182が用意されている。作業員p4,p5は、ベルトコンベア110,120の各終端に到着した荷物gsを各台車181,182に載せ替える。なお、支流ラインにおいても、トラックTR2,TR3の荷台がベルトコンベア110,120の終端近くまで接近できる場合は、台車181,182に載せ替えることなく、荷物gsをそのままトラックTR2,TR3の荷台に載せ替えることも可能である。   The belt conveyors 110 and 120 are branch lines for physical distribution branched from the belt conveyor 100 at branch points TP1 and TP2, respectively. The goods delivered from the belt conveyor 100 are transferred to the end of the branch line (that is, below the plane of FIG. 1). To the side). Carriages 181 and 182 are prepared at the ends of the belt conveyors 110 and 120, respectively. The workers p4 and p5 transfer the luggage gs arriving at the terminal ends of the belt conveyors 110 and 120 to the carts 181 and 182, respectively. Even in the tributary line, when the loading platform of the trucks TR2 and TR3 can approach the end of the belt conveyors 110 and 120, the luggage gs is loaded on the loading platform of the trucks TR2 and TR3 without being loaded on the carriages 181 and 182. It is also possible to change.

また、ベルトコンベア100,110,120の終端に配置された各作業員p1,p4,p5は、それぞれバーコードリーダBR1,BR2,BR3を所持しており、各種の荷物gsを台車180,181,182に載せ替える際、それぞれの荷物gsに貼られた荷物識別情報としてのバーコードBCLを読み取る。なお、本実施形態においてベルトコンベア100,110,120を特に区別する必要が無い場合、ベルトコンベア100を代表として説明する。   The workers p1, p4, and p5 disposed at the end of the belt conveyors 100, 110, and 120 have bar code readers BR1, BR2, and BR3, respectively, and carry various kinds of luggage gs on the carriages 180, 181, When re-loading to 182, the barcode BCL as the package identification information affixed to each package gs is read. In addition, in this embodiment, when it is not necessary to distinguish the belt conveyors 100, 110, and 120 in particular, the belt conveyor 100 will be described as a representative.

また、本流ラインのベルトコンベア100と、支流ラインのベルトコンベア110,120との各分岐点TP1,TP2で、ベルトコンベア100によって搬送されてきた荷物gsの載せ替えを行う各作業員p2,p3は、特にバーコードリーダを所持せず、そのまま荷物gsを載せ替えるが、バーコードリーダを所持して荷物gsに貼られたバーコードを読み取るようにしてよい。また、バーコードBCLが荷物gsに付される場合として、バーコードが印刷されたラベルが荷物に貼り付けられる場合を想定しているが、荷物そのものにバーコードが印刷されてもよい。また、バーコードは、2次元バーコードに限らず、3次元バーコードやカラーコード等、各種のバーコードであってもよい。   In addition, workers p2 and p3 who change the load gs conveyed by the belt conveyor 100 at branch points TP1 and TP2 between the belt conveyor 100 of the mainstream line and the belt conveyors 110 and 120 of the tributary line are as follows. In particular, the baggage gs is replaced as it is without the barcode reader, but the barcode attached to the baggage gs may be read with the barcode reader. Further, as a case where the barcode BCL is attached to the package gs, it is assumed that a label on which the barcode is printed is attached to the package, but the barcode may be printed on the package itself. Further, the barcode is not limited to a two-dimensional barcode, and may be various barcodes such as a three-dimensional barcode and a color code.

物流倉庫WAでは、本流ラインのベルトコンベア100から支流ラインのベルトコンベア110、120への荷物の載せ替えは、作業員による手作業で行われるが、ソータ(つまり、自動仕分け装置)によって自動的に振り分けが行われてもよい。人手による場合、作業員が誤って荷物を載せ替えたり、荷物を他所にぶつけて破損させてしまうことが起こり得る。一方、ソータによって自動的に振り分けられる場合、荷物に貼られたバーコードの誤り等によって別のベルトコンベアに荷物が搬送されてしまうことが起こり得る。いずれにせよ、物流倉庫WAでは、荷物の誤配送による紛失や破損等は少なからず発生する。   In the distribution warehouse WA, the loading of the load from the belt conveyor 100 on the main line to the belt conveyors 110 and 120 on the tributary line is performed manually by an operator, but automatically by a sorter (that is, an automatic sorting device). Sorting may be performed. In the case of manual operation, it may happen that an operator mistakenly loads the baggage or damages the baggage by hitting it elsewhere. On the other hand, when sorting is performed automatically by the sorter, it may happen that the package is transported to another belt conveyor due to an error in the barcode attached to the package. In any case, in the distribution warehouse WA, there are not a few lost or damaged items due to incorrect delivery of the packages.

本実施形態の荷物追跡システム1は、入荷情報管理装置2、映像記録装置3、端末装置4、表示装置5、物品管理装置6、及び複数のカメラペア7,8,9,10,11を備える。   The package tracking system 1 of this embodiment includes an arrival information management device 2, a video recording device 3, a terminal device 4, a display device 5, an article management device 6, and a plurality of camera pairs 7, 8, 9, 10, and 11. .

入荷情報管理装置2は、荷物の入荷情報を取得して記憶する。入荷情報は、搬入される全ての荷物に付されている荷物識別情報であるバーコードIDの一覧である。図2は、バーコードID一覧テーブルTL0の登録内容の一例を示す図である。バーコードID一覧テーブルTL0では、ベルトコンベア100に載って流れてくる荷物の順番でバーコードIDが記録されている。また、バーコードID一覧には、バーコードIDに対応するバーコードが貼り付けられた荷物gsが物流倉庫WA内において搬送されるべき搬出口DP1,DP2,DP3,…等の搬出口情報も登録される。この搬出口情報は、バーコードIDに記述されている、あるいは紐付けられている荷物の運搬先情報(言い換えると、配送される荷物の到着地)に対応する。図2では、No1,No2,No3,No4,…の順にバーコードIDが記録されている。また、入荷情報管理装置2は、荷物を預けた人物(つまり、荷物の配送の依頼者)とバーコードIDとを対応付けたテーブル(図示せず)を保持する。   The arrival information management device 2 acquires and stores the arrival information of the package. The arrival information is a list of bar code IDs which are package identification information attached to all packages to be carried. FIG. 2 is a diagram illustrating an example of registered contents of the barcode ID list table TL0. In the barcode ID list table TL0, barcode IDs are recorded in the order of the packages that flow on the belt conveyor 100. In addition, in the barcode ID list, the exit information such as the exits DP1, DP2, DP3,... Where the baggage gs with the barcode corresponding to the barcode ID should be transported in the distribution warehouse WA is also registered. Is done. This carry-out port information corresponds to the transport destination information of the package described in the barcode ID or linked (in other words, the arrival place of the package to be delivered). In FIG. 2, barcode IDs are recorded in the order of No1, No2, No3, No4,. In addition, the arrival information management device 2 holds a table (not shown) in which a person who has deposited a package (that is, a package delivery requester) is associated with a barcode ID.

レコーダとしての映像記録装置3は、タイマ(図示せず)を有し、複数のカメラペア7,8,9,10,11によりそれぞれ撮像された画像データと、タイマで計測した時刻(つまり、撮像時刻)とを対応付けて記録する。また、映像記録装置3は、複数のカメラペア7,8,9,10,11によりそれぞれ撮像された画像データ及びその撮像時刻、並びに、バーコードカメラBCA1,BCA2,BCA3,BCA4,BCA5あるいはバーコードリーダBR1,BR2,BR3により読み取られたバーコードID及びその読取時刻を対応付けて記録してよい。また、映像記録装置3は、物品管理装置6からの指示に従い、その指示に該当する画像データ及び撮像時刻の情報を端末装置4及び物品管理装置6に出力する。   The video recording apparatus 3 as a recorder has a timer (not shown), image data captured by a plurality of camera pairs 7, 8, 9, 10, and 11, and time measured by the timer (that is, imaging) Time). The video recording apparatus 3 also includes image data captured by a plurality of camera pairs 7, 8, 9, 10, and 11, and their imaging time, and barcode cameras BCA 1, BCA 2, BCA 3, BCA 4, BCA 5, or barcode. The barcode ID read by the readers BR1, BR2 and BR3 and the reading time thereof may be recorded in association with each other. Also, the video recording device 3 outputs image data and imaging time information corresponding to the instruction to the terminal device 4 and the article management device 6 in accordance with the instruction from the article management device 6.

複数のカメラペア7,8,9,10,11は、それぞれ監視カメラとしての全方位カメラCA1,CA2,CA3,CA4,CA5と監視カメラ兼バーコード検知用カメラとしてのバーコードカメラBCA1,BCA2,BCA3,BCA4,BCA5とをペアで備える。カメラペア7,8,9は、本流ラインであるベルトコンベア100の上流側から下流側に向かって位置する監視ポイントWP1,WP2,WP3に配置される。監視ポイントWP1,WP2,WP3に配置されたカメラペア7,8,9は、ベルトコンベア100で荷物gsが搬送される荷物搬送エリア内の異なる既定エリアARE1,ARE2,ARE3をそれぞれ撮像可能である。   The plurality of camera pairs 7, 8, 9, 10, and 11 are respectively omnidirectional cameras CA1, CA2, CA3, CA4, CA5 as surveillance cameras and barcode cameras BCA1, BCA2, as surveillance cameras and barcode detection cameras. BCA3, BCA4, and BCA5 are provided in pairs. The camera pairs 7, 8, and 9 are arranged at monitoring points WP1, WP2, and WP3 that are located from the upstream side to the downstream side of the belt conveyor 100, which is the mainstream line. The camera pairs 7, 8, and 9 arranged at the monitoring points WP 1, WP 2, and WP 3 can respectively image different predetermined areas ARE 1, ARE 2, and ARE 3 in the baggage transport area where the baggage gs is transported by the belt conveyor 100.

また、カメラペア10,11は、分岐点TP1,TP2において、それぞれベルトコンベア100から分岐した支流ラインであるベルトコンベア110,120にそれぞれ位置する監視ポイントWP4,WP5に配置される。監視ポイントWP4,WP5は、それぞれベルトコンベア110,120で荷物gsが搬送される荷物搬送エリア内の異なる既定エリアARE4,ARE5をそれぞれ撮像可能である。なお、本実施形態において既定エリアARE1,ARE2,ARE3,ARE4,ARE5を特に区別する必要が無い場合、単に既定エリアAREと総称する。   Further, the camera pairs 10 and 11 are arranged at the monitoring points WP4 and WP5 respectively located on the belt conveyors 110 and 120 which are branch lines branched from the belt conveyor 100 at the branch points TP1 and TP2, respectively. The monitoring points WP4 and WP5 can respectively image different predetermined areas ARE4 and ARE5 in the baggage transport area in which the baggage gs is transported by the belt conveyors 110 and 120, respectively. In the present embodiment, when it is not necessary to distinguish the predetermined areas ARE1, ARE2, ARE3, ARE4, and ARE5, they are simply collectively referred to as a predetermined area ARE.

全方位カメラCA1,CA2,CA3,CA4,CA5は、360度の画角を有する魚眼レンズを搭載しかつ360度の全方位画像(魚眼画像)を撮像可能なカメラであり、ベルトコンベア100,110,120の上方(例えば天井)に配置される。全方位カメラCA1,CA2,CA3,CA4,CA5は、端末装置4又は物品管理装置6からの指示に従い、ベルトコンベア100,110,120で搬送される荷物の通過位置を含むように、既定エリアARE1,ARE2,ARE3,ARE4,ARE5の周辺画像を撮像し、その撮像画像(周辺画像ともいう)を撮像時刻とともに映像記録装置3に出力して記録させる。   The omnidirectional cameras CA1, CA2, CA3, CA4, and CA5 are cameras equipped with a fish-eye lens having a 360-degree angle of view and capable of capturing 360-degree omnidirectional images (fish-eye images). 120 above (for example, the ceiling). The omnidirectional cameras CA1, CA2, CA3, CA4, and CA5 follow the instructions from the terminal device 4 or the article management device 6 and include a predetermined area ARE1 so as to include the passing positions of the packages conveyed by the belt conveyors 100, 110, and 120. , ARE2, ARE3, ARE4, and ARE5 are captured, and the captured images (also referred to as peripheral images) are output to the video recording device 3 together with the imaging time and recorded.

バーコードカメラBCA1,BCA2,BCA3,BCA4,BCA5は、ベルトコンベア100,110,120で搬送される荷物gsを撮像し、その撮像画像を撮像時刻とともに映像記録装置3に出力して記録させる。また、リーダの一例としてのバーコードカメラBCA1,BCA2,BCA3,BCA4,BCA5は、それぞれ自己が撮像した時の撮像画像を基にして、荷物に貼り付けられたバーコードBCLを検知してその内容を読み取り、その読み取り結果であるバーコードID(バーコード情報)を、読取時刻とともに映像記録装置3に出力して記録させ、更に端末装置4又は物品管理装置6にも出力する。バーコードカメラBCA1,BCA2,BCA3,BCA4,BCA5の詳細については後述する。なお、バーコードBCLの読み取り動作は、バーコードカメラの代わりに、端末装置4又は物品管理装置6が行うことも可能である。   The bar code cameras BCA1, BCA2, BCA3, BCA4, and BCA5 take an image of the baggage gs transported by the belt conveyors 100, 110, and 120, and output and record the taken image to the video recording device 3 together with the imaging time. Further, the barcode cameras BCA1, BCA2, BCA3, BCA4, and BCA5 as examples of readers detect the barcode BCL affixed to the baggage based on the captured images taken by themselves, and their contents The barcode ID (barcode information) as a result of the reading is output to the video recording device 3 along with the reading time, recorded, and further output to the terminal device 4 or the article management device 6. Details of the barcode cameras BCA1, BCA2, BCA3, BCA4, and BCA5 will be described later. Note that the barcode BCL reading operation can be performed by the terminal device 4 or the article management device 6 instead of the barcode camera.

端末装置4は、例えばパーソナルコンピュータ装置を用いて構成され、ユーザ操作を受け付ける操作部46を介してバーコードIDの入力を受け付け、入力されたバーコードIDを検索してその検知結果を表す履歴リスト(つまり、荷物搬送エリア内のバーコードカメラ又はバーコードリーダにより読み取られたバーコードのバーコードIDが読取時刻順に並べられた読取履歴リスト、図8参照)を表示装置5に表示する。   The terminal device 4 is configured using, for example, a personal computer device, accepts an input of a bar code ID via an operation unit 46 that accepts a user operation, searches for the input bar code ID, and represents a detection result. (In other words, the reading history list in which the barcode IDs of the barcodes read by the barcode camera or barcode reader in the luggage transport area are arranged in the order of the reading time, see FIG. 8) is displayed on the display device 5.

また、端末装置4は、映像記録装置3から入力した画像データを表示装置5に表示するための各種の画像表示処理を実行する。また、端末装置4は、各種の荷物を搬送するベルトコンベア100等の動作を制御する。また、端末装置4は、荷物の紛失又は破損等のトラブルがあった場合、その原因究明を行うための検知動作を行う。これらの検知動作の詳細については後述する。   Further, the terminal device 4 executes various image display processes for displaying the image data input from the video recording device 3 on the display device 5. In addition, the terminal device 4 controls the operation of the belt conveyor 100 and the like that carry various kinds of luggage. Further, when there is a trouble such as loss or damage of the luggage, the terminal device 4 performs a detection operation for investigating the cause. Details of these detection operations will be described later.

モニタとしての表示装置5は、例えば画面を分割して、複数のカメラペア7,8,9,10,11でそれぞれ撮像される映像を表示する。また、表示装置5は、バーコードIDの検知結果を表す履歴リストhst(図8参照)を表示する。   The display device 5 as a monitor divides the screen, for example, and displays images captured by the plurality of camera pairs 7, 8, 9, 10, and 11, respectively. Further, the display device 5 displays a history list hst (see FIG. 8) representing the detection result of the barcode ID.

物品管理装置6は、画像データベース(DB)を有し、ベルトコンベア100,110,120で搬送されるそれぞれの荷物gs1,gs2,gs3,…に対し、バーコードカメラBCA1,BCA2,BCA3,BCA4,BCA5により読み取られたバーコードID及びその読取時刻、並びに全方位カメラCA1,CA2,CA3,CA4,CA5により撮像された画像(周辺画像)及びその撮像時刻を映像記録装置3から取得し、その時刻情報(つまり、画像の撮像時刻、バーコードIDの読取時刻)とともに保存して管理する。なお、本実施形態において荷物gs1,gs2,gs3を特に区別する必要が無い場合、荷物gsと総称する。また、物品管理装置6は、荷物gsの配送先をバーコードIDで管理しており(図2参照)、特にストッカ150から出荷され、ベルトコンベア100で搬送される荷物gsの搬出口DP1,DP2,DP3を管理する。   The article management device 6 has an image database (DB), and barcode cameras BCA1, BCA2, BCA3, BCA4 for each of the packages gs1, gs2, gs3,. The barcode ID read by the BCA 5 and the reading time thereof, the images (peripheral images) taken by the omnidirectional cameras CA1, CA2, CA3, CA4, and CA5 and the imaging time thereof are acquired from the video recording device 3, and the time The information is stored and managed together with information (that is, image capturing time, barcode ID reading time). In the present embodiment, the packages gs1, gs2, and gs3 are collectively referred to as packages gs when it is not necessary to distinguish them. Further, the article management device 6 manages the delivery destination of the package gs with a barcode ID (see FIG. 2), and in particular, the package gs exits DP1 and DP2 that are shipped from the stocker 150 and conveyed by the belt conveyor 100. , DP3 is managed.

図3は、バーコードカメラBCA1,BCA2,BCA3,BCA4,BCA5及び端末装置4の内部構成の一例を詳細に示すブロック図である。バーコードカメラBCA1,BCA2,BCA3,BCA4,BCA5は、同一の構成である。本実施形態においてバーコードカメラBCA1,BCA2,BCA3,BCA4,BCA5を特に区別する必要が無い場合、バーコードカメラBCAと総称する。   FIG. 3 is a block diagram showing in detail an example of the internal configuration of the barcode cameras BCA1, BCA2, BCA3, BCA4, BCA5 and the terminal device 4. Barcode cameras BCA1, BCA2, BCA3, BCA4, and BCA5 have the same configuration. In the present embodiment, the barcode cameras BCA1, BCA2, BCA3, BCA4, and BCA5 are collectively referred to as a barcode camera BCA when it is not necessary to distinguish them.

バーコードカメラBCAは、荷物により反射した光を入射して撮像することで荷物の画像(可視光に基づく画像)を生成可能なカメラであり、撮像画像に含まれる荷物に貼り付けられたバーコードを電子的に走査するイメージセンシング方式で読み取り、読み取りが成功した場合にバーコードのバーコードIDを取得する。バーコードカメラBCAは、イメージセンサ21、レンズ22、センサ駆動部24、レーザダイオード(LD)27、LD駆動部28、拡散板(ディフューザ)29、温度センサ26、信号処理部30、通信部31、及びスピーカ33を有する。   The barcode camera BCA is a camera that can generate an image of a package (an image based on visible light) by entering and reflecting light reflected by the package, and the barcode attached to the package included in the captured image. Is read by an image sensing method of electronically scanning, and if the reading is successful, the barcode ID of the barcode is acquired. The barcode camera BCA includes an image sensor 21, a lens 22, a sensor driving unit 24, a laser diode (LD) 27, an LD driving unit 28, a diffusion plate (diffuser) 29, a temperature sensor 26, a signal processing unit 30, a communication unit 31, And a speaker 33.

撮像部としてのイメージセンサ21は、対象物により反射した光を入射して撮像することで対象物の画像データを取得するものであり、例えばCMOS(相補性金属酸化膜半導体)センサで構成される。なお、CMOSセンサの代わりに、CCD(電荷結合素子)センサが用いられてよい。また、イメージセンサ21は、バーコードカメラBCAが荷物gsの外形までの距離を測定する際、LD27から投射されたレーザ光が荷物gsで反射された際、その反射光を画素(あるいは所定数の画素群)単位で受光する。   The image sensor 21 as an imaging unit acquires image data of an object by entering light reflected by the object and capturing the image. The image sensor 21 includes, for example, a CMOS (complementary metal oxide semiconductor) sensor. . A CCD (charge coupled device) sensor may be used instead of the CMOS sensor. Further, when the barcode camera BCA measures the distance to the outer shape of the luggage gs, the image sensor 21 reflects the reflected light from the pixel (or a predetermined number of pixels) when the laser light projected from the LD 27 is reflected by the luggage gs. Light is received in units of pixels.

レンズ22は、入射する光をイメージセンサ21に集光させる。レンズ22は、荷物gsが載せられたベルトコンベア100を含む比較的広い領域を撮像可能な広角レンズと、荷物gsに貼られたバーコードBCLを囲む比較的狭い領域を撮像可能な狭角レンズとを切り替え可能である。広角レンズと狭角レンズとの切り替えは、例えばセンサ駆動部24からの制御信号に応じて実現されてよい。また、広角レンズと挟角レンズとの切り替えは、例えば公知の液体レンズを用いることで実現される。液体レンズを使うことで、イメージセンサ21によって撮像される画角を簡単に広角あるいは狭角に切り替えることができ、部品点数を削減しコンパクト化を図ることができる。   The lens 22 condenses incident light on the image sensor 21. The lens 22 includes a wide-angle lens capable of imaging a relatively wide area including the belt conveyor 100 on which the luggage gs is placed, and a narrow-angle lens capable of imaging a relatively narrow area surrounding the barcode BCL attached to the luggage gs. Can be switched. Switching between the wide-angle lens and the narrow-angle lens may be realized, for example, according to a control signal from the sensor driving unit 24. Further, switching between the wide-angle lens and the narrow-angle lens is realized by using, for example, a known liquid lens. By using the liquid lens, the angle of view captured by the image sensor 21 can be easily switched to a wide angle or a narrow angle, and the number of components can be reduced and the size can be reduced.

センサ駆動部24は、信号処理部30からの指示に従い、イメージセンサ21の露光時間等を制御する。また、センサ駆動部24は、信号処理部30からの指示に従い、例えばレンズ22の広角な画角の広角レンズと挟角な画角の挟角レンズとの切り替えを時分割に指示する。これにより、レンズ22は、広角レンズと挟角レンズとを時分割に切り替えることができる。   The sensor driving unit 24 controls the exposure time and the like of the image sensor 21 in accordance with an instruction from the signal processing unit 30. In addition, the sensor driving unit 24 instructs the time division to switch between a wide-angle lens having a wide angle of view and a narrow-angle lens having a wide angle of view, for example, according to an instruction from the signal processing unit 30. Thereby, the lens 22 can switch a wide-angle lens and a narrow-angle lens to a time division.

LD(Laser Diode)27は、LD駆動部28からの制御信号により、荷物gsの外形までの距離測定に使用されるレーザ光(例えば近赤外光)を照射する。LD27は、レーザ光の光源の代わりに、LED(Light Emission Diode)を用いて構成されてよく、この場合にはLED光を照射する。   An LD (Laser Diode) 27 irradiates a laser beam (for example, near infrared light) used for measuring the distance to the outer shape of the luggage gs by a control signal from the LD driving unit 28. The LD 27 may be configured using an LED (Light Emission Diode) instead of the laser light source, and in this case, the LED 27 emits the LED light.

LD駆動部28は、信号処理部30からの指示に従い、LD27を駆動するための制御信号を出力する。拡散板(ディフューザ)29は、LD27から出力されるレーザ光を、荷物全体に照射可能なように拡散させる。温度センサ26は、温度の影響を受け易いLD27に対し、温調制御を行うための温度を検出する。   The LD driving unit 28 outputs a control signal for driving the LD 27 in accordance with an instruction from the signal processing unit 30. The diffusion plate (diffuser) 29 diffuses the laser beam output from the LD 27 so that the entire package can be irradiated. The temperature sensor 26 detects a temperature for performing temperature control on the LD 27 that is easily affected by the temperature.

信号処理部30は、イメージセンサ21から出力される画像信号に対して各種の信号処理を施して出力する。また、信号処理部30は、バーコード読取時、センサ駆動部24に駆動信号を出力する。また、信号処理部30は、距離測定時、LD駆動部28に駆動信号を出力する。また、信号処理部30は、レンズ22の画角の切り替え時に、センサ駆動部24に画角の切り替えのための制御信号を出力する。   The signal processing unit 30 performs various signal processing on the image signal output from the image sensor 21 and outputs the processed signal. The signal processing unit 30 outputs a driving signal to the sensor driving unit 24 when reading the barcode. Further, the signal processing unit 30 outputs a driving signal to the LD driving unit 28 when measuring the distance. The signal processing unit 30 outputs a control signal for switching the angle of view to the sensor driving unit 24 when the angle of view of the lens 22 is switched.

通信部31は、端末装置4との間でデータ通信を行い、信号処理部30から出力される画像データ、及びバーコードカメラBCAから出力されるバーコードIDを端末装置4に出力する。   The communication unit 31 performs data communication with the terminal device 4 and outputs the image data output from the signal processing unit 30 and the barcode ID output from the barcode camera BCA to the terminal device 4.

スピーカ33は、バーコードBCLの読み取りに成功した場合と失敗した場合とで異なる音声(音情報)を出力する(図4(A)及び図4(B)参照)。   The speaker 33 outputs different sound (sound information) depending on whether the reading of the barcode BCL is successful or not (see FIGS. 4A and 4B).

このような構成を有するバーコードカメラBCAにおいて、バーコードカメラBCAによって狭角で撮像される2次元画像は、荷物gsに貼り付けられたバーコードBCLの読み取りに使用される画像であり、例えば荷物gsの誤配送又は破損等のトラブルがあった場合にその原因を究明する時にそのバーコードIDの読取があったか否か等により誤配送の有無の状況把握に利用される。また、2次元画像は、後述する荷物gsの距離画像(3次元画像)程ではないが、平面視で破損の有無の状況把握に利用されてよい。   In the barcode camera BCA having such a configuration, the two-dimensional image captured at a narrow angle by the barcode camera BCA is an image used for reading the barcode BCL attached to the package gs. When troubles such as misdelivery or breakage of gs occur, it is used for grasping the status of misdelivery depending on whether or not the barcode ID is read when the cause is investigated. In addition, the two-dimensional image is not as large as the distance image (three-dimensional image) of the luggage gs described later, but may be used for grasping the presence / absence of damage in plan view.

一方、バーコードカメラBCAによって広角で撮像される2次元画像は、ベルトコンベアで搬送される荷物gsを含む、既定エリアを撮像した画像であり、例えば荷物gsの誤配送又は破損等のトラブルがあった場合にその原因を究明する時に既定エリアのトラブル発生当時の状況の把握に利用される。   On the other hand, the two-dimensional image captured at a wide angle by the barcode camera BCA is an image capturing a predetermined area including the luggage gs conveyed by the belt conveyor. For example, there is a problem such as erroneous delivery or damage of the luggage gs. It is used to understand the situation at the time of trouble occurrence in the default area when investigating the cause.

また、バーコードカメラBCAは、公知のTOF(Time of Flight)技術を用いて、LD27からレーザ光を照射しその反射光を受光することで、対象物までの距離を測定する。即ち、バーコードカメラBCAは、荷物gsの外形までの距離測定を行うことで、荷物gsの立体形状を表す画像(距離画像)を取得する。端末装置4は、バーコードカメラBCAによって取得された荷物gsの距離画像(3次元画像)から荷物gsの破損の有無を判定する。   The barcode camera BCA measures the distance to the object by irradiating laser light from the LD 27 and receiving the reflected light using a known TOF (Time of Flight) technique. That is, the barcode camera BCA obtains an image (distance image) representing the three-dimensional shape of the luggage gs by measuring the distance to the outer shape of the luggage gs. The terminal device 4 determines whether or not the luggage gs is damaged from the distance image (three-dimensional image) of the luggage gs acquired by the barcode camera BCA.

なお、バーコードカメラBCA内のLD27は、ベルトコンベア100で搬送される荷物gsに対して斜め方向からレーザ光を投射可能なように傾いた状態で配置される。   The LD 27 in the barcode camera BCA is disposed in a tilted state so that laser light can be projected from an oblique direction with respect to the luggage gs conveyed by the belt conveyor 100.

図4(A)及び図4(B)は、バーコードカメラBCAによるバーコード読み取り動作を説明する図である。   4A and 4B are diagrams for explaining a barcode reading operation by the barcode camera BCA.

ベルトコンベア100で搬送される荷物gsが、バーコードカメラBCAによる読み取り箇所(監視ポイント)を通過する際、図4(A)に示すように、荷物gsにバーコードBCLが貼られている場合、バーコードカメラBCAは、バーコードBCLの周りの画像を撮像し、この画像に対して画像処理を行い、バーコードIDを読み取る。バーコードBCLの読み取りが成功すると、バーコードカメラBCAは、スピーカ33から「ピッ!」という短くて高い音を出力する。   When the baggage gs conveyed by the belt conveyor 100 passes through a reading position (monitoring point) by the barcode camera BCA, as shown in FIG. 4A, when the barcode BCL is pasted on the baggage gs, The barcode camera BCA captures an image around the barcode BCL, performs image processing on the image, and reads the barcode ID. When the barcode BCL is successfully read, the barcode camera BCA outputs a short and high sound “beep!” From the speaker 33.

一方、図4(B)に示すように、荷物gsにバーコードBCLが貼られていない場合、あるいは、荷物gsが転倒してバーコードBCLの読み取りができない場合、バーコードカメラBCAは、スピーカ33から「ブー」という長くて低い音を出力する。これにより、バーコードカメラBCA付近にいる作業員等のユーザは、バーコードBCLの読み取りの成否をすぐに知ることができる。   On the other hand, as shown in FIG. 4B, when the barcode BCL is not affixed to the package gs, or when the package gs falls down and the barcode BCL cannot be read, the barcode camera BCA displays the speaker 33. To output a long and low sound called “boo”. Thereby, a user such as a worker in the vicinity of the barcode camera BCA can immediately know the success or failure of reading the barcode BCL.

図5は、バーコードカメラBCAの読取動作手順の一例を詳細に説明するフローチャートである。バーコードカメラBCAは、荷物gsが搬送されるベルトコンベア100を含む、既定エリアAREを広角で撮像する(S1)。バーコードカメラBCAは、この広角で撮像された画像にバーコードBCL(バーコード全体)が含まれるか否かを判別する(S2)。バーコードBCLが含まれるまで(S2、NO)、バーコードカメラBCAにおいてステップS1及びステップS2の各処理が繰り返される。   FIG. 5 is a flowchart for explaining in detail an example of the reading operation procedure of the barcode camera BCA. The barcode camera BCA images the predetermined area ARE including the belt conveyor 100 on which the luggage gs is conveyed at a wide angle (S1). The barcode camera BCA determines whether or not the barcode BCL (entire barcode) is included in the image captured at the wide angle (S2). Until the barcode BCL is included (S2, NO), each process of step S1 and step S2 is repeated in the barcode camera BCA.

一方、バーコードBCLが含まれる場合(S2、YES)、バーコードカメラBCAは、このバーコードBCLを含む領域を狭角で撮像する。バーコードカメラBCAは、狭角で撮像された画像からバーコードBCLを含む領域を切り出す(S3)。なお、バーコードカメラBCAは、バーコードBCLを含む領域を挟角で撮像せずに、単に広角で撮像した撮像画像からバーコードBCLを含む領域を部分的に切り出してよい。   On the other hand, when the barcode BCL is included (S2, YES), the barcode camera BCA images a region including the barcode BCL at a narrow angle. The barcode camera BCA cuts out an area including the barcode BCL from the image captured at a narrow angle (S3). Note that the barcode camera BCA may partially cut out the region including the barcode BCL from the captured image simply captured at a wide angle without imaging the region including the barcode BCL at a narrow angle.

バーコードカメラBCAは、切り出された領域の画像に対して画像処理を行い、バーコードIDを読み取る(S4)。バーコードカメラBCAは、読み取り結果であるバーコードIDをその読取時刻とともに端末装置4に出力する(S5)。端末装置4は、このバーコードIDを読取時刻とともに、メモリ42に記憶された読取時刻テーブルTL1(図6参照)に追加する。また、このとき、ステップS1でバーコードカメラBCAによって広角で撮像された既定エリアAREの画像(周辺画像)及びその撮像時刻は、バーコードID及びバーコードIDの読取時刻とともに、映像記録装置3に記録される。また、全方位カメラCAは、電源がオンされるとその間は常時撮像しており、既定エリアAREの全方位画像(周辺画像)を撮像し、映像記録装置3にこの全方位画像を撮像時刻とともに出力して記録させる。   The barcode camera BCA performs image processing on the image of the clipped area and reads the barcode ID (S4). The barcode camera BCA outputs the barcode ID as a reading result to the terminal device 4 together with the reading time (S5). The terminal device 4 adds the barcode ID together with the reading time to the reading time table TL1 (see FIG. 6) stored in the memory 42. At this time, the image (peripheral image) of the predetermined area ARE imaged at a wide angle by the barcode camera BCA in step S1 and its imaging time are stored in the video recording apparatus 3 together with the barcode ID and the barcode ID reading time. To be recorded. Further, the omnidirectional camera CA always captures images when the power is turned on, captures an omnidirectional image (peripheral image) of the predetermined area ARE, and captures the omnidirectional image along with the imaging time on the video recording device 3. Output and record.

この後、バーコードカメラBCAは、電源オフやタイムアウト等によって撮像を終了するか否かを判別する(S6)。撮像を終了する場合、バーコードカメラBCAは、本動作を終了し、一方、撮像を継続する場合、ステップS1の処理に戻る。   Thereafter, the barcode camera BCA determines whether or not to end the imaging due to power-off, timeout, or the like (S6). When the imaging is finished, the barcode camera BCA finishes this operation. On the other hand, when the imaging is continued, the process returns to step S1.

図6は、バーコードIDの読取時刻テーブルTL1の登録内容の一例を示す図である。この読取時刻テーブルTL1には、バーコードカメラBCA1,BCA2,BCA3,BCA4,BCA5のそれぞれに対し、各バーコードカメラBCAによって時系列に読み込まれたバーコードIDの一覧が記憶される。例えば、読取時刻「10:10:30」にバーコードID「AABBB123」、読取時刻「10:10:33」にバーコードID「DDBBB123」が登録される。   FIG. 6 is a diagram illustrating an example of registered contents of the barcode ID reading time table TL1. The reading time table TL1 stores a list of barcode IDs read in time series by each barcode camera BCA for each of the barcode cameras BCA1, BCA2, BCA3, BCA4, and BCA5. For example, the barcode ID “AABBBB123” is registered at the reading time “10:10:30”, and the barcode ID “DDBBB123” is registered at the reading time “10:10:33”.

ここで、図3の説明に戻る。   Returning to the description of FIG.

図3において、端末装置4は、荷物追跡システム1の全体動作を制御するコンピュータ装置であり、プロセッサ41、メモリ42、通信部43、ハードディスク44、表示制御部45等を有する。プロセッサ41は、端末装置4の各部を制御する。   3, the terminal device 4 is a computer device that controls the overall operation of the package tracking system 1, and includes a processor 41, a memory 42, a communication unit 43, a hard disk 44, a display control unit 45, and the like. The processor 41 controls each unit of the terminal device 4.

メモリ42は、プロセッサ41によって実行される、荷物の搬送制御プログラムを格納する。また、メモリ42は、読取時刻テーブルTL1等のデータを一時的に記憶する。ハードディスク44は、各種データを保存するストレージメモリである。   The memory 42 stores a package transport control program executed by the processor 41. The memory 42 temporarily stores data such as the reading time table TL1. The hard disk 44 is a storage memory that stores various data.

表示制御部45は、端末装置4に接続された表示装置5の表示を制御する。通信部43は、複数のバーコードカメラBCA1,BCA2,BCA3,BCA4,BCA5、全方位カメラCA1,CA2,CA3,CA4,CA5、物品管理装置6、映像記録装置3等と接続され、これらの間でデータ通信を行う。   The display control unit 45 controls the display of the display device 5 connected to the terminal device 4. The communication unit 43 is connected to a plurality of barcode cameras BCA1, BCA2, BCA3, BCA4, BCA5, omnidirectional cameras CA1, CA2, CA3, CA4, CA5, article management device 6, video recording device 3, and the like. Perform data communication with.

図7は、表示装置5に表示される、バーコードカメラBCA及び全方位カメラCAによって撮像された撮像画像を含む画面5zの表示例を示す図である。図7では、表示装置5の画面5zは9分割されている。なお、画面の分割数は、6分割、3分割等、任意の数でよい。   FIG. 7 is a diagram illustrating a display example of a screen 5z that is displayed on the display device 5 and includes a captured image captured by the barcode camera BCA and the omnidirectional camera CA. In FIG. 7, the screen 5z of the display device 5 is divided into nine. Note that the number of screen divisions may be an arbitrary number such as six divisions or three divisions.

画面5zを構成する、上位3つの分割画面を左側から分割画面5z−1,5z−2,5z−3という。同様に、中位3つの分割画面を左側から分割画面5z−4,5z−5,5z−6という。同様に、下位3つの分割画面を左側から分割画面5z−7,5z−8,5z−9という。   The upper three divided screens constituting the screen 5z are referred to as divided screens 5z-1, 5z-2, and 5z-3 from the left side. Similarly, the middle three divided screens are referred to as divided screens 5z-4, 5z-5, and 5z-6 from the left side. Similarly, the lower three divided screens are referred to as divided screens 5z-7, 5z-8, and 5z-9 from the left side.

下位3つの分割画面5z−7,5z−8,5z−9には、それぞれ全方位カメラCA1,CA2,CA3で撮像された、各既定エリアAREの全方位画像(周辺画像iga)が表示される。また、中位3つの分割画面5z−4,5z−5,5z−6には、バーコードカメラBCA1,BCA2,BCA3がそれぞれ広角で撮像した、ベルトコンベアで搬送される荷物gsを含む、既定エリアを撮像した画像(周辺画像igb)が表示される。分割画面5z−4,5z−5では、ベルトコンベア100によって荷物が搬送される場合、荷物に貼られたバーコードBCLが読み取り可能である。なお、分割画面5z−6には、ベルトコンベア100によって搬送される荷物に貼られたバーコードBCLが存在しない。   On the lower three divided screens 5z-7, 5z-8, and 5z-9, the omnidirectional images (peripheral images iga) of each predetermined area ARE captured by the omnidirectional cameras CA1, CA2, and CA3 are displayed, respectively. . Further, the middle three divided screens 5z-4, 5z-5, and 5z-6 each include a predetermined area that includes a baggage gs that is captured by the barcode cameras BCA1, BCA2, and BCA3 at a wide angle and is conveyed by a belt conveyor. The image (peripheral image igb) which imaged is displayed. In the divided screens 5z-4 and 5z-5, when a load is conveyed by the belt conveyor 100, the barcode BCL attached to the load can be read. In the divided screen 5z-6, there is no barcode BCL affixed to the luggage conveyed by the belt conveyor 100.

また、上位3つの分割画面5z−1,5z−2,5z−3には、バーコードカメラBCA1,BCA2,BCA3がそれぞれ狭角で撮像した、荷物gsに貼られたバーコードBCL周りの画像が表示される。但し、分割画面5z−3には、荷物gsにバーコードBCLが貼り付けられていないので、何も表示されない。なお、何も表示しない代わりに、バーコード無しであることを表す代用画像、メッセージやマーク等が表示されてもよい。   Further, in the upper three divided screens 5z-1, 5z-2, and 5z-3, images around the barcode BCL attached to the baggage gs, which are respectively captured by the barcode cameras BCA1, BCA2, and BCA3 at a narrow angle. Is displayed. However, since the barcode BCL is not pasted on the package gs, nothing is displayed on the divided screen 5z-3. Instead of displaying nothing, a substitute image indicating that there is no barcode, a message, a mark, or the like may be displayed.

また、表示装置5の画面5zにおいて、縦(列)方向の3つの分割画面は、それぞれ各監視ポイントWPに配置された各カメラペアに対応している。例えば分割画面5z−1,5z−4,5z−7は、ベルトコンベア100の上流側の監視ポイントWP1に配置されたカメラペア7、つまりバーコードカメラBCA1及び全方位カメラCA1によって撮像される撮像画像が表示される。同様に、分割画面5z−2,5z−5,5z−8は、ベルトコンベア100の中流側の監視ポイントWP2に配置されたカメラペア8、つまりバーコードカメラBCA2及び全方位カメラCA2によって撮像される撮像画像が表示される。同様に、分割画面5z−3,5z−6,5z−9は、ベルトコンベア100の下流側の監視ポイントWP3に配置されたカメラペア9、つまりバーコードカメラBCA3及び全方位カメラCA3によって撮像される撮像画像が表示される。   In the screen 5z of the display device 5, the three divided screens in the vertical (column) direction correspond to the respective camera pairs arranged at the respective monitoring points WP. For example, the divided screens 5z-1, 5z-4, and 5z-7 are captured images captured by the camera pair 7 arranged at the monitoring point WP1 on the upstream side of the belt conveyor 100, that is, the barcode camera BCA1 and the omnidirectional camera CA1. Is displayed. Similarly, the divided screens 5z-2, 5z-5, and 5z-8 are imaged by the camera pair 8, that is, the barcode camera BCA2 and the omnidirectional camera CA2 arranged at the monitoring point WP2 on the middle stream side of the belt conveyor 100. A captured image is displayed. Similarly, the divided screens 5z-3, 5z-6, and 5z-9 are imaged by the camera pair 9 arranged at the monitoring point WP3 on the downstream side of the belt conveyor 100, that is, the barcode camera BCA3 and the omnidirectional camera CA3. A captured image is displayed.

このように、表示装置の画面5zに配置される、縦(列)方向の3つの撮像画像は、同一の監視ポイントWPにおけるカメラペアで撮像される画像であるので、ユーザにとって、各監視ポイントWPにおける撮像画像が見易くなり直感的に判別し易くなる。   Thus, since the three captured images in the vertical (column) direction arranged on the screen 5z of the display device are images captured by the camera pair at the same monitoring point WP, each monitoring point WP is for the user. This makes it easier to see the captured image and intuitively distinguish it.

また、監視ポイントWP1,WP2,WP3,WP4,WP5におけるカメラペア7,8,9,10,11の中から、例えば、ユーザがあるカメラペアを指定すると、指定されたカメラペアによる撮像画像が画面5zの中央列の分割画面5z−2,5z−5,5z−8に表示される。その左列の分割画面5z−1,5z−4,5z−7には、指定されたカメラペアよりも1つ上流に配置されたカメラペアによる撮像画像が配置される。同様に、右列の分割画面5z−3,5z−6,5z−9には、指定されたカメラペアよりも1つ下流に配置されたカメラペアによる撮像画像が配置される。   Further, for example, when a user designates a certain camera pair from among the camera pairs 7, 8, 9, 10, and 11 at the monitoring points WP1, WP2, WP3, WP4, and WP5, a captured image by the designated camera pair is displayed on the screen. It is displayed on the divided screens 5z-2, 5z-5, and 5z-8 in the center column of 5z. In the divided screens 5z-1, 5z-4, and 5z-7 in the left column, captured images by the camera pair arranged one upstream from the designated camera pair are arranged. Similarly, on the divided screens 5z-3, 5z-6, and 5z-9 in the right column, captured images by camera pairs arranged one downstream from the designated camera pair are arranged.

このように、表示装置5の画面5zにおいて、縦方向に並ぶ分割画面を、ベルトコンベア100に配置されたカメラペアと対応付けることで、ユーザは分割画面に映し出された、カメラペアで撮像された画像を直感的に判別し易くなり視認もし易くなる。   In this way, by associating the divided screens arranged in the vertical direction on the screen 5z of the display device 5 with the camera pairs arranged on the belt conveyor 100, the user is displayed on the divided screen and is captured by the camera pair. It becomes easy to discriminate intuitively and it becomes easy to visually recognize.

図8は、表示装置5に表示される、履歴リストhstと、バーコードカメラBCA及び全方位カメラCAによって撮像された撮像画像とを含む画面5yの表示例を示す図である。表示装置5の画面5yは、左画面5y1,右画面5y2に2分割される。右画面5y2には、前述した図7の画面と同様、9分割された分割画面5y2−1,5y2−2,5y2−3,5y2−4,5y2−5,5y2−6,5y2−7,5y2−8,5y2−9が表示される。   FIG. 8 is a diagram illustrating a display example of a screen 5y that is displayed on the display device 5 and includes a history list hst and captured images captured by the barcode camera BCA and the omnidirectional camera CA. The screen 5y of the display device 5 is divided into two parts, a left screen 5y1 and a right screen 5y2. The right screen 5y2 has nine divided screens 5y2-1, 5y2-2, 5y2-3, 5y2-4, 5y2-5, 5y2-6, 5y2-7, 5y2 as in the screen of FIG. 7 described above. −8, 5y2-9 is displayed.

一方、左画面5y1には、バーコードIDを検知した履歴リストhstが表示される。この履歴リストhstには、ユーザの入力操作によって入力されたバーコードIDの検知情報の履歴が登録される。バーコードIDの検知情報として、時刻情報、領域識別ID(エリア識別情報)、カメラ位置識別ID(場所識別情報)、責任担当識別ID(担当者識別情報)が表示される。これらの検知情報が表示されることで、バーコードIDが貼り付けられた荷物gsの探索(例えば、どの既定エリアに荷物gsが存在しているか、どのカメラペアの設置場所に荷物gsが存在しているか)が容易になる。また、バーコードIDが貼り付けられた荷物gsを取り扱った担当者の責任の有無等の所在を明らかにすることができる。   On the other hand, a history list hst in which the barcode ID is detected is displayed on the left screen 5y1. In the history list hst, the history of the barcode ID detection information input by the user's input operation is registered. As bar code ID detection information, time information, area identification ID (area identification information), camera position identification ID (location identification information), and responsible person identification ID (person identification information) are displayed. By displaying these pieces of detection information, a search for the baggage gs to which the barcode ID is pasted (for example, in which predetermined area the baggage gs exists or in which camera pair is installed the baggage gs exists). Is easier). In addition, it is possible to clarify the location of the person in charge who handles the package gs with the barcode ID attached.

また、ユーザが履歴リストhstに登録されている、コラム(図中、点線枠e)をクリック等の選択を行うと、そのコラムに対応する撮像画像が右画面5y2に表示される。右画面5y2には、全方位カメラCAで撮像された全方位画像(周辺画像iga)、バーコードカメラBCAが広角で撮像した画像(周辺画像igb)が、それぞれ右画面5y2を構成する分割画面として表示される。その他の分割画面には、様々な画像を表示可能である。例えば、選択されたコラムに対応するカメラペアと隣り合ったカメラペアで撮像された撮像画像が表示されてよい。   When the user selects a column (dotted line frame e in the figure) registered in the history list hst or the like, a captured image corresponding to the column is displayed on the right screen 5y2. On the right screen 5y2, an omnidirectional image (peripheral image iga) captured by the omnidirectional camera CA and an image (peripheral image igb) captured at a wide angle by the barcode camera BCA are respectively divided screens constituting the right screen 5y2. Is displayed. Various images can be displayed on other divided screens. For example, a captured image captured by a camera pair adjacent to the camera pair corresponding to the selected column may be displayed.

上記構成を有する荷物追跡システム1の動作を詳細に説明する。   The operation of the package tracking system 1 having the above configuration will be described in detail.

(荷物の紛失)
始めに、物流倉庫WAから出荷される荷物gsが誤配送等により紛失した場合を説明する。例えば、荷物gsがベルトコンベア100の本流ラインの監視ポイントWP1→監視ポイントWP2→監視ポイントWP3の順に搬送され、作業員p1によりトラックTR1に積載されて配送されるという正解ルートから外れて誤配送されたケースを説明する。
(Lost luggage)
First, the case where the package gs shipped from the distribution warehouse WA is lost due to misdelivery or the like will be described. For example, the luggage gs is transported in the order of the monitoring point WP1 → the monitoring point WP2 → the monitoring point WP3 in the main line of the belt conveyor 100, and is misdelivered out of the correct route in which the worker p1 is loaded on the truck TR1 and delivered. Explain the case.

図9は、荷物追跡システム1における紛失した荷物の検知動作手順の一例を詳細に説明するフローチャートである。作業員、管理者等のユーザが操作部46を用いて、例えば紛失した荷物のバーコードIDを入力すると、端末装置4は、このバーコードIDを取得してメモリ42に一時的に記憶する(S11)。   FIG. 9 is a flowchart illustrating in detail an example of an operation procedure for detecting a lost package in the package tracking system 1. When a user such as a worker or an administrator inputs a barcode ID of a lost package, for example, using the operation unit 46, the terminal device 4 acquires the barcode ID and temporarily stores it in the memory 42 ( S11).

端末装置4は、物品管理装置6に保存されている画像データベースに対し、入力されたバーコードIDに対応付けられる各種の画像(つまり、バーコードIDに対応するバーコードが貼り付けられた荷物が全方位カメラやバーコードカメラにより撮像されたそれぞれの画像)を検索する(S12)。   The terminal device 4 stores various images associated with the input barcode ID (that is, a package with a barcode corresponding to the barcode ID pasted on the image database stored in the article management device 6). Each image taken by the omnidirectional camera or the barcode camera is searched (S12).

画像検索の結果、端末装置4は、該当するバーコードIDに対応付けて物品管理装置6に保存されている周辺画像及びその時刻情報(具体的には、バーコードIDの読取時刻、周辺画像の撮像時刻)を取得する。端末装置4は、バーコードIDに対応付けられた取得済みの各種データ(周辺画像、バーコードIDの読取時刻、周辺画像の撮像時刻)を基に、バーコードIDが分岐点TP2で支流ラインに振り分けられる(分岐される)前、つまり、カット前の監視ポイントWP2でバーコードカメラBCA2によってこのバーコードIDが検知されていたことを確認する(S13)。   As a result of the image search, the terminal device 4 correlates the corresponding barcode ID with the peripheral image stored in the article management device 6 and its time information (specifically, the barcode ID reading time, the peripheral image Acquisition time). Based on the acquired various data (peripheral image, barcode ID reading time, peripheral image imaging time) associated with the barcode ID, the terminal device 4 uses the barcode ID as a branch line at the branch point TP2. It is confirmed that this barcode ID has been detected by the barcode camera BCA2 at the monitoring point WP2 before being distributed (branched), that is, before cutting (S13).

また、端末装置4は、バーコードIDに対応付けられた取得済みの各種データ(周辺画像、バーコードIDの読取時刻、周辺画像の撮像時刻)を基に、このバーコードIDが本流ライン(ルート)の監視ポイントWP3においてバーコードカメラBCA3によって未検知であったことを確認する(S14)。   Further, the terminal device 4 uses the acquired various data (peripheral image, reading time of the barcode ID, imaging time of the peripheral image) associated with the barcode ID so that the barcode ID is a main line (route). It is confirmed that the barcode camera BCA3 has not detected it at the monitoring point WP3 (S14).

更に、端末装置4は、バーコードIDに対応付けられた取得済みの各種データ(周辺画像、バーコードIDの読取時刻、周辺画像の撮像時刻)を基に、監視ポイントWP5においてこのバーコードIDが検知されていたことを確認する(S15)。   Further, the terminal device 4 uses the acquired various data (peripheral image, barcode ID reading time, peripheral image imaging time) associated with the barcode ID, at the monitoring point WP5, the barcode ID. It is confirmed that it has been detected (S15).

端末装置4は、ステップS13〜ステップS15において確認した情報を基に、物品管理装置6で管理されているバーコードIDの搬出口が監視ポイントWP3で監査される搬出口DP1であるべきところ、実際には監視ポイントWP5で監査される搬出口DP2であり、結果的に荷物gsが誤ったルートで搬送されていたと判断する。   Based on the information confirmed in step S13 to step S15, the terminal device 4 actually uses the barcode ID managed by the article management device 6 as the delivery port DP1 to be audited at the monitoring point WP3. Is the delivery port DP2 to be audited at the monitoring point WP5, and as a result, it is determined that the package gs has been transported through an incorrect route.

端末装置4は、監視ポイントWP5に配置された全方位カメラCA5、及び分岐点TP2の前後にある監視ポイントWP2,WP3にそれぞれ配置された全方位カメラCA2,CA3による全方位画像、つまりカット前後の全方位画像を再生し、搬送時に誤りが発生した画像(周辺画像iga)を取得する(S16)。なお、端末装置4は、ステップS16において取得した画像(周辺画像iga)を表示装置5に出力して再生表示してよい。   The terminal device 4 has an omnidirectional image by the omnidirectional camera CA5 arranged at the monitoring point WP5 and the omnidirectional cameras CA2 and CA3 arranged at the monitoring points WP2 and WP3 before and after the branch point TP2, that is, before and after the cut. An omnidirectional image is reproduced, and an image (peripheral image iga) in which an error has occurred during conveyance is acquired (S16). Note that the terminal device 4 may output and reproduce and display the image (peripheral image iga) acquired in step S16 to the display device 5.

この場合、搬送時の誤りが発生した画像として、例えば、作業員p3がベルトコンベア100に載っている荷物を誤ってベルトコンベア120に移し替えた様子が映っている画像が挙げられる。なお、この画像は静止画であってもよいし、作業員による移し替えが分かる程度の短い時間の動画であってもよい。   In this case, as an image in which an error has occurred at the time of conveyance, for example, an image showing a situation where the worker p3 mistakenly transfers the load placed on the belt conveyor 100 to the belt conveyor 120 can be cited. Note that this image may be a still image, or a moving image of a short time that can be understood by the worker.

一方、各監視ポイントWP1〜WP5で撮像された画像に映っている荷物の搬送ルートが正しい場合、荷物が誤配送される原因として、搬出口から荷物が載せ替えられた台車が誤っている、台車から荷物を載せ替えるトラックが間違っていることも想定される。また、搬出口から直接にトラックの荷台に載せ替える段階では、積載するトラックが間違っていることも想定される。   On the other hand, if the transportation route of the luggage shown in the images taken at the respective monitoring points WP1 to WP5 is correct, the carriage in which the luggage has been replaced from the carry-out port is erroneous as a cause of erroneous delivery of the luggage. It is also assumed that the truck to which the package is transferred is wrong. In addition, it is assumed that the loaded truck is wrong at the stage of loading directly onto the truck bed from the carry-out port.

端末装置4は、搬送時の誤りが発生した画像を証拠画像としてハードディスク44に保存する(S17)。この後、端末装置4は本動作を終了する。   The terminal device 4 stores an image in which an error has occurred during conveyance in the hard disk 44 as an evidence image (S17). Thereafter, the terminal device 4 ends this operation.

これにより、管理者等のユーザが、端末装置4のハードディスク44に保存された証拠画像を確認することで、誤配送が発生した原因究明を速やかに行うことができる。なお、ここでは、周辺画像は、全方位カメラCAで撮像された全方位画像(魚眼画像)、バーコードカメラBCAによって、ベルトコンベア等を含むように広角で撮像された画像の両方であったが、いずれか一方であってもよい。   Thereby, a user such as an administrator can promptly investigate the cause of the erroneous delivery by checking the evidence image stored in the hard disk 44 of the terminal device 4. Here, the peripheral images are both an omnidirectional image (fisheye image) captured by the omnidirectional camera CA and an image captured at a wide angle so as to include a belt conveyor or the like by the barcode camera BCA. However, either one may be sufficient.

なお、上記処理は、作業員、管理者等のユーザが荷物の紛失に気付き、操作部46に対し、例えば紛失した荷物のバーコードIDを入力したことを契機(トリガ)として、実行された。但し、ユーザが荷物の紛失に気付いていない場合、端末装置4は、紛失の可能性があることを促す表示を行ってもよい。   Note that the above processing was executed when a user such as a worker or an administrator noticed that the package was lost, and input the barcode ID of the lost package to the operation unit 46 as a trigger (trigger). However, when the user is not aware of the loss of the package, the terminal device 4 may perform a display prompting that there is a possibility of loss.

例えば、ベルトコンベアで搬送される荷物のバーコードが読み取られてから、所定時間経っても、次のバーコードカメラBCAによってバーコードが読み取られない場合、途中で荷物が紛失した可能性が高い。この場合、端末装置4は、直前にバーコードが読み取られた読取時刻の時刻情報に対応付けられた周辺画像iga,igbを、警告情報とともに表示装置5に表示させる。なお、警告情報は、メッセージでもよいし、特定のマークであってもよい。   For example, if a bar code is not read by the next bar code camera BCA even after a predetermined time has passed since the bar code of the baggage conveyed by the belt conveyor is read, there is a high possibility that the baggage has been lost. In this case, the terminal device 4 causes the display device 5 to display the peripheral images iga and igb associated with the time information of the reading time when the barcode was read immediately before together with the warning information. The warning information may be a message or a specific mark.

ユーザは、周辺画像とともに表示された警告情報を見ることで、速やかに荷物の紛失に気付くことができる。この後、ユーザは、操作部46に対し、警告のあった荷物のバーコードIDを入力する等、前述と同様の対処を行う。これにより、荷物の紛失時における迅速な対応が可能となる。   The user can quickly notice the loss of the package by looking at the warning information displayed together with the surrounding image. Thereafter, the user takes the same measures as described above, for example, by inputting the barcode ID of the package with the warning to the operation unit 46. As a result, it is possible to promptly respond to lost luggage.

また、上記処理では、ユーザが入力することを契機に実行されたが、ユーザの入力を待つことなく、例えば、ベルトコンベアで搬送される荷物のバーコードが読み取られてから、所定時間経っても、次のバーコードカメラBCAによってバーコードが読み取られない場合、荷物の紛失の可能性が高いとして、自動的に実行してよい。この場合、ユーザは、搬送時に誤りがあった画像を見ることで、紛失の事実とその原因究明を同時に把握することができる。   Further, in the above process, the process is executed when the user inputs, but without waiting for the user's input, for example, even after a predetermined time has passed since the barcode of the baggage conveyed by the belt conveyor is read. If the barcode is not read by the next barcode camera BCA, it may be automatically executed on the assumption that there is a high possibility that the package is lost. In this case, the user can grasp the fact of the loss and the investigation of the cause at the same time by looking at the image in which the error has occurred during transportation.

(荷物の破損)
次に、物流倉庫WAから出荷される荷物gsが破損した場合を説明する。ここでは、荷物の搬入時から搬出時に至る途中の過程で荷物の外形が変わってしまい、荷物が破損したケースを説明する。
(Luggage damage)
Next, a case where the package gs shipped from the distribution warehouse WA is damaged will be described. Here, a case will be described in which the outer shape of the baggage changes during the process from the time of loading the baggage to the time of unloading and the baggage is damaged.

図10(A)及び図10(B)は、荷物gsのサイズ測定を説明する図である。図10(A)に示すように、バーコードカメラBCAは、可視光が荷物gsにより反射されてイメージセンサ21により撮像されて得た通常のキャプチャ画像(つまり、可視光に基づく撮像画像)を取得する。   FIG. 10A and FIG. 10B are diagrams for explaining the size measurement of the luggage gs. As shown in FIG. 10A, the barcode camera BCA obtains a normal captured image (that is, a captured image based on visible light) obtained by imaging visible light reflected by the luggage gs and captured by the image sensor 21. To do.

更に、バーコードカメラBCAは、荷物gsに向けてLD27からレーザ光(例えば近赤外光)を照射する。バーコードカメラBCAは、荷物gsにより反射したレーザ光の反射光がレンズ22を介して入射されてかつイメージセンサ21により撮像されて、レーザ光の照射に基づく荷物gsの距離画像を生成する。また、バーコードカメラBCAは、LD27からレーザ光を照射する際、周知のTOF(Time of Flight)技術を用いて荷物gsの外形の各所までの距離を測定する。   Further, the barcode camera BCA irradiates laser light (for example, near infrared light) from the LD 27 toward the luggage gs. In the barcode camera BCA, the reflected light of the laser beam reflected by the baggage gs is incident through the lens 22 and captured by the image sensor 21, and generates a distance image of the baggage gs based on the irradiation of the laser beam. Further, when the laser beam is emitted from the LD 27, the barcode camera BCA measures the distance to each part of the outer shape of the luggage gs using a well-known TOF (Time of Flight) technique.

なお、バーコードカメラBCAは、LD27の照射の有無を時分割に切り替えるものとし、可視光に基づく撮像画像を撮像する時にはLD27の照射を行わないように制御し、一方、LD27を照射して距離画像を撮像する時には可視光の反射光成分をカットできるように制御するための可視光カットフィルタ(不図示)を、イメージセンサ21の前面側(つまり、反射光の入射方向の側)に配置するように制御することが好ましい。これにより、バーコードカメラBCAは、可視光に基づく撮像画像や距離画像の画質をともに向上できる。   The barcode camera BCA switches the presence / absence of the irradiation of the LD 27 in a time-sharing manner, and controls the LD 27 not to be irradiated when taking a captured image based on visible light, while irradiating the LD 27 to the distance. A visible light cut filter (not shown) for controlling the reflected light component of visible light to be cut when an image is captured is arranged on the front side of the image sensor 21 (that is, the incident light incident direction side). It is preferable to control as described above. Thereby, the barcode camera BCA can improve both the image quality of the captured image and the distance image based on visible light.

図10(B)に示すように、バーコードカメラBCAは、距離情報を基に、荷物gsの外形を表す立体形状の画像(距離画像)を取得する。バーコードカメラBCAで取得された距離画像(3次元画像)は、物品管理装置6の画像データベースに保存される。また、バーコードカメラBCAは、イメージセンサ21によって荷物gsの2次元画像(RGB画像)を撮像し、上記3次元画像と紐付けて物品管理装置6の画像データベースに保存する。   As shown in FIG. 10B, the barcode camera BCA acquires a three-dimensional image (distance image) representing the outer shape of the luggage gs based on the distance information. The distance image (three-dimensional image) acquired by the barcode camera BCA is stored in the image database of the article management device 6. Further, the barcode camera BCA captures a two-dimensional image (RGB image) of the luggage gs by the image sensor 21, associates it with the three-dimensional image, and stores it in the image database of the article management apparatus 6.

端末装置4は、物品管理装置6の画像データベースに保存された3次元画像を読み出し、バーコードカメラBCAによって取得された3次元画像から荷物の破損の有無を判定する。   The terminal device 4 reads the three-dimensional image stored in the image database of the article management device 6 and determines whether or not the package is damaged from the three-dimensional image acquired by the barcode camera BCA.

なお、バーコードカメラBCAは、LD27がベルトコンベア100で搬送される荷物gsに対して斜め方向からレーザ光を投射可能なように、傾いた状態で配置される。これにより、荷物の外形を表す距離情報が得られ易い。   The barcode camera BCA is disposed in an inclined state so that the LD 27 can project laser light from an oblique direction to the luggage gs conveyed by the belt conveyor 100. Thereby, it is easy to obtain distance information representing the outer shape of the luggage.

このように、バーコードカメラBCAは、イメージセンサ21により荷物を撮像して荷物画像を取得し、また、LD27により荷物の外形までの距離を測定して距離情報を取得する。   In this manner, the barcode camera BCA captures a baggage by the image sensor 21 and acquires a baggage image, and measures distance to the outer shape of the baggage by the LD 27 to acquire distance information.

端末装置4は、バーコードカメラBCAから荷物画像及び距離情報を受けると、この距離情報に基づく3次元画像(距離画像)及び荷物画像を表示装置5に表示する。更に、端末装置4は、距離情報に基づき、荷物のサイズを決定する。表示装置5の画面5zには、グラフィカルユーザインタフェース(GUI)200が表示される。このGUI200には、荷物画像GZ1、距離画像GZ2、サイズ計測テーブルTL2が配置される。   When the terminal device 4 receives the baggage image and the distance information from the barcode camera BCA, the terminal device 4 displays a three-dimensional image (distance image) and the baggage image based on the distance information on the display device 5. Further, the terminal device 4 determines the size of the package based on the distance information. A graphical user interface (GUI) 200 is displayed on the screen 5z of the display device 5. In the GUI 200, a luggage image GZ1, a distance image GZ2, and a size measurement table TL2 are arranged.

サイズ計測テーブルTL2には、荷物gsの3辺(長辺、短辺、高さ)の長さを含む各種の計測値が登録されている。図10では、3辺の合計603mm、長辺272mm、短辺200mm、高さ130mmの計測値、及びこれらの誤差から、荷物gsのサイズは、3辺の合計600.00mm、長辺270mm、短辺200mm、高さ130mmであり、荷物gsに破損が発生していないと判断される。また、荷物gsのサイズを決定する処理時間は、223.59msecである。   In the size measurement table TL2, various measurement values including the lengths of the three sides (long side, short side, height) of the luggage gs are registered. In FIG. 10, from the measured values of 603 mm in total for three sides, 272 mm in long side, 200 mm in short side, and 130 mm in height, and these errors, the size of the luggage gs is 600.00 mm in total for three sides, 270 mm in long side, and short in length. The side is 200 mm and the height is 130 mm, and it is determined that the baggage gs is not damaged. The processing time for determining the size of the luggage gs is 223.59 msec.

図11は、荷物追跡システム1における破損した荷物の検知動作手順の一例を詳細に説明するフローチャートである。ここでは、本流ラインであるベルトコンベア100において、監視ポイントWP1,WP2の間で荷物gsが破損したケースを説明する。   FIG. 11 is a flowchart illustrating in detail an example of an operation procedure for detecting a damaged package in the package tracking system 1. Here, a case where the luggage gs is damaged between the monitoring points WP1 and WP2 in the belt conveyor 100 which is a mainstream line will be described.

作業員がバーコードリーダBRを用いて破損した荷物gsのバーコードBCLを読み取ると、端末装置4は、破損した荷物gsのバーコードIDを確認し、メモリ42に記憶する(S21)。ここでは、破損した荷物gsのバーコードBCLの読み取りは、作業者等のユーザが行っている。但し、端末装置4は、バーコードカメラBCAに荷物gsの距離情報を読み取らせてその距離情報を取得し、予め入力されている荷物gsのサイズの計測値との比較を行った結果、荷物gsが破損しているか否かを自動的に判断し、その荷物gsが破損していると判断した場合に、バーコードカメラBCAにバーコードBCLを読み取らせて取得するようにしてよい。   When the worker reads the barcode BCL of the damaged luggage gs using the barcode reader BR, the terminal device 4 confirms the barcode ID of the damaged luggage gs and stores it in the memory 42 (S21). Here, reading of the barcode BCL of the damaged luggage gs is performed by a user such as an operator. However, the terminal device 4 causes the barcode camera BCA to read the distance information of the baggage gs, obtains the distance information, and compares it with the measurement value of the size of the baggage gs inputted in advance. If the baggage gs is determined to be damaged, it may be obtained by causing the barcode camera BCA to read the barcode BCL.

端末装置4は、バーコードIDを基に、物品管理装置6の画像データベースに保存されている、バーコードカメラBCAで撮像された荷物gsの距離画像を検索する(S22)。   The terminal device 4 searches the distance image of the baggage gs imaged by the barcode camera BCA stored in the image database of the article management device 6 based on the barcode ID (S22).

端末装置4は、バーコードカメラBCA1で撮像された距離画像から得られる荷物gsの立体形状と、バーコードカメラBCA2,BCA4で撮像された距離画像から得られる荷物gsの立体形状とを比較する(S23)。端末装置4は、荷物gsの外観(立体形状)の変化が検知されたバーコードカメラを特定する(S24)。ここでは、バーコードカメラBCA2によって得られる荷物gsの立体形状に変化が検知された場合を想定する。   The terminal device 4 compares the three-dimensional shape of the luggage gs obtained from the distance image captured by the barcode camera BCA1 and the three-dimensional shape of the luggage gs obtained from the distance images captured by the barcode cameras BCA2 and BCA4 ( S23). The terminal device 4 specifies the barcode camera in which the change in the appearance (three-dimensional shape) of the luggage gs is detected (S24). Here, it is assumed that a change is detected in the three-dimensional shape of the luggage gs obtained by the barcode camera BCA2.

端末装置4は、バーコードカメラBCA2による立体形状の変化を検知すると、監視ポイントWP1,WP2にそれぞれ配置された全方位カメラCA1,CA2で撮像された、荷物gsの通過時点前後の全方位画像を確認し、破損原因となった全方位画像(破損原因画像)を取得する(S25)。破損原因画像は、荷物gsがベルトコンベア100から落下する、作業員が荷物をぶつけた等、何らかの破損原因が映っている画像である。なお、ここでは、全方位カメラCAが撮像した全方位画像で破損原因画像を確認したが、バーコードカメラBCAが広角で撮像した画像で破損原因画像を確認してよい。   When the terminal device 4 detects the change in the three-dimensional shape by the barcode camera BCA2, the terminal device 4 captures omnidirectional images before and after the passage of the luggage gs, which are captured by the omnidirectional cameras CA1 and CA2 respectively disposed at the monitoring points WP1 and WP2. An omnidirectional image (damage cause image) that is confirmed and causes damage is acquired (S25). The damage cause image is an image in which some cause of damage is reflected, such as the luggage gs falling from the belt conveyor 100 or the worker hitting the luggage. Here, the damage cause image is confirmed by the omnidirectional image captured by the omnidirectional camera CA. However, the damage cause image may be confirmed by the image captured by the barcode camera BCA at a wide angle.

端末装置4は、バーコードカメラBCAで読み取られたバーコードID、時刻情報、距離情報に基づく立体形状を表す画像(距離画像)、及び全方位カメラCAで撮像された破損原因画像を、証拠画像としてハードディスク44に保存する(S26)。証拠映像として保存される、破損原因画像には、フラグを付加することでマーキングしておいてもよく、破損原因画像を検索する際に有効である。また、距離画像と破損原因画像とを見比べることで、より深い原因究明を行うことができる。この後、端末装置4は本動作を終了する。   The terminal device 4 uses the barcode ID read by the barcode camera BCA, the time information, the image representing the stereoscopic shape based on the distance information (distance image), and the damage cause image captured by the omnidirectional camera CA as an evidence image. Is stored in the hard disk 44 (S26). The damage cause image stored as the evidence video may be marked by adding a flag, which is effective when searching for the damage cause image. Further, a deeper cause investigation can be performed by comparing the distance image and the damage cause image. Thereafter, the terminal device 4 ends this operation.

これにより、作業員、管理者等のユーザは、荷物gsが破損した原因究明を速やかに行うことができる。なお、ここでは、端末装置4が破損原因画像を探索する処理を行ったが、バーコードカメラBCAが、撮像画像と距離画像とを用いて、カメラ自身で判断するように構成することも可能であり、端末装置4の処理の負荷を軽減できる。   As a result, users such as workers and managers can quickly investigate the cause of damage to the luggage gs. Here, the terminal device 4 performs the process of searching for the damage cause image. However, the barcode camera BCA may be configured to make a determination by the camera itself using the captured image and the distance image. Yes, the processing load of the terminal device 4 can be reduced.

(ジャミング検知)
図12(A)及び図12(B)は、ジャミングの検知例を説明する図である。図12(A)は、ベルトコンベア210のコーナー付近で発生したジャミングの検知例を示す図である。ベルトコンベア210は、略直角に曲がるコーナーを持つ。このコーナーで、大きな荷物gs11が詰まっている場合を想定する。
(Jamming detection)
FIGS. 12A and 12B are diagrams illustrating an example of jamming detection. FIG. 12A is a diagram illustrating an example of detection of jamming that has occurred near the corner of the belt conveyor 210. The belt conveyor 210 has a corner that bends at a substantially right angle. Assume that a large baggage gs11 is clogged at this corner.

この場合、ベルトコンベア210に積載されている荷物を長い距離に亘って撮像するバーコードカメラBCA11によって、搬送される荷物gs11が検知される。荷物gs11がコーナーに着くと、バーコードカメラBCA12によって荷物gs11が撮像され、荷物gs11の到着が検知される。   In this case, the conveyed baggage gs11 is detected by the barcode camera BCA11 that images the baggage loaded on the belt conveyor 210 over a long distance. When the baggage gs11 arrives at the corner, the bar code camera BCA12 images the baggage gs11 and detects the arrival of the baggage gs11.

大きな荷物gs11がコーナーを曲がりきれず、滞留している場合、つまりジャミング(ジャム)が発生している場合、バーコードカメラBCA12は、時間が経過しても同じ荷物gs11を検知し続けることになる。また、その下流に配置されているバーコードカメラBCA13は、荷物gs11がコーナーで留まっていることにより、待ち続けても荷物gsを検知することはできない。   When the large baggage gs11 cannot stay around the corner and stays, that is, when jamming (jamming) has occurred, the barcode camera BCA12 continues to detect the same baggage gs11 even if time elapses. . Further, the bar code camera BCA13 arranged downstream thereof cannot detect the baggage gs even if the baggage gs11 stays at the corner and continues to wait.

このように、本実施形態の荷物追跡システム1では、バーコードカメラBCA12が荷物gs11を検知し続ける、あるいはバーコードカメラBCA13が一定時間待っても荷物gsを検知しない場合、荷物gsの滞留を検知すること(ジャミング検知)が可能である。また、ジャミング検知が行われた場合、バーコードカメラBCAが広角で撮像画像を行う、あるいは全方位カメラCAで全方位画像をジャミング検知画像として撮像する。端末装置4は、これらのジャミング検知画像を取得し、バーコードID、時刻情報、ジャミング検知画像を物品管理装置6の画像データベースに保存しておくことで、ジャミングが発生した場合の原因究明に役立たせることができる。また、端末装置4は、ジャミング検知が行われた場合、その読取時刻における周辺画像とともに、ジャミング(ジャム)が発生した箇所として、カメラペアが設置された監視ポイントWPの位置を表す位置識別情報を、表示装置5に表示する。また、端末装置4は、警告情報を付加して周辺画像を表示する。これにより、ユーザは、ジャミング(ジャム)が発生した箇所を速やかに知ることができる。   As described above, in the package tracking system 1 according to the present embodiment, when the barcode camera BCA12 continues to detect the package gs11, or when the barcode camera BCA13 does not detect the package gs even after waiting for a predetermined time, the stay of the package gs is detected. (Jamming detection) is possible. When jamming detection is performed, the barcode camera BCA captures a wide-angle captured image, or the omnidirectional camera CA captures an omnidirectional image as a jamming detection image. The terminal device 4 acquires these jamming detection images, and stores the barcode ID, time information, and jamming detection image in the image database of the article management device 6, which is useful for investigating the cause when jamming occurs. Can be made. In addition, when jamming detection is performed, the terminal device 4 includes position identification information indicating the position of the monitoring point WP where the camera pair is installed as a location where jamming (jamming) has occurred, along with the peripheral image at the reading time. Is displayed on the display device 5. Further, the terminal device 4 adds the warning information and displays the peripheral image. As a result, the user can quickly know where jamming (jamming) has occurred.

図12(B)は、ベルトコンベア220のカーブ付近で発生したジャミングの検知例を示す図である。ベルトコンベア220は、所定の曲率で曲がるカーブを持つ。このカーブで、複数の小さな荷物gsが詰まっている場合を想定する。   FIG. 12B is a diagram illustrating a detection example of jamming that has occurred near the curve of the belt conveyor 220. The belt conveyor 220 has a curve that bends at a predetermined curvature. It is assumed that a plurality of small loads gs are clogged with this curve.

カーブで複数の荷物gsが詰まっている場合、バーコードカメラBCA15で読み取られるバーコードIDは、何回も読み取られることになる。同じバーコードIDが所定回数読み取られると、端末装置4は、ジャムが検知されたと判断する。また、バーコードカメラBCA15の画角に、複数の荷物が滞留している場合、同一の読取時刻に複数のバーコードが検知されることになり、同一の読取時刻(時刻情報)を持つ複数の荷物が所定数以上となった場合、端末装置4は、ジャムが検知されたと判断する。これにより、ジャミング検知が早期に行える。   When a plurality of luggage gs is clogged with a curve, the barcode ID read by the barcode camera BCA15 is read many times. When the same barcode ID is read a predetermined number of times, the terminal device 4 determines that a jam has been detected. Further, when a plurality of packages are staying in the angle of view of the barcode camera BCA15, a plurality of barcodes are detected at the same reading time, and a plurality of items having the same reading time (time information) are detected. When the number of packages exceeds a predetermined number, the terminal device 4 determines that a jam has been detected. Thereby, jamming detection can be performed at an early stage.

カーブでジャミング検知が行われた場合、コーナーの場合と同様、バーコードカメラBCAが広角で画像を撮像する、あるいは全方位カメラCAが全方位画像を撮像する。端末装置4は、これらのジャミング検知画像を取得し、バーコードID、時刻情報、ジャミング検知画像を物品管理装置6の画像データベースに保存しておくことで、ジャミングが発生した場合の原因究明に役立たせることができる。また、端末装置4は、ジャミング検知が行われた場合、その読取時刻における周辺画像とともに、ジャミング(ジャム)が発生した箇所として、カメラペアが設置された監視ポイントWPの位置を表す位置識別情報を、表示装置5に表示する。また、端末装置4は、警告情報を付加して周辺画像を表示する。これにより、ユーザは、ジャミング(ジャム)が発生した箇所を速やかに知ることができる。   When jamming detection is performed on a curve, the barcode camera BCA captures an image at a wide angle, or the omnidirectional camera CA captures an omnidirectional image, as in the case of a corner. The terminal device 4 acquires these jamming detection images, and stores the barcode ID, time information, and jamming detection image in the image database of the article management device 6, which is useful for investigating the cause when jamming occurs. Can be made. In addition, when jamming detection is performed, the terminal device 4 includes position identification information indicating the position of the monitoring point WP where the camera pair is installed as a location where jamming (jamming) has occurred, along with the peripheral image at the reading time. Is displayed on the display device 5. Further, the terminal device 4 adds the warning information and displays the peripheral image. As a result, the user can quickly know where jamming (jamming) has occurred.

以上により、本実施形態の荷物追跡システム1では、複数の全方位カメラCAは、少なくとも一つの荷物gsを搬送するベルトコンベア100,110,120が配設された物流倉庫WA内の異なる既定エリアAREをそれぞれ撮像する。バーコードカメラBCA(リーダ)は、荷物gsに貼り付けられた(付された)バーコードBCLを読み取り、バーコードID(荷物識別情報の読取結果)とその読取時刻とを取得する。映像記録装置3は、全方位カメラCAにより撮像された既定エリアAREの周辺画像igaとその撮像時刻と、バーコードカメラBCAにより取得されたバーコードIDとその読取時刻とを対応付けて記録する。端末装置4は、例えばユーザの操作に基づくバーコードIDの選択に応じて、選択されたバーコードIDの読取時刻に対応付けられた、少なくとも一つの全方位カメラCAにより撮像された既定エリアAREの周辺画像igaを表示装置5に表示する。   As described above, in the package tracking system 1 of the present embodiment, the plurality of omnidirectional cameras CA have different predetermined areas ARE in the distribution warehouse WA in which the belt conveyors 100, 110, and 120 that convey at least one package gs are arranged. Respectively. The barcode camera BCA (reader) reads the barcode BCL affixed (attached) to the package gs, and acquires the barcode ID (read result of the package identification information) and the reading time. The video recording apparatus 3 records the peripheral image iga of the predetermined area ARE imaged by the omnidirectional camera CA and its imaging time, the barcode ID acquired by the barcode camera BCA, and the reading time in association with each other. For example, in response to the selection of the barcode ID based on the user's operation, the terminal device 4 is associated with the reading time of the selected barcode ID, and the predetermined area ARE captured by at least one omnidirectional camera CA. The peripheral image iga is displayed on the display device 5.

これにより、荷物追跡システム1は、物流の荷物の配送において、バーコードIDが貼り付けられた荷物gsの紛失又は破損等のトラブルがあった場合でも、そのバーコードIDに対応付けられた、既定エリアAREの全方位カメラにより撮像された周辺画像及び撮像時刻、更にはバーコードIDの読取時刻の一覧(履歴)が表示装置5において示されるので、ユーザ(例えばトラブル対応担当者)によるトラブルの原因究明を効率化でき、ユーザの使い勝手を向上することができる。   As a result, the package tracking system 1 is able to provide a default associated with the barcode ID even if there is a problem such as loss or damage of the package gs to which the barcode ID is pasted. Since the display device 5 shows a list (history) of peripheral images captured by the omnidirectional camera in the area ARE, the imaging time, and the barcode ID reading time, the cause of the trouble by the user (for example, the person in charge of troubleshooting) Investigations can be made efficient and user convenience can be improved.

また、バーコードカメラBCAが所定時間にバーコードBCLを読み取れなかった場合、端末装置4は、直前に読み取られたバーコードBCLの読取時刻に対応する周辺画像igaとともに、警告情報を表示する。   If the barcode camera BCA cannot read the barcode BCL at a predetermined time, the terminal device 4 displays warning information together with the peripheral image iga corresponding to the reading time of the barcode BCL read immediately before.

これにより、ユーザは、周辺画像とともに表示された警告情報を見ることで、速やかに荷物の紛失に気付くことができる。   Thus, the user can quickly notice the loss of the baggage by viewing the warning information displayed together with the surrounding image.

また、複数の全方位カメラCAと複数のバーコードカメラBCAとは、それぞれカメラペア(ペア)で複数の既定エリアAREに設置される。端末装置4は、既定エリアAREを識別するエリア識別IDと、ペアを構成する全方位カメラ及びバーコードカメラの設置場所を識別する場所識別IDと、この設置場所における荷物の取扱(例えば搬送のチェック、台車への載せ替え等)を担当する取扱担当者を識別する担当者識別IDと、の少なくとも1つをバーコードIDに対応付けて、周辺画像とともに表示装置5に表示し、更に、バーコードID及び周辺画像に対応付けて映像記録装置3に記録する。   In addition, a plurality of omnidirectional cameras CA and a plurality of barcode cameras BCA are installed in a plurality of predetermined areas ARE as a camera pair. The terminal device 4 includes an area identification ID for identifying the predetermined area ARE, a location identification ID for identifying the installation location of the omnidirectional camera and the barcode camera constituting the pair, and handling of the luggage at the installation location (for example, check of transportation) And at least one of the person-in-charge identification ID for identifying the person in charge in charge of the transfer to the carriage, etc., is associated with the barcode ID and displayed on the display device 5 together with the peripheral image. The image is recorded in the video recording device 3 in association with the ID and the peripheral image.

これにより、荷物追跡システム1は、バーコードIDが貼り付けられた荷物gsの探索(例えば、どの既定エリアに荷物gsが存在しているか、どのカメラペアの設置場所に荷物gsが存在しているか)が容易になる。また、荷物追跡システム1は、バーコードIDが貼り付けられた荷物gsを取り扱った担当者の責任の有無等の所在を明らかにすることができる。   As a result, the package tracking system 1 searches for the package gs to which the barcode ID is attached (for example, in which predetermined area the package gs exists, and in which camera pair installation location the package gs exists). ) Becomes easier. Further, the package tracking system 1 can clarify the location of the responsibility of the person in charge who handles the package gs with the barcode ID attached.

また、同一の既定エリアAREにおいて、バーコードBCLの読取時刻が同一である荷物gsが所定数以上ある場合、端末装置4は、読取時刻における周辺画像igaをカメラ位置識別IDとともに表示装置5に表示する。   Further, when there are a predetermined number or more of luggage gs having the same barcode BCL reading time in the same default area ARE, the terminal device 4 displays the peripheral image iga at the reading time on the display device 5 together with the camera position identification ID. To do.

これにより、荷物追跡システム1は、既定エリアAREの一部の場所で複数の荷物が滞留した状況(つまり、ジャムの発生)の検知(いわゆる、ジャミング検知)を早期に行える。   As a result, the package tracking system 1 can detect at an early stage (so-called jamming detection) a situation in which a plurality of packages have accumulated (that is, occurrence of a jam) in a part of the predetermined area ARE.

また、バーコードカメラBCAは、荷物gsの外形を表す距離情報を取得する。端末装置4は、バーコードカメラBCAによって取得された距離情報に基づく距離画像GZ2(立体形状の画像)を破損原因画像(周辺画像)とともに表示装置5に表示する。   Further, the barcode camera BCA acquires distance information indicating the outer shape of the luggage gs. The terminal device 4 displays the distance image GZ2 (three-dimensional image) based on the distance information acquired by the barcode camera BCA on the display device 5 together with the damage cause image (peripheral image).

これにより、荷物追跡システム1は、荷物gsの破損の程度と破損原因とを見比べることができ、ユーザの原因究明をより深く行うことが可能である。   Thereby, the package tracking system 1 can compare the degree of damage of the package gs with the cause of the damage, and can investigate the cause of the user more deeply.

また、端末装置4は、荷物gsの立体形状の画像を基に、荷物の破損の有無を判断する。映像記録装置3は、荷物gsの破損があった場合、荷物の破損があることを示す情報を全方位カメラにより撮像された周辺画像と対応付けて付与し、その周辺画像を破損原因画像として記録する。   Further, the terminal device 4 determines whether or not the package is damaged based on the three-dimensional image of the package gs. When the baggage gs is damaged, the video recording device 3 assigns information indicating that the baggage is damaged in association with the peripheral image captured by the omnidirectional camera, and records the peripheral image as a damage cause image. To do.

これにより、作業員、管理者等のユーザは、荷物gsが破損した原因究明を速やかに行うことができる。   As a result, users such as workers and managers can quickly investigate the cause of damage to the luggage gs.

また、バーコードカメラBCAでは、イメージセンサ21は、少なくとも一つの荷物gsを搬送するベルトコンベア100が配設された物流倉庫WA内の既定エリアAREを撮像する。検知部としての信号処理部30は、イメージセンサ21により撮像された既定エリアAREの周辺画像igbを基に、既定エリアAREに現れる荷物gsに貼り付けられた(付された)バーコードBCLを検知する。読取部としての信号処理部30は、検知されたバーコードBCLを読み取る。出力部としての通信部31は、読み取られたバーコードBCLのバーコードID(つまり、荷物識別情報の読取結果)を、バーコードカメラBCAに接続された各種の外部機器に出力する。   In the barcode camera BCA, the image sensor 21 images a predetermined area ARE in the distribution warehouse WA in which the belt conveyor 100 that conveys at least one baggage gs is disposed. The signal processing unit 30 as the detection unit detects the barcode BCL attached (attached) to the package gs appearing in the default area ARE based on the peripheral image igb of the default area ARE imaged by the image sensor 21. To do. The signal processing unit 30 as a reading unit reads the detected barcode BCL. The communication unit 31 as an output unit outputs the barcode ID of the read barcode BCL (that is, the reading result of the package identification information) to various external devices connected to the barcode camera BCA.

従来、物流において、荷物が付されたバーコードを読み取るバーコードリーダと、監視カメラとは別々の装置であった。つまり、バーコードリーダが周辺画像を撮像するものは無かった。これに対し、本実施形態のバーコードカメラBCAは、既定エリアAREの周辺画像を広角で撮像可能である。これにより、全方位カメラCAを用いなくても、バーコードカメラBCA単体で、バーコードBCLの読み取りと周辺画像の撮像とが可能となる。従って、ユーザの使い勝手が向上する。また、低コストで荷物追跡システムを構築することができる。   Conventionally, in logistics, a bar code reader that reads a bar code with a package and a surveillance camera are separate devices. That is, there was nothing for the barcode reader to capture the peripheral image. On the other hand, the barcode camera BCA of the present embodiment can capture a peripheral image of the predetermined area ARE at a wide angle. Thereby, it is possible to read the barcode BCL and capture the peripheral image with the barcode camera BCA alone without using the omnidirectional camera CA. Therefore, user convenience is improved. In addition, a package tracking system can be constructed at a low cost.

また、イメージセンサ21は、レンズ22を広角レンズと狭角レンズとに切り替えて撮像可能であり、ベルトコンベア100で搬送される荷物gsの周囲を広角レンズで撮像し、荷物gsに貼り付けられたバーコードBCLを狭角レンズで撮像する。   In addition, the image sensor 21 can take an image by switching the lens 22 between a wide-angle lens and a narrow-angle lens. The image sensor 21 picks up an image around the baggage gs conveyed by the belt conveyor 100 with a wide-angle lens and is attached to the baggage gs. The bar code BCL is imaged with a narrow angle lens.

このように、イメージセンサ21によって撮像される画像の画角を広角あるいは狭角に切り替えることが可能であり、バーコードカメラBCAの部品点数を削減しコンパクト化を図ることができる   In this manner, the angle of view of the image captured by the image sensor 21 can be switched to a wide angle or a narrow angle, and the number of parts of the barcode camera BCA can be reduced and the size can be reduced.

また、通信部31は、読取時の時刻情報を付加してバーコードIDを出力する。   Further, the communication unit 31 adds the time information at the time of reading and outputs a barcode ID.

これにより、荷物gsに貼り付けられたバーコードBCLのバーコードIDを時系列に記録した履歴リストhstを作成できる。   Thereby, it is possible to create a history list hst in which the barcode ID of the barcode BCL attached to the package gs is recorded in time series.

また、バーコードカメラBCAは、バーコードBCLの読み取りが成功した場合、例えばバーコードBCLの読み取り成功を表す「ピッ!」の音(音情報)をスピーカ33から出力し、バーコードBCLの読み取りが失敗した場合、例えばバーコードBCLの読み取り失敗を表す「ブー」の音(音情報)を出力する。   Further, when the barcode camera BCA successfully reads the barcode BCL, the barcode camera BCA outputs, for example, a “beep!” Sound (sound information) indicating the successful reading of the barcode BCL from the speaker 33, and the barcode BCL is read. In the case of failure, for example, a “boo” sound (sound information) indicating failure in reading the barcode BCL is output.

これにより、作業員等のユーザは、バーコードBCLの読み取りの成否をすぐに知ることができる。   As a result, a user such as an operator can immediately know the success or failure of reading the barcode BCL.

また、イメージセンサ21で撮像される周辺画像igbに、所定数以上のバーコードIDが含まれる場合、バーコードカメラBCAは、警告情報を付加して周辺画像igbを出力する。   Further, when the peripheral image igb captured by the image sensor 21 includes a predetermined number or more of barcode IDs, the barcode camera BCA adds warning information and outputs the peripheral image igb.

これにより、ユーザは、周辺画像とともに表示された警告情報を見ることで、速やかにジャミング検知に気付くことができる。従って、ジャミング検知時における迅速な対応が可能となる。   Accordingly, the user can quickly notice jamming detection by looking at the warning information displayed together with the peripheral image. Therefore, it is possible to quickly cope with jamming detection.

以上、図面を参照しながら実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。   As mentioned above, although embodiment was described referring drawings, it cannot be overemphasized that this invention is not limited to this example. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Understood.

例えば、上記実施形態では、荷物をベルトコンベアにより搬送する場合を示したが、ローラコンベア、チェーンコンベア等で荷物を搬送することも可能であり、荷物を搬送可能である限り、特にコンベアの種類は限定されない。   For example, in the above-described embodiment, the case where the load is transported by the belt conveyor is shown. However, it is also possible to transport the load by a roller conveyor, a chain conveyor, and the like. It is not limited.

本発明は、荷物の配送時の行方をコントロールするために利用されるバーコードを検知して読み取ることができる監視カメラ及び荷物読取方法として有用である。   INDUSTRIAL APPLICABILITY The present invention is useful as a surveillance camera and a package reading method that can detect and read a bar code used for controlling where the package is delivered.

1 荷物追跡システム
2 入荷情報管理装置
3 映像記録装置
4 端末装置
5 表示装置
6 物品管理装置
7,8,9,10,11 カメラペア
21 イメージセンサ
22 レンズ
24 センサ駆動部
26 温度センサ
27 レーザダイオード(LD)
28 LD駆動部
29 拡散板
30 信号処理部
31 通信部
33 スピーカ
41 プロセッサ
42 メモリ
43 通信部
44 ハードディスク
45 表示制御部
46 操作部
100,110,120,210,220 ベルトコンベア
150 立体倉庫(ストッカ)
BCA,BCA1〜BCA5 バーコードカメラ
BR1〜BR3 バーコードリーダ
CA1〜CA5 全方位カメラ
DESCRIPTION OF SYMBOLS 1 Baggage tracking system 2 Arrival information management apparatus 3 Video recording apparatus 4 Terminal apparatus 5 Display apparatus 6 Article management apparatus 7, 8, 9, 10, 11 Camera pair 21 Image sensor 22 Lens 24 Sensor drive part 26 Temperature sensor 27 Laser diode ( LD)
28 LD drive unit 29 Diffusion plate 30 Signal processing unit 31 Communication unit 33 Speaker 41 Processor 42 Memory 43 Communication unit 44 Hard disk 45 Display control unit 46 Operation units 100, 110, 120, 210, 220 Belt conveyor 150 Three-dimensional warehouse (stocker)
BCA, BCA1 to BCA5 Barcode camera BR1 to BR3 Barcode reader CA1 to CA5 Omnidirectional camera

Claims (6)

少なくとも一つの荷物を搬送するコンベアが配設された荷物搬送エリア内の既定エリアを撮像する撮像部と、
前記撮像部により撮像された前記既定エリアの周辺画像を基に、前記既定エリアに現れる前記荷物に付された荷物識別情報を検知する検知部と、
前記検知部により検知された前記荷物識別情報を読み取る読取部と、
前記読取部により読み取られた前記荷物識別情報の読取結果と前記撮像部により撮像された前記既定エリアの周辺画像とを出力する出力部と、を備える、
監視カメラ。
An imaging unit for imaging a predetermined area in a luggage transport area in which a conveyor for transporting at least one package is disposed;
A detection unit that detects package identification information attached to the package that appears in the default area based on a peripheral image of the default area captured by the imaging unit;
A reading unit that reads the package identification information detected by the detection unit;
An output unit that outputs a reading result of the package identification information read by the reading unit and a peripheral image of the predetermined area imaged by the imaging unit;
Surveillance camera.
請求項1に記載の監視カメラであって、
前記撮像部は、制御信号に応じて広角な画角と狭角な画角とを切り替えて撮像可能であり、前記コンベアで搬送される荷物の周囲を前記広角な画角で撮像し、前記荷物に付された荷物識別情報を前記狭角な画角で撮像する、
監視カメラ。
The surveillance camera according to claim 1,
The imaging unit is capable of imaging by switching between a wide angle of view and a narrow angle of view according to a control signal, and images the surroundings of the baggage conveyed by the conveyor with the wide angle of view. The baggage identification information attached to is imaged at the narrow angle of view.
Surveillance camera.
請求項1に記載の監視カメラであって、
前記出力部は、前記読取部の読取時刻を付加して前記荷物識別情報の読取結果を出力する、
監視カメラ。
The surveillance camera according to claim 1,
The output unit adds the reading time of the reading unit and outputs the reading result of the package identification information.
Surveillance camera.
請求項1に記載の監視カメラであって、
前記出力部は、前記読取部による前記荷物識別情報の読み取りが成功した場合に、前記荷物識別情報の読取成功を示す音情報を出力し、
前記出力部は、前記読取部による前記荷物識別情報の読み取りが失敗した場合に、前記荷物識別情報の読取失敗を示す音情報を出力する、
監視カメラ。
The surveillance camera according to claim 1,
The output unit outputs sound information indicating successful reading of the package identification information when the reading unit succeeds in reading the package identification information;
The output unit outputs sound information indicating a failure to read the package identification information when the reading unit fails to read the package identification information;
Surveillance camera.
請求項1に記載の監視カメラであって、
前記撮像部で撮像された周辺画像に所定数以上の前記荷物識別情報が含まれる場合に、前記出力部は、警告情報を付加して前記周辺画像を出力する、
監視カメラ。
The surveillance camera according to claim 1,
When the surrounding image captured by the imaging unit includes a predetermined number or more of the package identification information, the output unit adds warning information and outputs the surrounding image;
Surveillance camera.
少なくとも一つの荷物を搬送するコンベアが配設された荷物搬送エリア内の既定エリアを撮像する撮像部を有する監視カメラにおける荷物読取方法であって、
前記撮像部により撮像された前記既定エリアの周辺画像を基に、前記既定エリアに現れる前記荷物に付された荷物識別情報を検知し、
検知された前記荷物識別情報を読み取り、
読み取られた前記荷物識別情報の読取結果と撮像された前記既定エリアの周辺画像とを出力する、
荷物読取方法。
A baggage reading method in a surveillance camera having an imaging unit that images a predetermined area in a baggage transport area in which a conveyor for transporting at least one baggage is disposed,
Based on the peripheral image of the predetermined area imaged by the imaging unit, to detect the package identification information attached to the package that appears in the default area,
Read the detected package identification information,
Outputting the read result of the package identification information read and the peripheral image of the imaged predetermined area;
Package reading method.
JP2016150692A 2016-07-29 2016-07-29 Monitoring camera and package reading method Pending JP2018019373A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016150692A JP2018019373A (en) 2016-07-29 2016-07-29 Monitoring camera and package reading method
DE102017114695.4A DE102017114695A1 (en) 2016-07-29 2017-06-30 Surveillance camera, goods reading process, goods tracking system and goods tracking procedure

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016150692A JP2018019373A (en) 2016-07-29 2016-07-29 Monitoring camera and package reading method

Publications (1)

Publication Number Publication Date
JP2018019373A true JP2018019373A (en) 2018-02-01

Family

ID=61076846

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016150692A Pending JP2018019373A (en) 2016-07-29 2016-07-29 Monitoring camera and package reading method

Country Status (1)

Country Link
JP (1) JP2018019373A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563568A (en) * 2020-04-30 2020-08-21 平安国际智慧城市科技股份有限公司 Method and device for extracting damage evidence, computer equipment and storage medium
JP2021033338A (en) * 2019-08-14 2021-03-01 株式会社シマノ科研 Monitoring system utilizing electronic settlement terminal
FR3133147A1 (en) * 2022-03-07 2023-09-08 Razor Crest method and system for assisting in sorting articles in a work area of a sorting station

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021033338A (en) * 2019-08-14 2021-03-01 株式会社シマノ科研 Monitoring system utilizing electronic settlement terminal
CN111563568A (en) * 2020-04-30 2020-08-21 平安国际智慧城市科技股份有限公司 Method and device for extracting damage evidence, computer equipment and storage medium
FR3133147A1 (en) * 2022-03-07 2023-09-08 Razor Crest method and system for assisting in sorting articles in a work area of a sorting station
EP4241895A1 (en) * 2022-03-07 2023-09-13 Razor Crest Method and system for assisting sorting of items in a work area of a sorting station

Similar Documents

Publication Publication Date Title
JP6679442B2 (en) Package tracking system, package tracking method and package tracking program
WO2015145982A1 (en) Information processing device, information processing system, distribution system, information processing method, and program storage medium
US20200282429A1 (en) Package sorting system, projected instruction device, and package sorting method
JP2019101693A (en) System for grasping in-physical-distribution-warehouse operation
JP2018019373A (en) Monitoring camera and package reading method
JP2006264914A (en) Incoming merchandise inspection system
JP7126066B2 (en) Projection indication device, parcel sorting system and projection indication method
JP2007523810A (en) Web-based inventory management of goods
EP3647233B1 (en) Parcel determination device, parcel sorting system, and parcel determination method
JP2016055964A (en) Arrival and shipment support system, automated warehouse and arrival and shipment support method
US20210133674A1 (en) Picking work assistance device and computer-readable recording medium having stored thereon picking work assistance program
JP6728995B2 (en) Automated warehouse system and automated warehouse management method
JPWO2019003688A1 (en) Projection instructing device, luggage sorting system, and projection instructing method
JP2019104625A (en) Arrangement support system, arrangement support method and program
KR20050066789A (en) The automatic system for managing of distribution using rfid
WO2018003162A1 (en) Examination system and entry management facility
US10304175B1 (en) Optimizing material handling tasks
WO2017109962A1 (en) Terminal device, server device, control method, program, and recording medium
US11235353B2 (en) Baggage sorting system
US20230030447A1 (en) System for monitoring loading and unloading or area transfer of goods
KR100834573B1 (en) Administration of physical distribution Method and System used RFID
JP2008280102A (en) Work support system, work management system, and work management method
JP7129614B2 (en) Package Recognition Device, Package Sorting System, and Package Recognition Method
JPH11301811A (en) Carrier equipment management device
JPH09226930A (en) Carried-in goods sorting system