JP2018122989A - Conveyance control system, conveyance control method and conveyance control program - Google Patents
Conveyance control system, conveyance control method and conveyance control program Download PDFInfo
- Publication number
- JP2018122989A JP2018122989A JP2017018490A JP2017018490A JP2018122989A JP 2018122989 A JP2018122989 A JP 2018122989A JP 2017018490 A JP2017018490 A JP 2017018490A JP 2017018490 A JP2017018490 A JP 2017018490A JP 2018122989 A JP2018122989 A JP 2018122989A
- Authority
- JP
- Japan
- Prior art keywords
- load
- transport
- transporter
- user
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title abstract description 42
- 239000000463 material Substances 0.000 claims abstract description 174
- 238000003384 imaging method Methods 0.000 claims abstract description 5
- 238000007726 management method Methods 0.000 claims description 104
- 238000012546 transfer Methods 0.000 claims description 12
- 230000032258 transport Effects 0.000 description 36
- 230000008569 process Effects 0.000 description 33
- 238000012856 packing Methods 0.000 description 28
- 238000012545 processing Methods 0.000 description 17
- 238000010276 construction Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 125000000391 vinyl group Chemical group [H]C([*])=C([H])[H] 0.000 description 3
- 229920002554 vinyl polymer Polymers 0.000 description 3
- 239000002023 wood Substances 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 239000004566 building material Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000004567 concrete Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003028 elevating effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000011491 glass wool Substances 0.000 description 1
- 229910052602 gypsum Inorganic materials 0.000 description 1
- 239000010440 gypsum Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000011359 shock absorbing material Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Landscapes
- Elevator Control (AREA)
Abstract
Description
本発明は、積載物の搬送状況を管理する搬送管理システム、搬送管理方法及び搬送管理プログラムに関する。 The present invention relates to a transport management system, a transport management method, and a transport management program for managing the transport status of a load.
建設現場では、建築材料や建設機械等の資機材が用いられている。そして、これらの資機材を建設現場に搬入した場合、資機材の使用場所に搬送する必要がある。例えば、複数階層からなる建設現場においては、建設現場に設置された仮設エレベータを使用して、資機材を使用する階層に揚重する。この仮設エレベータを使用する場合、資機材を使用する作業者は、資機材管理者に、揚重目標階への資機材の揚重を依頼する。資機材管理者の管理の下で、仮設エレベータのオペレータは、作業者と協同して、揚重対象の資機材を乗り篭（搬器）内に搬入する。そして、乗り篭が揚重目標階に到着した場合、オペレータ及び工事担当者は、資機材を乗り篭内から揚重目標階のフロアへ搬出する。オペレータは、揚重した資機材を目視確認して、資機材の名称や製品番号等を揚重実績として記録する。 At construction sites, materials such as building materials and construction machines are used. When these materials and equipment are brought into the construction site, they need to be transported to the place where the materials and equipment are used. For example, in a construction site composed of a plurality of floors, a temporary elevator installed at the construction site is used to lift up to a floor where materials and equipment are used. When using this temporary elevator, the worker who uses the equipment requests the equipment manager to lift the equipment to the lifting target floor. Under the control of the equipment / equipment manager, the operator of the temporary elevator, in cooperation with the worker, carries the equipment / material to be lifted into the carriage (carriage). When the board arrives at the lifting target floor, the operator and the person in charge of the work carry out the equipment from the boarding to the lifting target floor. The operator visually checks the lifted equipment and records the name and product number of the equipment as the lifting performance.
このような資機材の状況を管理するための技術が検討されている（例えば、非特許文献１、特許文献１参照。）。これらの文献に記載の技術においては、建設作業員が携帯するＩＣタグや機材などに取り付けたＩＣタグを、エレベータに設置されたＩＣタグリーダで読み取る。これにより、移動させた資機材、移動時期及び移動先等を記録する。 Techniques for managing the status of such materials and equipment are being studied (for example, see Non-Patent Document 1 and Patent Document 1). In the techniques described in these documents, an IC tag attached to an IC tag or equipment carried by a construction worker is read by an IC tag reader installed in an elevator. Thereby, the moved equipment and materials, the moving time and the moving destination are recorded.
先行技術文献に記載の技術を用いて資機材を管理する場合、管理する対象の資機材のそれぞれにＩＣタグを取り付ける必要がある。従って、ＩＣタグが取り付けられていない資機材を管理することができない。 When managing equipment using the technology described in the prior art document, it is necessary to attach an IC tag to each of the equipment to be managed. Therefore, it is impossible to manage materials and equipment that are not attached with IC tags.
本発明は、上記課題に鑑みてなされ、その目的は、資機材の搬送状況を効率的に管理するための搬送管理システム、搬送管理方法及び搬送管理プログラムを提供することにある。 The present invention has been made in view of the above problems, and an object thereof is to provide a transport management system, a transport management method, and a transport management program for efficiently managing the transport status of materials and equipment.
・上記課題を解決する搬送管理システムは、搬器を利用した搬送情報を記憶する搬送情報記憶部と、前記搬器の内部を撮影する撮影部に接続された制御部とを備える。そして、前記制御部が、搬器の積載物を撮影した撮影画像に基づいて、積載物種類候補を特定し、前記積載物について、搬器を用いての搬送開始場所及び搬送終了場所を特定し、前記積載物の利用日時及び利用者を特定し、前記搬器の利用日時、利用者に関連付けて、積載物種類候補において決定された資機材種類、搬送開始場所、搬送終了場所に関する情報を前記搬送情報記憶部に記録する。これにより、撮影画像に基づいて、積載物種類を特定し、搬送状況を管理することができる。 -The conveyance management system which solves the said subject is provided with the conveyance information storage part which memorize | stores the conveyance information using a carrying device, and the control part connected to the imaging | photography part which image | photographs the inside of the said carrying device. Then, the control unit identifies a load type candidate based on a captured image obtained by photographing a load of a transporter, specifies a transport start location and a transport end location using a transporter for the load, The use date and user of the load are specified, and the information on the material type, transfer start location, and transfer end location determined in the load type candidate in association with the use date and user of the transporter are stored in the transfer information storage. To record. Thereby, based on a picked-up image, a load type can be specified and a conveyance situation can be managed.
・上記搬送管理システムにおいて、積載物種類に対して、荷姿種類を記憶した荷姿情報記憶部を更に備え、前記制御部が、前記撮影画像において荷姿種類を特定した場合、前記荷姿種類に関連付けられた積載物種類候補を特定することが好ましい。これにより、荷姿に基づいて、積載物種類を特定することができる。 -In the said conveyance management system, it is further provided with the package form information storage part which memorize | stored the package form type with respect to the load type, and when the said control part specifies the package form type in the said picked-up image, the said package form type It is preferable to specify the load type candidate associated with the. As a result, the type of load can be specified based on the packing form.
・上記搬送管理システムにおいて、前記積載物の重量情報を取得し、前記重量情報に基づいて、積載物種類候補の中から積載物種類を特定することが好ましい。これにより、重量を考慮して、積載物種類を特定することができる。 -In the said conveyance management system, it is preferable to acquire the weight information of the said load, and specify a load type from among the load type candidates based on the weight information. Thereby, the load type can be specified in consideration of the weight.
・上記搬送管理システムにおいて、前記撮影画像に基づいて、前記積載物の体積を予測し、前記体積と前記重量情報とを用いて、前記積載物種類候補の中から積載物種類を特定することが好ましい。これにより、密度を考慮して、積載物種類を特定することができる。 In the transport management system, the volume of the load is predicted based on the captured image, and the load type is specified from the load type candidates using the volume and the weight information. preferable. Thereby, the load type can be specified in consideration of the density.
・上記搬送管理システムにおいて、前記利用者に関連付けて、前記利用者が使用する資機材情報を記憶した利用者情報記憶部を更に備え、前記搬器の利用者に基づいて、前記利用者情報記憶部から資機材情報を取得し、前記資機材情報を用いて積載物種類候補の中から積載物種類を特定することが好ましい。これにより、搬器の利用者を考慮して、積載物種類を特定することができる。 In the transport management system, a user information storage unit that stores material information used by the user in association with the user is further provided, and the user information storage unit based on a user of the transporter It is preferable that material / equipment information is acquired from the vehicle, and a load type is specified from the load type candidates using the material / equipment information. Thereby, the load type can be specified in consideration of the user of the transporter.
本発明によれば、資機材の搬送状況を効率的に管理することができる。 According to the present invention, it is possible to efficiently manage the conveyance status of materials and equipment.
以下、図１〜図７を用いて、積載物の搬送状況を管理する搬送管理システム、搬送管理方法及び搬送管理プログラムを具体化した一実施形態を説明する。本実施形態では、複数階層からなる建設現場に設置された仮設エレベータによって搬送される資機材（以下、資材と呼ぶ）を管理対象として管理する。ここでは、資材として、ＬＧＳ（Light Gauge Steel、軽量鉄骨）、ＰＢ（石膏ボード）、ガラス、木材、金属パネル、制御盤、配管材、グラスウール、コンクリート、高所作業車等を搬送する。また、これらの資材は、梱包なしの素地で搬送される場合の他、梱包材等の搬送部材によって梱包された荷姿で搬送される場合がある。荷姿においては、ダンボール、単管台車、メッシュ、パレット、ランニングボックス、ビニル緩衝材等が用いられる。 Hereinafter, an embodiment in which a transport management system, a transport management method, and a transport management program for managing the transport status of a load will be described with reference to FIGS. In the present embodiment, materials and equipment (hereinafter referred to as materials) transported by a temporary elevator installed at a construction site having a plurality of levels are managed as management targets. Here, LGS (Light Gauge Steel), PB (gypsum board), glass, wood, metal panel, control panel, piping material, glass wool, concrete, an aerial work vehicle, and the like are conveyed as materials. Moreover, these materials may be transported in a packed form packed by a transporting member such as a packing material, in addition to being transported on an unpacked substrate. In the package, cardboard, single-pipe carts, meshes, pallets, running boxes, vinyl cushioning materials, etc. are used.
図１に示すように、本実施形態の搬送管理システムは、仮設エレベータ内の搬器１０を管理する管理サーバ２０を含んで構成される。
この搬器１０は、積載物を積載する乗り篭によって構成される。この搬器１０は、例えば鋼製網目状の箱体であって、積載物を搬入や搬出を行なうための開口部が設けられている。更に、この開口部には、シャッター（扉）が設けられている。この搬器１０は、揚重制御装置１５によって制御される電動モータやエレベータシャフト等からなる昇降駆動機構によって上下昇降される。資材を揚重する場合、各階に設置された操作パネルを用いて、資材が仮置きされた揚重開始階（搬送開始場所）に搬器１０を移動させる。そして、資材を搬器１０に搬入する。次に、搬器１０内の操作パネルにおいて、資材を搬送する揚重目標階（搬送終了場所）の階ボタンを選択する。そして、揚重制御装置１５は、搬器１０のシャッターの閉鎖を検知した場合、搬器１０を揚重開始階から揚重目標階まで揚重する。
As shown in FIG. 1, the transport management system of the present embodiment includes a management server 20 that manages the transporter 10 in the temporary elevator.
The transporter 10 is constituted by a ride on which a load is loaded. The transporter 10 is, for example, a steel mesh box, and is provided with an opening for carrying in and out the load. Further, a shutter (door) is provided in the opening. The transporter 10 is moved up and down by an elevating drive mechanism including an electric motor and an elevator shaft controlled by the lifting control device 15. When lifting the material, the transporter 10 is moved to the lifting start floor (conveyance start place) where the material is temporarily placed by using an operation panel installed on each floor. Then, the material is carried into the carrier 10. Next, on the operation panel in the transporter 10, the floor button of the lifting target floor (transport end location) for transporting materials is selected. When the lifting control device 15 detects the closing of the shutter of the transporter 10, the lifting control device 15 lifts the transporter 10 from the lifting start floor to the lifting target floor.
この搬器１０には、カメラ１１及び荷重表示部１２が設けられている。
カメラ１１は、搬器１０内部を撮影する撮影部として機能する。本実施形態では、搬器１０内全体を撮影できるように、広角レンズを用いる。なお、搬器１０内に、複数のカメラ１１を設置し、内部全体を異なる角度から撮影するようにしてもよい。
荷重表示部１２は、搬器１０に積載された重量（資材や作業員等）を表示する。この重量は、エレベータシャフト等に設けられた重量計を用いて計測される。
The transporter 10 is provided with a camera 11 and a load display unit 12.
The camera 11 functions as a photographing unit that photographs the inside of the transporter 10. In the present embodiment, a wide-angle lens is used so that the entire interior of the transporter 10 can be photographed. Note that a plurality of cameras 11 may be installed in the transporter 10 and the entire interior may be photographed from different angles.
The load display unit 12 displays the weight (material, worker, etc.) loaded on the transporter 10. This weight is measured using a weighing scale provided on an elevator shaft or the like.
管理サーバ２０は、搬送状況を管理するためのコンピュータシステムである。この管理サーバ２０は、制御部２１、学習情報記憶部２２、利用者情報記憶部２３、荷姿情報記憶部２４、密度情報記憶部２５、搬送情報記憶部２６を備えている。 The management server 20 is a computer system for managing the conveyance status. The management server 20 includes a control unit 21, a learning information storage unit 22, a user information storage unit 23, a packing form information storage unit 24, a density information storage unit 25, and a transport information storage unit 26.
制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、後述する処理（状況管理段階、画像取得段階、画像認識段階、資材予測段階等の各処理）を行なう。そのための搬送管理プログラムを実行することにより、制御部２１は、状況管理部２１１、画像取得部２１２、画像認識部２１３、資材予測部２１４として機能する。 The control unit 21 includes a CPU, a RAM, a ROM, and the like, and performs processes described later (each process such as a situation management stage, an image acquisition stage, an image recognition stage, and a material prediction stage). By executing the conveyance management program for that purpose, the control unit 21 functions as a situation management unit 211, an image acquisition unit 212, an image recognition unit 213, and a material prediction unit 214.
状況管理部２１１は、搬器１０を用いた揚重状況を管理する処理を実行する。
画像取得部２１２は、搬器１０のカメラ１１から撮影画像を取得する処理を実行する。画像取得部２１２は、搬器１０内の撮影画像において、積載物とは無関係の領域（不要部分）を排除するためのマスクを保持している。このマスクを用いることにより、例えば、撮影画像に含まれる搬器１０の外部が写り込んだ領域を排除する。
The situation management unit 211 executes processing for managing a lifting situation using the transporter 10.
The image acquisition unit 212 executes processing for acquiring a captured image from the camera 11 of the transporter 10. The image acquisition unit 212 holds a mask for removing a region (unnecessary portion) that is not related to the load in the captured image in the transporter 10. By using this mask, for example, an area in which the outside of the transporter 10 included in the photographed image is reflected is excluded.
画像認識部２１３は、撮影画像において撮影された被写体を特定する処理を実行する。本実施形態では、被写体として、会社毎の人物画像、資材（素地）画像、荷姿画像を、機械学習した認識モデルを用いて認識する。 The image recognizing unit 213 executes processing for specifying a subject photographed in the photographed image. In this embodiment, a person image, a material (material) image, and a package image for each company are recognized as subjects using a machine-learned recognition model.
資材予測部２１４は、搬器１０内の資材を予測する処理を実行する。本実施形態では、ディープラーニングによって、撮影画像に含まれる資材を予測する。また、資材予測部２１４は、積載物を搬入する前の搬器１０の内部の撮影画像（背景画像）を保持している。この背景画像を用いることにより、積載物の搬入後の撮影画像と背景画像との差分において、積載物の状況を特定する。 The material prediction unit 214 performs processing for predicting the material in the transporter 10. In this embodiment, the material contained in a picked-up image is estimated by deep learning. In addition, the material prediction unit 214 holds a captured image (background image) inside the transporter 10 before carrying the load. By using this background image, the status of the load is specified in the difference between the captured image after the load is carried in and the background image.
学習情報記憶部２２には、資材の予測に用いる識別モデルが記録される。この識別モデルは、機械学習（ディープラーニング）における学習によって記録される。この機械学習においては、ラベリング済みの教師データを用いて、被写体を判定するための識別モデルを生成する。識別モデルを用いることにより、未識別の被写体について、人物の有無、ユニフォームやヘルメットの外観による人物の所属会社、資材（素地）、荷姿等を予測する。 The learning information storage unit 22 stores an identification model used for material prediction. This identification model is recorded by learning in machine learning (deep learning). In this machine learning, an identification model for determining a subject is generated using labeled teacher data. By using the identification model, the existence of a person, the company to which the person belongs, the material (material), the packing form, etc. are predicted for an unidentified subject.
図２（ａ）に示すように、利用者情報記憶部２３には、各会社によって搬送される資材についての利用者管理レコード２３０が記録されている。この利用者管理レコード２３０は、各会社によって搬送される資材が登録された場合に記録される。この利用者管理レコード２３０は、利用会社コード、搬送候補に関するデータを含んで構成される。 As shown in FIG. 2A, the user information storage unit 23 records a user management record 230 for materials conveyed by each company. This user management record 230 is recorded when the material conveyed by each company is registered. This user management record 230 is configured to include data relating to the user company code and the transport candidates.
利用会社コードデータ領域には、資材を搬送する利用者である利用会社を特定するための識別子に関するデータが記録される。
搬送候補データ領域には、この会社が搬送する資材候補（資機材情報）を特定するための識別子に関するデータが記録される。この会社が複数種類の資材を搬送する可能性がある場合には、このデータ領域には、すべての資材に関する情報が記録される。
In the user company code data area, data relating to an identifier for specifying a user company that is a user who transports materials is recorded.
In the transfer candidate data area, data relating to an identifier for specifying a material candidate (material / equipment information) to be transferred by this company is recorded. When there is a possibility that this company transports a plurality of types of materials, information relating to all materials is recorded in this data area.
図２（ｂ）に示すように、荷姿情報記憶部２４には、資材が搬送される場合の荷姿（外観）に関する荷姿状態テーブル２４０が記録されている。この荷姿状態テーブル２４０は、搬送候補毎に荷姿が登録された場合に記録される。この荷姿状態テーブル２４０は、資材（搬送候補）、荷姿候補に関するデータを含んで構成される。 As shown in FIG. 2B, the package state information storage unit 24 records a package state table 240 regarding the package form (appearance) when the material is conveyed. The package state table 240 is recorded when a package form is registered for each conveyance candidate. This packing state table 240 includes data on materials (conveyance candidates) and packing state candidates.
荷姿状態テーブル２４０においては、資材（ＰＢ）は、梱包なしの状態（素地荷姿）で搬送されることを示している。また、資材（木材）は、ダンボール、単管台車、ビニル緩衝材に収納された状態（梱包荷姿）で搬送されることを示している。資材（ガラス）については、単管台車、ビニル緩衝材に収納された状態（梱包荷姿）で搬送され、資材（配管材）については、梱包なしの状態（素地荷姿）やダンボールの収納状態（梱包荷姿）で搬送されることを示している。 The packing state table 240 indicates that the material (PB) is transported in a state without packing (base packing state). Moreover, it has shown that material (wood) is conveyed in the state accommodated in the corrugated cardboard, the single-tube trolley | bogie, and the vinyl shock absorbing material (packing packing figure). Materials (glass) are transported in a single-pipe carriage and vinyl cushioning material (packed packaging), and materials (piping materials) are unpacked (basic packaging) and cardboard storage. It shows that it is transported in (packed packaging).
図２（ｃ）に示すように、密度情報記憶部２５には、密度マップ２５０が記録されている。この密度マップ２５０は、資材の荷重と体積との関係を算出した場合に記録される。この密度マップ２５０は、搬送される資材の荷重範囲と体積範囲とに関するデータが記録される。例えば、この密度マップ２５０では、配管、木材、ＬＳＧ、ガラス、ＰＢについて、取りうる荷重及び体積の範囲が記録されている。 As shown in FIG. 2C, a density map 250 is recorded in the density information storage unit 25. This density map 250 is recorded when the relationship between the load and volume of the material is calculated. The density map 250 records data related to the load range and volume range of the material to be conveyed. For example, in the density map 250, the possible load and volume ranges are recorded for piping, wood, LSG, glass, and PB.
図２（ｄ）に示すように、搬送情報記憶部２６には、搬器１０を用いての揚重状況（搬器１０の利用状況）に関する搬送管理レコード２６０が記録されている。この搬送管理レコード２６０は、後述する積載物判定処理を行なった場合に記録される。この搬送管理レコード２６０は、開始日時、揚重開始階、終了日時、揚重目標階、搬送物、利用会社コード、体積、重量に関するデータを含んで構成される。 As shown in FIG. 2D, the conveyance information storage unit 26 records a conveyance management record 260 regarding the lifting status (the usage status of the transporter 10) using the transporter 10. The transport management record 260 is recorded when a load determination process described later is performed. The transport management record 260 includes data related to the start date / time, the lifting start floor, the end date / time, the lifting target floor, the transported object, the use company code, the volume, and the weight.
開始日時データ領域には、搬器１０内に積載物を搬入した年月日及び時刻に関するデータが記録される。
揚重開始階データ領域には、搬器１０内に積載物を搬入した搬送開始場所（階）を特定するための識別子に関するデータが記録される。
In the start date and time data area, data related to the date and time when the load is carried into the transporter 10 is recorded.
In the lifting start floor data area, data relating to an identifier for specifying a transfer start place (floor) where a load is carried into the transporter 10 is recorded.
終了日時データ領域には、搬器１０から積載物を搬出した年月日及び時刻に関するデータが記録される。
揚重目標階データ領域には、搬器１０から積載物を搬出した場所（階）を特定するための識別子に関するデータが記録される。
In the end date / time data area, data related to the date and time when the load is unloaded from the transporter 10 is recorded.
In the lifting target floor data area, data relating to an identifier for specifying the place (floor) where the load is carried out from the transporter 10 is recorded.
搬送物データ領域には、搬器１０の積載物（資機材）を特定するための識別子（資機材種類）に関するデータが記録される。
利用会社コードデータ領域には、積載物の揚重のために、搬器１０を利用した会社を特定するための識別子に関するデータが記録される。
Data relating to an identifier (material / equipment type) for specifying a load (material / equipment) of the transporter 10 is recorded in the transported object data area.
In the user company code data area, data relating to an identifier for specifying a company that uses the transporter 10 for lifting the load is recorded.
体積データ領域には、搬器１０の積載物について予測した体積に関するデータが記録される。
重量データ領域には、搬器１０の積載物について予測した重量に関するデータが記録される。
In the volume data area, data related to the volume predicted for the load of the transporter 10 is recorded.
In the weight data area, data related to the weight predicted for the load of the transporter 10 is recorded.
（積載物判定処理）
次に、図３、図４を用いて、搬送管理システムにおいて実行される積載物判定処理について説明する。
(Loading judgment processing)
Next, the load determination process executed in the transport management system will be described with reference to FIGS.
まず、図３に示すように、管理サーバ２０の制御部２１は、シャッター閉鎖処理を実行する（ステップＳ１−１）。具体的には、制御部２１の状況管理部２１１は、揚重制御装置１５から、搬器１０のシャッターが閉鎖されたことについての検知情報を取得する。 First, as shown in FIG. 3, the control unit 21 of the management server 20 executes a shutter closing process (step S1-1). Specifically, the status management unit 211 of the control unit 21 acquires detection information from the lifting control device 15 that the shutter of the transporter 10 has been closed.
次に、管理サーバ２０の制御部２１は、階数の特定処理を実行する（ステップＳ１−２）。具体的には、制御部２１の状況管理部２１１は、揚重制御装置１５から、搬器１０の揚重開始階及び揚重目標階に関する情報を取得する。そして、状況管理部２１１は、搬送管理レコード２６０を生成し、揚重開始階及び揚重目標階を記録する。なお、積載物判定処理とは別に、状況管理部２１１は、揚重制御装置１５から、揚重開始や揚重終了に関する情報を取得した場合には、開始日時及び終了日時を、搬送管理レコード２６０に記録する。 Next, the control unit 21 of the management server 20 executes a floor identification process (step S1-2). Specifically, the status management unit 211 of the control unit 21 acquires information on the lifting start floor and the lifting target floor of the transporter 10 from the lifting control device 15. And the situation management part 211 produces | generates the conveyance management record 260, and records a lifting start floor and a lifting target floor. In addition to the load determination processing, when the status management unit 211 acquires information about the start and end of lifting from the lifting control device 15, the status management unit 211 displays the start date and time and end date and time on the transport management record 260. To record.
次に、管理サーバ２０の制御部２１は、搬器内の画像の取得処理を実行する（ステップＳ１−３）。具体的には、制御部２１の画像取得部２１２は、揚重の開始及び終了の何れかのタイミングで、カメラ１１によって撮影された搬器１０内の撮影画像を取得する。 Next, the control part 21 of the management server 20 performs the acquisition process of the image in a carrying device (step S1-3). Specifically, the image acquisition unit 212 of the control unit 21 acquires a captured image in the transporter 10 captured by the camera 11 at any timing of the start and end of lifting.
次に、管理サーバ２０の制御部２１は、マスク処理を実行する（ステップＳ１−４）。具体的には、制御部２１の画像取得部２１２は、マスクを撮影画像に対して適用し、積載物とは無関係の不要部分を排除する。 Next, the control part 21 of the management server 20 performs a mask process (step S1-4). Specifically, the image acquisition unit 212 of the control unit 21 applies a mask to the captured image, and eliminates unnecessary portions that are not related to the load.
次に、管理サーバ２０の制御部２１は、人物認識処理を実行する（ステップＳ１−５）。具体的には、制御部２１の画像認識部２１３は、学習情報記憶部２２に記録された認識モデル（人物、会社）を用いて、撮影画像において、人物（作業員）が撮影された領域（人物画像、会社）を特定する。そして、画像認識部２１３は、撮影画像において人物が撮影された領域（人物画像）を特定する。更に、画像認識部２１３は、認識モデルを用いて、この人物画像のユニフォームやヘルメットの外観（色彩や模様等）等により、人物が属する会社を特定する。そして、状況管理部２１１は、搬送管理レコード２６０の利用者データ領域に、特定した利用会社コードを記録する。 Next, the control part 21 of the management server 20 performs a person recognition process (step S1-5). Specifically, the image recognizing unit 213 of the control unit 21 uses a recognition model (person, company) recorded in the learning information storage unit 22 in a photographed image in which a person (worker) is photographed ( (Person image, company). Then, the image recognition unit 213 specifies an area (person image) where a person is photographed in the photographed image. Furthermore, the image recognition unit 213 uses the recognition model to identify the company to which the person belongs based on the uniform of the person image, the appearance (color, pattern, etc.) of the helmet, and the like. Then, the situation management unit 211 records the specified user company code in the user data area of the transport management record 260.
次に、管理サーバ２０の制御部２１は、グリッド分割処理を実行する（ステップＳ１−６）。具体的には、制御部２１の資材予測部２１４は、撮影画像を、予め定められた画素数で構成されたグリッドに分割された積載物範囲を生成する。 Next, the control unit 21 of the management server 20 executes grid division processing (step S1-6). Specifically, the material prediction unit 214 of the control unit 21 generates a load range that is obtained by dividing the captured image into a grid configured with a predetermined number of pixels.
次に、管理サーバ２０の制御部２１は、背景画像のグリッドの除外処理を実行する（ステップＳ１−７）。具体的には、制御部２１の資材予測部２１４は、学習情報記憶部２２から、予め撮影された背景画像を取得する。次に、資材予測部２１４は、撮影画像と背景画像とを比較し、背景画像が含まれるグリッドを特定する。そして、資材予測部２１４は、背景画像が含まれるグリッドを、資機材を予測に用いる積載物範囲から除外する。 Next, the control unit 21 of the management server 20 executes a background image grid exclusion process (step S1-7). Specifically, the material prediction unit 214 of the control unit 21 acquires a previously captured background image from the learning information storage unit 22. Next, the material prediction unit 214 compares the captured image and the background image, and identifies a grid that includes the background image. Then, the material prediction unit 214 excludes the grid including the background image from the load range where the materials and equipment are used for prediction.
次に、管理サーバ２０の制御部２１は、人物画像を含むグリッドの削除処理を実行する（ステップＳ１−８）。具体的には、制御部２１の資材予測部２１４は、画像認識部２１３によって認識した人物画像が含まれるグリッドを特定する。そして、資材予測部２１４は、基準値（例えば、５０％）以上で人物画像が含まれるグリッドを、資材予測に用いる積載物範囲から除外する。 Next, the control part 21 of the management server 20 performs the deletion process of the grid containing a person image (step S1-8). Specifically, the material prediction unit 214 of the control unit 21 specifies a grid that includes the person image recognized by the image recognition unit 213. Then, the material prediction unit 214 excludes a grid that includes a human image with a reference value (for example, 50%) or more from the load range used for material prediction.
次に、管理サーバ２０の制御部２１は、荷重情報の取得処理を実行する（ステップＳ１−９）。具体的には、制御部２１の資材予測部２１４は、撮影画像において、荷重表示部１２が撮影されている領域を特定する。そして、資材予測部２１４は、荷重表示部１２に表示されている文字の文字認識を行なう。次に、資材予測部２１４は、文字認識された数字によって、搬器１０における荷重を取得する。次に、資材予測部２１４は、人物画像の人物数に応じて仮想体重（作業員の平均的な体重）を乗算した人物重量を算出する。次に、資材予測部２１４は、取得した荷重から人物重量を差し引いて、積載物重量を算出する。そして、状況管理部２１１は、搬送管理レコード２６０の重量データ領域に、積載物重量を記録する。 Next, the control unit 21 of the management server 20 executes load information acquisition processing (step S1-9). Specifically, the material prediction unit 214 of the control unit 21 specifies an area where the load display unit 12 is captured in the captured image. Then, the material prediction unit 214 performs character recognition of the characters displayed on the load display unit 12. Next, the material prediction unit 214 acquires the load on the transporter 10 by using the number that has been character-recognized. Next, the material prediction unit 214 calculates a person weight obtained by multiplying the virtual weight (the average weight of the worker) according to the number of persons in the person image. Next, the material prediction unit 214 calculates the load weight by subtracting the person weight from the acquired load. Then, the status management unit 211 records the load weight in the weight data area of the transport management record 260.
次に、管理サーバ２０の制御部２１は、積載物体積の予測処理を実行する（ステップＳ１−１０）。具体的には、制御部２１の資材予測部２１４は、撮影画像において、評価対象グリッド（積載物範囲）において、資材の寸法を予測する。ここでは、資材予測部２１４は、撮影画像において、積載物範囲の鉛直方向と水平面において直交する２軸（縦横）を特定する。次に、資材予測部２１４は、鉛直方向の高さと直交する２軸（縦横）の長さを概算する。次に、資材予測部２１４は、縦横の長さ及び高さからなる直方体を想定し、積載物体積を概算する。そして、状況管理部２１１は、搬送管理レコード２６０の体積データ領域に、概算した積載物体積を記録する。 Next, the control unit 21 of the management server 20 executes a load volume prediction process (step S1-10). Specifically, the material prediction unit 214 of the control unit 21 predicts the dimensions of the material in the evaluation target grid (loading object range) in the captured image. Here, the material prediction unit 214 identifies two axes (vertical and horizontal) orthogonal to the vertical direction of the load range and the horizontal plane in the captured image. Next, the material prediction unit 214 approximates the lengths of two axes (vertical and horizontal) orthogonal to the height in the vertical direction. Next, the material prediction unit 214 approximates the load volume assuming a rectangular parallelepiped having vertical and horizontal lengths and heights. Then, the situation management unit 211 records the estimated load volume in the volume data area of the conveyance management record 260.
例えば、図５（ａ）に示す撮影画像５００においては、積載物の俯瞰画像５０１が含まれる。この俯瞰画像５０１においては、図５（ｂ）に示す直方体５０２と仮定して、積載物の体積を概算する。図５（ｃ）に示す撮影画像５１０においては、積載物の俯瞰画像５１１が含まれる。この俯瞰画像５１１においては、図５（ｄ）に示す直方体５１２と仮定して、積載物の体積を概算する。 For example, the captured image 500 shown in FIG. 5A includes a bird's-eye view image 501 of the load. In this bird's-eye view image 501, the volume of the load is roughly estimated assuming a rectangular parallelepiped 502 shown in FIG. The captured image 510 illustrated in FIG. 5C includes an overhead image 511 of the load. In this bird's-eye view image 511, the volume of the load is roughly estimated assuming a rectangular parallelepiped 512 shown in FIG.
次に、管理サーバ２０の制御部２１は、各評価対象グリッドの認識処理を実行する（ステップＳ１−１１）。具体的には、制御部２１の資材予測部２１４は、積載物範囲を構成する各評価対象グリッドにおいて、学習情報記憶部２２に記録された学習済の識別モデルを用いて、資材（素地）、荷姿の種類を認識する。 Next, the control part 21 of the management server 20 performs the recognition process of each evaluation object grid (step S1-11). Specifically, the material predicting unit 214 of the control unit 21 uses the learned identification model recorded in the learning information storage unit 22 in each evaluation target grid constituting the load range, Recognize the type of package.
次に、図４に示すように、積載物範囲の大部分が同一資材かどうかについての判定処理を実行する（ステップＳ２−１）。具体的には、制御部２１の資材予測部２１４は、積載物範囲を構成する評価対象グリッド数（積載物範囲グリッド数）において、資材（素地）が撮影されたグリッド数（資材グリッド数）の割合を算出する。そして、資材予測部２１４は、〔資材グリッド数／積載物範囲グリッド数〕が基準値（例えば７０％）以上の場合には、積載物範囲の大部分が同一資材と判定する。 Next, as shown in FIG. 4, a determination process is performed as to whether or not most of the load range is the same material (step S2-1). Specifically, the material prediction unit 214 of the control unit 21 sets the number of grids (material grids) in which the material (material) is photographed in the number of evaluation target grids (the number of load range grids) constituting the load range. Calculate the percentage. When the [number of material grids / number of loaded range grids] is equal to or greater than a reference value (for example, 70%), the material predicting unit 214 determines that most of the loaded range is the same material.
積載物範囲の大部分が同一資材と判定した場合（ステップＳ２−１において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、素地荷姿により揚重資材候補の特定処理を実行する（ステップＳ２−２）。具体的には、制御部２１の資材予測部２１４は、資材（素地）が撮影されたグリッドにおいて特定した素地荷姿により候補資材を特定する。 When it is determined that the majority of the load range is the same material (in the case of “YES” in step S2-1), the control unit 21 of the management server 20 executes a process of identifying a lifting material candidate based on the basic loading state ( Step S2-2). Specifically, the material predicting unit 214 of the control unit 21 specifies candidate materials based on the substrate loading form specified in the grid where the material (substrate) is photographed.
一方、積載物範囲の大部分が同一資材でないと判定した場合（ステップＳ２−１において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、積載物範囲の大部分が荷姿かどうかについての判定処理を実行する（ステップＳ２−３）。具体的には、制御部２１の資材予測部２１４は、積載物範囲を構成する評価対象グリッド数（積載物範囲グリッド数）において、荷姿が撮影されたグリッド数（荷姿グリッド数）の割合を算出する。なお、積載物範囲において、異なる荷姿画像（例えば、ダンボール及び単管台車）が含まれる場合にも、荷姿が撮影されたすべての評価対象グリッドを合計して荷姿グリッド数を算出する。そして、資材予測部２１４は、〔荷姿グリッド数／積載物範囲グリッド数〕が基準値（例えば７０％）以上の場合には、積載物範囲の大部分が荷姿（梱包荷姿）と判定する。 On the other hand, when it is determined that the majority of the load range is not the same material (in the case of “NO” in step S2-1), the control unit 21 of the management server 20 determines whether most of the load range is in the packaged state. The determination process is executed (step S2-3). Specifically, the material predicting unit 214 of the control unit 21 has a ratio of the number of grids (the number of load form grids) in which the load form is photographed in the number of evaluation target grids (the number of load range grids) constituting the load range. Is calculated. Note that, even when different load appearance images (for example, cardboard and single-pipe carts) are included in the load range, the total number of load appearance grids is calculated by adding all the evaluation target grids in which the load appearances are photographed. Then, the material prediction unit 214 determines that the majority of the load range is a packing form (packing packing form) when [the number of packing form grids / the number of loading range grids] is a reference value (for example, 70%) or more. To do.
積載物範囲の大部分が荷姿と判定した場合（ステップＳ２−３において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、荷姿領域の抽出処理を実行する（ステップＳ２−４）。具体的には、制御部２１の資材予測部２１４は、積載物範囲において、同じ荷姿と判定された荷姿グリッド毎に、共通荷姿画像のグリッド数を算出する。そして、資材予測部２１４は、算出した共通荷姿画像のグリッド数が、積載物範囲グリッド数に対して基準値（例えば、３０％）以上の荷姿候補を特定する。なお、基準値以上の共通荷姿画像を、複数、抽出した場合には、すべての荷姿について荷姿候補を特定する。 When it is determined that the majority of the load range is in the packaged state (in the case of “YES” in step S2-3), the control unit 21 of the management server 20 executes a packaged region extraction process (step S2-4). . Specifically, the material predicting unit 214 of the control unit 21 calculates the number of grids of the common package image for each package grid determined to be the same package in the loaded range. Then, the material predicting unit 214 identifies a package form candidate in which the calculated grid number of the common package image is greater than or equal to a reference value (for example, 30%) with respect to the load range grid number. In addition, when a plurality of common package images that are equal to or greater than the reference value are extracted, package image candidates are specified for all package images.
次に、管理サーバ２０の制御部２１は、候補資材の抽出処理を実行する（ステップＳ２−５）。具体的には、制御部２１の資材予測部２１４は、荷姿情報記憶部２４に記録された荷姿状態テーブル２４０を用いて、積載物範囲において特定したすべての荷姿候補に対応した候補資材（搬送対象）を特定する。 Next, the control unit 21 of the management server 20 executes candidate material extraction processing (step S2-5). Specifically, the material prediction unit 214 of the control unit 21 uses the packing form state table 240 recorded in the packing form information storage unit 24 to use candidate materials corresponding to all packing form candidates specified in the load range. (Transport target) is specified.
一方、積載物範囲の大部分が荷姿でないと判定した場合（ステップＳ２−３において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、資材、荷姿の抽出処理を実行する（ステップＳ２−６）。具体的には、制御部２１の資材予測部２１４は、積載物範囲において、共通する認識画像のグリッド数の割合が基準値（例えば、３０％）以上の資材及び荷姿を特定する。 On the other hand, when it is determined that the majority of the load range is not in the package form (in the case of “NO” in step S2-3), the control unit 21 of the management server 20 executes the material and package extraction process (step) S2-6). Specifically, the material prediction unit 214 of the control unit 21 identifies materials and packing forms in which the ratio of the number of grids of the common recognition image is a reference value (for example, 30%) or more in the load range.
次に、管理サーバ２０の制御部２１は、候補資材があるかどうかについての判定処理を実行する（ステップＳ２−７）。具体的には、制御部２１の資材予測部２１４は、積載物範囲において、共通する認識画像のグリッド数の割合が基準値以上の資材及び荷姿を特定できない場合には、候補資材がないと判定する。 Next, the control part 21 of the management server 20 performs the determination process about whether there exists candidate material (step S2-7). Specifically, the material prediction unit 214 of the control unit 21 determines that there is no candidate material when it is not possible to identify a material and a packing form in which the ratio of the number of grids in the common recognition image is greater than or equal to a reference value in the load range. judge.
候補資材がないと判定した場合（ステップＳ２−７において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、エラー処理を実行する（ステップＳ２−８）。具体的には、制御部２１の資材予測部２１４は、搬送管理レコード２６０の搬送物データ領域にエラーを記録する。 When it determines with there being no candidate material (in the case of "NO" in step S2-7), the control part 21 of the management server 20 performs an error process (step S2-8). Specifically, the material prediction unit 214 of the control unit 21 records an error in the transported object data area of the transport management record 260.
一方、候補資材があると判定した場合（ステップＳ２−７において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、候補資材の抽出処理を実行する（ステップＳ２−９）。具体的には、制御部２１の資材予測部２１４は、荷姿情報記憶部２４の荷姿状態テーブル２４０を用いて、特定した資材及び荷姿の組み合わせからなる候補資材を特定する。 On the other hand, when it is determined that there is a candidate material (in the case of “YES” in step S2-7), the control unit 21 of the management server 20 executes a candidate material extraction process (step S2-9). Specifically, the material prediction unit 214 of the control unit 21 uses the package state table 240 of the package form information storage unit 24 to identify candidate materials composed of the identified material and the package form.
次に、管理サーバ２０の制御部２１は、資材の確定処理を実行する（ステップＳ２−１０）。具体的には、制御部２１の資材予測部２１４は、利用者情報記憶部２３の利用者管理レコード２３０から、搬器１０の利用者（会社）が搬送する可能性がある搬送候補を特定する。また、資材予測部２１４は、密度マップ２５０において、積載物重量及び積載物体積を用いて積載物候補を特定する。そして、資材予測部２１４は、利用者管理レコード２３０を用いて特定した搬送候補と、密度マップ２５０を用いて特定した積載物候補とにおいて共通する候補資材を、揚重物（搬送資材）として確定する。そして、資材予測部２１４は、確定した搬送資材を搬送管理レコード２６０の搬送物データ領域に記録する。なお、候補資材が、利用者管理レコード２３０を用いて特定した搬送候補や、密度マップ２５０を用いて特定した積載物候補に含まれない場合には、資材予測部２１４は、候補資材を搬送管理レコード２６０に記録するとともに、注意フラグを記録する。 Next, the control unit 21 of the management server 20 executes material determination processing (step S2-10). Specifically, the material prediction unit 214 of the control unit 21 specifies a conveyance candidate that may be conveyed by the user (company) of the transporter 10 from the user management record 230 of the user information storage unit 23. In addition, the material predicting unit 214 specifies a load candidate using the load weight and the load volume in the density map 250. Then, the material predicting unit 214 determines a candidate material that is common to the conveyance candidate specified using the user management record 230 and the load candidate specified using the density map 250 as a lifted object (conveyance material). To do. Then, the material prediction unit 214 records the confirmed transport material in the transport object data area of the transport management record 260. In addition, when the candidate material is not included in the conveyance candidate specified using the user management record 230 or the load candidate specified using the density map 250, the material prediction unit 214 manages the conveyance of the candidate material. In addition to recording in the record 260, an attention flag is recorded.
次に、図６、図７を用いて、積載物判定処理の具体例を説明する。
搬器１０における撮影画像においては、図６に示すように、横１１個、縦８個のグリッドに分割されている。また、別の搬器１０における撮影画像においては、図７に示すように、横１１個、縦１１個のグリッドに分割されている。
Next, a specific example of the load determination process will be described with reference to FIGS.
The captured image in the transporter 10 is divided into 11 horizontal and 8 vertical grids as shown in FIG. Moreover, in the picked-up image in another carrier 10, as shown in FIG. 7, it is divided | segmented into the grid of 11 horizontal and 11 vertical.
そして、図６に示す撮影画像においては、背景、作業員、資材、荷重表示を認識している。また、図７に示す画像においては、背景、作業員、資材、荷姿を認識している。このように、認識した資材や荷姿により、候補資材を特定することができる。 In the captured image shown in FIG. 6, the background, worker, material, and load display are recognized. Further, in the image shown in FIG. 7, the background, the worker, the material, and the packing form are recognized. In this way, candidate materials can be identified based on the recognized materials and packing forms.
本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態では、管理サーバ２０の制御部２１は、階数の特定処理（ステップＳ１−２）、搬器内の画像の取得処理（ステップＳ１−３）、各評価対象グリッドの認識処理（ステップＳ１−１１）を実行する。これにより、撮影画像を用いて、積載物や搬送状況を特定することができる。
According to this embodiment, the following effects can be obtained.
(1) In the present embodiment, the control unit 21 of the management server 20 performs the floor identification process (step S1-2), the image acquisition process (step S1-3) in the transporter, and the evaluation target grid recognition process (step S1-3). Step S1-11) is executed. Thereby, it is possible to specify the load and the conveyance status using the captured image.
（２）本実施形態では、管理サーバ２０の制御部２１は、マスク処理を実行する（ステップＳ１−４）。これにより、撮影画像において、積載物の特定に関係がない領域を削除し、効率的に積載物を特定することができる。 (2) In this embodiment, the control part 21 of the management server 20 performs a mask process (step S1-4). Thereby, it is possible to delete a region that is not related to the specification of the load in the photographed image, and to efficiently specify the load.
（３）本実施形態では、管理サーバ２０の制御部２１は、人物認識処理を実行する（ステップＳ１−５）。これにより、撮影画像を用いて、作業員が撮影された領域や作業員が属する会社を特定することができる。更に、管理サーバ２０の制御部２１は、人物画像を含むグリッドの削除処理を実行する（ステップＳ１−８）。これにより、撮影画像において、積載物の特定に関係がない領域を削除し、効率的に積載物を特定することができる。 (3) In this embodiment, the control part 21 of the management server 20 performs a person recognition process (step S1-5). Thereby, the area | region where the worker was image | photographed and the company to which a worker belongs can be specified using a picked-up image. Furthermore, the control unit 21 of the management server 20 executes a process for deleting the grid including the person image (step S1-8). Thereby, it is possible to delete a region that is not related to the specification of the load in the photographed image, and to efficiently specify the load.
（４）本実施形態では、管理サーバ２０の制御部２１は、荷重情報の取得処理を実行する（ステップＳ１−９）。これにより、撮影画像を用いて、積載物の重量を予測することができる。 (4) In the present embodiment, the control unit 21 of the management server 20 executes load information acquisition processing (step S1-9). Thereby, the weight of the load can be predicted using the captured image.
（５）本実施形態では、管理サーバ２０の制御部２１は、積載物体積の予測処理を実行する（ステップＳ１−１０）。これにより、撮影画像を用いて、積載物の体積を予測することができる。 (5) In this embodiment, the control part 21 of the management server 20 performs the load volume prediction process (step S1-10). Thereby, the volume of the load can be predicted using the captured image.
（６）本実施形態では、積載物範囲の大部分が同一資材と判定した場合（ステップＳ２−１において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、素地荷姿により揚重資材候補の特定処理を実行する（ステップＳ２−２）。これにより、撮影画像を用いて、素地の資材を特定することができる。 (6) In the present embodiment, when it is determined that most of the load range is the same material (in the case of “YES” in step S2-1), the control unit 21 of the management server 20 causes the material to be lifted according to the basic loading state. A candidate specifying process is executed (step S2-2). Thereby, the base material can be specified using the captured image.
（７）本実施形態では、積載物範囲の大部分が同一資材でないと判定した場合（ステップＳ２−１において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、積載物範囲の大部分が荷姿かどうかについての判定処理を実行する（ステップＳ２−３）。積載物範囲の大部分が荷姿と判定した場合（ステップＳ２−３において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、荷姿領域の抽出処理（ステップＳ２−４）、候補資材の抽出処理（ステップＳ２−５）を実行する。これにより、資材が梱包されている場合にも、荷姿に基づいて、搬送される候補資材を特定することができる。 (7) In the present embodiment, when it is determined that most of the load range is not the same material (in the case of “NO” in step S2-1), the control unit 21 of the management server 20 determines most of the load range. Judgment processing is performed as to whether or not is a packaged form (step S2-3). When it is determined that the majority of the load range is in the form of packing (in the case of “YES” in step S2-3), the control unit 21 of the management server 20 extracts the packing area region (step S2-4), candidate material The extraction process (step S2-5) is executed. Thereby, even when the material is packed, the candidate material to be transported can be specified based on the packing form.
（８）本実施形態では、積載物範囲の大部分が荷姿でないと判定した場合（ステップＳ２−３において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、資材、荷姿の抽出処理を実行する（ステップＳ２−６）。候補資材があると判定した場合（ステップＳ２−７において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、候補資材の抽出処理を実行する（ステップＳ２−９）。これにより、資材や梱包荷姿が混在する場合にも、搬送される候補資材を特定することができる。 (8) In this embodiment, when it is determined that the majority of the load range is not in the packaged state (in the case of “NO” in step S2-3), the control unit 21 of the management server 20 extracts the material and the packaged form. Processing is executed (step S2-6). When it is determined that there is a candidate material (in the case of “YES” in step S2-7), the control unit 21 of the management server 20 executes a candidate material extraction process (step S2-9). Thereby, even when materials and packing forms are mixed, candidate materials to be conveyed can be specified.
（９）本実施形態では、管理サーバ２０の制御部２１は、資材の確定処理を実行する（ステップＳ２−１０）。これにより、積載物の体積や重量（密度）や、搬器１０の利用者に基づいて、候補資材の中で搬送資材を確定することができる。 (9) In the present embodiment, the control unit 21 of the management server 20 executes material determination processing (step S2-10). Thereby, based on the volume and weight (density) of a load, and the user of the transporter 10, a conveyance material can be determined among candidate materials.
また、上記実施形態は、以下のように変更してもよい。
・上記実施形態においては、資材予測部２１４は、積載物を搬入する前の搬器１０の内部の撮影画像（背景画像）を保持している。これに代えて、背景画像は、搬器１０に資材が搬入される直前に撮影するようにしてもよい。この場合には、例えば、資材の搬出を終了し、停止状態において、次に搬器１０のシャッターが開放された場合に撮影した撮影画像を背景画像として用いる。また、荷重表示部１２において荷重が増加し、資材の搬入が開始されたことを検知した場合に撮影した画像を背景画像として用いてもよい。
Moreover, you may change the said embodiment as follows.
In the above embodiment, the material prediction unit 214 holds a captured image (background image) inside the transporter 10 before carrying the load. Alternatively, the background image may be taken immediately before the material is carried into the transporter 10. In this case, for example, when the carrying out of the material is finished and the shutter of the transporter 10 is opened next in the stopped state, a photographed image that is photographed is used as the background image. Moreover, you may use the image image | photographed when it detected that the load increased in the load display part 12 and the carrying-in of material was started as a background image.
・上記実施形態においては、管理サーバ２０の制御部２１は、積載物体積の予測処理を実行する（ステップＳ１−１０）。この場合、搬器１０のフレーム（縦、横、高さ）の方向を利用したり、予め記憶したフレーム長を基準にして縦横の長さや高さを算出したりしてもよい。 In the above embodiment, the control unit 21 of the management server 20 executes a load volume prediction process (step S1-10). In this case, the direction of the frame (vertical, horizontal, height) of the transporter 10 may be used, or the vertical and horizontal lengths and heights may be calculated based on a prestored frame length.
・上記実施形態においては、管理サーバ２０の制御部２１は、荷重情報の取得処理を実行する（ステップＳ１−９）。ここでは、荷重表示部１２に表示されている文字の文字認識により、荷重情報を取得する。荷重情報の取得方法は、画像認識を用いる場合に限定されるものではない。例えば、搬送を制御する揚重制御装置１５から、荷重情報を取得するようにしてもよい。 In the above embodiment, the control unit 21 of the management server 20 executes load information acquisition processing (step S1-9). Here, load information is acquired by character recognition of characters displayed on the load display unit 12. The load information acquisition method is not limited to the case of using image recognition. For example, the load information may be acquired from the lifting control device 15 that controls conveyance.
・上記実施形態においては、移動体として仮設エレベータ内の搬器１０を用いた。移動体は仮設エレベータに限定されるものではない。例えば、平面移動する搬送装置に適用することも可能である。 In the above embodiment, the transporter 10 in the temporary elevator is used as the moving body. The moving body is not limited to a temporary elevator. For example, the present invention can be applied to a transport device that moves on a plane.
・上記実施形態においては、管理サーバ２０の制御部２１は、人物認識処理を実行する（ステップＳ１−５）。ここで、画像認識により作業員が属する会社を特定する。会社の特定方法は、画像認識によるものに限定されるものではない。例えば、搬器１０の利用時間帯に基づいて、利用者を特定するようにしてもよい。この場合には、仮設エレベータの利用予定（利用時間帯、利用者情報）を予め記憶した利用管理テーブルを準備しておく。そして、搬器１０内の撮影日時に基づいて、利用管理テーブルから利用者を特定する。 In the above embodiment, the control unit 21 of the management server 20 executes person recognition processing (step S1-5). Here, the company to which the worker belongs is specified by image recognition. The company identification method is not limited to image recognition. For example, the user may be specified based on the usage time zone of the transporter 10. In this case, a usage management table is prepared in which a temporary elevator usage schedule (usage time zone, user information) is stored in advance. And based on the imaging | photography date in the portable device 10, a user is specified from a usage management table.
また、仮設エレベータの搬器１０の利用時に、利用者の利用者識別情報を入力したり、ＩＤカードに記録された利用者識別情報を読み取ったりして、利用者を特定するようにしてもよい。 Further, when using the temporary elevator car 10, the user may be specified by inputting the user identification information of the user or reading the user identification information recorded on the ID card.
・上記実施形態においては、建設現場で用いる資機材の搬送状況を管理する。管理対象は、建設現場で用いる資機材に限定されるものではない。
・上記実施形態においては、管理サーバ２０の制御部２１は、資材の確定処理を実行する（ステップＳ２−１０）。資材の確定に用いる情報は、利用者情報や密度情報等に限定されるものではなく、これらの一部や他の情報の組み合わせでもよい。例えば、積載物重量のみを用いて資材を確定してもよい。この場合には、各資材において予測される積載物重量範囲に関連付けて、資機材種類の候補を記録した候補情報記憶部を用いる。
・上記実施形態においては、管理サーバ２０の制御部２１は、搬器内の画像の取得処理を実行する（ステップＳ１−３）。この場合、搬器内の画像取得は、搬入又は搬出を検知する度に行なうようにしてもよい。例えば、複数の資機材を複数の階層に搬送する場合には、搬器１０の停止場所毎に撮影画像を取得し、この撮影画像に基づいて、資機材の増減を特定する。撮影画像を用いて、先行の停止場所から後続の停止場所までの積載物の搬送管理レコード２６０を生成し、搬送情報記憶部２６に記録する。
In the above embodiment, the conveyance status of materials and equipment used at the construction site is managed. The management target is not limited to materials and equipment used at the construction site.
In the above embodiment, the control unit 21 of the management server 20 executes material confirmation processing (step S2-10). The information used for determining the material is not limited to user information, density information, or the like, and may be a part of these or a combination of other information. For example, the material may be determined using only the load weight. In this case, a candidate information storage unit in which candidates for the types of equipment are recorded in association with the load weight range predicted for each material is used.
In the above embodiment, the control unit 21 of the management server 20 executes an image acquisition process in the transporter (step S1-3). In this case, the image acquisition in the carrying device may be performed every time when carrying-in or carrying-out is detected. For example, when transporting a plurality of materials and equipment to a plurality of levels, a captured image is acquired for each stop location of the transporter 10, and the increase or decrease of the materials and equipment is specified based on the captured image. Using the captured image, a transport management record 260 of the load from the preceding stop location to the subsequent stop location is generated and recorded in the transport information storage unit 26.
・上記実施形態においては、識別モデルを、機械学習（ディープラーニング）により生成する。識別モデルの生成方法は、ディープラーニングに限定されるものではない。例えば、一つの教師データに含まれる複数の特徴量をまとめたクラスタについて、特徴量の分布（ヒストグラム）からなる識別モデルを生成する。この識別モデルには、学習用画像のインデックス（被写体の種類）が付与される。そして、未識別の撮影画像に含まれる複数の特徴量を算出し、この特徴量の分布と識別モデルとの比較に基づいて、撮影画像に含まれる被写体（人物、会社、資材（素地）、荷姿）を予測するようにしてもよい。 In the above embodiment, the identification model is generated by machine learning (deep learning). The method for generating the identification model is not limited to deep learning. For example, for a cluster in which a plurality of feature amounts included in one teacher data are collected, an identification model including a feature amount distribution (histogram) is generated. This identification model is given an index of learning image (subject type). Then, a plurality of feature amounts included in the unidentified captured image are calculated, and based on the comparison between the distribution of the feature amounts and the identification model, the subject (person, company, material (base)), load included in the captured image is calculated. (Appearance) may be predicted.
・上記実施形態においては、管理サーバ２０の制御部２１は、揚重資材候補の特定処理（ステップＳ２−２）、候補資材の抽出処理（ステップＳ２−５，Ｓ２−９）を実行する。ここで、複数の資材を揚重する場合に、個々の資材候補を特定するようにしてもよい。複数の資材を識別する方法としては、例えば、以下の方法がある。
（ａ）搬器１０に個別に資材を積み込む場合、管理サーバ２０の制御部２１が、荷重増加を検知し、荷重増加に応じてまとまりがあるグループ（単位資材）を特定し、グループ毎に資材候補を特定する。
（ｂ）搬器１０の内部の撮影画像について、ディープラーニング等により、資材毎のまとまりを機械学習する。そして、管理サーバ２０の制御部２１が、揚重開始後に、機械学習による認識結果に基づいて、撮影画像を資材毎にグリッドをまとめたグループを生成し、グループ毎に資材候補を特定する。
（ｃ）管理サーバ２０の制御部２１が、搬器１０の内部の撮影画像においてエッジ抽出やセグメンテーションにより、まとまりがあるグループ（まとまりがある物）を認識し、グループ毎に資材候補を特定する。
In the above embodiment, the control unit 21 of the management server 20 executes the lifting material candidate specifying process (step S2-2) and the candidate material extracting process (steps S2-5, S2-9). Here, when lifting a plurality of materials, individual material candidates may be specified. As a method for identifying a plurality of materials, for example, there are the following methods.
(A) When individually loading materials into the transporter 10, the control unit 21 of the management server 20 detects an increase in load, identifies a group (unit material) with a unit according to the increase in load, and material candidates for each group Is identified.
(B) Machine learning is performed on a group of materials for the captured image inside the transporter 10 by deep learning or the like. And the control part 21 of the management server 20 produces | generates the group which put together the grid for every picked-up image for every material based on the recognition result by machine learning, and specifies a material candidate for every group.
(C) The control unit 21 of the management server 20 recognizes a group having a group (thing with a group) by edge extraction or segmentation in the captured image inside the transporter 10, and specifies a material candidate for each group.
１０…搬器、１１…カメラ、１２…荷重表示部、１５…揚重制御装置、２０…管理サーバ、２１…制御部、２１１…状況管理部、２１２…画像取得部、２１３…画像認識部、２１４…資材予測部、２２…学習情報記憶部、２３…利用者情報記憶部、２４…荷姿情報記憶部、２５…密度情報記憶部、２６…搬送情報記憶部。 DESCRIPTION OF SYMBOLS 10 ... Carrying device, 11 ... Camera, 12 ... Load display part, 15 ... Lifting control apparatus, 20 ... Management server, 21 ... Control part, 211 ... Situation management part, 212 ... Image acquisition part, 213 ... Image recognition part, 214 ... Material prediction part, 22 ... Learning information storage part, 23 ... User information storage part, 24 ... Packing form information storage part, 25 ... Density information storage part, 26 ... Conveyance information storage part.
Claims (7)
前記搬器の内部を撮影する撮影部に接続された制御部とを備えた搬送管理システムであって、
前記制御部が、
搬器の積載物を撮影した撮影画像に基づいて、積載物種類候補を特定し、
前記積載物について、搬器を用いての搬送開始場所及び搬送終了場所を特定し、
前記積載物の利用日時及び利用者を特定し、
前記搬器の利用日時、利用者に関連付けて、積載物種類候補において決定された資機材種類、搬送開始場所、搬送終了場所に関する情報を前記搬送情報記憶部に記録することを特徴とする搬送管理システム。 A transport information storage unit for storing transport information using a transporter;
A transport management system comprising a control unit connected to a photographing unit for photographing the inside of the transporter,
The control unit is
Based on the captured image of the load on the carrier, identify the load type candidate,
For the load, specify the transfer start location and transfer end location using a transporter,
Identify the use date and user of the load,
A transport management system for recording information on the material type, transport start location, and transport end location determined in the load type candidate in association with the use date and time of the transporter and the user in the transport information storage unit .
前記制御部が、
前記撮影画像において荷姿種類を特定した場合、前記荷姿種類に関連付けられた積載物種類候補を特定することを特徴とする請求項１に記載の搬送管理システム。 A load form information storage unit that stores the load form type with respect to the load type is further provided.
The control unit is
The transport management system according to claim 1, wherein when a package form type is specified in the photographed image, a load type candidate associated with the package form type is specified.
前記搬器の利用者に基づいて、前記利用者情報記憶部から資機材情報を取得し、前記資機材情報を用いて、積載物種類候補の中から積載物種類を特定することを特徴とする請求項１〜４の何れか一項に記載の搬送管理システム。 A user information storage unit that stores the material and equipment information used by the user in association with the user,
The equipment information is acquired from the user information storage unit based on the user of the transporter, and the load type is specified from the load type candidates using the material information. Item 5. The transport management system according to any one of Items 1 to 4.
前記搬器の内部を撮影する撮影部に接続された制御部とを備えた搬送管理システムを用いて、搬送状況を管理する搬送管理方法であって、
前記制御部は、
搬器の積載物を撮影した撮影画像に基づいて、積載物種類候補を特定し、
前記積載物について、搬器を用いての搬送開始場所及び搬送終了場所を特定し、
前記積載物の利用日時及び利用者を特定し、
前記搬器の利用日時、利用者に関連付けて、積載物種類候補において決定された資機材種類、搬送開始場所、搬送終了場所に関する情報を前記搬送情報記憶部に記録することを特徴とする搬送管理方法。 A transport information storage unit for storing transport information using a transporter;
A transport management method for managing a transport status using a transport management system including a control unit connected to an imaging unit that captures an inside of the transporter,
The controller is
Based on the captured image of the load on the carrier, identify the load type candidate,
For the load, specify the transfer start location and transfer end location using a transporter,
Identify the use date and user of the load,
The transport management method, wherein information related to the material type, transport start location, and transport end location determined in the load type candidate in association with the use date and time of the transporter and the user is recorded in the transport information storage unit. .
前記搬器の内部を撮影する撮影部に接続された制御部とを備えた搬送管理システムを用いて、搬送状況を管理する搬送管理プログラムであって、
前記制御部を、
搬器の積載物を撮影した撮影画像に基づいて、積載物種類候補を特定し、
前記積載物について、搬器を用いての搬送開始場所及び搬送終了場所を特定し、
前記積載物の利用日時及び利用者を特定し、
前記搬器の利用日時、利用者に関連付けて、積載物種類候補において決定された資機材種類、搬送開始場所、搬送終了場所に関する情報を前記搬送情報記憶部に記録する手段として機能させることを特徴とする搬送管理プログラム。 A transport information storage unit for storing transport information using a transporter;
A transport management program for managing a transport status using a transport management system including a control unit connected to an imaging unit that captures an image of the inside of the transporter,
The control unit
Based on the captured image of the load on the carrier, identify the load type candidate,
For the load, specify the transfer start location and transfer end location using a transporter,
Identify the use date and user of the load,
It is made to function as means for recording in the transport information storage unit information related to the material type, transport start location, and transport end location determined in the load type candidate in association with the use date and time of the transporter and the user. Transport management program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017018490A JP6902188B2 (en) | 2017-02-03 | 2017-02-03 | Transport management system, transport management method and transport management program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017018490A JP6902188B2 (en) | 2017-02-03 | 2017-02-03 | Transport management system, transport management method and transport management program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018122989A true JP2018122989A (en) | 2018-08-09 |
| JP6902188B2 JP6902188B2 (en) | 2021-07-14 |
Family
ID=63110919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017018490A Active JP6902188B2 (en) | 2017-02-03 | 2017-02-03 | Transport management system, transport management method and transport management program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6902188B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3587761A1 (en) | 2018-06-28 | 2020-01-01 | Mazda Motor Corporation | Fuel injection control device and fuel injection control method for diesel engine |
| JP2021002259A (en) * | 2019-06-24 | 2021-01-07 | 国立研究開発法人産業技術総合研究所 | Object identification device and object identification method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06282705A (en) * | 1993-03-29 | 1994-10-07 | Hitachi Eng Co Ltd | Method and device for inspecting amount of articles |
| JP2005526323A (en) * | 2002-05-17 | 2005-09-02 | フジツー トランスアクション ソリューションズ インコーポレイション | Self-checkout method and apparatus |
| JP2009208878A (en) * | 2008-03-03 | 2009-09-17 | Shimizu Corp | Material lifting management system using temporary elevator, and lifting management method |
| JP2013067499A (en) * | 2011-09-23 | 2013-04-18 | Nec Corp | Article inspection device, article inspection system, article inspection method, and program |
| JP2013129503A (en) * | 2011-12-21 | 2013-07-04 | Ohbayashi Corp | Lifting method of lifting object using temporary elevator |
-
2017
- 2017-02-03 JP JP2017018490A patent/JP6902188B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06282705A (en) * | 1993-03-29 | 1994-10-07 | Hitachi Eng Co Ltd | Method and device for inspecting amount of articles |
| JP2005526323A (en) * | 2002-05-17 | 2005-09-02 | フジツー トランスアクション ソリューションズ インコーポレイション | Self-checkout method and apparatus |
| JP2009208878A (en) * | 2008-03-03 | 2009-09-17 | Shimizu Corp | Material lifting management system using temporary elevator, and lifting management method |
| JP2013067499A (en) * | 2011-09-23 | 2013-04-18 | Nec Corp | Article inspection device, article inspection system, article inspection method, and program |
| JP2013129503A (en) * | 2011-12-21 | 2013-07-04 | Ohbayashi Corp | Lifting method of lifting object using temporary elevator |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3587761A1 (en) | 2018-06-28 | 2020-01-01 | Mazda Motor Corporation | Fuel injection control device and fuel injection control method for diesel engine |
| JP2021002259A (en) * | 2019-06-24 | 2021-01-07 | 国立研究開発法人産業技術総合研究所 | Object identification device and object identification method |
| JP7258345B2 (en) | 2019-06-24 | 2023-04-17 | 国立研究開発法人産業技術総合研究所 | OBJECT IDENTIFICATION DEVICE AND OBJECT IDENTIFICATION METHOD |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6902188B2 (en) | 2021-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107153879B (en) | Method and system for depositing and consigning baggage into airline flights | |
| RU2562087C2 (en) | Equipment for laying of packages having no trays with different dimensions on racks of warehouse | |
| JP6760787B2 (en) | Picking system, unmanned aerial vehicle control method, and cart | |
| CN109279252A (en) | Cargo movement system and method | |
| CN109844784B (en) | Adaptive process for guiding human performed inventory tasks | |
| JP5069936B2 (en) | Material storage position management system and method | |
| JP6139375B2 (en) | Pallet management system, pallet management device and forklift | |
| JP2017171448A (en) | Projection instruction device, goods assort system and projection instruction method | |
| CN208705997U (en) | Multifunctional intellectual cabinet | |
| CN110503375A (en) | Storage management method, device and computer readable storage medium | |
| JP6902188B2 (en) | Transport management system, transport management method and transport management program | |
| CN108898754A (en) | Multifunctional intellectual cabinet, access method and commercial articles vending method | |
| JP2017171443A (en) | Projection instruction device, goods assort system and projection instruction method | |
| JP2014080283A (en) | Article management system and article management method | |
| JP4739580B2 (en) | Entry / exit management system | |
| JP2020196602A (en) | Baggage management system, baggage management method, program | |
| JP5454639B2 (en) | Image processing apparatus and program | |
| JP2020179990A (en) | Accommodation body for delivery service | |
| JP2013129503A (en) | Lifting method of lifting object using temporary elevator | |
| CN112904809B (en) | 5S field management system | |
| CN109191722A (en) | A kind of Full-automatic multifunctional intelligent terminal and its express mail processing method | |
| JP6249025B2 (en) | Image processing apparatus and program | |
| WO2023119388A1 (en) | Task management system, task management device, task management method, and non-transitory computer-readable medium | |
| JP2020142891A (en) | Delivery support system, delivery support method and portable information terminal | |
| JP7122716B1 (en) | Baggage management system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200109 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210308 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210511 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210524 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6902188 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |