JP2012192490A - Packing recognition device - Google Patents

Packing recognition device Download PDF

Info

Publication number
JP2012192490A
JP2012192490A JP2011058173A JP2011058173A JP2012192490A JP 2012192490 A JP2012192490 A JP 2012192490A JP 2011058173 A JP2011058173 A JP 2011058173A JP 2011058173 A JP2011058173 A JP 2011058173A JP 2012192490 A JP2012192490 A JP 2012192490A
Authority
JP
Japan
Prior art keywords
box
pallet
dimensional code
information
loaded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011058173A
Other languages
Japanese (ja)
Inventor
Shuichi Sunahara
秀一 砂原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2011058173A priority Critical patent/JP2012192490A/en
Publication of JP2012192490A publication Critical patent/JP2012192490A/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G61/00—Use of pick-up or transfer devices or of manipulators for stacking or de-stacking articles not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0208—Control or detection relating to the transported articles
    • B65G2203/0233—Position of the article
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40006—Placing, palletize, un palletize, paper roll placing, box stacking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40538—Barcode reader to detect position

Abstract

PROBLEM TO BE SOLVED: To provide a packing recognition device that automatically recognizes packing information such as a type, shape, size and position of a box loaded on a pallet, in a distribution process of vehicle assembly parts.SOLUTION: The device scans first to fourth surfaces W1, W2, L1, L2 of the box 3 loaded on the pallet 2 by a movable line camera 8 and fixed line camera 10 of a scanner 7. The device includes: extracting two-dimensional codes of a form 4 attached on the box 3 from scan data; generating coordinate data representing two-dimensional code positions; acquiring box information including the shape, size and display position of two-dimensional codes of the box 3 from a database based on the extracted two-dimensional codes; and generating the coordinate data of each section of the box 3, as the packing information of the box 3 loaded on the pallet 2, based on the coordinate data representing the two-dimensional code positions and the box information.

Description

本発明は、自動車の組立部品の納入等の物流工程において、パレット上に積載された箱体を順次、移送、分別するために、箱体の種類、形状、寸法及び位置等の荷姿情報を自動的に認識するための荷姿認識装置に関するものである。   The present invention provides package information such as the type, shape, dimensions, and position of a box in order to sequentially transport and sort boxes loaded on a pallet in a distribution process such as delivery of automobile assembly parts. The present invention relates to a packing form recognition apparatus for automatically recognizing.

従来から、物流工程において、商品、部品等を梱包した段ボール箱等の箱体をパレット上に積載（パレタイズ）したり、積載された箱体を順次、移送、分別（デパレタイズ）する工程を産業用ロボットを用いて自動化することが行われている。この場合、パレット上に積載された多種類の箱体の形状、寸法及び位置等の荷姿情報を正確に認識する必要がある。   Conventionally, in the logistics process, the process of stacking (palletizing) boxes such as cardboard boxes packed with products, parts, etc. on a pallet, and sequentially transferring and sorting (depalletizing) the loaded boxes Automation is performed using a robot. In this case, it is necessary to accurately recognize packing state information such as shapes, dimensions and positions of various types of boxes loaded on the pallet.

そこで、例えば特許文献１には、ステレオテレビカメラ装置及び角度調整可能な照明装置を用いて、パレット上に積載された箱体を撮像し、撮像された画像の陰影に基づき、荷姿情報として簡易かつ迅速に最上部の箱体を特定する技術が記載されている。   Thus, for example, in Patent Document 1, a box mounted on a pallet is imaged using a stereo television camera device and an angle-adjustable lighting device, and simple packaging information is obtained based on the shadow of the captured image. A technique for quickly specifying the uppermost box is described.

特開７−２９９７８２号公報Japanese Patent Laid-Open No. 7-299782

例えば自動車の組立工程においては、様々な部品等を梱包した多種多様の箱体がパレット上に積載されており、これを産業用ロボットを用いて円滑に移送、分別するためには、箱体の種類、形状、寸法及び位置等の荷姿情報を正確に認識し、その荷姿データに基づき産業用ロボットを作動させる必要がある。このため、このような物流工程においては、より正確で信頼性の高い荷姿データを生成することが望まれている。   For example, in an automobile assembly process, a wide variety of boxes packed with various parts are loaded on a pallet, and in order to transport and sort them smoothly using an industrial robot, It is necessary to accurately recognize package information such as type, shape, size, and position, and to operate an industrial robot based on the package data. For this reason, in such a physical distribution process, it is desired to generate more accurate and reliable package data.

本発明は、上記の点に鑑みてなされたものであり、パレット上に積載された箱体に対して、正確で信頼性の高い荷姿データを生成するようにした荷姿認識装置を提供することを目的とする。   The present invention has been made in view of the above points, and provides a package form recognition apparatus that generates accurate and reliable package form data for a box loaded on a pallet. For the purpose.

上記の課題を解決するために、本発明は、パレット上に積載された箱体の荷姿を認識するための荷姿認識装置であって、
各箱体の側面部には、該箱体を識別するための２次元コードが表示され、
前記パレット上に積載された前記箱体を側面から走査する走査装置と、
前記箱体の形状、寸法及び前記２次元コードの表示位置を含む箱体情報を記憶したデータベースとを備え、
前記走査装置による前記箱体の走査データから前記２次元コードを抽出し、該２次元コードの位置を表す座標データを生成し、抽出した前記２次元コードに基づき前記データベースから前記箱体情報を取得し、前記２次元コードの位置を表す座標データ及び前記箱体情報に基づき、前記パレット上に積載された前記箱体の荷姿情報として該箱体の座標データを生成することを特徴とする。 In order to solve the above-mentioned problem, the present invention is a packing form recognition device for recognizing a packing form of a box loaded on a pallet,
A two-dimensional code for identifying the box is displayed on the side of each box,
A scanning device for scanning the box loaded on the pallet from a side surface;
A database storing box information including the shape and dimensions of the box and the display position of the two-dimensional code;
The two-dimensional code is extracted from the scanning data of the box by the scanning device, coordinate data representing the position of the two-dimensional code is generated, and the box information is acquired from the database based on the extracted two-dimensional code. Then, based on the coordinate data representing the position of the two-dimensional code and the box information, the coordinate data of the box is generated as the packing form information of the box loaded on the pallet.

本発明に係る荷姿認識装置によれば、パレット上に積載された箱体に対して、正確で信頼性の高い荷姿データを生成することができる。   According to the package form recognition apparatus according to the present invention, accurate and highly reliable package form data can be generated for a box loaded on a pallet.

本発明の一実施形態に係る荷姿認識装置の概略構成を示す斜視図である。It is a perspective view which shows schematic structure of the package appearance recognition apparatus which concerns on one Embodiment of this invention. パレット上に積載される箱体の一例を示す斜視図である。It is a perspective view which shows an example of the box loaded on a pallet. 図１に示す荷姿認識装置の荷姿データを生成する処理装置を示すブロック図である。It is a block diagram which shows the processing apparatus which produces | generates the package data of the package form recognition apparatus shown in FIG. パレット上に積載された箱体の正面図である。It is a front view of the box loaded on the pallet. ２次元コードの配置を示す箱体の正面図である。It is a front view of the box which shows arrangement of a two-dimensional code. パレット上に積載された箱体の配置の一例を示す正面図である。It is a front view which shows an example of arrangement | positioning of the box loaded on the pallet. 図５に示す箱体の配置の一例の側面図である。It is a side view of an example of arrangement | positioning of the box shown in FIG. 図３の処理装置のデータベースの内容の一例を示す図表である。4 is a chart showing an example of contents of a database of the processing apparatus of FIG. 3. 図７に示すデータベースの内容に箱体の座標データを付加した図表である。It is the chart which added the coordinate data of the box to the contents of the database shown in FIG. 図１に示す荷姿認識装置の荷姿データを生成するための処理フローを示すフローチャートである。It is a flowchart which shows the processing flow for producing | generating the package form data of the package form recognition apparatus shown in FIG. 図１に示す荷姿認識装置の２次元コード情報を取得するための処理フローを示すフローチャートである。It is a flowchart which shows the processing flow for acquiring the two-dimensional code information of the package appearance recognition apparatus shown in FIG. 図１に示す荷姿認識装置の荷姿情報を生成するための処理フローを示すフローチャートである。It is a flowchart which shows the processing flow for producing | generating the package form information of the package form recognition apparatus shown in FIG. 図１に示す荷姿認識装置の下流に配置されたデパレットステーション及び自動倉庫の一例の概略構成を示す斜視図である。It is a perspective view which shows schematic structure of an example of the depallet station arrange | positioned downstream of the package appearance recognition apparatus shown in FIG. 1, and an automatic warehouse.

以下、本発明の一実施形態を図面に基づいて詳細に説明する。
図１に示すように、本実施形態に係る荷姿認識装置１は、自動車の組立部品の納入等の物流工程において、パレット２上に積載された箱体３の種類、形状、寸法及び位置等の荷姿情報を認識して座標データとして生成するものである。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
As shown in FIG. 1, the package shape recognition apparatus 1 according to the present embodiment includes a type, shape, size, position, and the like of a box 3 loaded on a pallet 2 in a distribution process such as delivery of automobile assembly parts. Is recognized and generated as coordinate data.

箱体３は、図２に示すように、段ボール等からなり直方体に形成されて自動車の組立部品等を梱包したものである。箱体３は、梱包する部品に応じて様々な形状及び寸法のものがあり、水平方向に面した少なくとも１面に長方形の帳票４が貼り付けられている。帳票４は、その箱体３に梱包された部品についての物流管理情報、その箱体３の識別情報を表し、例えば「かんばん」といわれるものであり、これらの情報を表示する光学的に読取り可能な矩形の２次元コード５が印刷されている。帳票４は、これに印刷された２次元コード５の箱体３に対する位置が一定になるように貼り付けられている。２次元コード５としては、例えば公知のＱＲコード（登録標標）を使用することができる。   As shown in FIG. 2, the box 3 is formed of cardboard or the like and is formed into a rectangular parallelepiped and is packed with automobile assembly parts and the like. The box 3 has various shapes and sizes depending on the parts to be packed, and a rectangular form 4 is pasted on at least one surface facing in the horizontal direction. The form 4 represents the distribution management information about the parts packed in the box 3, and the identification information of the box 3. For example, the form 4 is called “Kanban” and is optically readable to display such information. A rectangular two-dimensional code 5 is printed. The form 4 is pasted so that the position of the two-dimensional code 5 printed on the form 4 with respect to the box 3 is constant. As the two-dimensional code 5, for example, a known QR code (registered mark) can be used.

荷姿認識装置１は、コンベア６上のパレット２に積載された箱体３の水平方向に面した第１面Ｗ１、第２面Ｗ２、第３面Ｌ１、第４面Ｌ２の４つの面について走査を行なって２次元画像データを生成する走査装置７が設けられている。走査装置７は、矢印Ａで示すコンベア６の搬送方向に直交する第１面Ｗ１及び第２面Ｗ２に対向して配置された一対の可動ラインカメラ８及び距離センサ９と、搬送方向に平行な第３面Ｌ１及び第４面Ｌ２に対向して配置された一対の固定ラインカメラ１０及び距離センサ１１とを備えている。   The package shape recognition apparatus 1 has four surfaces, a first surface W1, a second surface W2, a third surface L1, and a fourth surface L2, which face the horizontal direction of the box 3 loaded on the pallet 2 on the conveyor 6. A scanning device 7 that performs scanning to generate two-dimensional image data is provided. The scanning device 7 includes a pair of a movable line camera 8 and a distance sensor 9 that are arranged to face the first surface W1 and the second surface W2 orthogonal to the conveyance direction of the conveyor 6 indicated by an arrow A, and are parallel to the conveyance direction. A pair of fixed line cameras 10 and a distance sensor 11 disposed to face the third surface L1 and the fourth surface L2 are provided.

可動ラインカメラ８は、コンベア６を停止してパレット２上に積載された箱体３を固定した状態で、搬送方向に対して直交する方向に移動させることにより、パレット２上に積載された箱体３の第１面Ｗ１及び第２面Ｗ２について、それぞれ走査を行なって２次元画像データを生成する。このとき、距離センサ９によって箱体３との距離を検出し、ラインカメラ８に取付けられたパルスエンコーダ１２によってラインカメラ８及び距離センサ８の移動量を検出する。   The movable line camera 8 stops the conveyer 6 and moves the box 3 loaded on the pallet 2 in a direction orthogonal to the transport direction while fixing the box 3 loaded on the pallet 2 to thereby move the boxes loaded on the pallet 2. The first surface W1 and the second surface W2 of the body 3 are each scanned to generate two-dimensional image data. At this time, the distance from the box 3 is detected by the distance sensor 9, and the movement amounts of the line camera 8 and the distance sensor 8 are detected by the pulse encoder 12 attached to the line camera 8.

固定ラインカメラ１０は、コンベア６を作動させて、パレット２上に積載された箱体３を一定速度で搬送方向に移動させることにより、パレット２上の箱体３の第３面Ｌ１及び第４面Ｌ２について、それぞれ走査を行なって２次元画像データを生成する。このとき、距離センサ１１によって箱体３との距離を検出し、コンベア６に取付けられたパルスエンコーダ（図示せず）によってパレット２上の箱体３の移動量を検出する。   The fixed line camera 10 operates the conveyor 6 to move the boxes 3 loaded on the pallet 2 at a constant speed in the transport direction, whereby the third surface L1 and the fourth surface L1 of the box 3 on the pallet 2 are moved. The surface L2 is scanned to generate two-dimensional image data. At this time, the distance from the box 3 is detected by the distance sensor 11, and the amount of movement of the box 3 on the pallet 2 is detected by a pulse encoder (not shown) attached to the conveyor 6.

図３に示すように、荷姿認識装置１は、コンベア６及び走査装置７の作動を制御し、パレット２上の箱体３の第１、第２面Ｗ１、Ｗ２及び第３、４面Ｌ１、Ｌ２の２次元画像データを生成し、これらの２次元画像データを処理することにより、パレット２上に積載された箱体３の種類、形状、寸法及び位置等の荷姿データを生成する処理装置１３を備えている。   As shown in FIG. 3, the package recognition device 1 controls the operation of the conveyor 6 and the scanning device 7, and the first and second surfaces W <b> 1 and W <b> 2 and the third and fourth surfaces L <b> 1 of the box 3 on the pallet 2. , L2 two-dimensional image data is generated, and these two-dimensional image data are processed to generate package data such as the type, shape, size and position of the box 3 loaded on the pallet 2 A device 13 is provided.

処理装置１３は、マイクロプロセッサベースの情報処理ユニットを含み、次のようにコンベア６及び走査装置７を制御する。
処理装置１３は、パレット２に積載される箱体３のデータベースＤＢを備えている。このデータベースＤＢは、例えば図８に示すように（一例としてＮｏ．１〜１３の１３種を図示する）、梱包された部品の部品番号、箱体３の種類、形状、縦（Ｌ）、横（Ｗ）、高さ（Ｈ）の各寸法、帳票４の貼付位置すなわち２次元コード５の表示位置を含む箱体情報を記憶している。図８に示す例では、帳票４の貼付位置は、「０」又は「１」で示されている。ここで、「０」は、２次元コード５の図形の重心が箱体３の短辺側の中央下部にあり、図５において、箱体３の帳票４の貼付面に対して、２次元コード５の図形の重心がＣ＝６７（ｍｍ）、Ｄ＝Ｌ／２の位置にあることを表している。また、「１」は、２次元コード５の図形の重心が箱体３の短辺側の中央下部にあり、図５において、箱体３の帳票４の貼付面に対して、２次元コード５の図形の重心がＣ＝６７（ｍｍ）、Ｄ＝Ｗ／２の位置にあることを表している。 The processing device 13 includes a microprocessor-based information processing unit and controls the conveyor 6 and the scanning device 7 as follows.
The processing device 13 includes a database DB for the boxes 3 loaded on the pallet 2. For example, as shown in FIG. 8 (13 types No. 1 to 13 are shown as an example), this database DB is the part number of the packaged part, the type, shape, vertical (L), horizontal of the box 3 Box information including each dimension of (W) and height (H), a pasting position of the form 4, that is, a display position of the two-dimensional code 5, is stored. In the example shown in FIG. 8, the pasting position of the form 4 is indicated by “0” or “1”. Here, “0” means that the center of gravity of the figure of the two-dimensional code 5 is at the lower center of the short side of the box 3, and in FIG. This indicates that the center of gravity of the figure 5 is at the position of C = 67 (mm) and D = L / 2. “1” has the center of gravity of the figure of the two-dimensional code 5 at the lower center of the short side of the box 3, and in FIG. This indicates that the center of gravity of the figure is located at C = 67 (mm) and D = W / 2.

そして、処置装置１３は、コンベア６及び走査装置７の作動を制御して、パレット２上に積載された箱体３の第１、第２面Ｗ１、Ｗ２及び第３及び第４面Ｌ１、Ｌ２について走査を行って各面について２次元画像データを生成し、これらの２次元画像データから各箱体３の２次元コード５を抽出し、それぞれの図形の重心位置を演算する。このとき、図４に示すように、第１〜４面Ｗ１、Ｗ２、Ｌ１、Ｌ２について、パレット２に対して座標を設定し、各箱体３の位置情報を座標データとして生成する。   Then, the treatment device 13 controls the operations of the conveyor 6 and the scanning device 7, and the first and second surfaces W1 and W2 and the third and fourth surfaces L1 and L2 of the box 3 loaded on the pallet 2. Is scanned to generate two-dimensional image data for each surface, the two-dimensional code 5 of each box 3 is extracted from these two-dimensional image data, and the barycentric position of each figure is calculated. At this time, as shown in FIG. 4, with respect to the first to fourth surfaces W1, W2, L1, and L2, coordinates are set with respect to the pallet 2, and position information of each box 3 is generated as coordinate data.

また、抽出した２次元コード５の箱体３の識別情報をデータベースＤＢと照合することにより、各箱体３の箱体情報を得る。そして、２次元コード５の図形の重心位置の座標データから（データベースＤＢの内容に座標データを付加したものを図９に示す）、図６及び図７に示すように、各部の位置を表す座標データを生成する。このようにして、第１面Ｗ１について、Ｎｏ．１〜１３の箱体について、各部の位置を表す座標データを生成する。そして、同様に、第２面Ｗ２、第３年Ｌ１、第４面Ｌ２について、各箱体３の各部の位置を表す座標データを生成する。これにより、パレット２上に積載された箱体３の形状、寸法及び位置含む荷姿情報を座標データとして生成することができる。   Moreover, the box information of each box 3 is obtained by collating the identification information of the box 3 of the extracted two-dimensional code 5 with the database DB. From the coordinate data of the barycentric position of the figure of the two-dimensional code 5 (shown in FIG. 9 with the coordinate data added to the contents of the database DB), as shown in FIG. 6 and FIG. Generate data. In this way, for the first surface W1, no. For the boxes 1 to 13, coordinate data representing the position of each part is generated. Similarly, coordinate data representing the position of each part of each box 3 is generated for the second surface W2, the third year L1, and the fourth surface L2. Thereby, the package information including the shape, size, and position of the box 3 loaded on the pallet 2 can be generated as coordinate data.

一例として、図６及び図７に示すパレット２上に積載された箱体３について、（４）の箱体３の荷姿情報として、対角上にある頂点Ｅ、Ｆの座標データを生成する場合について説明する。
抽出した２次元コード５に基づき、図８に示す箱体データベースから、（４）の箱体の寸法として縦（Ｌ）＝６７０（ｍｍ）、横（Ｗ）＝３３５（ｍｍ）、高さ（Ｈ）＝２４１（ｍｍ）、２次元コード５の位置情報「１」、すなわち、「長辺中央下部」、したがって、Ｃ＝６７（ｍｍ）、Ｄ＝Ｌ／２＝３３５（ｍｍ）を得る。また、走査装置７によって得た２次元画像データから（４）の箱体３の２次元コード５の図形の重心のＸ座標＝Ｘｑ及びＺ座標＝Ｚｑを演算し、この２次元コード５の図形の重心の座標に基づき、頂点ＥのＸ座標Ｘｅは、
Ｘｅ＝Ｘｑ−Ｌ／２＝Ｘｑ−３３５
となり、Ｚ座標Ｚｅは、
Ｚｅ＝Ｚｑ＋（Ｈ−Ｃ）＝Ｚｑ＋（２４１−６７）＝Ｚｑ＋１７４
となる。 As an example, for the box 3 loaded on the pallet 2 shown in FIGS. 6 and 7, the coordinate data of the vertices E and F on the diagonal is generated as the packing form information of the box 3 in (4). The case will be described.
Based on the extracted two-dimensional code 5, from the box database shown in FIG. 8, the dimensions of the box of (4) are vertical (L) = 670 (mm), horizontal (W) = 335 (mm), height ( H) = 241 (mm) Position information “1” of the two-dimensional code 5, that is, “longer middle lower part”, and therefore C = 67 (mm) and D = L / 2 = 335 (mm) are obtained. Further, the X coordinate = Xq and the Z coordinate = Zq of the center of gravity of the figure of the two-dimensional code 5 of the box 3 in (4) are calculated from the two-dimensional image data obtained by the scanning device 7, and the figure of the two-dimensional code 5 is calculated. Based on the coordinates of the center of gravity, the X coordinate Xe of the vertex E is
Xe = Xq-L / 2 = Xq-335
And the Z coordinate Ze is
Ze = Zq + (HC) = Zq + (241-67) = Zq + 174
It becomes.

また、頂点ＦのＸ座標Ｘｆは、
Ｘｆ＝Ｘｑ＋Ｌ／２＝Ｘｑ＋３３５
となり、Ｚ座標Ｚｆは、
Ｚｆ＝Ｚｑ−Ｃ＝Ｚｑ−６７
となる。 The X coordinate Xf of the vertex F is
Xf = Xq + L / 2 = Xq + 335
And the Z coordinate Zf is
Zf = Zq-C = Zq-67
It becomes.

さらに、頂点Ｅ及びＦのＹ座標Ｙｅ、Ｙｆは、パレット２の前端の位置を原点とし、距離センサ１１によって検出したパレット２の前端位置までの距離Ｙｏ及び距離センサ１１によって検出した（４）の箱体３の２次元コード５までの距離Ｙｑに基づき、
Ｙｅ＝Ｙｆ＝Ｙｑ−Ｙｏ
として求めることができる。
同様に、（２）〜（１３）の箱体３の荷姿情報となる頂点の座標データについて、それぞれの箱体３の２次元コード５の図形の重心位置及び識別情報に基づいて求めることができる。 Further, the Y coordinates Ye and Yf of the vertices E and F are detected by the distance sensor 11 with the distance Yo to the front end position of the pallet 2 detected by the distance sensor 11 using the position of the front end of the pallet 2 as the origin. Based on the distance Yq to the two-dimensional code 5 of the box 3,
Ye = Yf = Yq-Yo
Can be obtained as
Similarly, the coordinate data of the vertices as the package information of the box 3 of (2) to (13) can be obtained based on the position of the center of gravity of the figure of the two-dimensional code 5 of each box 3 and the identification information. it can.

次に、処理装置１３により、荷姿データを生成するための処理フローの一例について図１０乃至図１２を参照して説明する。図１０を参照して、ステップＳ０で、荷姿情報の座標データの生成を開始し、ステップＳ１で、走査装置７によってパレット２上の箱体３の走査を行い、各箱体３の２次元コード５を読取ってステップＳ２に進む。ステップ２で、２次元コード５の位置を標定してステップＳ３に進む。ステップＳ３で、２次元コード５からその箱体３に梱包された部品の品番等の識別情報及び２次元コード５の図形の重心位置の座標データを生成してステップＳ４に進む。ステップＳ４で、品番等の識別情報からデータベースＤＢの検索を実行し、箱体３を特定してステップＳ５に進む。ステップＳ５で、データベースＤＢから箱体の種類、形状、寸法及び帳票の貼付位置（２次元コードの位置）等の箱体情報を照合してステップＳ６に進む。ステップＳ６で、箱体情報から、各箱体３の各部の位置の座標データを演算してステップＳ７に進む。ステップＳ７で、パレット２上の箱体３の第１面から第４面について、座標データの生成が完了したか否か判定し、完了していない場合には、ステップＳ１に戻り、第１面から第４面の各面について順次、座標データを生成する。第１面から第４面について、座標データの生成が完了した場合には、ステップＳ８に進み、パレット２上の箱体２の座標データを荷姿情報として出力して処理を終了する。   Next, an example of a processing flow for generating the package appearance data by the processing device 13 will be described with reference to FIGS. 10 to 12. Referring to FIG. 10, in step S0, generation of coordinate data of the packing form information is started, and in step S1, the box 3 on the pallet 2 is scanned by the scanning device 7, and the two-dimensional of each box 3 is scanned. The code 5 is read and the process proceeds to step S2. In step 2, the position of the two-dimensional code 5 is determined, and the process proceeds to step S3. In step S3, identification information such as the part number of the part packed in the box 3 from the two-dimensional code 5 and coordinate data of the center of gravity position of the figure of the two-dimensional code 5 are generated, and the process proceeds to step S4. In step S4, the database DB is searched from the identification information such as the product number, the box 3 is specified, and the process proceeds to step S5. In step S5, box information such as the box type, shape, dimensions, and form pasting position (two-dimensional code position) is collated from the database DB, and the process proceeds to step S6. In step S6, the coordinate data of the position of each part of each box 3 is calculated from the box information, and the process proceeds to step S7. In step S7, it is determined whether or not the generation of coordinate data has been completed for the first to fourth surfaces of the box 3 on the pallet 2. If not, the process returns to step S1 to return to the first surface. Coordinate data is sequentially generated for each of the fourth to fourth surfaces. When the generation of coordinate data is completed for the first surface to the fourth surface, the process proceeds to step S8, where the coordinate data of the box 2 on the pallet 2 is output as packing information, and the process is terminated.

図１０に示す処理フローのステップＳ１における２次元コード５の読み取りの処理フローについて、図１１を参照して更に詳細に説明する。図１１を参照して、ステップＳ１０で走査装置７の作動を開始し、ステップＳ１１で距離センサ９、１１によってラインカメラ８、１０と箱体３に貼り付けられた帳票４（２次元コード５）との距離を検出してステップＳ１２に進む。ステップＳ１２で、距離センサ９、１１の検出に基づきラインカメラ８、１０の焦点を調整してステップＳ１３に進む。ステップＳ１３で、ラインカメラ８、１１による走査を開始し、ステップＳ１４で走査データを取得し、ステップＳ１５で走査を終了してステップＳ１６に進む。ステップＳ１６で、走査データに基づき、２次元画像を生成してステップＳ１７に進む。ステップＳ１７で、２次元画像から２次元コード５を抽出してステップＳ１８に進む。ステップＳ１８で２次元コード５の基準位置となる図形の重心位置を演算してステップＳ１９に進む。ステップＳ１９で、座標データの生成処理を実行する。   The processing flow for reading the two-dimensional code 5 in step S1 of the processing flow shown in FIG. 10 will be described in more detail with reference to FIG. Referring to FIG. 11, operation of scanning device 7 is started in step S10, and form 4 (two-dimensional code 5) attached to line cameras 8 and 10 and box 3 by distance sensors 9 and 11 in step S11. And the process proceeds to step S12. In step S12, the focus of the line cameras 8 and 10 is adjusted based on the detection of the distance sensors 9 and 11, and the process proceeds to step S13. In step S13, scanning by the line cameras 8 and 11 is started, scanning data is acquired in step S14, scanning is terminated in step S15, and the process proceeds to step S16. In step S16, a two-dimensional image is generated based on the scan data, and the process proceeds to step S17. In step S17, the two-dimensional code 5 is extracted from the two-dimensional image, and the process proceeds to step S18. In step S18, the position of the center of gravity of the figure serving as the reference position of the two-dimensional code 5 is calculated, and the process proceeds to step S19. In step S19, a process for generating coordinate data is executed.

次に、二次元コード５から荷姿データを生成する処理の一例について図１２を参照して説明する。図１２を参照して、ステップＳ２１で、走査装置７によって読込んだ２次元コード５から部品番号等の識別情報を抽出してステップＳ２２に進む。ステップＳ２２で、部品番号に基づき、データベースＤＢから、その箱体情報を検索してステップＳ２３に進む。ステップＳ２３で、検索した箱体情報から箱体３の種類、形状、寸法及び帳票４の貼付位置（２次元コード５の位置）を抽出してステップＳ２４に進む。ステップＳ２４で、これらの情報に基づき、２次元コード５の図形の重心の座標データを生成してステップＳ２５に進む。ステップＳ２５で、箱体情報及び２次元コード５の図形の重心の座標データからパレット２上に積載された各箱体３の座標データを生成する。   Next, an example of a process for generating package data from the two-dimensional code 5 will be described with reference to FIG. Referring to FIG. 12, in step S21, identification information such as a part number is extracted from two-dimensional code 5 read by scanning device 7, and the process proceeds to step S22. In step S22, the box information is searched from the database DB based on the part number, and the process proceeds to step S23. In step S23, the type, shape, and size of the box 3 and the pasting position of the form 4 (position of the two-dimensional code 5) are extracted from the retrieved box information, and the process proceeds to step S24. In step S24, based on these pieces of information, coordinate data of the center of gravity of the figure of the two-dimensional code 5 is generated, and the process proceeds to step S25. In step S25, coordinate data of each box 3 loaded on the pallet 2 is generated from the box information and the coordinate data of the center of gravity of the figure of the two-dimensional code 5.

このようにして、パレット２上に積載された各箱体３の種類、形状、寸法及び位置を含む荷姿情報を座標データとして生成することができる。そして、例えば図１２に示すように、次工程のデパレタイズステーション１４において、産業用ロボット１５を利用して、各箱体３を自動倉庫１６の所定の保管場所に分別、移送する場合、荷姿情報の座標データに基づき、産業用ロボット１５の作動を制御することにより、各箱体３を順次、確実に把持することができ、円滑なハンドリングが可能になる。このとき、ステレオカメラ等の３次元カメラ、３次元センサ等を用いて、ロボットアーム１５Ａの座標と、パレット２上の箱体３の座標とのズレを補正し、また、荷崩れ等を検知することができる。この際、３次元処理としては、ステレオビジョン、光切断法、タイムフライト法等の公知の処理技術を利用することができる。   In this manner, the package form information including the type, shape, size, and position of each box 3 loaded on the pallet 2 can be generated as coordinate data. Then, for example, as shown in FIG. 12, in the depalletizing station 14 of the next process, when the box 3 is separated and transferred to a predetermined storage location of the automatic warehouse 16 using the industrial robot 15, By controlling the operation of the industrial robot 15 based on the coordinate data of the information, each box 3 can be securely and sequentially held, and smooth handling becomes possible. At this time, a deviation between the coordinates of the robot arm 15A and the coordinates of the box 3 on the pallet 2 is corrected using a three-dimensional camera such as a stereo camera, a three-dimensional sensor, etc., and collapse of the load is detected. be able to. At this time, as the three-dimensional processing, a known processing technique such as stereo vision, a light cutting method, a time flight method, or the like can be used.

１…荷姿認識装置、２…パレット、３…箱体、５…２次元コード、７…走査装置、ＤＢ…データベース   DESCRIPTION OF SYMBOLS 1 ... Packing shape recognition apparatus, 2 ... Pallet, 3 ... Box, 5 ... Two-dimensional code, 7 ... Scanning device, DB ... Database

Claims (1)

パレット上に積載された箱体の荷姿を認識するための荷姿認識装置であって、
各箱体の側面部には、該箱体を識別するための２次元コードが表示され、
前記パレット上に積載された前記箱体を側面から走査する走査装置と、
前記箱体の形状、寸法及び前記２次元コードの表示位置を含む箱体情報を記憶したデータベースとを備え、
前記走査装置による前記箱体の走査データから前記２次元コードを抽出し、該２次元コードの位置を表す座標データを生成し、抽出した前記２次元コードに基づき前記データベースから前記箱体情報を取得し、前記２次元コードの位置を表す座標データ及び前記箱体情報に基づき、前記パレット上に積載された前記箱体の荷姿情報として該箱体の座標データを生成することを特徴とする荷姿認識装置。 A packaging form recognition device for recognizing the packaging form of a box loaded on a pallet,
A two-dimensional code for identifying the box is displayed on the side of each box,
A scanning device for scanning the box loaded on the pallet from a side surface;
A database storing box information including the shape and dimensions of the box and the display position of the two-dimensional code;
The two-dimensional code is extracted from the scanning data of the box by the scanning device, coordinate data representing the position of the two-dimensional code is generated, and the box information is acquired from the database based on the extracted two-dimensional code. Then, based on the coordinate data representing the position of the two-dimensional code and the box information, the coordinate data of the box is generated as the packing form information of the box loaded on the pallet. Figure recognition device.
JP2011058173A 2011-03-16 2011-03-16 Packing recognition device Withdrawn JP2012192490A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011058173A JP2012192490A (en) 2011-03-16 2011-03-16 Packing recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011058173A JP2012192490A (en) 2011-03-16 2011-03-16 Packing recognition device

Publications (1)

Publication Number Publication Date
JP2012192490A true JP2012192490A (en) 2012-10-11

Family

ID=47084900

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011058173A Withdrawn JP2012192490A (en) 2011-03-16 2011-03-16 Packing recognition device

Country Status (1)

Country Link
JP (1) JP2012192490A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016000995A1 (en) 2015-02-06 2016-08-11 Fanuc Corporation Conveyor robot system with three-dimensional sensor
WO2017122482A1 (en) * 2016-01-12 2017-07-20 株式会社ダイフク Abnormality detection device for container stack
JP2018043815A (en) * 2016-09-12 2018-03-22 ユーピーアール株式会社 Load monitoring system in warehouse using drone
JP6452891B1 (en) * 2017-10-20 2019-01-16 スターテクノ株式会社 Pallet gripping device and pallet gripping system
JP6452893B1 (en) * 2017-10-20 2019-01-16 スターテクノ株式会社 Pallet transfer device
WO2019098119A1 (en) * 2017-11-15 2019-05-23 村田機械株式会社 Management server, management system, management method, and program
CN110328666A (en) * 2019-07-16 2019-10-15 汕头大学 Identifying system and material mechanism for picking
WO2023081945A1 (en) * 2021-11-09 2023-05-19 Tgw Logistics Group Gmbh Method and device for removing a product from a stack

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9844882B2 (en) 2015-02-06 2017-12-19 Fanuc Corporation Conveyor robot system provided with three-dimensional sensor
DE102016000995A1 (en) 2015-02-06 2016-08-11 Fanuc Corporation Conveyor robot system with three-dimensional sensor
DE102016000995B4 (en) 2015-02-06 2019-01-31 Fanuc Corporation Conveyor robot system with three-dimensional sensor
US10562714B2 (en) 2016-01-12 2020-02-18 Daifuku Co., Ltd. Abnormality detection device for container stack
WO2017122482A1 (en) * 2016-01-12 2017-07-20 株式会社ダイフク Abnormality detection device for container stack
JP2017124877A (en) * 2016-01-12 2017-07-20 株式会社ダイフク Abnormality detection device for stacked-up containers
KR20180101386A (en) * 2016-01-12 2018-09-12 가부시키가이샤 다이후쿠 An abnormality detecting device for a stacking container
KR102636433B1 (en) * 2016-01-12 2024-02-15 가부시키가이샤 다이후쿠 Anomaly detection device for stacked containers
RU2729758C2 (en) * 2016-01-12 2020-08-11 Дайфуку Ко., Лтд. Device for detecting abnormalities for stack of containers
TWI690477B (en) * 2016-01-12 2020-04-11 日商大福股份有限公司 Anomaly detection device for stacked containers
JP2018043815A (en) * 2016-09-12 2018-03-22 ユーピーアール株式会社 Load monitoring system in warehouse using drone
WO2019077729A1 (en) * 2017-10-20 2019-04-25 スターテクノ株式会社 Pallet transfer device
WO2019077728A1 (en) * 2017-10-20 2019-04-25 スターテクノ株式会社 Pallet holding device and pallet holding system
JP6452893B1 (en) * 2017-10-20 2019-01-16 スターテクノ株式会社 Pallet transfer device
JP6452891B1 (en) * 2017-10-20 2019-01-16 スターテクノ株式会社 Pallet gripping device and pallet gripping system
WO2019098119A1 (en) * 2017-11-15 2019-05-23 村田機械株式会社 Management server, management system, management method, and program
JPWO2019098119A1 (en) * 2017-11-15 2020-12-17 村田機械株式会社 Management server, management system, management method, and program
CN110328666A (en) * 2019-07-16 2019-10-15 汕头大学 Identifying system and material mechanism for picking
WO2023081945A1 (en) * 2021-11-09 2023-05-19 Tgw Logistics Group Gmbh Method and device for removing a product from a stack

Similar Documents

Publication Publication Date Title
JP2012192490A (en) Packing recognition device
CN111776762B (en) Robotic system with automated package scanning and registration mechanism and method of operation thereof
JP6738112B2 (en) Robot system control device and control method
US9707682B1 (en) Methods and systems for recognizing machine-readable information on three-dimensional objects
US10227176B2 (en) Picking apparatus
JP6140204B2 (en) Transport robot system with 3D sensor
WO2015145982A1 (en) Information processing device, information processing system, distribution system, information processing method, and program storage medium
JP7065632B2 (en) Box-shaped object picking device and its method
CN107597600A (en) Sorting system and method for sorting
JP2019509559A (en) Box location, separation, and picking using a sensor-guided robot
JP6011490B2 (en) Goods storage facility
TWI690477B (en) Anomaly detection device for stacked containers
CN111906773A (en) Robot system with coordinated transfer mechanism
JP2006300929A (en) Device for recognizing three-dimensional position of object, and depalettizing system
JP5544464B2 (en) 3D position / posture recognition apparatus and method for an object
CN115703232A (en) Robot system with image-based sizing mechanism and method of operating the same
CN113632116A (en) System and method for mapping carton position in pallet and container
CN114291482A (en) LiDAR-based monitoring in a materials handling environment
KR102595542B1 (en) Tracking device, tracking method, data structure and program of tracking data
JP2024002525A (en) Bar code detection system, method for detecting bar code, and bar code detection program
JP6523820B2 (en) Material processing device
CN111618852A (en) Robot system with coordinated transfer mechanism
US20240132304A1 (en) Vision-assisted robotized depalletizer
JP2020125916A (en) Transfer target workpiece storage system
CN116486346B (en) Carton conveying method and device

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140603