JP2020110851A

JP2020110851A - Picking system

Info

Publication number: JP2020110851A
Application number: JP2019001394A
Authority: JP
Inventors: 正尚池尻; Masanao Ikejiri; 康敬水戸; Yasutaka Mito; 輝彦山下; Teruhiko Yamashita
Original assignee: Shimadzu Corp
Current assignee: Shimadzu Corp
Priority date: 2019-01-08
Filing date: 2019-01-08
Publication date: 2020-07-27

Abstract

To provide an inexpensive picking system without using a 3D camera.SOLUTION: The picking system is provided that comprises: a robot 2 taking out an object P from a tray 10 stored with the object P; an object identification unit 42 identifying a position Q and an angle θ of the object P based on an image in which the object P in the tray 10 is photographed; a robot control unit 32 generating a control signal K making the robot 2 perform operation for taking out the object P based on the position and the angle θ of the object P; and a scanner device 8 optically reading the inside of the tray 10 placed on a reading surface 24 and outputting a read image M, the object identification unit 42 identifies the position Q and the angle θ of the object P based on the read image M.SELECTED DRAWING: Figure 1

Description

本発明は、ピッキングシステムに関する。 The present invention relates to a picking system.

従来、ロボットアームが商品や製造部品、機械部品などの対象物をピッキングするピッキングシステムにおいて、対象物を３Ｄカメラで撮影した画像を用いて認識する技術が知られている（例えば、特許文献１参照、及び特許文献２参照）。対象物を３Ｄカメラで撮影することで収差が抑えられ、対象物の厚みに起因する画像のボケが抑えられる。 BACKGROUND ART Conventionally, in a picking system in which a robot arm picks an object such as a product, a manufacturing part, or a mechanical part, a technique of recognizing the object using an image captured by a 3D camera is known (for example, see Patent Document 1). , And Patent Document 2). Aberrations are suppressed by shooting the target object with a 3D camera, and blurring of the image due to the thickness of the target object is suppressed.

特開２０１８−１１５０４０号公報Japanese Unexamined Patent Publication No. 2018-115040 特表２０１４−５１１７７２号公報Japanese Patent Publication No. 2014-511772

しかしながら、３Ｄカメラは一般的なカメラに比べて高価である、という問題がある。
本発明は、３Ｄカメラを用いることなく安価なピッキングシステムを提供することを目的とする。 However, there is a problem that a 3D camera is more expensive than a general camera.
It is an object of the present invention to provide an inexpensive picking system without using a 3D camera.

第１の発明は、対象物を収めた容器から当該対象物を取り出すロボットと、前記容器の中の対象物が写った画像に基づいて、前記対象物の位置、及び姿勢を特定する対象物特定部と、前記対象物の位置、及び姿勢に基づいて、前記ロボットに前記対象物を取り出す動作をさせる制御信号を生成するロボット制御部と、読取面に載置された前記容器の中を光学的に読み取り読取画像を出力するスキャナ装置と、を備え、前記対象物特定部は、前記読取画像に基づいて前記対象物の位置、及び姿勢を特定することを特徴とするピッキングシステムである。 A first invention is a robot for taking out a target object from a container containing the target object, and a target object specifying a position and a posture of the target object based on an image showing the target object in the container. Section, a robot control section for generating a control signal for causing the robot to take out the target object based on the position and orientation of the target object, and an optical path inside the container placed on the reading surface. And a scanner device that outputs a read and read image, and the object specifying unit specifies a position and a posture of the object based on the read image.

第２の発明は、第１の発明において、前記スキャナ装置は、前記光学的な読み取りをＣＣＤ方式により行う装置である、ことを特徴とする。 In a second aspect based on the first aspect, the scanner device is a device for performing the optical reading by a CCD system.

第３の発明は、第１または第２の発明において、前記対象物特定部は、物体認識アルゴリズムを用いたディープラーニングによって機械学習された学習済モデルを備え、前記学習済モデルは、前記読取画像の入力に応じて、当該読取画像に写っている対象物の位置、及び姿勢を出力することを特徴とする。 In a third aspect based on the first or second aspect, the object specifying unit includes a learned model machine-learned by deep learning using an object recognition algorithm, and the learned model is the read image. It is characterized in that the position and the posture of the object shown in the read image are output according to the input of.

第４の発明は、第３の発明において、前記物体認識アルゴリズムは、ＦａｓｔｅｒＲ−ＣＮＮ、またはＳＳＤである、ことを特徴とする。 In a fourth aspect based on the third aspect, the object recognition algorithm is Faster R-CNN or SSD.

第５の発明は、第１の発明から第４の発明のいずれかにおいて、前記容器の中の対象物を動かす装置を備える、ことを特徴とする。 A fifth invention is characterized in that, in any one of the first invention to the fourth invention, a device for moving an object in the container is provided.

第１の発明によれば、３Ｄカメラを用いない安価なピッキングシステムが得られる。
第２の発明によれば、対象物に厚みがある場合でもブレを抑えた鮮明な読取画像が得られる。
第３の発明によれば、複雑なプログラムを準備せずとも、各対象物の位置、及び姿勢を得ることができる。
第４の発明によれば、読取画像に写った対象物を正確、かつ高速に特定できる。
第５の発明によれば、対象物が動かされることで、対象物同士の重なりや接触状態が解消され、読取画像において各対象物を特定し易くできる。 According to the first invention, an inexpensive picking system that does not use a 3D camera can be obtained.
According to the second aspect of the present invention, a clear read image in which blurring is suppressed can be obtained even when the object is thick.
According to the third invention, it is possible to obtain the position and orientation of each object without preparing a complicated program.
According to the fourth aspect of the present invention, it is possible to accurately and quickly identify the object shown in the read image.
According to the fifth aspect of the present invention, by moving the objects, the overlapping of the objects and the contact state are eliminated, and it is possible to easily identify each object in the read image.

本発明の実施形態に係る部品ピッキングシステムの構成を示す図である。It is a figure showing composition of a parts picking system concerning an embodiment of the present invention. 制御コンピュータの機能的構成を示す図である。It is a figure which shows the functional structure of a control computer. トレーの中にバラ置きされた対象物の状態の一例を示す図である。It is a figure which shows an example of the state of the target object placed loosely in the tray. 部品ピッキングシステムのピッキング動作を示すフローチャートである。It is a flow chart which shows the picking operation of a parts picking system.

以下、図面を参照して本発明の実施形態について説明する。
図１は、本実施形態に係る部品ピッキングシステム１の構成を示す図である。
部品ピッキングシステム１は、作業者に代わりロボット２が対象物Ｐを取り出し（ピックアップし）、所定位置に所定姿勢で配置するシステムであり、多数の対象物Ｐをバッチ処理する用途に好適に用いられる。このような用途としては、部品や装置を組み立てる生産ライン、商品や丸薬などを梱包する梱包ライン、部品や部材を次々に検査する検査処理などが挙げられる。 Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a diagram showing a configuration of a component picking system 1 according to this embodiment.
The component picking system 1 is a system in which a robot 2 takes out (picks up) an object P on behalf of an operator and arranges the object P at a predetermined position in a predetermined posture, and is preferably used for batch processing of a large number of objects P. .. Examples of such applications include a production line for assembling parts and devices, a packaging line for packing products and pills, and an inspection process for inspecting parts and members one after another.

図１に示すように、部品ピッキングシステム１は、上記ロボット２と、ロボットコントローラ４と、制御コンピュータ６と、スキャナ装置８と、を備え、対象物Ｐが収められたトレー１０から対象物Ｐをピックアップし、目的の作業位置に所定の姿勢で対象物Ｐを配置する。
トレー１０、及び作業位置は、ロボット２の作業範囲内で適宜に設定された位置に設けられる。トレー１０は、ピックアップ対象の対象物Ｐを収める容器であり、このトレー１０には、対象物Ｐの残数に基づいて（例えば残数が所定値を下回った場合など）、供給装置や作業員などによって対象物Ｐが供給される。作業位置は、部品ピッキングシステム１によってピックアップされた対象物Ｐを、それを利用する利用側に引き渡す場所に用いられる。 As shown in FIG. 1, a component picking system 1 includes the robot 2, a robot controller 4, a control computer 6, and a scanner device 8, and picks up an object P from a tray 10 in which the object P is stored. The object P is picked up and the object P is placed at a desired work position in a predetermined posture.
The tray 10 and the work position are provided at appropriately set positions within the work range of the robot 2. The tray 10 is a container for containing the objects P to be picked up, and the tray 10 has a supply device or a worker based on the remaining number of the objects P (for example, when the remaining number is below a predetermined value). The object P is supplied by, for example, The work position is used as a place where the object P picked up by the component picking system 1 is handed over to a user who uses it.

ロボット２は、対象物Ｐの把持、３次元方向の移動、及び、姿勢変更を実行可能に構成された装置であり、ロボットアーム１４を備える。ロボットアーム１４は、可動部である複数の関節を有し、サーボモーターによって動作し、その先端には、対象物Ｐを把持するハンドピース１６が取り付けられている。
ロボットコントローラ４は、制御コンピュータ６の制御信号Ｋにしたがってロボットアーム１４をサーボ制御する装置である。 The robot 2 is a device configured to be capable of gripping the object P, moving in three dimensions, and changing its posture, and includes a robot arm 14. The robot arm 14 has a plurality of joints that are movable parts, is operated by a servomotor, and has a handpiece 16 for holding the object P attached to the tip thereof.
The robot controller 4 is a device that servo-controls the robot arm 14 according to a control signal K from the control computer 6.

スキャナ装置８は、トレー１０の中を光学的に読み取り、読取画像Ｍを制御コンピュータ６に出力する、いわゆるイメージスキャナと呼ばれる装置である。
具体的には、スキャナ装置８は、箱型の筐体２２を備え、筐体２２の上面２２Ａには読取面２４が設けられている。読取面２４は、筐体２２に設けた開口２３に平板状の透過ガラス２８を嵌めて構成されており、この読取面２４に上記トレー１０が載置される。トレー１０の底面１０Ａは、その全面が読取面２４に面接触する平面形状を成し、またトレー１０の内部をスキャナ装置８が光学的に読み取り可能にするために、光学的に透明な材料（例えばアクリル板やガラス板など）で形成される。 The scanner device 8 is a so-called image scanner that optically reads the inside of the tray 10 and outputs the read image M to the control computer 6.
Specifically, the scanner device 8 includes a box-shaped housing 22, and a reading surface 24 is provided on an upper surface 22A of the housing 22. The reading surface 24 is configured by fitting a flat transparent glass 28 into the opening 23 provided in the housing 22, and the tray 10 is placed on the reading surface 24. The bottom surface 10A of the tray 10 has a planar shape such that the entire surface thereof is in surface contact with the reading surface 24, and the inside of the tray 10 is optically readable so that the scanner device 8 can optically read it. For example, an acrylic plate or a glass plate).

スキャナ装置８の筐体２２の内部には、スキャナヘッド２５と、搬送機構２６と、スキャナ制御部２７と、が設けられる。
スキャナヘッド２５は、ＣＣＤやＣＭＯＳセンサなどの光学的読取素子２５Ａが直線状に配列されて構成されたラインヘッドであり、搬送機構２６は、読取面２４の下方で当該読取面２４に平行にスキャナヘッド２５を移動させる機構である。スキャナ制御部２７は、スキャナヘッド２５、及び搬送機構２６などの各部を制御する装置であり、ＣＰＵやＭＰＵなどのプロセッサ、ＲＡＭやＲＯＭなどのメモリデバイス、及び、外部機器（例えば制御コンピュータ６）とデータを送受する接続インターフェースなどを備えたコンピュータを有する。 A scanner head 25, a transport mechanism 26, and a scanner control unit 27 are provided inside the housing 22 of the scanner device 8.
The scanner head 25 is a line head configured by linearly arranging optical reading elements 25A such as a CCD or a CMOS sensor, and the transport mechanism 26 is below the reading surface 24 and parallel to the reading surface 24. This is a mechanism for moving the head 25. The scanner control unit 27 is a device that controls each unit such as the scanner head 25 and the transport mechanism 26, and includes a processor such as a CPU or MPU, a memory device such as RAM or ROM, and an external device (for example, the control computer 6). It has a computer equipped with a connection interface for transmitting and receiving data.

スキャナ制御部２７は、搬送機構２６を制御してスキャナヘッド２５を読取面２４の下方を移動させ、この移動の間、スキャナヘッド２５の個々の光学的読取素子２５Ａ的に検出した検出信号を所定周期で取り込む。そしてスキャナ制御部２７は、スキャナヘッド２５が読取面２４の全面に亘って移動した際に得られた検出信号に基づいて読取画像Ｍを生成し、制御コンピュータ６に出力する。
スキャナ制御部２７は、スキャナヘッド２５による読取面２４の光学的読取動作を、制御コンピュータ６の要求にしたがって、或いは、周期的又は非周期の所定のタイミングで実行し、その都度、制御コンピュータ６に出力する。 The scanner control unit 27 controls the transport mechanism 26 to move the scanner head 25 below the reading surface 24, and during this movement, a predetermined detection signal detected by each optical reading element 25A of the scanner head 25 is determined. Capture in cycles. Then, the scanner control unit 27 generates a read image M based on a detection signal obtained when the scanner head 25 moves over the entire reading surface 24, and outputs the read image M to the control computer 6.
The scanner control unit 27 executes an optical reading operation of the reading surface 24 by the scanner head 25 according to a request from the control computer 6 or at a predetermined timing of a periodic or aperiodic time, and the control computer 6 is executed each time. Output.

本実施形態のスキャナ装置８は、スキャナヘッド２５が、いわゆる「ＣＩＳ方式」ではなく「ＣＣＤ方式」で構成されている。「ＣＣＤ方式」では、読取面２４に白色の光が当てられ、スキャナヘッド２５には、白色の光の照射によって反射してきた光を光学的読取素子２５Ａに結像させるミラー、及びレンズを有した光学系２５Ｂが設けられる。この光学系２５Ｂのレンズに、一般的なカメラなどでも使われるレンズと同等の特性を有したレンズを使うことで、深い被写界深度が得られる。このため、トレー１０の中の対象物Ｐに厚みがある場合でも対象物Ｐのボケを抑え、その輪郭がクリアに写った読取画像Ｍが得られることとなる。 In the scanner device 8 of the present embodiment, the scanner head 25 is configured by the “CCD system” instead of the so-called “CIS system”. In the “CCD system”, white light is applied to the reading surface 24, and the scanner head 25 has a mirror and a lens for focusing the light reflected by the irradiation of the white light on the optical reading element 25A. An optical system 25B is provided. A deep depth of field can be obtained by using, as the lens of the optical system 25B, a lens having the same characteristics as a lens used in a general camera or the like. Therefore, even if the target object P in the tray 10 is thick, blurring of the target object P is suppressed, and a read image M whose contour is clear is obtained.

図２は、制御コンピュータ６の機能的構成を示す図である。
制御コンピュータ６は、スキャナ装置８の読取画像Ｍに基づいて、トレー１０内の対象物Ｐを認識し、ロボット２を制御することで、これらの中から１つの対象物Ｐをトレー１０から取り出させ（ピックアップさせ）、目的の作業位置に所定の姿勢で対象物Ｐを配置させる制御装置である。 FIG. 2 is a diagram showing a functional configuration of the control computer 6.
The control computer 6 recognizes the target object P in the tray 10 based on the read image M of the scanner device 8 and controls the robot 2 so that one target object P is taken out from the tray 10. This is a control device for (picking up) and arranging the object P in a predetermined posture at a target work position.

制御コンピュータ６は、ＣＰＵやＭＰＵなどのプロセッサと、ＲＯＭやＲＡＭなどのメモリデバイスと、ＨＤＤやＳＳＤなどのストレージ装置と、各種の周辺機器（ディスプレイや入力装置、スキャナ装置８など）を接続するインターフェース装置と、を備え、プロセッサがメモリデバイス又はストレージ装置に記憶されているプログラムを実行することで、図２に示す各種の機能を実現する。このプログラムは、例えばＣＤやＤＶＤ、半導体メモリデバイスなどのコンピュータ読取可能な記録媒体に記録し、或いは、インターネットなどの電気通信回線を通じて配布等できる。
なお、図２に示す機能の一部を、別のコンピュータが実行してもよい。また図２に示す機能の一部又は全部がＡＳＩＣやシステムＬＳＩ、ＳｏＣ（ｓｙｓｔｅｍｏｎａｃｈｉｐ）などの半導体集積型の電子回路によってハードウェア的に実現されてもよい。 The control computer 6 is an interface for connecting a processor such as CPU or MPU, a memory device such as ROM or RAM, a storage device such as HDD or SSD, and various peripheral devices (display, input device, scanner device 8, etc.). 2, and various functions shown in FIG. 2 are realized by the processor executing programs stored in the memory device or the storage device. This program can be recorded in a computer-readable recording medium such as a CD, a DVD, or a semiconductor memory device, or distributed through an electric communication line such as the Internet.
Note that another computer may execute part of the functions shown in FIG. Further, some or all of the functions shown in FIG. 2 may be realized by hardware by a semiconductor integrated electronic circuit such as an ASIC, a system LSI, and a SoC (system on a chip).

図２に示すように、制御コンピュータ６は、画像処理部３０と、ロボット制御部３２と、を備える。
画像処理部３０は、スキャナ装置８の読取画像Ｍに基づいて、トレー１０における各対象物Ｐの位置、及び姿勢を特定する。ロボット制御部３２は、画像処理部３０による対象物Ｐの特定結果に基づいて、これらの中から１つの対象物Ｐをロボット２にピックアップさせ作業位置に所定の姿勢で対象物Ｐを配置させる制御信号Ｋを生成し、ロボットコントローラ４に出力する。そして、ロボットコントローラ４が制御信号Ｋにしたがってロボット２を制御することで、対象物Ｐのピックアップ動作が行われる。 As shown in FIG. 2, the control computer 6 includes an image processing unit 30 and a robot control unit 32.
The image processing unit 30 identifies the position and orientation of each target object P on the tray 10 based on the read image M of the scanner device 8. The robot control unit 32 controls the robot 2 to pick up one of the objects P based on the result of the identification of the object P by the image processing unit 30 and place the object P in a predetermined posture at a work position. The signal K is generated and output to the robot controller 4. Then, the robot controller 4 controls the robot 2 according to the control signal K, so that the pickup operation of the object P is performed.

画像処理部３０の機能的構成について更に詳述する。
画像処理部３０は、画像取得部４０と、対象物特定部４２と、ピックアップ対象情報出力部４４と、を備える。
画像取得部４０は、上記インターフェースを通じてスキャナ装置８の読取画像Ｍを取得し、対象物特定部４２に入力する。 The functional configuration of the image processing unit 30 will be described in more detail.
The image processing unit 30 includes an image acquisition unit 40, an object specifying unit 42, and a pickup target information output unit 44.
The image acquisition unit 40 acquires the read image M of the scanner device 8 through the interface and inputs the read image M to the object specifying unit 42.

対象物特定部４２は、読取画像Ｍに写っている各対象物Ｐの位置、及び姿勢を特定し、ピックアップ対象情報出力部４４に出力する。本実施形態では、トレー１０には、図３に示すように、複数の対象物Ｐが平面視において互いに重なることなくランダムな方向を向いた状態（いわゆる、バラ置き状態）で置かれている。そして対象物Ｐに設定した所定ポイントの位置Ｑを対象物Ｐの位置とし、また対象物Ｐの基準姿勢Ｒに対する対象物Ｐの角度θを対象物Ｐの姿勢としている。この場合において、所定ポイントには、例えばロボット２がピックアップの際に把持する箇所を設定してもよい。なお、対象物Ｐの位置Ｑと姿勢の設定は、あくまでも例示である。例えば対象物Ｐを包囲する所定形状（例えば矩形）の最小の領域が存在する箇所を対象物Ｐの位置に設定してもよい。 The target specifying unit 42 specifies the position and the posture of each target P shown in the read image M, and outputs the position and the posture to the pickup target information output unit 44. In the present embodiment, as shown in FIG. 3, a plurality of objects P are placed on the tray 10 in a random direction (so-called loose placement state) without overlapping each other in plan view. The position Q of the predetermined point set on the object P is the position of the object P, and the angle θ of the object P with respect to the reference attitude R of the object P is the attitude of the object P. In this case, the predetermined point may be set to, for example, a portion gripped by the robot 2 during pickup. The setting of the position Q and the posture of the object P is merely an example. For example, a location where a minimum area of a predetermined shape (for example, a rectangle) surrounding the object P exists may be set as the position of the object P.

本実施形態では、上述の通り、「ＣＣＤ方式」のスキャナ装置８が用いられているため、対象物Ｐが厚みを有する場合でも、対象物Ｐの輪郭がクリアに写った読取画像Ｍが得られているので、対象物特定部４２は、この読取画像Ｍに基づいて、対象物Ｐの位置Ｑ、及び角度θ（姿勢）の誤差を抑えて精度良く求めることができる。 In the present embodiment, as described above, since the “CCD type” scanner device 8 is used, even if the object P has a thickness, the read image M in which the contour of the object P is clearly captured is obtained. Therefore, the object specifying unit 42 can accurately obtain the position Q of the object P and the error of the angle θ (posture) based on the read image M while suppressing the error.

ここで、対象物特定部４２が読取画像Ｍから対象物Ｐを特定する手法には、読取画像Ｍに写った物体を対象物Ｐと見做す各種の条件を記述した判定プログラム（いわゆる、ルールベースプログラム）を用いることができる。この種の判定プログラムとしては、例えば、読取画像Ｍに写った物体の輪郭と対象物Ｐの輪郭との一致度を条件に用いて読取画像Ｍから対象物Ｐを特定するプログラムなどが考え得る。
ただし、トレー１０には多数の対象物Ｐがランダムな姿勢で存在するため、判定プログラムでは、各姿勢に対応可能に一致度の条件を設定する必要がある。また複数の対象物Ｐが接触し合って１つの大きな塊の物体として読取画像Ｍに写ることがあり、このような場合でも当該物体から個々の対象物Ｐを特定可能にする判定条件を記述したプログラムを作成することは非常に労力が要るものとなる。 Here, in the method for the object specifying unit 42 to specify the object P from the read image M, a determination program (so-called rule, which describes various conditions for regarding an object shown in the read image M as the object P) is described. Base program) can be used. As this type of determination program, for example, a program that identifies the target P from the read image M using the degree of coincidence between the contour of the object and the contour of the target P shown in the read image M can be considered.
However, since a large number of objects P are present in the tray 10 in random postures, the determination program needs to set the condition of the degree of coincidence so as to correspond to each posture. Further, a plurality of objects P may come into contact with each other and appear as one large lump object in the read image M. Even in such a case, the determination condition that enables the individual objects P to be specified from the object is described. Creating a program is very labor intensive.

そこで本実施形態では、対象物特定部４２は、従前のルールベースプログラムを用いて対象物Ｐを特定するのではなく、人工知能の機械学習技術を用いて対象物Ｐを特定している。
具体的には、対象物特定部４２は、読取画像Ｍの入力に対し、読取画像Ｍに写っている対象物Ｐごとに位置Ｑ及び角度θ（姿勢）を出力する物体認識学習済モデル４８を備える。物体認識学習済モデル４８は、ディープラーニング（深層学習）を用いた機械学習によって得られた学習済モデルである。すなわち、未学習状態のニュールネットワークモデルを有した学習前モデルに、不定個数の対象物Ｐがバラ置きされている多数の読取画像Ｍを入力データとして与え、読取画像Ｍに写っている対象物Ｐごとに位置Ｑ及び角度θを出力するように当該学習前モデルを、物体認識アルゴリズムを用いたディープラーニングにより機械学習させることで、物体認識学習済モデル４８が得られている。かかる物体認識アルゴリズムには、ＦａｓｔｅｒＲ―ＣＮＮ（Ｒ−ＣＮＮ：ＲｅｇｉｏｎｓｗｉｔｈＣＮＮｆｅａｔｕｒｅｓ）、或いは、ＳＳＤ（ＳｉｎｇｌｅＳｈｏｔＭｕｌｔｉＢｏｘＤｅｔｅｃｔｏｒ）が用いられており、対象物Ｐが高精度に特定（認識）されるようになっている。 Therefore, in the present embodiment, the target object specifying unit 42 specifies the target object P by using a machine learning technique of artificial intelligence, instead of specifying the target object P by using the conventional rule-based program.
Specifically, the target object specifying unit 42 outputs the position Q and the angle θ (posture) for each target object P shown in the read image M to the input of the read image M, and the object recognition learned model 48 is output. Prepare The object recognition learned model 48 is a learned model obtained by machine learning using deep learning. That is, to the pre-learning model having the unlearned neural network model, a large number of read images M in which an indefinite number of the objects P are placed are given as input data, and the object P reflected in the read image M is given. An object recognition learned model 48 is obtained by subjecting the pre-learning model to machine learning by deep learning using an object recognition algorithm so as to output the position Q and the angle θ for each. For such an object recognition algorithm, Faster R-CNN (R-CNN: Regions with CNN features) or SSD (Single Shot MultiBox Detector) is used to identify (recognize) the object P with high accuracy. It is like this.

ピックアップ対象情報出力部４４は、対象物特定部４２によって特定された対象物Ｐの中から１つを選択し、ターゲットの対象物Ｐｔの位置Ｑｔ、及び角度θｔをロボット制御部３２に出力する。ターゲットの対象物Ｐｔの選択基準は適宜に設定できる。 The pickup target information output unit 44 selects one from the target objects P specified by the target object specifying unit 42, and outputs the position Qt and the angle θt of the target target object Pt to the robot control unit 32. The selection criteria of the target object Pt can be set appropriately.

ロボット制御部３２は、ピックアップ対象情報出力部４４からターゲットの対象物Ｐｔの位置Ｑｔ、及び角度θｔが入力された場合、ロボット２に当該位置Ｑｔで当該角度θｔに応じた方向からターゲットの対象物Ｐｔを把持させ、当該対象物Ｐｔをトレー１０から取り出させ、上記作業位置に所定の姿勢で配置させるための（すなわち、対象物Ｐのピッキング動作のための）制御信号Ｋを生成し、ロボットコントローラ４に出力する。この制御信号Ｋの生成手法については公知の適宜の技術を利用できる。 When the position Qt of the target object Pt and the angle θt are input from the pickup target information output unit 44, the robot control unit 32 causes the robot 2 to target the target object from a direction corresponding to the angle θt at the position Qt. The robot controller generates the control signal K for gripping Pt, taking out the target Pt from the tray 10, and arranging the target Pt in a predetermined posture at the work position (that is, for the picking operation of the target P). Output to 4. As a method of generating the control signal K, a known appropriate technique can be used.

図４は、部品ピッキングシステム１のピッキング動作を示すフローチャートである。
制御コンピュータ６では、先ず、画像取得部４０がスキャナ装置８の読取画像Ｍを取得し（ステップＳ１）、この読取画像Ｍを対象物特定部４２が読取画像Ｍを物体認識学習済モデル４８に入力することで、読取画像Ｍに写っている各対象物Ｐの位置Ｑ、及び角度θ（姿勢）を取得する。これにより、各対象物Ｐの位置Ｑ、及び角度θが検出される（ステップＳ２）。次いで、ピックアップ対象情報出力部４４は、各対象物Ｐのいずれか１つをターゲットに選択し、ターゲットの対象物Ｐｔの位置Ｑｔ、及び角度θｔをロボット制御部３２に出力する（ステップＳ３）。ロボット制御部３２は、ターゲットの対象物Ｐｔの位置Ｑｔ、及び角度θｔに基づいて、当該対象物Ｐｔのピッキング動作のための制御信号Ｋを生成して、ロボットコントローラ４に出力する（ステップＳ４）。ロボットコントローラ４が当該制御信号Ｋにしたがってロボット２を駆動することで（ステップＳ５）、ターゲットの対象物Ｐｔがロボット２によってトレー１０から取り出され、目的の作業位置に所定の姿勢で配置される。
そして制御コンピュータ６は、かかるピッキング動作を順次繰り返し実行し、トレー１０の中の対象物Ｐを目的の作業位置に順次配置する。 FIG. 4 is a flowchart showing the picking operation of the component picking system 1.
In the control computer 6, first, the image acquisition unit 40 acquires the read image M of the scanner device 8 (step S1), and the object specifying unit 42 inputs the read image M into the object recognition learned model 48. By doing so, the position Q and the angle θ (posture) of each object P shown in the read image M are acquired. Thereby, the position Q and the angle θ of each object P are detected (step S2). Next, the pick-up target information output unit 44 selects any one of the respective target objects P as a target, and outputs the position Qt and the angle θt of the target target object Pt to the robot control unit 32 (step S3). The robot control unit 32 generates a control signal K for the picking operation of the target object Pt based on the position Qt of the target object Pt and the angle θt, and outputs the control signal K to the robot controller 4 (step S4). .. When the robot controller 4 drives the robot 2 in accordance with the control signal K (step S5), the target object Pt is taken out of the tray 10 by the robot 2 and placed at a desired work position in a predetermined posture.
Then, the control computer 6 sequentially and repeatedly executes the picking operation to sequentially arrange the objects P in the tray 10 at the target work position.

ここで、読取画像Ｍは、スキャナ装置８の読取面２４の直下からトレー１０内を光学的に読み取って得られた画像であるので、読取面２４のＸＹ平面座標（図３）の値が、そのまま読取画像Ｍの各画素の位置を示している。また各対象物ＰのＺ軸方向（読取面２４に垂直な高さ方向）の位置は、読取面２４のＺ軸座標（図１）の値（例えばＺ＝０）に、トレー１０の底面１０Ａの厚み（固定値）を加えた値で求められる。各対象物Ｐが重なるなどして底面１０Ａから浮いていない場合には、各対象物ＰのＺ軸座標の値は固定値となる。
したがって、読取画像Ｍにおいて対象物Ｐが写っている画素の位置から、読取面２４を基準としたＸＹＺ３次元空間における対象物Ｐの座標値が簡単に特定される。これにより、ロボット２の位置制御に用いる座標空間を、読取面２４を基準としたＸＹＺ３次元空間と対応させることで、上記ステップＳ４において、ロボット制御部３２が制御信号Ｋを生成する際に、ロボット２に対し、簡単かつ正確に、対象物Ｐの位置を指示できる。 Here, since the read image M is an image obtained by optically reading the inside of the tray 10 from directly below the reading surface 24 of the scanner device 8, the value of the XY plane coordinates (FIG. 3) of the reading surface 24 is The position of each pixel of the read image M is shown as it is. Further, the position of each object P in the Z-axis direction (height direction perpendicular to the reading surface 24) corresponds to the value of the Z-axis coordinate (FIG. 1) of the reading surface 24 (for example, Z=0) and the bottom surface 10A of the tray 10. It is calculated by adding the thickness (fixed value) of. When the objects P do not float from the bottom surface 10A due to overlapping or the like, the value of the Z-axis coordinate of each object P becomes a fixed value.
Therefore, the coordinate value of the object P in the XYZ three-dimensional space with the reading surface 24 as a reference is easily specified from the position of the pixel in which the object P is captured in the read image M. As a result, by making the coordinate space used for position control of the robot 2 correspond to the XYZ three-dimensional space with the reading surface 24 as a reference, the robot controller 32 generates the control signal K in step S4. For 2, the position of the object P can be instructed easily and accurately.

上述した実施形態によれば、次の効果を奏する。 According to the above-mentioned embodiment, the following effects are produced.

本実施形態の部品ピッキングシステム１は、読取面２４に載置されたトレー１０の中を光学的に読み取り読取画像Ｍを出力するスキャナ装置８、を備え、対象物特定部４２は、読取画像Ｍに基づいて対象物Ｐの位置Ｑ、及び角度θ（姿勢）を特定する。
これにより、従前のように３Ｄカメラを用いる必要がないため、安価なピッキングシステムが得られる。
また、スキャナ装置８の読取面２４を基準とした３次元空間座標を用いて対象物Ｐの位置Ｑ、及び角度θを表せるので、この３次元空間座標の値を用いて、簡単かつ正確にロボット２に位置を指示できる。 The component picking system 1 of the present embodiment includes the scanner device 8 that optically reads the inside of the tray 10 placed on the reading surface 24 and outputs the read image M, and the object specifying unit 42 sets the read image M. The position Q and the angle θ (posture) of the object P are specified based on
This makes it possible to obtain an inexpensive picking system because it is not necessary to use a 3D camera as before.
Further, since the position Q and the angle θ of the object P can be expressed using the three-dimensional space coordinates with the reading surface 24 of the scanner device 8 as a reference, the robot can be simply and accurately used by using the values of the three-dimensional space coordinates. You can indicate the position to 2.

本実施形態の部品ピッキングシステム１では、スキャナ装置８が光学的な読み取りをＣＣＤ方式により行う装置なので、対象物Ｐに厚みがある場合でも、ボケのない鮮明な読取画像Ｍが得られる。これにより、各対象物Ｐの位置Ｑ、及び角度θを正確に求めることができる。 In the component picking system 1 of this embodiment, since the scanner device 8 is a device that performs optical reading by the CCD method, even if the object P is thick, a clear read image M without blurring can be obtained. Thereby, the position Q and the angle θ of each object P can be accurately obtained.

本実施形態の部品ピッキングシステム１では、対象物特定部４２は、物体認識アルゴリズムを用いたディープラーニングによって機械学習された物体認識学習済モデル４８を備え、この物体認識学習済モデル４８が読取画像Ｍの入力に応じて、当該読取画像Ｍに写っている対象物Ｐの位置Ｑ、及び角度θ（姿勢）を出力する。
これにより、ランダムな姿勢で存在する対象物Ｐを読取画像Ｍに基づいて特定するための複雑なプログラムを準備せずとも、各対象物Ｐの位置Ｑ、及び角度θ（姿勢）を得ることができる。 In the component picking system 1 of the present embodiment, the object identifying unit 42 includes an object recognition learned model 48 machine-learned by deep learning using an object recognition algorithm, and the object recognition learned model 48 reads the read image M. In response to the input of, the position Q and the angle θ (posture) of the object P shown in the read image M are output.
Accordingly, the position Q and the angle θ (posture) of each object P can be obtained without preparing a complicated program for specifying the object P existing in a random attitude based on the read image M. it can.

本実施形態の部品ピッキングシステム１では、ディープラーニングに用いる物体認識アルゴリズムには、ＦａｓｔｅｒＲ−ＣＮＮ、またはＳＳＤが用いられているので、読取画像Ｍに写った対象物Ｐを正確、かつ高速に特定できる。 In the component picking system 1 of the present embodiment, Faster R-CNN or SSD is used for the object recognition algorithm used for deep learning, so that the target object P shown in the read image M can be identified accurately and at high speed. it can.

上述した実施形態は、あくまでも本発明の一態様を例示したものであって、本発明の趣旨を逸脱しない範囲において任意に変形、及び応用が可能である。 The above-described embodiment is merely an example of one aspect of the present invention, and can be arbitrarily modified and applied without departing from the spirit of the present invention.

上述した実施形態において、読取画像Ｍに基づいて特定される対象物Ｐの数が少ない場合、すなわち、トレー１０の中の対象物Ｐの残存数と、対象物特定部４２によって特定された対象物Ｐの数との差が所定数を超えている場合、トレー１０の中の対象物Ｐを動かす装置を別途に設けてもよい。
対象物Ｐが動かされることで、例えば対象物Ｐ同士の重なりや、接触状態が解消され、各対象物Ｐが特定され易くなる。この場合において、読取面２４とトレー１０との位置ズレを防止するために、対象物Ｐを動かす装置は、例えばトレー１０の中をかき混ぜたり、圧縮空気を吹き付けるなどして、トレー１０を動かさずに対象物Ｐのみを動かす装置であることが好ましい。 In the above-described embodiment, when the number of the objects P specified based on the read image M is small, that is, the remaining number of the objects P in the tray 10 and the objects specified by the object specifying unit 42. When the difference from the number of P exceeds a predetermined number, a device for moving the object P in the tray 10 may be separately provided.
By moving the objects P, for example, the overlapping of the objects P and the contact state are eliminated, and each object P is easily identified. In this case, in order to prevent the positional deviation between the reading surface 24 and the tray 10, the device that moves the object P does not move the tray 10 by, for example, stirring the inside of the tray 10 or blowing compressed air. It is preferable that the device is a device that moves only the object P.

また例えば、上述した実施形態において、この物体認識学習済モデル４８が、互いに重なった対象物Ｐが写った読取画像Ｍから各対象物Ｐの位置Ｑ、及び角度θ（姿勢）を出力するように学習されていてもよい。
これにより、対象物Ｐが重なっていても、各対象物Ｐの位置Ｑ、及び角度θ（姿勢）を得ることができる。 Further, for example, in the above-described embodiment, the object recognition learned model 48 outputs the position Q and the angle θ (posture) of each object P from the read image M in which the objects P overlapping each other are captured. You may have been learned.
Thereby, even if the objects P overlap, the position Q and the angle θ (posture) of each object P can be obtained.

また例えば、上述した実施形態において、インターネットなどの電子通信回線を通じて制御コンピュータ６と通信可能に接続されたコンピュータ（例えばクラウドサーバ）に、対象物特定部４２の機能を実行させる構成であってもよい。 Further, for example, in the above-described embodiment, it may be configured to cause a computer (for example, a cloud server) communicatively connected to the control computer 6 through an electronic communication line such as the Internet to execute the function of the object identifying unit 42. ..

１ピッキングシステム（ピッキングシステム）
２ロボット
４ロボットコントローラ
６制御コンピュータ
８スキャナ装置
１０トレー（容器）
２４読取面
２５スキャナヘッド
３０画像処理部
３２ロボット制御部
４２対象物特定部
４８物体認識学習済モデル
Ｋ制御信号
Ｍ読取画像
Ｐ、Ｐｔ対象物
Ｑ、Ｑｔ位置
θ、θｔ角度（姿勢） 1 Picking system (picking system)
2 robot 4 robot controller 6 control computer 8 scanner device 10 tray (container)
24 scanning surface 25 scanner head 30 image processing unit 32 robot control unit 42 object specifying unit 48 object recognition learned model K control signal M read image P, Pt object Q, Qt position θ, θt angle (posture)

Claims

A robot that takes out the target object from a container containing the target object,
Based on the image of the object in the container, the position of the object, and an object specifying unit for specifying the posture,
A robot control unit that generates a control signal that causes the robot to take out the target object based on the position and orientation of the target object;
A scanner device that optically reads the inside of the container placed on the reading surface and outputs a read image,
The picking system, wherein the object specifying unit specifies a position and a posture of the object based on the read image.

The picking system according to claim 1, wherein the scanner device is a device that performs the optical reading by a CCD method.

The object specifying unit,
Equipped with a trained model machine-learned by deep learning using an object recognition algorithm,
The picking system according to claim 1 or 2, wherein the learned model outputs the position and orientation of an object shown in the read image in response to the input of the read image.

The picking system according to claim 3, wherein the object recognition algorithm is Faster R-CNN or SSD.

The picking system according to any one of claims 1 to 4, further comprising a device for moving an object in the container.