JP2018001372A - Component supply device and method - Google Patents
Component supply device and method Download PDFInfo
- Publication number
- JP2018001372A JP2018001372A JP2016134428A JP2016134428A JP2018001372A JP 2018001372 A JP2018001372 A JP 2018001372A JP 2016134428 A JP2016134428 A JP 2016134428A JP 2016134428 A JP2016134428 A JP 2016134428A JP 2018001372 A JP2018001372 A JP 2018001372A
- Authority
- JP
- Japan
- Prior art keywords
- bolt
- screw
- camera
- bolts
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Manipulator (AREA)
Abstract
Description
この発明は、ネジ又はボルトを供給する部品供給装置及び方法に関する。 The present invention relates to a component supply apparatus and method for supplying screws or bolts.
組立の自動化等を目的として、ネジ又はボルトを供給する種々の部品供給装置が公知になっている。 Various component supply devices for supplying screws or bolts are known for the purpose of automation of assembly and the like.
例えば、ネジ又はボルトが順次補給される補給部と、前記補給部のネジ又はボルトを解除可能に保持する保持部と、該保持部を姿勢切換作動可能且つ変位作動可能に支持する作動機構と、前記補給部のネジ又はボルトを撮影するカメラと、前記保持部及び作動機構の作動を制御する制御部とを備え、該制御部は、上記ネジ又はボルトが予め定められた所定姿勢で前記保持部により保持されるように、前記カメラによって撮影されたネジ又はボルトの画像情報を利用して、前記保持部及び作動機構の作動を制御する部品供給装置及び方法が公知になっている(例えば、特許文献1を参照。)。
For example, a replenishment unit to which screws or bolts are sequentially replenished, a holding unit that releasably holds the screws or bolts of the replenishment unit, and an operation mechanism that supports the holding unit so as to be capable of posture switching operation and displacement operation. A camera for photographing a screw or a bolt of the replenishment unit; and a control unit for controlling the operation of the holding unit and an operation mechanism, the control unit configured to hold the screw or the bolt in a predetermined posture. A component supply apparatus and method for controlling the operation of the holding unit and the operation mechanism using image information of a screw or a bolt photographed by the camera so as to be held by the camera are known (for example, patents) See
上記文献の部品供給装置及び方法は、ネジ又はボルトを識別するセンサ類として、カメラを設ければよいため、構成がシンプルになる一方で、このカメラで撮影した画像情報をどのように利用して、ネジ又はボルトを保持部により安定的に保持させるのか、その具体的な内容が不明である。 The component supply apparatus and method in the above document only require a camera as a sensor for identifying screws or bolts, so that the configuration becomes simple, but how to use image information captured by this camera. It is unclear whether the screws or bolts are stably held by the holding portion.
本発明は、ネジ又はボルトを供給する部品供給装置及び方法であって、構成の簡略化を目的としてネジ又はボルトの識別用にカメラを設けた場合でも、ネジ又はボルトを予め定めた所定の姿勢で安定的に保持させることが可能な部品供給装置及び方法を提供することを課題とする。 The present invention relates to a component supply apparatus and method for supplying screws or bolts, and a predetermined posture in which the screws or bolts are predetermined even when a camera is provided for screw or bolt identification for the purpose of simplifying the configuration. It is an object of the present invention to provide a component supply apparatus and method that can be stably held by the apparatus.
本発明の部品供給装置は、ネジ又はボルトを供給する部品供給装置であって、ネジ又はボルトが順次補給される補給部と、前記補給部のネジ又はボルトを解除可能に保持する保持部と、該保持部を姿勢切換作動可能且つ変位作動可能に支持する作動機構と、前記補給部のネジ又はボルトを撮影するカメラと、前記保持部及び作動機構の作動を制御する制御部とを備え、該制御部は、前記カメラによって撮影されたネジ又はボルトの画像から、該ネジ又はボルトの頭部における軸部の反対側に形成された基端側の端面の形状又は軸部の頭部とは反対の先端側の端面の形状を識別することにより、該ネジ又はボルトの姿勢を判別し、上記ネジ又はボルトが予め定められた所定姿勢で前記保持部により保持されるように、上記判別された姿勢情報を利用して、前記保持部及び作動機構の作動を制御することを特徴とする。 The component supply device of the present invention is a component supply device that supplies screws or bolts, a replenishment unit that sequentially replenishes the screws or bolts, a holding unit that releasably retains the screws or bolts of the replenishment unit, An operation mechanism that supports the holding unit so that the posture can be switched and can be displaced; a camera that photographs the screw or bolt of the replenishing unit; and a control unit that controls the operation of the holding unit and the operation mechanism, From the image of the screw or bolt photographed by the camera, the control unit is opposite to the shape of the proximal end face formed on the opposite side of the shaft portion in the head of the screw or bolt or the head portion of the shaft portion. The posture of the screw or bolt is discriminated by identifying the shape of the end face on the tip side, and the discriminated posture is such that the screw or bolt is held by the holding portion in a predetermined posture. information And use, and controls the operation of the holding portion and the actuating mechanism.
前記ネジ又はボルトの上記基端側の端面又は先端側の端面には、他の部分とは異なる色が予め塗装され、前記制御部は、カメラによって撮影されたネジ又はボルトの画像に対して、上記色の違いに基づいて前記端面の形状を識別するものとしてもよい。 The end face on the base end side or the end face on the distal end side of the screw or bolt is pre-painted with a color different from that of other parts, and the control unit performs an image of the screw or bolt photographed by the camera. The shape of the end face may be identified based on the color difference.
ネジ又はボルトに光を照射する照明装置32を備え、記制御部は、アクチュエータによって照明装置32の照射方向を変化させ且つ該変化を利用してネジ又はボルトのエッジ抽出を行うか、或いは照明制御手段によって照明装置32から照射される光の明暗又は色を変化させ且つ該変化を利用してネジ又はボルトのエッジ抽出を行うものとしてもよい。
An
前記補給部は、ネジ又はボルト同士を重ねた状態で収容可能な収容ボックスと、該収容ボックスから取出されたネジ又はボルトが展開されて載置される補給面とを有し、前記カメラは、上記補給面に載置され且つ他のネジ又はボルトと重なっていないネジ又はボルトにおける上記基端側の端面又は先端側の端面の形状を識別するものとしてもよい。 The replenishment unit has a storage box that can be accommodated in a state where screws or bolts are stacked, and a replenishment surface on which the screws or bolts taken out from the storage box are deployed and placed, The shape of the end face on the base end side or the end face on the tip end side of the screw or bolt that is placed on the supply surface and does not overlap with another screw or bolt may be identified.
前記補給部は、ネジ又はボルト同士を重ねた状態で収容可能な収容ボックスを有し、前記カメラは、上記収容ボックスに収容されたネジ又はボルトにおける上記基端側の端面又は先端側の端面の形状を識別するものとしてもよい。 The replenishment unit has a storage box that can be stored in a state in which screws or bolts are stacked, and the camera has an end surface on the base end side or a front end side of the screw or bolt stored in the storage box. The shape may be identified.
一方、本発明の部品供給方法は、ネジ又はボルトを供給する部品供給方法であって、ネジ又はボルトが順次補給される補給部と、前記補給部のネジ又はボルトを解除可能に保持する保持部と、該保持部を姿勢切換作動可能且つ変位作動可能に支持する作動機構と、前記補給部のネジ又はボルトを撮影するカメラと、前記作動機構の作動を制御する制御部とを備えた部品供給装置に、前記ネジ又はボルトの位置及び姿勢を判別させるあたり、前記ネジ又はボルトの頭部における軸部の反対側に形成された基端側の端面又は軸部の頭部とは反対の先端側の端面に他の部分とは異なる色を予め塗装し、該制御部は、前記カメラによって撮影されたネジ又はボルトの画像に対して、上記色の違いに基づいて、上記基端側の端面又は上記先端側の端面の形状を識別することにより、該ネジ又はボルトの姿勢を判別し、上記ネジ又はボルトが予め定められた所定姿勢で前記保持部により保持されるように、上記判別された姿勢情報を利用して、前記保持部及び作動機構の作動を制御することを特徴とする。 On the other hand, the component supply method of the present invention is a component supply method for supplying screws or bolts, a replenishment unit to which screws or bolts are sequentially replenished, and a holding unit for releasably retaining the screws or bolts of the replenishment unit Component supply comprising: an operation mechanism that supports the holding unit so as to be capable of posture switching operation and displacement operation; a camera that photographs a screw or a bolt of the replenishment unit; and a control unit that controls the operation of the operation mechanism. When making the apparatus determine the position and posture of the screw or bolt, the proximal end surface formed on the opposite side of the shaft portion in the head portion of the screw or bolt or the distal end side opposite to the head portion of the shaft portion A color different from that of the other part is painted in advance on the end surface of the base plate, and the control unit applies an end surface on the base end side or an image of the screw or bolt captured by the camera based on the color difference. Of the end face on the tip side By identifying the shape, the posture of the screw or bolt is determined, and using the determined posture information so that the screw or bolt is held by the holding unit in a predetermined posture, The operation of the holding unit and the operation mechanism is controlled.
前記カメラによって撮影されたネジ又はボルトの画像から、ネジ又はボルトの頭部における軸部の反対側に形成された端面の形状を識別することにより、該ネジ又はボルトの姿勢を判別できるため、構成の簡略化を目的としてネジ又はボルトの識別用にカメラを設けた場合でも、ネジ又はボルトを予め定めた所定の姿勢で安定的に保持させることが可能になる。 The posture of the screw or bolt can be determined by identifying the shape of the end surface formed on the opposite side of the shaft portion in the head of the screw or bolt from the image of the screw or bolt photographed by the camera. Even when a camera is provided for identifying screws or bolts for the purpose of simplifying the above, it is possible to stably hold the screws or bolts in a predetermined posture.
図1は、本発明を適用した部品供給装置を搭載した部品組立装置の構成を示す平面図であり、図2は部品組立装置に搭載された作業ロボットの構成を模式的に示す模式図であり、図3(A),(B)はトレーの上面に載置されたネジ又はボルトの側面図及び平面図である。これらの図面に示された部品組立装置は、レール1上をスライド駆動されるベース2と、該ベース2上に設置された作業ロボット3と、部品の一種であるボルト又はネジ等の対象物Wが収容される収容ボックス4と、対象物Wが展開されるトレー6と、作業用の各種工具が利用可能に置かれる工具スペース7と、各種情報が格納された1次元又は2次元のバーコードが印刷やモニタ表示等によって表示されるバーコード表示部(情報格納部)8と、レール1に平行して併設されたタグレール(情報格納部)9とを備えている。
FIG. 1 is a plan view showing a configuration of a component assembling apparatus equipped with a component supply apparatus to which the present invention is applied, and FIG. 2 is a schematic diagram schematically showing a configuration of a work robot mounted on the component assembling apparatus. FIGS. 3A and 3B are a side view and a plan view of screws or bolts placed on the upper surface of the tray. The parts assembling apparatus shown in these drawings includes a
上述の収容ボックス4、トレー6、工具スペース7、バーコード表示部8及びタグレール9は、平面視でベース2のスライド範囲外であって且つベース2がレール1上で全可動範囲をスライドした場合における前記作業ロボット3の平面視での可動範囲内に設置されている。
The above-mentioned storage box 4, tray 6, tool space 7, barcode display 8 and tag rail 9 are outside the slide range of the
上述の対象物Wは、図3に示すように、一直線状に延びて外周にネジ山が螺旋状に形成された軸部W1と、該軸部W1の一方側端部に径大に形成された頭部W2とを有している。この頭部W2は、前記軸部W2の軸心上に中心部を有し且つ該軸心方向に厚みを有する板状をなすようにして、該軸部W2と共に一体成形されている。 As shown in FIG. 3, the above-described object W is formed in a large diameter at a shaft portion W1 that extends in a straight line and has a screw thread formed on the outer periphery in a spiral shape, and at one end portion of the shaft portion W1. And a head portion W2. The head portion W2 is integrally formed with the shaft portion W2 so as to form a plate shape having a central portion on the shaft center of the shaft portion W2 and having a thickness in the direction of the shaft center.
ちなみに、対象物Wがネジになる場合には、頭部W2における軸部W1と反対側に形成された面である端面W2aに、工具の一種であるドライバの先端部を嵌合して挿入可能なプラス形状若しくはマイナス形状等の係合穴(図示しない)が穿設され、その端面w2a自体の形状は円形状又は略円形状に形成される。 By the way, when the object W is a screw, it can be inserted by inserting the tip of a driver, which is a kind of tool, into the end surface W2a, which is the surface formed on the opposite side of the shaft W1 in the head W2. An engagement hole (not shown) such as a plus shape or a minus shape is formed, and the shape of the end face w2a itself is formed in a circular shape or a substantially circular shape.
一方、対象物Wがボルトになる場合には、頭部W2が正多角形状(基本的には正六角形状)をなし、また、上記端面W2aには、六角レンチ等のレンチを嵌合して挿入可能な係合穴(図示しない)が穿設されている場合もある。 On the other hand, when the object W is a bolt, the head W2 has a regular polygonal shape (basically a regular hexagonal shape), and a wrench such as a hexagonal wrench is fitted to the end surface W2a. There may be an engagement hole (not shown) that can be inserted.
また、この対象物Wの端面W2aの全体は、本例ではフラットに形成され且つ他の部分の色(基本的には銀色等の金属色)とは異なる色(例えば、赤や青色等)に着色(塗装)されている。言換えると、この端面W2aは着色面になっている。このような着色を行う理由については後述する。 Further, the entire end surface W2a of the object W is flat in this example and has a color (for example, red, blue, etc.) that is different from the color of other parts (basically, a metal color such as silver). It is colored (painted). In other words, the end surface W2a is a colored surface. The reason for performing such coloring will be described later.
次に、図1及び図2に基づいて、上記部品組立装置の各部について説明する。 Next, based on FIG.1 and FIG.2, each part of the said component assembly apparatus is demonstrated.
上記ベース2は、リニアモーションガイド等であるレール1に、スライド自在に係合するリニアモーションブロック(図示しない)を有している。そして、ベース2は、リニアモータや送りローラを回転駆動されるモータ等のベース側アクチュエータ11(図4参照)によって、スライド駆動される。
The
上記作業ロボット3は、マニピュレータ(作動機構)12と、該マニピュレータ12によって姿勢切換作動可能且つ変位作動可能に支持されるロボットハンド(保持部)13とを有している。
The work robot 3 includes a manipulator (actuating mechanism) 12 and a robot hand (holding unit) 13 supported by the
マニピュレータ12は、図示する例では、6自由度の多関節ロボットであり、ベース2に固定的に設置された基部14と、6つのアーム部16A,16B,16C,16D,16E,16Fと、6つの関節部17A,17B,17C,17D,17E,17Fとを有している。
In the illustrated example, the
アーム部(第1アーム部)16Aは、関節部(第1関節部)17Aによって、基部14に対して自身の軸回りに回動可能に支持されている。アーム部(第2アーム部)16Bは、関節部(第2関節部)17Bによって、第1アーム部16Aに対して上下回動可能に支持されている。アーム部(第3アーム部)16Cは、関節部(第3関節部)17Cによって、第2アーム部16Bに対して上下回動可能に支持されている。
The arm portion (first arm portion) 16A is supported by the joint portion (first joint portion) 17A so as to be rotatable about its own axis with respect to the
アーム部(第4アーム部)16Dは、関節部(第4関節部)17Dによって、第3アーム部16Cに対して自身の軸回りに回動可能に支持されている。アーム部(第5アーム部)16Eは、関節部(第5関節部)17Eによって、第4アーム部16Dに対して上下回動可能に支持されている。アーム部(第6アーム部)16Fは、関節部(第6関節部)17Fによって、第5アーム部16Eに対して自身の軸回りに回動可能に支持されている。
The arm portion (fourth arm portion) 16D is supported by the joint portion (fourth joint portion) 17D so as to be rotatable about its own axis with respect to the
各関節部17A,17B,17C,17D,17E,17Fには、アクチュエータ(マニピュレータ側アクチュエータ)18A,18B,18C,18D,18E,18Fが設けられている(図4参照)。これらのマニピュレータ側アクチュエータ18A,18B,18C,18D,18E,18Fによって、各アーム部16A,16B,16C,16D,16E,16Fが上述した所定方向に回動駆動され、これによってロボットハンド13がベース12に対して変位作動されるとともに姿勢変更作動される。
Actuators (manipulator side actuators) 18A, 18B, 18C, 18D, 18E, and 18F are provided in the
ロボットハンド13は、マニピュレータ12の先端部(具合的には、第6アーム部16F)に固定的に設置される固定部19と、該固定部19に支持された一対の挟持部21,21とを有している。この挟持部21,21は、固定部19を挟んで、第6アーム部16Fの反対側に突出する角柱状に成形されている。
The
そして、この一対の挟持部21,21を、アクチュエータ(ロボットハンド側アクチュエータ)22(図4参照)によって、互いが離間・近接する方向に作動することにより、上述した対象物W又は工具等の保持・保持解除を行う。
Then, the pair of holding
また、固定部19には、挟持部21,21の突出方向のさらにその先を撮影するカメラ23が設置され、このカメラ23からの画像を用いて、対象物Wや工具の位置や姿勢を識別するが、詳細は後述する。
The fixing
なお、このロボットハンド13は、このようにピッキング(挟持)によって対象物W又は工具を保持する構造に限定されるものではなく、多関節のエンドエフェクタを用いて、対象物Wや工具を把持・把持解除するものであってもよい。
The
上記収容ボックス4は、多数(複数)の対象物Wが積み重ねられた状態で収容され、上方が取出し可能に開放されている。 The accommodation box 4 is accommodated in a state where a large number (a plurality of) objects W are stacked, and the upper side is opened so that it can be taken out.
上記トレー6は、収容ボックス4の近く隣接して配置され、このトレー6のフラットに成形された上面は、対象物Wが他の対象物Wと重ねられていない状態(展開された状態)で載置される補給面6aになる。
The tray 6 is disposed adjacent to and close to the storage box 4, and the flat upper surface of the tray 6 is in a state where the object W is not overlapped with another object W (the unfolded state). It becomes the
作業ロボット3は、トレー6の補給面6a上の対象物W又は収容ボックス4内の対象物Wを保持し、この保持した対象物Wを図示しないワーク側に供給する供給作業を行う。ちなみに、収容ボックス4内への対象物Wの補給作業や、補給面6aへの対象物Wの補給作業は、作業ロボット3が行ってもよいし、或は、その他の図示しない専用の補給ロボット(図示しない)によって行ってもよい。すなわち、収容ボックス4及びトレー6(さらに具体的には補給面6a)は対象物Wが補給される補給部になる。
The work robot 3 holds the object W on the
上記工具スペース7には、対象物Wであるネジの締付ける作業を行うドライバや、ボルトを締付ける作業を行うレンチやスパナ等が用意されている。作業ロボット3は、これらの工具を利用し、上記供給した対象物を用いて他の部品をワークに組付ける組立作業を行う。なお、工具を用いず、作業ロボット3自体の機能のみによって、この組立作業を行ってもよい。 The tool space 7 is provided with a driver that performs a work of tightening a screw that is the object W, a wrench, a spanner, and the like that perform a work of tightening a bolt. The work robot 3 uses these tools to perform an assembly operation of assembling other parts to the workpiece using the supplied object. In addition, you may perform this assembly operation only by the function of the work robot 3 itself, without using a tool.
上記バーコード表示部8は、各種の1次元又は2次元のバーコードが印字やモニタ表示等によって表示される。このバーコードには、補給部である収容ボックス4や補給面6aに補給される対象物Wの情報や、この対象物Wを利用した組立作業の内容や位置の情報等が格納され、上記カメラ23によって、このバーコードを撮影し、このようにして撮影された画像から、該バーコードに格納されている情報取出す。
The bar code display unit 8 displays various one-dimensional or two-dimensional bar codes by printing, monitor display, or the like. This bar code stores information on the object W to be replenished to the storage box 4 and the
上記タグレール9はレール1と平行し、その内部には各種情報の書込や読取が可能な複数のICタグ9aが設けられている。このICタグ9aに対してリード・ライトされる情報は位置情報や作業情報等になる。
The tag rail 9 is parallel to the
そして、ベース2が一のICタグ9aに近接する(近い)位置までスライドされると、ベース2側からICタグ9aの情報が読取ることが可能であるとともに、該ベース2側からICタグ9aに情報を書込むことも可能である。
When the
例えば、所定位置にスライドされたベース2側から、近接しているICタグ9aに記憶された位置情報を読取って、その時点でのベース2のレール1上での位置を取得させるようなことも可能であり、或は、該ICタグ9aからその場所での作業内容を受取るようなことも可能である。一方、所定の作業を終えた後、ベース2側から、その作業内容を近接しているICタグ9aに書込み、管理させてもよい。
For example, the position information stored in the
以上のような部品組立装置では、制御部24(図4参照)によって、カメラ23等によって取得される各種情報に基づいて、ベース2のスライド作動、マニピュレータ12の各関節部17A,17B,17C,17D,17E,17Fの回動作動、ロボットハンド31の保持・保持解除作動の制御し、これによって、補給作業や供給作業や組立作業等を行う。
In the component assembling apparatus as described above, the control unit 24 (see FIG. 4) performs the slide operation of the
次に、図1乃至図7に基づき、制御部24の構成及びその制御の内容について、説明する。
Next, the configuration of the
図4は、制御部の構成を示すブロック図である。制御部24は、RAMやCPUがユニット化されたマイコンによって構成され、その内部には各種情報を記憶するROM等の記憶部24aが設けられ、制御部24は、この記憶部24aに記憶された情報を各種制御に利用するとともに、後述する手段により取得した情報を、該記憶部24aに記憶する。
FIG. 4 is a block diagram illustrating the configuration of the control unit. The
制御部24の入力側には、ベース2のレール1上でのスライド位置を検出するスライド位置検出センサ(スライド位置検出手段)26と、各関節部の回動位置を検出する回動位置検出センサ(回動位置検出手段)27A,27B,27C,27D,27E,27Fと、上述のカメラ23とが接続されている。なお、上述した通りに、ICタグ9aをベース2の位置情報取得に利用する場合には、スライド位置検出センサ26は省略可能である。また、回動位置検出センサ27A,27B,27C,27D,27E,27Fによってロボットハンド13のベース2に対する相対位置及び姿勢を検出可能になる。
On the input side of the
回動位置検出センサ27A,27B,27C,27D,27E,27Fは、各関節部17A,17B,17C,17D,17E,17Fに個別に設けられたポテンショメータ等であり、カメラ23は、上述した通り、作業ロボット3の先端部に設けてもよいし、上述した補給部を構成する補給面6a又は収容ボックス4の真上から真下を撮影するように設置してもよいし、或はこの両方に設けてもよい。
The rotational position detection sensors 27A, 27B, 27C, 27D, 27E, and 27F are potentiometers and the like provided individually at the
制御部24の出力側には、上述したベース側アクチュエータ11、マニピュレータ側アクチュエータ18A,18B,18C,18D,18E,18F及びロボットハンド側アクチュエータ22が接続されている。
To the output side of the
この他、制御部24には、ICタグ情報読取・書込手段(情報読取手段,情報書込手段)28と、通信手段29とが入出力可能に接続されている。ICタグ情報読取・書込手段28は、上述したICタグ9aからの情報の読取を行うとともに、該ICタグ9aへの情報の書込を行う。通信手段29は、この部品組立装置と、外部との間で情報のやり取りを行う際に用いられる。
In addition, an IC tag information reading / writing unit (information reading unit, information writing unit) 28 and a
そして、制御部24は、カメラ23からの画像に基づいて、対象物W自体の認識や、該認識した対象物の位置や姿勢の認識を行う。詳しく説明すると、対象物Wの端面W2aが着色されて他の部分よりも目立っており、この色の違い等を利用して、カメラ23からの撮影画像から、対象物W又はその端面W2aを識別することにより、対象物W自体を認識する。
Then, the
また、端面W2aの撮影画像から、該端面W2aの境界情報や色情報(他の部分との色の違いの情報を含む)を利用し、この端面W2aの形状や大きさを認識する。認識された形状や大きさから、対象物Wの位置や姿勢を認識する。この際、アフェイン変換等を用いて、カメラ23に対する相対的な位置及び姿勢を識別する。このようにカメラ23からの相対的な位置及び姿勢が認識できれば、該カメラ23のグローバル座標系での位置及び姿勢から、この対象物Wのグローバル座標系での位置及び姿勢を取得することが可能になる。
Further, the shape and size of the end face W2a are recognized from the captured image of the end face W2a by using boundary information and color information (including information on the difference in color from other parts) of the end face W2a. The position and orientation of the object W are recognized from the recognized shape and size. At this time, the relative position and orientation with respect to the
例えば、この対象物Wのカメラ23に対する相対的な位置及び姿勢の識別を、図3を例にして説明すると、対象物W自体を識別した後、カメラ23をX軸方向及びY軸方向に移動させ、端面W2aと、カメラ23のレンズ中心を平面視で一致させ、該対象物Wを真上から撮影すると、同図(B)に示すような画像を取得される。
For example, identification of the relative position and orientation of the object W with respect to the
この場合の端面W2aの形状は、該端面W2aを正面から見た円形状に比べて楕円状に歪んでおり、この歪みの程度から、対象物Wの水平面(補給面6a)に対する傾きθを算出することが可能であり、これによって対象物Wの姿勢を検出する。また、対象物Wのカメラ23からの距離は、端面W2aの大きさから識別可能であり、これによって対象物Wの位置も識別できる。
In this case, the shape of the end surface W2a is distorted in an elliptical shape compared to the circular shape when the end surface W2a is viewed from the front, and the inclination θ of the object W with respect to the horizontal plane (
なお、カメラ23の中心と端面W2aの中心とを一致させる必要は必ずしもなく、撮影画像からの取得される端面W2aの上記歪みの程度や大きさから、該カメラ23に対する対象物Wの相対位置や姿勢は識別可能であり、この端面W2aは上述のように着色され、他の部分との色の違いを利用できるため、上記識別をより正確且つ迅速に実行することが可能になる。
The center of the
この他、歪みや大きさの検出ができればよいため、カメラ23は、ステレオ視である必要はなく、単眼のもので十分であり、その位置が固定されたカメラ23でも、変位するカメラ23でも、どちらでもよい。本例では、作業ロボット3側に可動式のカメラ23を設け、補給部(さらに具体的には補給面6a)の真上側に真下方向に向けられた固定式のカメラ23を設けている。
In addition, since it is only necessary to be able to detect distortion and size, the
ちなみに、上述の識別を実現させるため、対象物Wの種類毎に、所定距離から正面視で端面W2を撮影した場合の該端面W2aの形状及び大きさを、上記識別の際に保持している必要がある。この情報は、記憶部24aに予め記憶させておいてもよいし、カメラ23によってバーコード表示部8に表示されたバーコードから取得してもよいし、ICタグ情報読取・書込手段28によってICタグ9aから取得してもよし、通信手段29によって外部から取得してもよい。また、認識を試みる対象物Wの種類に関する情報も、同様の手段によって、所定タイミングで取得する。
Incidentally, in order to realize the above-described identification, the shape and size of the end face W2a when the end face W2 is photographed from a predetermined distance in front view are held for each type of the object W at the time of the identification. There is a need. This information may be stored in advance in the
このようにして、対象物Wの位置及び姿勢が取得できれば、ベース2又はマニピュレータ12によってロボットハンド13の位置及び姿勢を制御し、ロボットハンド13の保持解除状態から保持状態への切換作動によって、対象物Wを所定姿勢で保持させることが可能になる。
If the position and orientation of the object W can be acquired in this way, the position and orientation of the
図5(A),(B)は、ロボットハンドによって対象物の保持させる一例を示し側面図及び平面図である。同図に示す例では、同図に示す例では、平面視で一対の挟持部21,21の間に対象物Wが位置し、側面視で、各挟持部21,21が対象物Wの軸部W1に沿う姿勢(さらに具体的には同一軸心となる姿勢)で、ロボットハンド13を保持作動(挟持部21,21同士を近接作動)させ、頭部W2の両側部を挟持して保持させる。そして、ベース2を所定位置にスライドさせ、作業ロボット3により、この対象物Wの供給作業や組立作業等を行う。
FIGS. 5A and 5B are a side view and a plan view showing an example in which an object is held by a robot hand. In the example shown in the figure, in the example shown in the figure, the object W is positioned between the pair of holding
ちなみに、ロボットハンド13の対象物Wの保持解除は、一対の挟持部21,21を互いに離間する方向に作動させることによって行う。
By the way, the holding release of the object W of the
図6は、ロボットハンドによって対象物の保持させる他例を示し側面図である。図5では、一対の挟持部21,21が側面視で対象物Wの軸部W1に沿う姿勢で、該対象物Wを保持させたが、図6に示す例では、一対の挟持部21,21が側面視で対象物Wの軸部W1に交差(さらに具体的には直交)する姿勢で、該対象物Wの軸部W1の周面を保持させている。
FIG. 6 is a side view showing another example in which an object is held by a robot hand. In FIG. 5, the pair of sandwiching
このように、予め定めた種々の姿勢で、ロボットハンド13により、対象物Wを保持させることが可能である。
Thus, the object W can be held by the
なお、ロボットハンド13によって保持させる対象となる対象物Wは、補給面6a上に存在している対象物Wでもよいし、或は、収容ボックス4内に存在している対象物Wであってもよいが、これは予め決めておく。
The target object W to be held by the
ちなみに、積み重ねられた状態の対象物W(具体的には、収容ボックス4内の対象物W)をロボットハンド13によってピッキングする際には、対象物W同士が平面視でラップして周囲の色が露出していない領域の割合も高いため、該対象物Wにおける端面W2aと、他の部分との色の違いがより有効的に活用される。
By the way, when picking the stacked object W (specifically, the object W in the storage box 4) with the
図7は、本部品組立装置による供給作業の処理手順を示すフロー図である。対象物Wの供給作業(部品供給方法)では、制御部24はステップS101から処理を開始する。ステップS101では、カメラ23やICタグ情報読取・書込手段28や通信手段29等を介して対象物の供給の要否を確認し、供給が不要であればステップS101に処理を戻す一方で、供給が必要であればステップS102に進む。
FIG. 7 is a flowchart showing a processing procedure of supply work by the component assembling apparatus. In the supply operation (part supply method) of the object W, the
ステップS102では、収容ボックス4内又は補給面6a(補給部)を撮影し、ステップS103に進む。ステップS103では、ステップS102で撮影した補給部の画像から、対象物Wが識別できたか否かを確認し、識別できていればステップS104に進む。ステップS104では、カメラ23を、前記識別した対象物W側に変位させるとともに、撮影方向が対象物Wを向くように姿勢を変更し、ステップS105に進む。
In step S102, the inside of the storage box 4 or the
ステップS105では、上述のようにして位置及び姿勢を変更したカメラ23によって前記識別した対象物Wを撮影し、ステップS106に進む。ステップS106では、ステップS105で撮影した画像から、カメラ23が対象物Wに対して良好な位置及び姿勢であるか否かを判断し、良好であればステップS107に進む一方で、良好でなければステップS104に処理を戻す。ちなみに、良好な姿勢及び位置とは、例えば、図3を用いた上述の説明の通りであり、対象物Wの位置や姿勢を正確に識別し易いか否か等を基準とし、良好でない場合には、ステップS6→ステップS104→ステップS105→ステップS106→・・・と進む処理によって、カメラ23がより良好な位置及び姿勢に変更される。
In step S105, the identified object W is photographed by the
ステップS107では、良好な位置及び姿勢のカメラ23によって撮影された画像から、対象物Wの位置及び姿勢を認識し、ステップS108に処理を進める。ステップS108では、認識された位置及び姿勢の情報に基づいて、対象物Wを保持し、ステップS109に進む。ステップS109では、保持した対象物Wを所定の組立箇所に供給し、処理をステップS101に戻す。
In step S107, the position and orientation of the object W are recognized from the image taken by the
ステップ103において、対象物Wが識別されていない場合には、ステップS110に進む。ステップS110では、補給部への対象物Wの補給作業を自身で実行するか、通信手段29を介して指示し、ステップS101に処理を戻す。
In step 103, if the object W has not been identified, the process proceeds to step S110. In step S110, the replenishment operation of the object W to the replenishment unit is executed by itself or an instruction is given via the
なお、図7に示す例では、可動式のカメラ23を用いる例について説明したが、固定式のカメラ23を用いる場合には、ステップS103において、対象物Wが識別された場合、ステップ105又はステップS107に進む。また、可動式のカメラ23であっても、ステップS106の処理を省略し、ステップS105→ステップS107と処理を進めてもよい。
In the example shown in FIG. 7, the example using the
以上のような構成によれば、単眼のカメラ23を用いて、容易に対処物Wの位置や姿勢を認識させることが可能であり、しかもその基準となる端面W2aは予め目立つ色に着色され、その識別精度は高いので、作業効率も向上する。
According to the configuration as described above, it is possible to easily recognize the position and posture of the countermeasure W using the
次に、図8に基づき、本発明の他の実施形態について、上述の形態と異なる部分を説明する。 Next, a different part from the above-mentioned form is demonstrated about other embodiment of this invention based on FIG.
図8は、本発明の他の実施形態に係る対象物の斜視図である。上述の形態では、対象物Wの頭部W2に形成された端面W2aを、単眼のカメラ23によって画像認識させているが、本形態では、対象物Wの軸部W1における頭部W2とは反対側(先端側)に形成されたフラットな端面W1aを、該カメラ23におって画像認識させ、同様の要領によって対象物W自体の認識や該対象物Wの位置及び姿勢の認識を行う。この際、この先端側の端面W1aを、基端側の端面W2aと同一の要領によって着色し、画像認識の精度を向上させる。
FIG. 8 is a perspective view of an object according to another embodiment of the present invention. In the above embodiment, the end face W2a formed on the head W2 of the object W is image-recognized by the
なお、この2つの端面W1a,W2aの何れか一方を識別対象として着色してもよいが、両方を識別対象として着色してもよく、この場合、端面W1a,W2aが先端側であるか基端側であるかを認識可能なアルゴリズムを搭載する必要があり、具体的には、大きなの違いや、形状の違いから、識別をさせることが可能である。 Note that either one of the two end faces W1a and W2a may be colored as an identification target, or both may be colored as an identification target. In this case, whether the end faces W1a and W2a are the distal end side or the proximal end. It is necessary to mount an algorithm capable of recognizing whether it is the side or not. Specifically, it is possible to discriminate from a large difference or a difference in shape.
次に、図1、図2、図4及び図9に基づき、本発明の他の実施形態について、上述の形態と異なる部分を説明する。 Next, based on FIG. 1, FIG. 2, FIG. 4 and FIG. 9, a different part from the above-mentioned form is demonstrated about other embodiment of this invention.
図1に仮想線で示す通り、補給部を構成する収容ボックス4及び補給面6aの一方又は両方(図する例では、補給面6a)を上方から照らす照明装置32を設けてもよい。この照明装置32は、明るさ(強度)を変更可能であるとともに、複数種類のLEDを用いる等によって発色(光の色)を変更可能である。
As indicated by phantom lines in FIG. 1, an
また、この照明装置32の設置に対応して、制御部24の出力側には、照明装置32の明暗及び発色を制御する照明制御手段33と、照明装置32の姿勢を切換えることにより、光の照射方向を変化させる照明装置用アクチュエータ34とが接続されている。
Corresponding to the installation of the
そして制御部24は、ステップS103やステップS107等における対象物Wの認識時、この照明装置32等を利用して該対象物Wのエッジ抽出処理を行い、この抽出されたエッジの情報を用いて、端面W1a,W2aを利用した対象物W自体の認識や対象物Wの位置及び姿勢の認識の精度を向上させる。
Then, when recognizing the object W in step S103, step S107, etc., the
図9は、エッジ抽出処理の手順を示すフロー図である。制御部24は、エッジ抽出処理を開始すると、ステップS201に進む。ステップS201では、対象物Wの周辺(具体的には、補給面6aや収容ボックスの内周面)の色と、該対象物Wとの色の違いから、該対象物Wのエッジを検出し、ステップS202に進む。
FIG. 9 is a flowchart showing the procedure of edge extraction processing. When starting the edge extraction process, the
ステップS202では、照明装置用アクチュエータ34によって照明装置32の姿勢切換を行い、これによって該照明装置32から対象物Wへの光の照射方向を変え、この際の影や反射光の変化等を利用して該対象物Wのエッジ検出を行い、ステップS203に進む。
In step S202, the illuminating
ステップS203では、照明制御手段33によって照明装置32から照射される光の強さ(明暗)を変え、この際の対象物Wとそれ以外の部分との境界の変化等を利用して該対象物Wのエッジ検出を行い、ステップS204に進む。
In step S203, the illumination control means 33 changes the intensity (brightness / darkness) of the light emitted from the
ステップS204では、照明制御手段33によって照明装置32から照射される光の色を変え、この際の対象物Wとそれ以外の部分との境界の変化等を利用して該対象物Wのエッジ検出を行い、ステップS205に進む。
In step S204, the color of light emitted from the
ステップS205では、それまでに起こったエッジ検出の結果それぞれに対して、重み付けを行って総合的に評価をし、ステップS206に進む。この総合評価は、例えば、ステップS201での検出値と、ステップS202での検出値と、ステップS203での検出値と、ステップS204での検出値とのそれぞれについて、重み付けを行い、その検出値を合算してもよい。 In step S205, each edge detection result that has occurred so far is weighted and comprehensively evaluated, and the process proceeds to step S206. In this comprehensive evaluation, for example, the detected value in step S201, the detected value in step S202, the detected value in step S203, and the detected value in step S204 are weighted, and the detected value is set. You may add up.
ステップS206では、ステップS205での総合評価に基づいて、対象物Wのエッジ(外形)抽出を行い、エッジ抽出の処理を終了させる。 In step S206, based on the comprehensive evaluation in step S205, the edge (outer shape) of the object W is extracted, and the edge extraction process is terminated.
このようなエッジ抽出処理によって、対象物W自体の検出や、端面W1a,W2aを利用した対象物Wの姿勢及び位置の検出を正確に行うことが可能になる。 Such an edge extraction process makes it possible to accurately detect the object W itself and detect the posture and position of the object W using the end faces W1a and W2a.
なお、照明装置32の明暗の変化と、照射方向の変化とは何れもエッジ検出のメインの要素として影を利用するものであるため、これらは1つの処理(具体的には、ステップS202での処理)でまとめて行い、上述のような別々の検出値ではなく、1つの検出値として扱ってもよい。
In addition, since the change of the brightness of the illuminating
また、照明装置32の明暗の変化と、照射方向の変化と、光の色の変加と、対象物Wの周辺色との色の違いとの内、一部の要素のみ(例えば一の要素のみ)を利用して、上記エッジ抽出の処理を行ってもよい。
Further, only some of the elements (for example, one element) among the change in brightness of the
さらに、上記照明装置32は、図2に示す通り、ロボットハンド13に装着してもよい。この場合には、照明装置用アクチュエータ34が不要になり、照明装置32を設けた場合でも、構成を簡略化することが容易になる。
Further, the
4 収容ボックス
6a 補給面
12 マニピュレータ(作動機構)
13 ロボットハンド(保持部)
23 カメラ
24 制御部
32 照明装置
33 照明制御手段
34 照明装置用アクチュエータ
W 対象物(ネジ,ボルト)
W1a 端面(先端側の端面)
W2a 端面(基端側の端面)
4
13 Robot hand (holding part)
23
W1a end face (end face on the tip side)
W2a end face (end face on the base end side)
Claims (6)
ネジ又はボルトが順次補給される補給部と、
前記補給部のネジ又はボルトを解除可能に保持する保持部と、
該保持部を姿勢切換作動可能且つ変位作動可能に支持する作動機構と、
前記補給部のネジ又はボルトを撮影するカメラと、
前記保持部及び作動機構の作動を制御する制御部とを備え、
該制御部は、
前記カメラによって撮影されたネジ又はボルトの画像から、該ネジ又はボルトの頭部における軸部の反対側に形成された基端側の端面の形状又は軸部の頭部とは反対の先端側の端面の形状を識別することにより、該ネジ又はボルトの姿勢を判別し、
上記ネジ又はボルトが予め定められた所定姿勢で前記保持部により保持されるように、上記判別された姿勢情報を利用して、前記保持部及び作動機構の作動を制御する
ことを特徴とする部品供給装置。 A component supply device for supplying screws or bolts,
A replenishment section in which screws or bolts are replenished sequentially;
A holding part for releasably holding the screw or bolt of the replenishing part;
An operation mechanism for supporting the holding portion so that the posture can be switched and the displacement can be operated;
A camera for photographing the screw or bolt of the replenishment unit;
A control unit for controlling the operation of the holding unit and the operation mechanism,
The control unit
From the image of the screw or bolt photographed by the camera, the shape of the proximal end surface formed on the opposite side of the shaft portion in the head portion of the screw or bolt or the tip side opposite to the head portion of the shaft portion By identifying the shape of the end face, determine the posture of the screw or bolt,
The component that controls the operation of the holding unit and the operating mechanism using the determined posture information so that the screw or the bolt is held by the holding unit in a predetermined posture determined in advance. Feeding device.
前記制御部は、カメラによって撮影されたネジ又はボルトの画像に対して、上記色の違いに基づいて前記端面の形状を識別する
請求項1に記載に部品供給装置。 The end face on the base end side or the end face on the tip end side of the screw or bolt is pre-painted with a color different from other parts,
The component supply device according to claim 1, wherein the control unit identifies the shape of the end surface based on the color difference with respect to an image of a screw or a bolt photographed by a camera.
記制御部は、
アクチュエータによって照明装置の照射方向を変化させ且つ該変化を利用してネジ又はボルトのエッジ抽出を行うか、或いは
照明制御手段によって照明装置から照射される光の明暗又は色を変化させ且つ該変化を利用してネジ又はボルトのエッジ抽出を行う
請求項1又は2の何れかに記載の部品供給装置。 A lighting device that irradiates light to screws or bolts,
The control unit
The illumination direction of the lighting device is changed by the actuator and the edge of the screw or bolt is extracted using the change, or the light control unit changes the brightness or color of the light emitted from the lighting device by the lighting control means. The component supply apparatus according to claim 1, wherein the screw or bolt edge extraction is performed.
前記カメラは、上記補給面に載置され且つ他のネジ又はボルトと重なっていないネジ又はボルトにおける上記基端側の端面又は先端側の端面の形状を識別する
請求項1乃至3の何れかに記載の部品供給装置。 The replenishment unit has a storage box that can be accommodated in a state where screws or bolts are stacked, and a replenishment surface on which the screws or bolts taken out from the storage box are deployed and placed,
4. The camera according to claim 1, wherein the camera identifies a shape of an end surface on the proximal end side or an end surface on the distal end side of a screw or bolt that is placed on the supply surface and does not overlap with another screw or bolt. The component supply apparatus described.
前記カメラは、上記収容ボックスに収容されたネジ又はボルトにおける上記基端側の端面又は先端側の端面の形状を識別する
請求項1乃至3の何れかに記載の部品供給装置。 The replenishment unit has a storage box that can be stored in a state where screws or bolts are stacked,
The component supply device according to any one of claims 1 to 3, wherein the camera identifies a shape of an end surface on the proximal end side or an end surface on a distal end side of a screw or a bolt accommodated in the accommodation box.
ネジ又はボルトが順次補給される補給部と、前記補給部のネジ又はボルトを解除可能に保持する保持部と、該保持部を姿勢切換作動可能且つ変位作動可能に支持する作動機構と、前記補給部のネジ又はボルトを撮影するカメラと、前記作動機構の作動を制御する制御部とを備えた部品供給装置に、前記ネジ又はボルトの位置及び姿勢を判別させるあたり、
前記ネジ又はボルトの頭部における軸部の反対側に形成された基端側の端面又は軸部の頭部とは反対の先端側の端面に他の部分とは異なる色を予め塗装し、
該制御部は、
前記カメラによって撮影されたネジ又はボルトの画像に対して、上記色の違いに基づいて、上記基端側の端面又は上記先端側の端面の形状を識別することにより、該ネジ又はボルトの姿勢を判別し、
上記ネジ又はボルトが予め定められた所定姿勢で前記保持部により保持されるように、上記判別された姿勢情報を利用して、前記保持部及び作動機構の作動を制御する
ことを特徴とするネジ又はボルトを供給する部品供給方法。 A component supply method for supplying screws or bolts,
A replenishing portion to which screws or bolts are replenished sequentially; a holding portion for releasably holding the screws or bolts of the replenishing portion; an operating mechanism for supporting the holding portion so as to allow posture switching operation and displacement operation; and the replenishment When letting a component supply device provided with a camera that captures a screw or bolt of a part and a control unit that controls the operation of the operating mechanism determine the position and orientation of the screw or bolt,
Preliminarily paint a different color from the other parts on the end face on the base end side formed on the opposite side of the shaft part in the head of the screw or bolt or the end face on the tip side opposite to the head part of the shaft part,
The control unit
By identifying the shape of the end face on the proximal end side or the end face on the distal end side based on the difference in color with respect to the image of the screw or bolt photographed by the camera, the posture of the screw or bolt is determined. Discriminate,
The operation of the holding unit and the operating mechanism is controlled using the determined posture information so that the screw or bolt is held by the holding unit in a predetermined posture determined in advance. Or a component supply method for supplying bolts.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016134428A JP6818291B2 (en) | 2016-07-06 | 2016-07-06 | Parts supply equipment and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016134428A JP6818291B2 (en) | 2016-07-06 | 2016-07-06 | Parts supply equipment and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018001372A true JP2018001372A (en) | 2018-01-11 |
JP6818291B2 JP6818291B2 (en) | 2021-01-20 |
Family
ID=60947035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016134428A Active JP6818291B2 (en) | 2016-07-06 | 2016-07-06 | Parts supply equipment and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6818291B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003039364A (en) * | 2001-08-02 | 2003-02-13 | Denso Corp | Attitude recognition device of three-dimensional part and attitude recognition method therefor |
JP2010275094A (en) * | 2009-06-01 | 2010-12-09 | Honda Motor Co Ltd | Part feeder |
JP2015232486A (en) * | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | Image inspection device |
-
2016
- 2016-07-06 JP JP2016134428A patent/JP6818291B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003039364A (en) * | 2001-08-02 | 2003-02-13 | Denso Corp | Attitude recognition device of three-dimensional part and attitude recognition method therefor |
JP2010275094A (en) * | 2009-06-01 | 2010-12-09 | Honda Motor Co Ltd | Part feeder |
JP2015232486A (en) * | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | Image inspection device |
Also Published As
Publication number | Publication date |
---|---|
JP6818291B2 (en) | 2021-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10235588B1 (en) | System and method for adaptively conformed imaging of work pieces having disparate configuration | |
US8082064B2 (en) | Robotic arm and control system | |
CN105171374B (en) | For the system and method for being positioned relative to each other vehicle part | |
JP6898433B2 (en) | Bending machine with work area image detector | |
US11082621B2 (en) | Object inspection device, object inspection system and method for adjusting inspection position | |
WO2021039829A1 (en) | Production system | |
JP6069275B2 (en) | Positioning device for terminal insertion | |
CN104044132A (en) | Robot System And Method For Producing To-be-processed Material | |
JP2009148845A (en) | Small-size production equipment | |
CN109945780B (en) | Object inspection system and object inspection method | |
US11247304B2 (en) | Workpiece information recognition system | |
JP2010162638A (en) | Robot hand | |
JP6621351B2 (en) | Image processing apparatus and image processing method for laser processing | |
US10656097B2 (en) | Apparatus and method for generating operation program of inspection system | |
JP2008168372A (en) | Robot device and shape recognition method | |
JP5088186B2 (en) | Robot apparatus and control method of robot apparatus | |
JP5762514B2 (en) | Tool magazine device | |
JP2021043167A (en) | Tool inspection system | |
US20190105780A1 (en) | End effector calibration assemblies, systems, and methods | |
JP2018001372A (en) | Component supply device and method | |
US11090812B2 (en) | Inspection apparatus for optically inspecting an object, production facility equipped with the inspection apparatus, and method for optically inspecting the object using the inspection apparatus | |
JP2012228757A (en) | Teaching method of robot, teaching device of robot, and program | |
CN113858214B (en) | Positioning method and control system for robot operation | |
CN211047019U (en) | Multi-angle image acquisition system | |
JP2009172720A (en) | Bin picking device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170803 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190531 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200903 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6818291 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |