JP6044396B2 - Foreign object detection device and parts feeder - Google Patents

Foreign object detection device and parts feeder Download PDF

Info

Publication number
JP6044396B2
JP6044396B2 JP2013042845A JP2013042845A JP6044396B2 JP 6044396 B2 JP6044396 B2 JP 6044396B2 JP 2013042845 A JP2013042845 A JP 2013042845A JP 2013042845 A JP2013042845 A JP 2013042845A JP 6044396 B2 JP6044396 B2 JP 6044396B2
Authority
JP
Japan
Prior art keywords
image
work
light source
workpiece
foreign object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013042845A
Other languages
Japanese (ja)
Other versions
JP2014168763A (en
Inventor
安田 克己
克己 安田
正晃 岡
正晃 岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sinfonia Technology Co Ltd
Original Assignee
Sinfonia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sinfonia Technology Co Ltd filed Critical Sinfonia Technology Co Ltd
Priority to JP2013042845A priority Critical patent/JP6044396B2/en
Publication of JP2014168763A publication Critical patent/JP2014168763A/en
Application granted granted Critical
Publication of JP6044396B2 publication Critical patent/JP6044396B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、搬送対象物であるワークを搬送可能な搬送路上に混入し得る異物の存在を検出する異物検出装置、及びその異物検出装置を備えたパーツフィーダに関するものである。   The present invention relates to a foreign matter detection device that detects the presence of foreign matter that may be mixed on a transport path capable of transporting a workpiece that is a transport target, and a parts feeder that includes the foreign matter detection device.

従来より、電子部品等の搬送対象物であるワークを振動により搬送路に沿って所定の搬送先へ搬送するパーツフィーダが知られている。この種のパーツフィーダは、搬送路を有する搬送体(例えばボウルフィーダやリニアフィーダ)全体に対して起振源によって振動を与えることにより、ワークを搬送路の上流端から下流端に向かって搬送し、所定の搬送先にワークを連続して供給できるように構成されている。   2. Description of the Related Art Conventionally, there is known a parts feeder that conveys a workpiece that is a conveyance object such as an electronic component to a predetermined conveyance destination along a conveyance path by vibration. This type of parts feeder conveys the workpiece from the upstream end to the downstream end of the conveyance path by applying vibration to the entire conveyance body having a conveyance path (for example, a bowl feeder or a linear feeder) by an excitation source. The workpiece can be continuously supplied to a predetermined conveyance destination.

このようなパーツフィーダにおいて、ワーク以外の異物が搬送路上に混入してワークと共に搬送される場合があり、異物がワークと共に所定の搬送先(供給先)まで搬送される事態は回避しなければならない。   In such a parts feeder, foreign matter other than the workpiece may be mixed with the workpiece and conveyed along with the workpiece, and a situation where the foreign material is conveyed with the workpiece to a predetermined conveyance destination (supply destination) must be avoided. .

そこで、供給先にワークのみを搬送(供給)できるように、例えば、搬送路の側壁(搬送側面)に異物除去用窓を形成したり(例えば特許文献1)、搬送床面に搬送方向に延伸する溝を形成し、この溝に妨錆油や鉄くず等の異物を収容する(例えば特許文献2)ことで、上記のような異物が供給先まで搬送される事態に対処するように構成されたものが知られている。   Therefore, for example, a foreign substance removal window is formed on the side wall (conveyance side surface) of the conveyance path so that only the workpiece can be conveyed (supplied) to the supply destination (for example, Patent Document 1), or extended in the conveyance direction on the conveyance floor surface. It is configured to cope with a situation in which foreign matter such as that described above is conveyed to the supply destination by forming foreign grooves such as rust preventive oil and iron scrap in this groove (for example, Patent Document 2). Is known.

特開平8−002653号公報JP-A-8-002653 特開2010−089958号公報JP 2010-089958 A

ところで、例えばワークに対して電気メッキを行う際に電気を通電する媒体として使用されるメディア或いはメディアボールと呼ばれる球状の異物が搬送路に混入する場合がある。このような球状の異物も、搬送面に形成した上述の窓や溝によって搬送面から除去する方法も考え得る。   By the way, for example, when a workpiece is electroplated, a spherical foreign substance called a medium or a media ball used as a medium for energizing electricity or a media ball may be mixed in the conveyance path. A method of removing such spherical foreign substances from the conveyance surface by the above-described windows and grooves formed on the conveyance surface is also conceivable.

しかしながら、搬送面の所定箇所に形成した窓や溝を通じて異物を搬送路上から除去する構成では、異物が窓や溝に必ず到達する(通過する)ことを前提として、この前提条件を満たした異物(すなわち窓や溝に到達した異物)を搬送路から除去することができる一方で、窓や溝に到達しない異物については除去することができない。   However, in a configuration in which foreign matter is removed from the transport path through a window or groove formed at a predetermined position on the transport surface, a foreign matter that satisfies this precondition (assuming that the foreign matter always reaches (passes) the window or groove) ( That is, foreign matter that has reached the window or groove can be removed from the conveyance path, while foreign matter that has not reached the window or groove cannot be removed.

このような不具合は、異物の除去処理に際して、搬送路上における異物の存在を検出することなく、窓や溝に到達した異物だけを機械的に除去するという技術的思想を採用していることによるものと考えられる。   Such defects are due to the technical idea of mechanically removing only the foreign matter that has reached the window or groove without detecting the presence of the foreign matter on the transport path during the foreign matter removal process. it is conceivable that.

すなわち、これまでは、搬送路上においてワークに混在する異物を積極的に検出するという技術的思想は着想されず、そのような技術的思想を具体化した装置が実機に実装されることはなかった。   In other words, until now, the technical idea of positively detecting foreign matter mixed in a workpiece on the conveyance path has not been conceived, and an apparatus embodying such a technical idea has never been implemented in an actual machine. .

本願発明者は、このような点に着目し、これまで着想されることがなかった搬送路上における異物の存在を積極的に検出する異物検出装置、及び異物検出装置を備えたパーツフィーダを発明するに至った。   The inventor of the present application pays attention to such points, and invents a foreign matter detection device that positively detects the presence of foreign matter on the transport path that has not been conceived so far, and a parts feeder including the foreign matter detection device. It came to.

すなわち本発明に係る異物検出装置は、搬送面を有する搬送路の延伸方向に沿って搬送対象物であって表面が主として平面で構成されたワークを所定の搬送先へ搬送する際に、搬送面上にワークと共に混入し得る表面が主として曲面で構成された異物を検出するものであり、搬送面における所定領域を照射する第1光源と、搬送面における所定領域を第1光源よりも大きい入射角であって且つ第1光源とは異なる波長の光線で照射する第2光源と、第1光源及び第2光源の同時照射時の画像を記録する撮像部と、撮像部が記録した画像に基づいて所定の処理を行う画像処理部とを備えていることを特徴としている。特に、本発明に係る異物検出装置は、画像処理部として、撮像部が記録した画像を取り込む画像取込手段と、画像取込手段で取り込んだ画像から第1光源に基づく第1画像及び第2光源に基づく第2画像をそれぞれ抽出する抽出手段と、抽出手段で抽出した第1画像のうち所定の幾何学的特徴量を有する像をワークの像であるワーク像として特定するワーク像特定手段と、抽出手段で抽出した第2画像からワーク像特定手段で特定したワーク像に対応する領域を除去するワーク像除去手段と、ワーク像除去手段によってワーク像を除去した第2画像に基づいて所定の面積以上の像を異物の像である異物像として特定する異物像特定手段とを備えたものを適用していることを特徴としている。   In other words, the foreign object detection device according to the present invention provides a conveyance surface when conveying a workpiece, which is a conveyance object along the extending direction of a conveyance path having a conveyance surface, and whose surface is mainly a flat surface to a predetermined conveyance destination. A first light source that irradiates a predetermined area on the transport surface and an incident angle at which the predetermined area on the transport surface is larger than that of the first light source is to detect a foreign object whose surface that can be mixed with the workpiece is mainly a curved surface. And a second light source that irradiates with a light beam having a wavelength different from that of the first light source, an imaging unit that records an image at the time of simultaneous irradiation of the first light source and the second light source, and an image recorded by the imaging unit And an image processing unit that performs predetermined processing. In particular, the foreign object detection device according to the present invention includes, as an image processing unit, an image capturing unit that captures an image recorded by an imaging unit, and a first image and a second image based on a first light source from the image captured by the image capturing unit. Extracting means for respectively extracting second images based on the light source; and work image specifying means for specifying an image having a predetermined geometric feature amount as a work image that is an image of the work among the first images extracted by the extracting means; A workpiece image removing unit for removing a region corresponding to the workpiece image identified by the workpiece image identifying unit from the second image extracted by the extracting unit; and a second image obtained by removing the workpiece image by the workpiece image removing unit. A feature of the present invention is that it is provided with a foreign object image specifying means for specifying an image larger than the area as a foreign object image which is a foreign object image.

ここで、本発明における「搬送路」は、直線状や螺旋状など特にその形状が限定されるものではない。またワークとしては、例えば電子部品などの微小部品を挙げることができるが、電子部品以外のワークであってもよい。本発明の異物検出装置の検出対象である異物には、表面の全部が曲面である球状(楕円球状も含む)のものや、表面の一部が曲面であるものが含まれる。   Here, the shape of the “conveyance path” in the present invention is not particularly limited, such as a linear shape or a spiral shape. Examples of the work include minute parts such as electronic parts, but may be works other than electronic parts. The foreign object to be detected by the foreign object detection device of the present invention includes a spherical surface (including an elliptical sphere) whose entire surface is a curved surface, and a foreign material whose surface is a curved surface.

本発明に係る異物検出装置では、曲面と平坦な平滑面とでは反射の仕方が異なることを利用し、相対的に入射角の小さい第1光源及び相対的に入射角の大きい第2光源によって搬送面の所定領域を照射し、撮像部で、ワークからの反射光及び異物からの反射光に基づく撮像画像(例えば、2つの光源が異なる色の可視光線であればカラー画像)を得て、その撮像画像から抽出手段によって第1画像と第2画像を抽出する。すると、第1画像には、第1光源の波長に由来する反射光の画像が写るとともに、第2画像には、第2光源の波長に由来する反射光の画像が写ることになる。   The foreign object detection device according to the present invention utilizes the fact that the curved surface and the flat smooth surface are reflected differently, and is transported by the first light source having a relatively small incident angle and the second light source having a relatively large incident angle. The predetermined area of the surface is irradiated, and the imaging unit obtains a captured image (for example, a color image if the two light sources are visible light beams of different colors) based on the reflected light from the workpiece and the reflected light from the foreign object. A first image and a second image are extracted from the captured image by an extraction unit. Then, an image of reflected light derived from the wavelength of the first light source appears in the first image, and an image of reflected light derived from the wavelength of the second light source appears in the second image.

ここで、相対的に入射角の小さい第1光源に基づく第1画像には、異物のうち撮像部の光軸方向において最も撮像部に近い曲面の頂上部分のみが写るか、または異物が極めて小さいものであれば頂上部分の面積もごく僅かであることから第1画像にはほとんど写らないことになる。一方、ワークの平面形状(撮像部の設置箇所から見たワークの形状)に相当する像は第1画像に鮮明に映る。したがって、この第1画像をワーク特定用画像として利用することが可能である。   Here, in the first image based on the first light source having a relatively small incident angle, only the top portion of the curved surface that is closest to the imaging unit in the optical axis direction of the imaging unit is captured or the foreign material is extremely small. If it is a thing, since the area of a top part is very small, it will hardly be reflected in a 1st image. On the other hand, an image corresponding to the planar shape of the workpiece (the shape of the workpiece viewed from the location where the imaging unit is installed) is clearly displayed in the first image. Therefore, this first image can be used as a work specifying image.

また、相対的に入射角の大きい第2光源に基づく第2画像には、異物のうち、撮像部の光軸方向において最も撮像部に近い点及びその周辺部分(球状の異物であれば撮像時点における頂上部分)は鮮明にはほとんど写らないものの、他の部分は鮮明に写る。したがって、この第2画像を異物特定用画像として利用することが可能である。   Further, the second image based on the second light source having a relatively large incident angle includes, among foreign matters, a point closest to the image pickup unit in the optical axis direction of the image pickup unit and its peripheral portion (if the foreign object is spherical, the time of image pickup. The top part of) is hardly visible, but the other parts are clearly visible. Therefore, this second image can be used as a foreign matter specifying image.

そして、本発明の係る異物検出装置は、画像処理部のワーク像特定手段によって、第1画像に写る像のうち所定の幾何学的特徴量を有する像をワーク像として特定し、第2画像からワーク像特定手段で特定したワーク像に対応する領域をワーク像除去手段によって除去する。この時点で、第2画像には、ワーク像に相当する領域が除去されており、異物像特定手段によって、この第2画像中に写る像のうち所定の面積以上の像を異物像として特定することができる。ここで、「幾何学的特徴量」とは、幾何学的な特徴を数値化した値であり、本発明におけるワーク像特定手段は、第1画像に写る像のうち、例えばワーク像であれば満たすべき幾何学特徴量を有する像を「ワーク像」として特定するものである。「像の幾何学的特徴量」としては、「像の面積」や後述する「像の最大Feret径」或いは「像の最小Feret径」等を挙げることができる。また、ワーク特定手段において、ワーク像を特定する際の基準となる像の幾何学的特徴量の種類(数)は1種類(例えば「像の面積」のみなど)であってもよいし、複数種類(例えば、「像の面積」、「像の最大Feret径」及び「像の最小Feret径」の3種類など)であってもよい。   Then, the foreign object detection apparatus according to the present invention specifies an image having a predetermined geometric feature amount as an image of a work image among the images shown in the first image by the work image specifying means of the image processing unit, and from the second image The area corresponding to the work image specified by the work image specifying means is removed by the work image removing means. At this time, the area corresponding to the work image is removed from the second image, and the image of a predetermined area or more of the images appearing in the second image is specified as the foreign object image by the foreign object specifying means. be able to. Here, the “geometric feature value” is a value obtained by digitizing a geometric feature, and the workpiece image specifying means in the present invention is, for example, a workpiece image among the images reflected in the first image. An image having a geometric feature value to be satisfied is specified as a “work image”. Examples of the “image geometric feature” include “image area”, “maximum image ferret diameter”, “image minimum feret diameter”, and the like. In the work specifying means, the type (number) of geometric feature values of the image serving as a reference when specifying the work image may be one type (for example, only “image area”), or a plurality of types. It may be of a type (eg, “image area”, “maximum image ferret diameter”, and “image minimum feret diameter”).

このように、本発明に係る異物検出装置は、波長が相互に異なる光源(第1光源,第2光源)で搬送路上の所定領域を照射して得られる画像を単一の撮像部で記録することで、第1画像に写るワークの位置と、第2画像に写るワークの位置とを相互に矛盾なく対応させることが可能であり、ワーク像除去手段により第2画像において第1画像で特定したワークの領域に対応する領域を除去する際に、第2画像中のワーク像に相当する領域を第2画像中から除去することができ、そのワーク像相当領域除去処理後の第2画像に基づいて異物を正確に検出することができる。   As described above, the foreign object detection apparatus according to the present invention records an image obtained by irradiating a predetermined area on the conveyance path with light sources having different wavelengths (first light source, second light source) with a single imaging unit. Thus, the position of the work shown in the first image and the position of the work shown in the second image can be made to correspond to each other without any contradiction, and the first image is specified in the second image by the work image removing means. When the area corresponding to the work area is removed, the area corresponding to the work image in the second image can be removed from the second image, and based on the second image after the work image equivalent area removal processing. Thus, foreign objects can be detected accurately.

さらに、本発明に係る異物検出装置であれば、第1画像におけるワーク像を特定する一方で、第2画像におけるワーク像を特定する処理は不要であるため、第2画像中のワーク像をも特定する処理が必要な構成と比較して処理手順の単純化を図ることができる。   Furthermore, with the foreign object detection device according to the present invention, the work image in the first image is specified, while the work image specifying process in the second image is not necessary. The processing procedure can be simplified as compared with a configuration that requires processing to be specified.

また、本発明に係る異物検出装置では、第1光源及び第2光源の照射領域に、向きが揃っていない(整列していない)複数のワークが相互に接触した状態で通過した場合であっても、ワーク同士が撮像部に対峙する上向き面同士ではなく側面や角あるいは辺同士で接触していれば、ワーク特定用画像として用いる第1画像では、ワーク像に相当する部分が相互に連続していない(接触してない)像として写し出されるため、この第1画像を用いてワーク像を容易に特定することができる。その結果、第2画像のうち、第1画像中のワーク像を特定した領域(ワーク像特定領域)に応じた領域を除去する処理もスムーズに行うことができ、ワーク像特定領域に応じた領域を除去した第2画像に基づいて、異物特定手段による異物特定処理を実行することで、異物を検出するまでの処理を効率良く適切に行うことができる。   In the foreign object detection device according to the present invention, a plurality of workpieces whose directions are not aligned (not aligned) have passed through the irradiation regions of the first light source and the second light source while being in contact with each other. However, if the workpieces are in contact with each other on the sides, corners, or sides rather than the upward surfaces facing the imaging unit, in the first image used as the workpiece specifying image, portions corresponding to the workpiece images are continuous with each other. Since the image is projected as a non-contact (not touching) image, the work image can be easily specified using the first image. As a result, it is possible to smoothly perform the process of removing the area corresponding to the area (work image specifying area) in which the work image in the first image is specified in the second image, and the area corresponding to the work image specifying area. By executing the foreign matter specifying process by the foreign matter specifying means based on the second image from which the foreign matter is removed, it is possible to efficiently and appropriately perform the processing until the foreign matter is detected.

特に、本発明の異物検出装置におけるワーク像特定手段が、第1画像を所定回数収縮させる収縮処理を行い、収縮処理した第1画像のうち所定の幾何学的特徴量を有する像をワーク像として特定するものであれば、収縮処理後の第1画像中における異物の頂上部分に相当する面積はより一層小さくなり、収縮処理を行わない場合と比較して、ワーク像特定手段によるワーク像特定処理をスムーズ且つ簡単に行うことができる。また、複数のワークが接触している状態が撮像画像として記録された場合であっても、第1画像を所定回数収縮させる処理を行うことで、ワーク同士を離間させた画像にすることができ、これもまたワーク像特定手段によるワーク像特定処理の効率向上に貢献する。   In particular, the workpiece image specifying means in the foreign object detection device of the present invention performs a contraction process for contracting the first image a predetermined number of times, and an image having a predetermined geometric feature amount among the contracted first images is used as the work image. If specified, the area corresponding to the top portion of the foreign matter in the first image after the shrinking process is further reduced, and the work image specifying process by the work image specifying unit is compared with the case where the shrinking process is not performed. Can be performed smoothly and easily. Further, even when a state in which a plurality of workpieces are in contact is recorded as a captured image, it is possible to obtain an image in which the workpieces are separated from each other by performing a process of contracting the first image a predetermined number of times. This also contributes to improving the efficiency of the work image specifying process by the work image specifying means.

ところで、第2画像は、相対的に入射角の大きい第2光源に基づく画像であることから、第2画像には、ワークのうち撮像部に対向する面(対向面)のみならず、ワークの側面、または側面と対向面との境界部分(面取り処理されているワークであれば面取り部分)が写ることがある。したがって、第2画像に写るワークに相当する領域の面積は、第1画像に写るワークに相当する領域の面積よりも大きいことがある。この場合、ワーク像を特定した第1画像に基づいて第2画像中のワーク像特定領域に相当する領域を単純に除去した場合、第2画像に写るワークに相当する領域の面積から、第1画像に写るワークに相当する領域の面積を引いて余る部分が、第2画像中に枠状の像として残るという事象が生じ得る。本発明に係る異物検出装置において、このような事象を回避するには、ワーク像除去手段として、ワーク像特定手段によってワーク像を特定した第1画像を所定回数膨張させる膨張処理を行い、第2画像のうち、膨張処理した第1画像においてワーク像として特定した領域に対応する領域を除去するものを適用すればよい。   By the way, since the second image is an image based on the second light source having a relatively large incident angle, the second image includes not only the surface (opposite surface) facing the imaging unit of the workpiece but also the workpiece. There may be a side surface or a boundary portion between the side surface and the opposing surface (a chamfered portion in the case of a chamfered workpiece). Therefore, the area of the area corresponding to the work shown in the second image may be larger than the area of the area corresponding to the work shown in the first image. In this case, when the area corresponding to the work image specifying area in the second image is simply removed based on the first image specifying the work image, the first area is calculated based on the area of the area corresponding to the work shown in the second image. There may occur an event in which a surplus part of the area corresponding to the work shown in the image remains as a frame-like image in the second image. In the foreign object detection device according to the present invention, in order to avoid such an event, as the work image removal unit, an expansion process is performed to expand the first image in which the work image is specified by the work image specifying unit a predetermined number of times. What removes the area | region corresponding to the area | region specified as a work image in the 1st image which carried out the expansion process among images should just be applied.

このように、ワーク像除去手段において、ワーク像特定手段でワーク像を特定した第1画像を所定回数膨張させる膨張処理を行うことで、膨張処理後の第1画像に写し出されるワーク像の領域を、第2画像におけるワーク像に相当する領域よりも大きくすることが可能になる。その結果、第2画像のうち、膨張処理した第1画像においてワーク像特定領域に対応する領域を除去した場合に、第2画像中におけるワーク像に相当する領域を完全に除去することができ、その除去処理後の第2画像中に写し出されている像に対して異物か否かを特定する処理を行えばよいことになり、異物検出処理効率の向上に役立つ。   In this way, the work image removing means performs the expansion process for expanding the first image whose work image has been specified by the work image specifying means a predetermined number of times, so that the area of the work image projected on the first image after the expansion process can be reduced. It is possible to make the area larger than the area corresponding to the work image in the second image. As a result, in the second image, when the region corresponding to the work image specific region is removed from the dilated first image, the region corresponding to the work image in the second image can be completely removed, The image projected in the second image after the removal process only needs to be subjected to a process of specifying whether or not it is a foreign object, which helps to improve the efficiency of the foreign object detection process.

また、本発明に係るパーツフィーダは、搬送路を振動させて搬送対象物であるワークを搬送路に沿って所定の搬送先へ搬送可能なものであり、上述した異物検出装置を備えていることを特徴としている。   In addition, the parts feeder according to the present invention can vibrate the conveyance path to convey a workpiece, which is a conveyance object, to a predetermined conveyance destination along the conveyance path, and includes the foreign substance detection device described above. It is characterized by.

このようなパーツフィーダであれば、上述した異物検出装置に基づく顕著な作用効果を発揮し、適切な異物検出処理を行うことができるパーツフィーダとなる。   If it is such a parts feeder, it will become a parts feeder which exhibits the remarkable effect based on the foreign material detection apparatus mentioned above, and can perform an appropriate foreign material detection process.

なお、特開2007−294576号公報には、「半導体装置2は基板11上に形成された基準マーク13と、基板11上に載置された導電性ボール12とから構成され、検査装置1は、第1,第2照明手段5、6よりそれぞれ青色および赤色の色からなる光を同時に照射し、撮影手段4はこの半導体装置2の画像を一度だけ撮影する。撮影手段4は半導体装置2についてのカラー画像を撮影し、画像処理手段7は撮影された画像を青色の画像と赤色の画像とに分離した後、基準マーク13に対する各導電性ボール12の相対位置及び、過剰な導電性ボール12の有無等について検査を行う」技術が開示されているものの、当該公報記載の技術は、複数種類の構成物からなる検査対象である半導体装置を画像処理によって検査する検査装置、とりわけ、「例えば基板上に導電性ボールを載置した半導体装置の検査を行う検査装置」において、「画像処理手段7は上記画像(撮影手段4で撮影した半導体装置2についてのカラー画像)から上述した手順で基準マーク13と導電性ボール12との相対位置を認識し、導電性ボール12の有無、位置、大きさ、ピッチ、過剰載置の有無について、それぞれ判定を行う」ものである。   Japanese Patent Laid-Open No. 2007-294576 states that “the semiconductor device 2 is composed of a reference mark 13 formed on the substrate 11 and a conductive ball 12 placed on the substrate 11. The first and second illumination means 5 and 6 simultaneously irradiate light of blue and red colors, respectively, and the photographing means 4 takes an image of the semiconductor device 2 only once. The image processing means 7 separates the captured image into a blue image and a red image, and then the relative position of each conductive ball 12 with respect to the reference mark 13 and the excessive conductive ball 12. Although the technique of “inspecting for the presence or absence of the” is disclosed, the technique described in the publication is an inspection apparatus that inspects a semiconductor device to be inspected composed of a plurality of types of components by image processing, In particular, in “an inspection apparatus for inspecting a semiconductor device in which a conductive ball is placed on a substrate, for example”, “the image processing means 7 is based on the above-mentioned image (color image of the semiconductor device 2 taken by the photographing means 4). The relative position between the reference mark 13 and the conductive ball 12 is recognized by the above-described procedure, and the presence / absence, position, size, pitch, and presence / absence of excessive mounting of the conductive ball 12 are determined.

そして、搬送路においてワークに混在する異物を検出するという技術的思想、及び本発明の異物検出装置が備える画像処理部での処理内容は、上記公報に開示も示唆もされていない。したがって、上記公報は、本発明の新規性はもちろんのこと、進歩性を否定する先行技術文献として作用するものではないことを敢えて付言しておく。   The technical idea of detecting foreign matter mixed in a workpiece in the conveyance path and the processing content of the image processing unit provided in the foreign matter detection device of the present invention are neither disclosed nor suggested in the above publication. Accordingly, it should be noted that the above publication does not act as a prior art document that denies inventive step as well as novelty of the present invention.

本発明によれば、当該技術分野において実現されることのなかった「搬送路上に異物がある場合にその存在を的確に検出する異物検出装置、及びこのような異物検出装置を備えたパーツフィーダ」を実現することができる。つまり、本発明によれば、照射面である搬送床面に対する入射角及び波長が相互に異なる第1光源及び第2光源で同時に照射し、その反射光を共通の撮像部で記録した撮像画像に基づいて、画像処理部によって、第1光源の照射光に基づく第1画像と、第2光源の照射光に基づく第2画像とに個別に抽出し、同じ撮影ポイントにおける同時刻の第1画像及び第2画像をそれぞれワーク特定用画像、異物特定用画像として用いて上述の処理を行うことにより、搬送床面上の異物を正確に検出して特定することができる。   According to the present invention, a “foreign matter detection device that accurately detects the presence of foreign matter on a conveyance path and a parts feeder including such a foreign matter detection device” has not been realized in the technical field. Can be realized. That is, according to the present invention, the first light source and the second light source having different incident angles and wavelengths with respect to the conveyance floor surface, which is the irradiation surface, are simultaneously irradiated with the reflected light to the captured image recorded by the common imaging unit. Based on this, the image processing unit individually extracts the first image based on the irradiation light of the first light source and the second image based on the irradiation light of the second light source, and the first image at the same time at the same shooting point and By performing the above-described processing using the second image as the workpiece specifying image and the foreign object specifying image, the foreign object on the conveyance floor surface can be accurately detected and specified.

本発明の一実施形態に係る異物検出装置を備えたパーツフィーダの要部模式図。The principal part schematic diagram of the parts feeder provided with the foreign material detection apparatus which concerns on one Embodiment of this invention. 同実施形態における画像処理部の機能ブロック図。The functional block diagram of the image processing part in the embodiment. 同実施形態におけるワークの反射光について説明する図。The figure explaining the reflected light of the workpiece | work in the embodiment. 同実施形態におけるワークの反射光について説明する図。The figure explaining the reflected light of the workpiece | work in the embodiment. 同実施形態における異物の反射光について説明する図。The figure explaining the reflected light of the foreign material in the embodiment. 同実施形態における異物の反射光について説明する図。The figure explaining the reflected light of the foreign material in the embodiment. 同実施形態において搬送面上を搬送するワーク及び異物の一例を示す図。The figure which shows an example of the workpiece | work and foreign material which convey on the conveyance surface in the same embodiment. 同実施形態における撮像画像の一例を示す図。The figure which shows an example of the captured image in the same embodiment. 図8の撮像画像に基づいて抽出手段で抽出した第1画像を示す図。The figure which shows the 1st image extracted by the extraction means based on the captured image of FIG. 図8の撮像画像に基づいて抽出手段で抽出した第2画像を示す図。The figure which shows the 2nd image extracted by the extraction means based on the captured image of FIG. 図9の第1画像に対して2値化処理をした図。The figure which performed the binarization process with respect to the 1st image of FIG. 図11の第1画像に対して収縮処理をした図。FIG. 12 is a diagram showing a contraction process performed on the first image in FIG. 11. 図12の第1画像に対して非ワーク像除去処理をした図。The figure which performed the non-work image removal process with respect to the 1st image of FIG. 図13の第1画像に対して膨張処理した図。The figure which expanded the 1st image of FIG. 図10の第2画像に対して2値化処理をした図。The figure which performed the binarization process with respect to the 2nd image of FIG. 図15の第2画像に対してワーク像除去処理をした図。The figure which performed the work image removal process with respect to the 2nd image of FIG. 同実施形態における画像処理部のフローチャート。6 is a flowchart of an image processing unit in the embodiment. 同実施形態における撮像画像の他の一例を示す図。The figure which shows another example of the captured image in the embodiment. 図18の撮像画像に基づいて抽出手段で抽出した第1画像を示す図。The figure which shows the 1st image extracted by the extraction means based on the captured image of FIG. 図18の撮像画像に基づいて抽出手段で抽出した第2画像を示す図。The figure which shows the 2nd image extracted by the extraction means based on the captured image of FIG. 図19の第1画像に対して2値化処理をした図。The figure which performed the binarization process with respect to the 1st image of FIG. 図21の第1画像に対して収縮処理をした図。The figure which shrunk | reduced to the 1st image of FIG. 図22の第1画像における最大Feret径及び最小Feret径を模式的に示す図。The figure which shows typically the maximum Feret diameter and the minimum Feret diameter in the 1st image of FIG. 図22の第1画像に対して非ワーク像除去処理をした図。The figure which performed the non-work image removal process with respect to the 1st image of FIG. 図24の第1画像に対して膨張処理した図。The figure which expanded the 1st image of FIG. 図20の第2画像に対して2値化処理をした図。The figure which performed the binarization process with respect to the 2nd image of FIG. 図26の第2画像に対してワーク像除去処理をした図。FIG. 27 is a diagram obtained by performing a workpiece image removal process on the second image in FIG. 26. 同実施形態における撮像画像のさらに異なる他の一例を示す図。The figure which shows another another example of the captured image in the same embodiment. 図28の撮像画像に基づいて抽出手段で抽出した第1画像を示す図。The figure which shows the 1st image extracted by the extraction means based on the captured image of FIG. 図28の撮像画像に基づいて抽出手段で抽出した第2画像を示す図。The figure which shows the 2nd image extracted by the extraction means based on the captured image of FIG.

以下、本発明の一実施形態を、図面を参照して説明する。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings.

本実施形態に係る異物検出装置Xは、図1に示すように、例えば電子部品等のワークW(図7参照)を搬送路Y1上において振動により移動させながら所定の搬送先(供給先)に搬送するパーツフィーダYに適用されるものである。本実施形態のパーツフィーダYは、所定の領域(例えば図示しない貯留部)に投入されたワークWを直線状の搬送路(以下「リニア搬送路Y1」と称す)に沿って搬送するリニアフィーダY1と、リニアフィーダY1に振動を発生させる図示しない起振源とを備えたものである。そして、起振源によりリニアフィーダY1に対して振動を発生させることによって、リニア搬送路Y1上にあるワークWをリニア搬送路Y1の終端まで搬送して所定の搬送先に供給するものである。   As shown in FIG. 1, the foreign object detection device X according to the present embodiment moves a workpiece W (see FIG. 7) such as an electronic component to a predetermined conveyance destination (supply destination) while moving the workpiece W (see FIG. 7) on the conveyance path Y <b> 1 by vibration. This is applied to the parts feeder Y to be conveyed. The parts feeder Y of the present embodiment is a linear feeder Y1 that transports a workpiece W placed in a predetermined area (for example, a storage unit (not shown)) along a linear transport path (hereinafter referred to as “linear transport path Y1”). And a vibration source (not shown) for generating vibrations in the linear feeder Y1. Then, by generating vibration to the linear feeder Y1 by the vibration source, the workpiece W on the linear transport path Y1 is transported to the end of the linear transport path Y1 and supplied to a predetermined transport destination.

リニア搬送路Y1は、全域に亘って、上向き面である搬送床面Y2を主体としてなり、搬送床面Y2のうち少なくとも何れか一方の側縁に一体又は一体的に設けた図示しない側面(側壁面)によって搬送中のワークWが搬送床面Y2から側方へ落下・脱落しないように構成している。ここで、本実施形態における搬送床面Y2が本発明の「搬送面」に相当する。搬送床面Y2は凹凸の無いフラットな平坦面である。この搬送床面Y2は、全域に亘って勾配のない面に設定したものであってもよいし、搬送方向下流側に向かって所定の昇り勾配に設定したものであってもよい。例えば、ワークWが常に略一定速度で搬送床面Y2上を移動できるようにリニア搬送路Y1の昇り勾配、より具体的には搬送床面Y2の昇り勾配を適宜設定することもできる。   The linear conveyance path Y1 is mainly composed of a conveyance floor surface Y2 that is an upward surface over the entire area, and is provided on a side surface (side) (not shown) that is integrally or integrally provided on at least one side edge of the conveyance floor surface Y2. The wall W is configured so that the workpiece W being transferred does not fall or drop from the transfer floor Y2 to the side. Here, the conveyance floor surface Y2 in the present embodiment corresponds to the “conveyance surface” of the present invention. The conveyance floor surface Y2 is a flat flat surface without unevenness. The conveyance floor surface Y2 may be set to a surface having no gradient over the entire region, or may be set to a predetermined ascending gradient toward the downstream side in the conveyance direction. For example, the ascending gradient of the linear conveying path Y1, more specifically, the ascending gradient of the conveying floor surface Y2, can be appropriately set so that the workpiece W can always move on the conveying floor surface Y2 at a substantially constant speed.

そして、本実施形態のパーツフィーダYは、リニア搬送路Y1上にワークWと共に混入し得る異物F(図7参照)を検出する異物検出装置Xを備えている。なお、本実施形態では、ワークWとして、表面の一部または全体を平滑なフラット面に形成されたもの(例えば略直方体(多面体)形状のもの)を適用している。また、異物検出装置Xによる検出対象となる異物Fとしては、電気メッキを行う際に電気を通電する媒体として使用されるメディア或いはメディアボールと呼ばれる球状のものや、半田ボールを挙げることができる。   And the parts feeder Y of this embodiment is provided with the foreign material detection apparatus X which detects the foreign material F (refer FIG. 7) which can mix with the workpiece | work W on the linear conveyance path Y1. In the present embodiment, the work W is applied with a part or the whole of the surface formed into a smooth flat surface (for example, a substantially rectangular parallelepiped (polyhedron) shape). Further, examples of the foreign substance F to be detected by the foreign substance detection device X include a spherical medium called a medium or a media ball used as a medium for energizing electricity when performing electroplating, and a solder ball.

本実施形態に係る異物検出装置Xは、図1に示すように、搬送床面Y2における所定領域を同時に照射する第1光源1及び第2光源2と、第1光源1及び第2光源2を同時に照射させた際の画像を記録する撮像部3と、撮像部3が記録した画像に基づいて所定の処理を行う画像処理部4とを備えている。   As shown in FIG. 1, the foreign object detection apparatus X according to the present embodiment includes a first light source 1 and a second light source 2 that simultaneously irradiate a predetermined area on the transport floor surface Y <b> 2, and a first light source 1 and a second light source 2. An imaging unit 3 that records an image when irradiated simultaneously and an image processing unit 4 that performs predetermined processing based on the image recorded by the imaging unit 3 are provided.

第1光源1は、複数のLEDを円環状に配置し、搬送床面Y2の所定領域をリング照明するものである。本実施形態では、第1光源1として赤色LEDを円環状に配置したものを適用している。   The 1st light source 1 arrange | positions several LED in an annular | circular shape, and carries out ring illumination of the predetermined area | region of the conveyance floor surface Y2. In the present embodiment, a first LED 1 in which red LEDs are arranged in an annular shape is applied.

第2光源2は、第1光源1と比較して、複数のLEDを円環状に配置し、搬送床面Y2の所定領域をリング照明するものである点で共通しているが、第1光源1を構成する赤色LEDを配置した円よりも径の大きい円に沿って、赤色LEDとは色相及び波長の異なるLEDである青色LEDを複数配置している点で異なる。   Compared with the first light source 1, the second light source 2 is common in that a plurality of LEDs are arranged in an annular shape and a predetermined area of the transport floor Y2 is ring-illuminated. 1 differs from a red LED in that a plurality of blue LEDs, which are LEDs having different hues and wavelengths, are arranged along a circle having a larger diameter than a circle in which red LEDs constituting 1 are arranged.

本実施形態の異物検出装置Xでは、第1光源1及び第2光源2を同心円となる関係であって且つ第1光源1を第2光源2よりも高い位置に配置することで、搬送床面Y2に対する第1光源1の投光角を第2光源2の投光角よりも効率良く狭めることができ、これら第1光源1及び第2光源2によって搬送床面Y2の所定領域を照射し、各光源(第1光源1、第2光源2)の反射光による画像を単一の撮像部3で記録可能に構成している。   In the foreign object detection device X of the present embodiment, the first light source 1 and the second light source 2 are in a concentric relationship, and the first light source 1 is arranged at a position higher than the second light source 2, thereby conveying the floor surface. The light projection angle of the first light source 1 with respect to Y2 can be narrowed more efficiently than the light projection angle of the second light source 2, and the first light source 1 and the second light source 2 irradiate a predetermined region of the transport floor surface Y2, An image formed by reflected light of each light source (first light source 1 and second light source 2) is configured to be recordable by a single imaging unit 3.

撮像部3は、同心円状に配置した第1光源1及び第2光源2の共通の中心に光軸を一致させ且つ第1光源1よりも高い位置に配置した例えばカラーカメラを用いて構成したものである。この撮像部3によって、第1光源1及び第2光源2をそれぞれ照射させた際の画像をカラー画像として記録することができる。   The imaging unit 3 is configured by using, for example, a color camera having an optical axis that coincides with a common center of the first light source 1 and the second light source 2 that are concentrically arranged and is positioned higher than the first light source 1. It is. The imaging unit 3 can record an image when the first light source 1 and the second light source 2 are respectively irradiated as a color image.

画像処理部4は、図2に示すように、画像取込手段41と、抽出手段42と、ワーク像特定手段43と、ワーク像除去手段44と、異物像特定手段45とを備え、これら各手段を相互に連係させて機能させることによって搬送床面Y2上の異物Fを検出して特定するものである。   As shown in FIG. 2, the image processing unit 4 includes an image capturing unit 41, an extracting unit 42, a work image specifying unit 43, a work image removing unit 44, and a foreign object image specifying unit 45. The foreign matter F on the conveyance floor Y2 is detected and specified by causing the means to function in conjunction with each other.

画像取込手段41は、撮像部3が記録した画像である撮像画像P(一例として後述する図8参照)を取り込むものである。ここで、撮像画像Pは、各光源(第1光源1、第2光源2)から搬送床面Y2上の所定領域を照射した光の反射光をカラー画像として記録するものである。したがって、赤色LEDで構成した第1光源1の照射光に反射して撮像部3に記録されるカラー画像は赤色成分の画像となり、青色LEDで構成した第2光源2の照射光に反射して撮像部3に記録されるカラー画像は青色成分の画像になる。そして、本実施形態におけるワークWが、表面をフラットな平滑面に形成した多面体形状であり、異物検出装置Xの検出対象である異物Fが表面を曲面に形成した球状であることから、ワークWと異物Fとでは反射の仕方が異なる。   The image capturing means 41 captures a captured image P (see FIG. 8 described later as an example) that is an image recorded by the imaging unit 3. Here, the picked-up image P records the reflected light of the light irradiated to the predetermined area | region on the conveyance floor surface Y2 from each light source (the 1st light source 1 and the 2nd light source 2) as a color image. Therefore, the color image that is reflected by the irradiation light of the first light source 1 configured by the red LED and recorded in the imaging unit 3 becomes an image of the red component, and is reflected by the irradiation light of the second light source 2 configured by the blue LED. The color image recorded in the imaging unit 3 is a blue component image. And since the workpiece | work W in this embodiment is the polyhedron shape which formed the surface in the flat smooth surface, and the foreign material F which is the detection target of the foreign material detection apparatus X is the spherical shape which formed the surface in the curved surface, the workpiece | work W And the foreign object F are different in the way of reflection.

すなわち、図3及び図4に示すように、撮像部3に対向する表面W1が平滑な面であるワークWを照射した場合、平滑な同じ面W1上であれば異なる2点(A点、B点)であっても接平面(照射光が接する平面)の傾斜が略一定であり、A点での接平面の法線L1(接平面と垂直でA点を通る直線)とB点での接平面の法線L2が略平行となる。そのため、A点、B点の何れであっても投光角の狭い光源(本実施形態であれば第2光源2よりも投光角が狭い第1光源1)の照射光(図3及び図4において相対的に細い実線で示す矢印付きのライン)は、入射角(例えばA点であれば、A点での接平面の法線L1と、入射する光の方向とがなす角度)の小さい入射光となり、反射角(例えばA点であれば、A点での接平面の法線L1と、反射する光の方向とがなす角度)が小さい反射光として反射し、撮像部3に届いて鮮明なカラー画像として記録される。   That is, as shown in FIGS. 3 and 4, when a workpiece W whose surface W1 facing the imaging unit 3 is a smooth surface is irradiated, two different points (points A and B) are provided on the same smooth surface W1. Point), the slope of the tangent plane (the plane in contact with the irradiated light) is substantially constant, and the normal L1 of the tangent plane at point A (a straight line passing through point A perpendicular to the tangent plane) and the point B The normal L2 of the tangent plane is substantially parallel. For this reason, the light emitted from the light source having a narrow projection angle (the first light source 1 having a narrower projection angle than the second light source 2 in the present embodiment) at any of the points A and B (FIG. 3 and FIG. 4, the line with an arrow indicated by a relatively thin solid line) has a small incident angle (for example, the angle formed by the normal line L1 of the tangent plane at the point A and the direction of the incident light in the case of the point A). It becomes incident light and is reflected as reflected light having a small reflection angle (for example, the angle between the normal L1 of the tangent plane at point A and the direction of the reflected light if it is point A) and reaches the image pickup unit 3 Recorded as a clear color image.

一方、共通の平滑な面W1上におけるA点、B点の何れであっても投光角の広い光源(本実施形態であれば第1光源1よりも投光角が広い第2光源2)の照射光(図3及び図4において相対的に太い実線で示す矢印付きのライン)は、入射角の大きい入射光となり、反射角が大きい反射光として反射し、撮像部3に届かず、鮮明なカラー画像として記録されない。なお、投光角の広い第2光源2の照射光が、ワークWの表面のうち撮像部3の光軸に略平行な面(側面W2)や、側面W2と上向き面W1との境界部分に形成した部分円弧状又は傾斜状の面取り部分(図3及び図4では図示省略)に反射し、撮像部3に到達した場合には、その照射部分が撮像画像Pにカラー画像として写し出される。   On the other hand, a light source having a wide projection angle at any of points A and B on the common smooth surface W1 (the second light source 2 having a wider projection angle than the first light source 1 in this embodiment). Irradiation light (a line with an arrow indicated by a relatively thick solid line in FIGS. 3 and 4) becomes incident light having a large incident angle, is reflected as reflected light having a large reflection angle, does not reach the imaging unit 3, and is clear. Is not recorded as a clear color image. The irradiation light of the second light source 2 having a wide projection angle is applied to a surface (side surface W2) substantially parallel to the optical axis of the imaging unit 3 on the surface of the workpiece W, or to a boundary portion between the side surface W2 and the upward surface W1. When reflected on the formed partial arc-shaped or inclined chamfered portion (not shown in FIGS. 3 and 4) and reaches the imaging unit 3, the irradiated portion is displayed on the captured image P as a color image.

以上より、撮像画像Pには、ワークWのうち撮像部3に対向する平滑な表面W1に相当する領域の全部または略全部が第1光源1の反射光に基づくカラー画像(本実施形態であれば赤色の画像)として写り、ワークWの側面W2と上向き面W1との境界部分に形成した面取り部分及びワークWの側面W2に相当する領域の全部又は一部が第2光源2の反射光に基づくカラー画像(本実施形態であれば青色の画像)として写る。   As described above, in the captured image P, a color image based on the reflected light of the first light source 1 (in the present embodiment, all or substantially the entire region corresponding to the smooth surface W1 facing the imaging unit 3 of the workpiece W). A chamfered portion formed at the boundary portion between the side surface W2 and the upward surface W1 of the workpiece W and a part or a part of the region corresponding to the side surface W2 of the workpiece W as reflected light of the second light source 2. It appears as a color image based on it (a blue image in this embodiment).

また、撮像部3に対向する表面が曲面F1である球状の異物Fを照射した場合、図5及び図6に示すように、同じ表面F1上であっても頂点部分におけるC点と頂点部分以外の部分におけるD点では、接平面の傾斜角度は異なり、C点での接平面の法線L3と、D点での接平面の法線L4は相互に平行な関係にならない。そして、異物Fのうち、接平面の法線が撮像部3の光軸に対して略平行又は平行に近い頂上部分の狭い範囲は、投光角の狭い光源(本実施形態であれば第2光源2よりも投光角が狭い第1光源1)の照射光(図5において相対的に細い実線で示す矢印付きのライン)は、入射角の小さい入射光となり、反射角が小さい反射光として反射し、撮像部3に届いて鮮明なカラー画像として記録される。   In addition, when a spherical foreign object F whose surface facing the imaging unit 3 is a curved surface F1 is irradiated, as shown in FIGS. 5 and 6, even on the same surface F1, other than the point C and the vertex part At the point D, the inclination angle of the tangent plane is different, and the normal line L3 of the tangent plane at the point C and the normal line L4 of the tangent plane at the point D are not parallel to each other. In the foreign matter F, a narrow range of the apex portion where the normal of the tangent plane is substantially parallel or nearly parallel to the optical axis of the imaging unit 3 is a light source with a narrow projection angle (second in this embodiment). Irradiation light (a line with an arrow indicated by a relatively thin solid line in FIG. 5) of the first light source 1) whose projection angle is narrower than that of the light source 2 becomes incident light having a small incident angle, and is reflected light having a small reflection angle. The reflected light reaches the imaging unit 3 and is recorded as a clear color image.

ところが、図5に示すように、異物Fの頂上部分であるC点では、投光角の広い光源(本実施形態であれば第1光源1よりも投光角が広い第2光源2)の照射光(図5において相対的に太い実線で示す矢印付きのライン)は、入射角の大きい入射光となり、反射角が大きい反射光として反射し、撮像部3に届かず、鮮明なカラー画像として記録されない。   However, as shown in FIG. 5, at point C, which is the top portion of the foreign matter F, the light source having a wide projection angle (the second light source 2 having a wider projection angle than the first light source 1 in this embodiment). Irradiation light (a line with an arrow indicated by a relatively thick solid line in FIG. 5) becomes incident light having a large incident angle, is reflected as reflected light having a large reflection angle, does not reach the imaging unit 3, and is a clear color image. Not recorded.

一方、図6に示すように、異物Fの頂上部分以外の点(D点)を投光角が狭い光源(本実施形態であれば第2光源2よりも投光角が狭い第1光源1)で照射した場合、その照射光(図6において相対的に細い実線で示す矢印付きのライン)は、入射角の小さい入射光となり、反射角が小さい反射光として反射し、撮像部3に届かず、鮮明なカラー画像として記録されない。   On the other hand, as shown in FIG. 6, a light source having a narrow projection angle at a point (point D) other than the top portion of the foreign substance F (the first light source 1 having a narrow projection angle than the second light source 2 in this embodiment). ), The irradiated light (a line with an arrow indicated by a relatively thin solid line in FIG. 6) becomes incident light with a small incident angle, is reflected as reflected light with a small reflection angle, and reaches the imaging unit 3. Therefore, it is not recorded as a clear color image.

ところが、異物Fの頂上部分以外の点(D点)を投光角が第1光源1よりも広い第2光源2で照射した場合、その照射は、入射角の大きい入射光となり、反射角が大きい反射光として反射し、撮像部3に到達して鮮明なカラー画像として記録される。   However, when a point (point D) other than the top portion of the foreign substance F is irradiated with the second light source 2 having a wider projection angle than the first light source 1, the irradiation becomes incident light having a large incident angle, and the reflection angle becomes larger. The light is reflected as large reflected light, reaches the imaging unit 3 and is recorded as a clear color image.

以上より、撮像画像Pには、表面F1が曲面で形成された異物Fの頂上部分に相当する領域の全部又は略全部が第1光源1の反射光に基づくカラー画像(本実施形態であれば赤色の画像)として写り、異物Fの頂上部分以外の部分に相当する領域の全部又は一部が第2光源2の反射光に基づくカラー画像(本実施形態であれば青色の画像)として写る。なお、異物Fの頂上部分に相当する領域は、ごくわずかな面積であるため、撮像画像Pには不鮮明な暗い画像として写ったり、或いは写らない場合もあり得る。   As described above, in the captured image P, a color image based on the reflected light of the first light source 1 (in this embodiment, all or substantially all of the region corresponding to the top portion of the foreign substance F formed with a curved surface F1). (A red image), and all or a part of the region corresponding to the portion other than the top portion of the foreign substance F is captured as a color image based on the reflected light of the second light source 2 (a blue image in this embodiment). Note that since the area corresponding to the top portion of the foreign substance F is a very small area, the captured image P may or may not appear as a blurred dark image.

このように、反射の仕方が異なるワークWと異物Fを入射角の異なる2つの光源(第1光源1、第2光源2)により同時に照射した際に撮像部3で記録する撮像画像Pのうち、ワークWの画像は、相対的に投光角が狭い第1光源1(赤色LED)の反射光が主要な構成要素となり、異物Fの画像は、相対的に投光角が広い第2光源2(青色LED)の反射光が主要な構成要素となる。   As described above, among the captured images P recorded by the imaging unit 3 when the workpiece W and the foreign matter F having different reflection methods are simultaneously irradiated by the two light sources (first light source 1 and second light source 2) having different incident angles. In the image of the workpiece W, the reflected light of the first light source 1 (red LED) having a relatively narrow projection angle is a main component, and the image of the foreign matter F is the second light source having a relatively wide projection angle. The reflected light of 2 (blue LED) is the main component.

具体的には、例えば図7(図7以下の各図では、ワークWと異物Fの形状に着目し、両者の大きさの比率は敢えて誇張した同程度として表現している)に示すように、搬送床面Y2の所定領域に設定した第1光源1及び第2光源2の照射領域内に、1つのワークWと1つの異物Fが相互に離間した状態で搬送されている状態において、第1光源1及び第2光源2を同時に照射させた場合、撮像部3に記録される画像、及び画像取込手段41によって取り込む画像は図8に示す画像になる。つまり、入射角で相対的に狭い第1光源1からの照射光が、ワークWの上向き面(少なくとも水平な部分)及び異物Fの頂上部分で反射し、その反射光が撮像部3に到達し、カラー画像(赤色の画像)として記録されるとともに、入射角で相対的に広い第2光源2からの照射光が、ワークWの側面及び異物Fのうち頂上部分を除いた部分で反射し、その反射光が撮像部3に到達し、カラー画像(青色の画像)として記録される。なお、図7及び図8では、赤色のカラー画像として記録される部分、及び青色のカラー画像として記録される部分をそれぞれ異なるパターンを付して示している。また、本実施形態では搬送床面Y2を反射しない面に設定しているため、図8の撮像画像Pでは、ワークWや異物Fの背景が黒色の画像として記録されている。なお、実際の画像では、同じカラー画像であっても輝度値が異物Fよりも大きいワークWは、異物Fよりも明るい画像となり、逆に、異物FはワークWよりも暗い画像となる。画像取込手段41によって取り込む画像Pは、このようなカラー特性を有する撮像画像Pである。   Specifically, for example, as shown in FIG. 7 (in the respective drawings after FIG. 7, attention is paid to the shapes of the workpiece W and the foreign matter F, and the ratio of the sizes of both is expressed as an exaggerated equivalent) In the state where one workpiece W and one foreign substance F are transported in a state of being separated from each other in the irradiation region of the first light source 1 and the second light source 2 set in a predetermined region of the transport floor Y2. When the 1 light source 1 and the 2nd light source 2 are irradiated simultaneously, the image recorded on the imaging part 3 and the image captured by the image capture means 41 become an image shown in FIG. That is, the irradiation light from the first light source 1 that is relatively narrow at the incident angle is reflected by the upward surface (at least a horizontal part) of the workpiece W and the top part of the foreign substance F, and the reflected light reaches the imaging unit 3. The irradiation light from the second light source 2 is recorded as a color image (red image) and is relatively wide at the incident angle, and is reflected from the side surface of the workpiece W and the portion excluding the top portion of the foreign matter F, The reflected light reaches the imaging unit 3 and is recorded as a color image (blue image). 7 and 8, the portion recorded as a red color image and the portion recorded as a blue color image are shown with different patterns. Further, in the present embodiment, since the conveyance floor surface Y2 is set to a surface that does not reflect, the background of the workpiece W and the foreign matter F is recorded as a black image in the captured image P of FIG. In the actual image, even if the color image is the same, the workpiece W having a luminance value larger than that of the foreign substance F is an image brighter than the foreign substance F, and conversely, the foreign substance F is an image darker than the workpiece W. The image P captured by the image capturing unit 41 is a captured image P having such color characteristics.

抽出手段42は、画像取込手段41で取り込んだ画像Pから第1光源1に基づく第1画像P1及び第2光源2に基づく第2画像P2を抽出するものである。具体的には、画像取込手段41で取り込んだ画像Pをそれぞれの色(第1光源1の赤色と第2光源2の青色)の成分に分けることによって、第1画像P1と第2画像P2を個別に抽出するようにしている。図9、図10には、画像取込手段41で取り込んだ図8に示す画像Pから抽出した第1画像P1、第2画像P2をそれぞれ示している。   The extracting unit 42 extracts the first image P1 based on the first light source 1 and the second image P2 based on the second light source 2 from the image P captured by the image capturing unit 41. Specifically, the first image P1 and the second image P2 are obtained by dividing the image P captured by the image capturing means 41 into components of respective colors (red of the first light source 1 and blue of the second light source 2). Are extracted individually. FIGS. 9 and 10 show a first image P1 and a second image P2 extracted from the image P shown in FIG.

ワーク像特定手段43は、抽出手段42で抽出した第1画像P1のうち所定の幾何学的特徴量を有する像をワークの像であるワーク像として特定するものである。ここで、「幾何学的特徴量」とは、幾何学的な特徴を数値化した値であり、本実施形態におけるワーク像特定手段43は、第1画像P1に写る像のうち、ワーク像であれば満たすべき幾何学特徴量を有する像を「ワーク像」として特定するものである。本実施形態では、抽出手段42で抽出した第1画像P1を所定の閾値で2値化する2値化処理と、2値化処理した第1画像P1を所定回数収縮させる収縮処理とを行い、収縮処理した第1画像P1に写る像のうちワーク像であれば有するべき幾何学的特徴量を有する像をワーク像として特定するように設定している。図11には、図9に示す第1画像P1を所定の閾値で2値化処理を行った第1画像P1(a)を示す。また、図12に、2値化処理を行った第1画像P1を所定回数収縮させる収縮処理として、周辺に1画素でも黒い画素があれば黒に置き換える処理(Erosion)を所定回数行った第1画像P1(b)を示す。ワーク像特定手段43は、収縮処理した第1画像P1に記録されている白領域の連結成分(塊)の幾何学的特徴量を算出し、その幾何学的特徴量が、予め所定の記憶部に記憶されている「ワーク判定基準範囲データ」に設定されている条件(数値)を満たす場合に、その幾何学的特徴量を有する塊を「ワーク像である」と判定することで、ワーク像を特定するものである。「ワーク判定基準範囲データ」には、ワーク像であれば満たす幾何学的特徴量の上限値及び下限値(基準範囲)が記憶されている。ここで、本実施形態では、幾何学的特徴量の種類として、塊中の白画素の個数に相当する「面積」と、塊をある角度に射影したときの射影像の長さであるFeret径のうち最大の径である「最大Feret径」と、Feret径のうち最小の径である「最小Feret径」とを採用しており、「ワーク判定基準範囲データ」には、ワーク像であれば満たす「面積」、「最大Feret径」及び「最小Feret径」の上限値及び下限値(基準範囲)が記憶されている。「面積」、「最大Feret径」及び「最小Feret径」だけでは、「塊」が矩形であると判断することは困難であるが、ワークWと球状の異物Fとを区別する判定基準としては十分である。本実施形態におけるワーク像特定手段43では、「最大Feret径」は矩形の長辺とみなし、「最小Feret径」は矩形の短辺とみなして処理している。なお、割れたワークの像(塊)が第1画像に記録されている場合、本実施形態におけるワーク像特定手段43によるワーク像の特定処理であれば、割れたワークの像は、ワーク像であれば満たすべき幾何学特徴量を有しない像であるため、この割れたワークの像を「ワーク像」として特定することはない。すなわち、割れたワークを異物として認識することができる。   The work image specifying means 43 specifies an image having a predetermined geometric feature amount from the first image P1 extracted by the extracting means 42 as a work image that is an image of the work. Here, the “geometric feature value” is a value obtained by digitizing a geometric feature, and the work image specifying unit 43 in the present embodiment is a work image among images captured in the first image P1. If there is, an image having a geometric feature value to be satisfied is specified as a “work image”. In the present embodiment, a binarization process for binarizing the first image P1 extracted by the extraction means 42 with a predetermined threshold value and a contraction process for contracting the binarized first image P1 a predetermined number of times are performed. It is set so that an image having a geometric feature value that should be included in the contracted first image P1 is specified as a work image. FIG. 11 shows a first image P1 (a) obtained by binarizing the first image P1 shown in FIG. 9 with a predetermined threshold. Further, in FIG. 12, as the contraction process for contracting the binarized first image P1 a predetermined number of times, a process of replacing the black with a black pixel if there is even one pixel in the periphery (Erosion) is performed the first time. An image P1 (b) is shown. The work image specifying means 43 calculates the geometric feature amount of the connected component (lumb) of the white area recorded in the contracted first image P1, and the geometric feature amount is stored in advance in a predetermined storage unit. When the condition (numerical value) set in the “work determination reference range data” stored in is satisfied, the block having the geometric feature value is determined to be “work image”, whereby the work image Is specified. The “work determination reference range data” stores an upper limit value and a lower limit value (reference range) of a geometric feature amount that satisfies a work image. Here, in this embodiment, as the types of geometric feature values, “area” corresponding to the number of white pixels in the chunk, and the Feret diameter that is the length of the projected image when the chunk is projected at a certain angle. The “maximum Feret diameter” that is the maximum diameter of the lens and the “minimum Feret diameter” that is the minimum diameter of the Feret diameter are used, and the “work determination reference range data” includes a workpiece image. The upper limit value and lower limit value (reference range) of “area”, “maximum Feret diameter”, and “minimum Feret diameter” to be satisfied are stored. Although it is difficult to determine that the “lumps” are rectangular with only “area”, “maximum Feret diameter”, and “minimum Feret diameter”, as a criterion for distinguishing between the workpiece W and the spherical foreign matter F, It is enough. In the work image specifying means 43 in this embodiment, the “maximum Feret diameter” is regarded as a long side of the rectangle, and the “minimum Feret diameter” is regarded as a rectangular short side. If an image (block) of a broken work is recorded in the first image, the work image is a work image if the work image is specified by the work image specifying means 43 in the present embodiment. If it is an image that does not have a geometric feature value to be satisfied, the image of the broken workpiece is not specified as a “work image”. That is, the broken workpiece can be recognized as a foreign object.

また、「収縮処理した第1画像P1に記録されている白領域の連結成分」は画像処理の技術用語で一般的に「粒子」と呼ばれるものであるが、検出対象である異物Fが球状(粒状)である本実施形態においてワークWを粒子と表記した場合に誤解を招くおそれがあるため、本実施形態では「塊」と表記する。   Further, “the connected component of the white area recorded in the contracted first image P1” is generally called “particle” in the technical term of image processing, but the foreign object F to be detected is spherical ( In the present embodiment, which is granular, there is a risk of misunderstanding when the workpiece W is represented as a particle.

本実施形態に係る異物検出装置Xは、ワーク像特定手段43において、収縮処理を所定回数行った第1画像P1(b)に写る塊のうち、ワーク像であると判定した塊だけを残し、その他の塊(ワーク像であると判定していない塊)を除去する処理(非ワーク像除去処理)を行い、このような処理をした後の画像であるワーク像特定画像P1(c)をワーク像除去手段44で利用している。ここで、図12に示す収縮処理をした第1画像P1に基づいて非ワーク像除去処理したワーク像特定画像P1(c)を図13に示す。   The foreign object detection device X according to the present embodiment leaves only the mass determined to be the work image among the masses that appear in the first image P1 (b) that has undergone the contraction process by the work image identification unit 43 a predetermined number of times, A process (non-work image removal process) for removing other blocks (blocks that are not determined to be workpiece images) is performed, and a workpiece image specific image P1 (c) that is an image after such processing is performed as a workpiece. It is used by the image removing means 44. Here, FIG. 13 shows a work image specifying image P1 (c) subjected to the non-work image removal process based on the first image P1 subjected to the contraction process shown in FIG.

ワーク像除去手段44は、抽出手段42で抽出した第2画像P2からワーク像特定手段43で特定したワーク像に対応する領域を除去するものである。本実施形態では、ワーク像特定手段43によってワーク像を特定した第1画像P1(具体的にはワーク像特定画像P1(c))を所定回数膨張させる膨張処理を行うとともに、抽出手段42で抽出した第2画像P2を所定の閾値で2値化する2値化処理を行い、2値化処理した第2画像P2のうち、膨張処理した第1画像P1においてワーク像として特定した領域に対応する領域を除去するように設定している。図14に、ワーク像特定画像P1(c)を膨張させる膨張処理として、周辺に1画素でも白い画素があれば白に置き換える処理(Dilation)を所定回数行った第1画像P1(d)を示す。膨張回数は、収縮回数と同じか、収縮回数よりも多い回数であることが要求される。また、図15には、図10に示す第2画像P2を所定の閾値で2値化処理した第2画像P2(e)を示す。2値化処理を行った第2画像P2(e)には、第2光源2の照射光のうちワークW及び異物Fにそれぞれ反射して撮像部3に到達することで得られる画像が白い塊として写し出される。本実施形態の異物検出装置Xは、ワーク像除去手段44により、2値化処理した第2画像P2(e)のうち、膨張処理した第1画像P1(d)においてワーク像として特定した白い塊に対応する領域を黒にする処理を行っている。図16に、2値化処理した第2画像P2(e)のうち、膨張処理した第1画像P1(d)においてワーク像として特定した白い塊に対応する領域を黒にする処理を行った画像(ワーク像除去画像P2(f))を示す。   The workpiece image removing unit 44 removes a region corresponding to the workpiece image specified by the workpiece image specifying unit 43 from the second image P2 extracted by the extracting unit 42. In the present embodiment, the first image P1 (specifically, the workpiece image specifying image P1 (c)) in which the workpiece image is specified by the workpiece image specifying means 43 is expanded a predetermined number of times and extracted by the extracting means 42. The binarized second image P2 is binarized with a predetermined threshold value, and the binarized second image P2 corresponds to the region specified as the work image in the dilated first image P1. It is set to remove the area. FIG. 14 shows a first image P1 (d) obtained by performing a process of dilating a white image if there is a white pixel in the periphery (Dilation) a predetermined number of times as an expansion process for expanding the workpiece image specific image P1 (c). . The number of expansions is required to be the same as the number of contractions or more than the number of contractions. FIG. 15 shows a second image P2 (e) obtained by binarizing the second image P2 shown in FIG. 10 with a predetermined threshold. In the second image P <b> 2 (e) that has been subjected to the binarization process, the image obtained by reaching the imaging unit 3 after being reflected by the workpiece W and the foreign matter F in the irradiation light of the second light source 2 is a white lump. It is projected as. The foreign object detection device X according to the present embodiment includes a white block specified as a work image in the first image P1 (d) subjected to the dilation processing among the second images P2 (e) binarized by the work image removing unit 44. The area corresponding to is processed black. FIG. 16 shows an image obtained by performing blackening on an area corresponding to a white block identified as a work image in the dilated first image P1 (d) in the binarized second image P2 (e). (Work image removed image P2 (f)) is shown.

異物像特定手段45は、ワーク像除去手段44によってワーク像を除去した第2画像P2(f)に基づいて所定の面積以上の像を異物の像である異物像として特定するものである。この異物F特定手段では、ワーク像除去画像に記録されてている塊の面積を算出し、その面積が予め所定の記憶部に記憶されている「異物判定基準データ」に設定されている条件(数値)を満たす場合に、その面積を有する塊を「異物像」と判定することで、異物像を特定するようにしている。ここで、ワーク像除去画像P2(f)には、ワーク像に相当する塊は写っていないため、この画像P2(f)内では異物像に相当する塊以外に大きい塊はないものと推定することができる。したがって、異物判定基準データには、異物像として満たすべき面積の下限値のみを設定しておくだけで十分である。もちろん、異物判定基準データに、異物像として満たすべき面積の下限値と上限値とを設定しておき、この下限値と上限値の範囲内にある面積を有する塊を異物像として特定するようにしても構わない。   The foreign object image specifying unit 45 specifies an image having a predetermined area or more as a foreign object image as a foreign object image based on the second image P2 (f) from which the work image is removed by the work image removing unit 44. In this foreign matter F specifying means, the area of the lump recorded in the workpiece image removal image is calculated, and the area is set in “foreign matter judgment reference data” stored in a predetermined storage unit in advance ( When satisfying (numerical value), a foreign object image is specified by determining a block having the area as a “foreign object image”. Here, since the work image removal image P2 (f) does not include a lump corresponding to the work image, it is estimated that there is no large lump other than the lump corresponding to the foreign object image in this image P2 (f). be able to. Therefore, it is sufficient to set only the lower limit value of the area to be filled as the foreign object image in the foreign object determination reference data. Of course, the lower limit value and the upper limit value of the area to be satisfied as the foreign object image are set in the foreign object determination reference data, and a block having an area within the range between the lower limit value and the upper limit value is specified as the foreign object image. It doesn't matter.

次に、本実施形態に係る異物検出装置Xを適用したパーツフィーダYにおいて搬送床面Y2上を搬送方向に沿って搬送されるワークWに混入する異物Fを異物検出装置Xによって検出する処理手順(異物検出処理手順)について、図17乃至図27を参照しながら説明する。   Next, in the parts feeder Y to which the foreign object detection device X according to the present embodiment is applied, the foreign object detection device X detects the foreign object F mixed in the workpiece W conveyed along the conveyance direction on the conveyance floor surface Y2. (Foreign matter detection processing procedure) will be described with reference to FIGS.

先ず、本実施形態のパーツフィーダYでは、ホッパ等のワーク吐出部からリニア搬送路Y1に直接投入されたワークW、またリニア搬送路Y1よりも上流に配置された適宜の搬送路を通過してリニア搬送路Y1に到達したワークWを、リニア搬送路Y1の搬送床面Y2に沿って供給先に向かって搬送する。そして、本実施形態のパーツフィーダYは、リニア搬送路Y1の搬送床面Y2上における所定領域を異物検出装置Xの第1光源1及び第2光源2で同時に照射し、そのうち撮像部3に到達した反射光を撮像部3によってカラー画像(撮像画像P)として記録する。   First, in the parts feeder Y of the present embodiment, the workpiece W that has been directly fed into the linear conveyance path Y1 from a workpiece discharge unit such as a hopper, or the appropriate conveyance path disposed upstream of the linear conveyance path Y1 is passed. The workpiece | work W which reached | attained the linear conveyance path Y1 is conveyed toward a supply destination along the conveyance floor surface Y2 of the linear conveyance path Y1. And the parts feeder Y of this embodiment irradiates the predetermined area | region on the conveyance floor Y2 of the linear conveyance path Y1 simultaneously with the 1st light source 1 and the 2nd light source 2 of the foreign material detection apparatus X, and reaches the imaging part 3 among them. The reflected light is recorded as a color image (captured image P) by the imaging unit 3.

撮像部3による撮像処理は、リニア搬送路Y1の振動を停止させた状態、つまりワークWが静止している状態で行ってもよいが、搬送効率の向上のため、本実施形態では、リニア搬送路Y1の振動を継続させた状態、つまりワークWを搬送方向に搬送させている状態で行っている。   The imaging process by the imaging unit 3 may be performed in a state where the vibration of the linear conveyance path Y1 is stopped, that is, in a state where the workpiece W is stationary. However, in this embodiment, linear conveyance is performed in order to improve conveyance efficiency. This is performed in a state where the vibration of the path Y1 is continued, that is, in a state where the workpiece W is transported in the transport direction.

そして、本実施形態に係るパーツフィーダYは、撮像部3の撮像画像Pに基づき、画像処理部4における以下の処理によって、搬送床面Y2上をワークWに混じって搬送されるメディアボールや半田ボール等の球状の異物Fの存在を特定可能に構成している。   Then, the parts feeder Y according to the present embodiment is based on the captured image P of the imaging unit 3, and the media ball or solder conveyed by being mixed with the workpiece W on the conveyance floor Y 2 by the following processing in the image processing unit 4. The presence of spherical foreign matters F such as balls can be specified.

ここで、本実施形態のパーツフィーダは、リニア搬送路Y1を通過する複数のワークWを所定の搬送姿勢に揃えながら整列させて搬送することが可能であるが、第1光源1及び第2光源2の照射領域では複数のワークWが整然と並んでいない。つまり、本実施形態の異物検出装置Xは、リニア搬送路Yのうち相対的に上流端に近い領域を第1光源1及び第2光源2の照射領域に設定し、ワークWが整列する前の時点で搬送床面Y2上にワークWと一緒に混在している異物Fを検出するものである。   Here, the parts feeder of the present embodiment can transport a plurality of workpieces W passing through the linear transport path Y1 while aligning them in a predetermined transport posture, but the first light source 1 and the second light source. In the irradiation area 2, the plurality of workpieces W are not arranged in an orderly manner. That is, the foreign object detection device X of the present embodiment sets an area relatively close to the upstream end in the linear conveyance path Y as an irradiation area of the first light source 1 and the second light source 2, and before the work W is aligned. The foreign object F mixed with the workpiece | work W on the conveyance floor Y2 at the time is detected.

以下では、第1光源1及び第2光源2の照射領域において複数のワークWが整然と並んでおらず、異物FがそれらワークWに混じって搬送されている場合における異物検出処理手順について説明する。   Hereinafter, a foreign object detection processing procedure in the case where a plurality of workpieces W are not arranged in an orderly manner in the irradiation areas of the first light source 1 and the second light source 2 and the foreign objects F are mixed and conveyed with the workpieces W will be described.

本実施形態に係る異物検出装置Xは、先ず、第1光源1及び第2光源2で同時にリニア搬送路Y1における共通の領域を照射することで得られる撮像画像Pを、画像処理部4の画像取込手段41により取り込む(画像取込ステップS1、図17参照)。本実施形態におけるワークWが、表面の全てまたは表面の大部分をフラットな平滑面に形成した多面体であり、異物検出装置Xの検出対象である異物Fが表面を曲面に形成したものであることから、ワークWと異物Fとでは反射の仕方が異なり、赤色LEDで構成した第1光源1の照射光に反射して撮像部3に記録されるカラー画像は赤色成分の画像となり、青色LEDで構成した第2光源2の照射光に反射して撮像部3に記録されるカラー画像は青色成分の画像になる。図18に、画像取込ステップS1で取り込んだ撮像画像Pの一例を示す。同図に示す撮像画像Pは、第1光源1及び第2光源2の照射領域において計3つのワークWがそれぞれ共通の異物Fに接触している状態のカラー画像である。同図では、輝度値に応じたカラー毎にそれぞれ異なるパターンを付している。   In the foreign object detection device X according to the present embodiment, first, a captured image P obtained by simultaneously irradiating a common area in the linear transport path Y1 with the first light source 1 and the second light source 2 is used as an image of the image processing unit 4. The image is captured by the capturing means 41 (image capturing step S1, see FIG. 17). The workpiece W in the present embodiment is a polyhedron in which the entire surface or most of the surface is formed into a flat smooth surface, and the foreign object F to be detected by the foreign object detection device X has a curved surface. Therefore, the work W and the foreign matter F are reflected differently, and the color image reflected on the irradiation light of the first light source 1 configured by the red LED and recorded in the imaging unit 3 is an image of a red component, and is a blue LED. The color image reflected on the irradiation light of the configured second light source 2 and recorded in the imaging unit 3 is a blue component image. FIG. 18 shows an example of the captured image P captured in the image capturing step S1. The captured image P shown in the figure is a color image in a state where a total of three workpieces W are in contact with a common foreign substance F in the irradiation areas of the first light source 1 and the second light source 2. In the figure, a different pattern is attached to each color according to the luminance value.

本実施形態に係る異物検出装置Xは、画像取込ステップS1に続いて、抽出手段42により、赤色成分の画像を第1画像P1として抽出するとともに、青色成分の画像を第2画像P2として抽出する(抽出ステップS2、図17参照)。撮像画像Pに基づき画像取込ステップS1で個別に抽出した第1画像P1と第2画像P2をそれぞれ図19、図20に示す。図19から把握できるように、計3つのワークWがそれぞれ共通の異物Fに接触している状態の撮像画像Pから抽出した第1画像P1には、3つのワークW、異物Fが別の像として存在する。一方、図20から把握できるように、計3つのワークWがそれぞれ共通の異物Fに接触している状態の撮像画像Pから抽出した第2画像P2には、3つのワークW及び異物Fが連続した1つの像が存在する。   In the foreign object detection device X according to the present embodiment, following the image capturing step S1, the extraction unit 42 extracts the red component image as the first image P1 and the blue component image as the second image P2. (See the extraction step S2, FIG. 17). The first image P1 and the second image P2 that are individually extracted in the image capturing step S1 based on the captured image P are shown in FIGS. 19 and 20, respectively. As can be understood from FIG. 19, in the first image P1 extracted from the captured image P in a state where the total three workpieces W are in contact with the common foreign matter F, the three workpieces W and the foreign matter F are different images. Exists as. On the other hand, as can be understood from FIG. 20, the second work P2 extracted from the captured image P in a state where the total three works W are in contact with the common foreign matter F is continuously displayed. One image exists.

本実施形態に係る異物検出装置Xは、抽出ステップS2に引き続いて、ワーク像特定手段43によって、抽出手段42で抽出した第1画像P1のうちワーク像であれば有するべき幾何学的特徴量を有する像をワーク像として特定する(ワーク像特定ステップS3、図17参照)。このワーク像特定ステップS3では、抽出ステップS2で抽出した第1画像P1を所定の閾値で2値化し、2値化処理した第1画像P1を所定回数収縮させ、収縮処理した第1画像P1のうち、予め所定の記憶部に記憶されている「ワーク判定基準範囲データ」に設定されている条件(数値)に該当する幾何学的特徴量を有する像をワーク像として特定するようにしている。図21には、図19に示す第1画像P1を所定の閾値で2値化処理した第1画像P1(a)を示す。また、図22に、2値化処理を行った第1画像P1(a)を所定回数収縮させる収縮処理として、上述のErosion処理を所定回数行った第1画像P1(b)を示す。   In the foreign object detection device X according to the present embodiment, subsequent to the extraction step S2, the geometric feature amount that should be included in the first image P1 extracted by the extraction unit 42 by the workpiece image specifying unit 43 is a workpiece image. The image which has is specified as a work image (see Work image specifying step S3, FIG. 17). In this work image specifying step S3, the first image P1 extracted in the extraction step S2 is binarized with a predetermined threshold, the binarized first image P1 is contracted a predetermined number of times, and the contracted first image P1 is processed. Among them, an image having a geometric feature amount corresponding to a condition (numerical value) set in “work determination reference range data” stored in advance in a predetermined storage unit is specified as a work image. FIG. 21 shows a first image P1 (a) obtained by binarizing the first image P1 shown in FIG. 19 with a predetermined threshold value. FIG. 22 shows a first image P1 (b) obtained by performing the above-described erosion process a predetermined number of times as a contraction process for contracting the first image P1 (a) subjected to the binarization process a predetermined number of times.

図22から把握できるように、収縮処理後の第1画像P1(b)において相互に連続していない白い領域の塊(以下、単に「塊」と称す)は、それぞれの塊の中心位置を維持したまま図21に示す収縮処理前の第1画像P1(a)における塊、つまり2値化処理直後の第1画像P1(a)における塊よりも面積が小さくなり、収縮処理後の第1画像P1(b)における相互に連続していない塊同士の離間距離は、図21に示す収縮処理前の第1画像P1(a)における相互に連続していない塊同士の離間距離よりも長くなる。   As can be understood from FIG. 22, in the first image P <b> 1 (b) after the shrinking process, the white area chunks that are not continuous with each other (hereinafter simply referred to as “lumps”) maintain the center positions of the respective chunks. As it is, the area of the first image P1 (a) before the contraction process shown in FIG. 21, that is, the area in the first image P1 (a) immediately after the binarization process is smaller, and the first image after the contraction process. The separation distance between the non-continuous chunks in P1 (b) is longer than the separation distance between the non-continuous chunks in the first image P1 (a) before the shrinking process shown in FIG.

そして、本実施形態の異物検出装置Xは、ワーク像特定ステップS3において、収縮処理した第1画像P1(b)に記録されている塊の幾何学的特徴量を算出し、その幾何学的特徴量が、「ワーク判定基準範囲データ」に設定されている条件(数値)を満たす場合に、その幾何学的特徴量を有する塊を「ワーク像である」と判定することで、ワーク像を特定する。本実施形態では、塊の「面積」、「最大Feret径」及び「最小Feret径」を幾何学的特徴量とし、「ワーク判定基準範囲データ」に設定された「面積」、「最大Feret径」及び「最小Feret径」の上限値及び下限値(基準範囲)を満たす塊をワークWとして特定するようにしている。図23には、略矩形の塊内に交差する2本の線を付している。同図中において、各塊内における相対的に長い線が最大Feret径であり、相対的に短い線が最小Feret径である。   Then, the foreign object detection device X of the present embodiment calculates the geometric feature amount of the lump recorded in the contracted first image P1 (b) in the work image specifying step S3, and the geometric feature. When the amount satisfies the condition (numerical value) set in the “work determination reference range data”, the work image is identified by determining that the block having the geometric feature amount is “work image” To do. In this embodiment, the “area”, “maximum Feret diameter”, and “minimum Feret diameter” of the mass are used as geometric feature amounts, and “area” and “maximum Feret diameter” set in the “work determination reference range data”. In addition, a lump that satisfies the upper limit value and the lower limit value (reference range) of the “minimum Feret diameter” is specified as the workpiece W. In FIG. 23, two lines intersecting in a substantially rectangular block are attached. In the figure, the relatively long line in each lump is the maximum Feret diameter, and the relatively short line is the minimum Feret diameter.

本実施形態の異物検出装置Xは、ワーク像特定ステップS3において、図22及び図23に示す第1画像P1(b)における相互に連続していない4つの塊のうち、略矩形の塊はワーク判定基準範囲データに設定された基準範囲を満たす像、つまりワーク像であると判定して特定する一方で、略円形の塊は基準範囲を満たさない像、つまりワーク像ではないと判定し、ワーク像であると特定しない。   In the foreign object detection device X of the present embodiment, in the work image specifying step S3, among the four non-continuous blocks in the first image P1 (b) shown in FIGS. While determining and specifying that the image satisfies the reference range set in the determination reference range data, that is, the workpiece image, the substantially circular mass is determined not to satisfy the reference range, that is, the workpiece image. Not identified as a statue.

また、このワーク像特定ステップS3では、収縮処理を所定回数行った第1画像P1(b)に写る塊のうち、ワーク像であると判定した塊だけを残し、その他の塊(ワーク像であると特定していない塊)を除去する処理(非ワーク像除去処理)を行う。ここで、図22に示す収縮処理をした第1画像P1(b)に基づいて非ワーク像除去処理を完了した時点の第1画像であるワーク像特定画像P1(c)を図24に示す。   Further, in this work image specifying step S3, only the mass determined to be the work image among the masses reflected in the first image P1 (b) subjected to the contraction process a predetermined number of times is left, and other masses (work image). (A non-work image removal process) is removed. Here, FIG. 24 shows a work image specifying image P1 (c) which is the first image when the non-work image removal process is completed based on the first image P1 (b) subjected to the contraction process shown in FIG.

本実施形態に係る異物検出装置Xは、ワーク像特定ステップS3の次に、ワーク像除去手段44により、抽出ステップS2で抽出した第2画像P2からワーク像特定ステップS3で特定したワーク像に対応する領域を除去する(ワーク像除去ステップS4、図17参照)。このワーク像除去ステップS4では、ワーク像特定ステップS3でワーク像を特定した第1画像P1であるワーク像特定画像P1(c)を所定回数膨張させるとともに、抽出ステップS2で抽出した第2画像P2を所定の閾値で2値化し、2値化処理した第2画像P2のうち、膨張処理した第1画像P1においてワーク像として特定した領域に対応する領域を除去するようにしている。   The foreign object detection device X according to the present embodiment corresponds to the workpiece image identified in the workpiece image identification step S3 from the second image P2 extracted in the extraction step S2 by the workpiece image removal unit 44 after the workpiece image identification step S3. The area to be removed is removed (see work image removal step S4, FIG. 17). In this work image removal step S4, the work image specifying image P1 (c), which is the first image P1 specifying the work image in the work image specifying step S3, is expanded a predetermined number of times, and the second image P2 extracted in the extraction step S2 is used. Is binarized with a predetermined threshold value, and from the binarized second image P2, an area corresponding to the area specified as the work image in the first image P1 subjected to the dilation process is removed.

図25に、ワーク像特定画像P1(c)に対して所定回数膨張処理(Dilation処理)を行った第1画像P1(d)を示す。また、図26には、図20に示す第2画像P2を所定の閾値で2値化処理した第2画像P2(e)を示す。2値化処理を行った第2画像P2(e)には、抽出ステップS2で抽出した第2画像P2においてカラー画像として写し出された部分が白い塊として写し出される。   FIG. 25 shows a first image P1 (d) obtained by performing dilation processing (Dilation processing) a predetermined number of times on the work image specifying image P1 (c). FIG. 26 shows a second image P2 (e) obtained by binarizing the second image P2 shown in FIG. 20 with a predetermined threshold. In the second image P2 (e) that has been subjected to the binarization process, the portion of the second image P2 extracted in the extraction step S2 that is projected as a color image is copied as a white block.

本実施形態では、膨張回数を収縮回数よりも多く設定している。したがって、膨張処理後の第1画像P1(d)に写る「塊」の総面積は、抽出ステップS2において2値化処理直後の第1画像P1(a)に写るワークに相当する「塊」の総面積よりも大きくなる。さらに、本実施形態では、所定回数膨張処理(Dilation処理)を行った第1画像P1(d)に写る「塊」の総面積が、2値化処理直後の第2画像P2(e)に写るワークに相当する「塊」の総面積よりも大きくなるように設定している。   In the present embodiment, the number of expansions is set larger than the number of contractions. Therefore, the total area of the “lumps” shown in the first image P1 (d) after the expansion process is the total area of the “lumps” corresponding to the work shown in the first image P1 (a) immediately after the binarization process in the extraction step S2. It becomes larger than the total area. Further, in the present embodiment, the total area of “lumps” shown in the first image P1 (d) that has been subjected to the dilation processing (Dilation processing) a predetermined number of times is shown in the second image P2 (e) immediately after the binarization processing. It is set to be larger than the total area of “lumps” corresponding to the workpiece.

そして、本実施形態の異物検出装置Xは、ワーク像除去ステップS4において、2値化処理した第2画像P2(e)のうち、膨張処理した第1画像P1(d)においてワーク像として特定した白い塊に対応する領域を黒にする処理を行う。図27に、2値化処理した第2画像P2(e)のうち、膨張処理した第1画像P1(d)においてワーク像として特定した白い塊に対応する領域を黒にする処理を行った画像であるワーク像除去画像P2(f)を示す。ワーク像除去ステップS4におけるワーク除去処理は、膨張処理した第1画像P1(d)と2値化処理した第2画像P2(e)とを重ね合わせて、2値化処理した第2画像P2のうち、膨張処理した第1画像P1(d)においてワーク像として特定した白い塊に重なる領域を黒にする処理と捉えることもできる。   And the foreign material detection apparatus X of this embodiment specified as a work image in the 1st image P1 (d) which carried out the expansion process among the 2nd images P2 (e) binarized in the work image removal step S4. Processing to make the area corresponding to the white block black. FIG. 27 illustrates an image obtained by performing blackening on an area corresponding to a white block identified as a work image in the dilated first image P1 (d) in the binarized second image P2 (e). A workpiece image removal image P2 (f) is shown. The workpiece removal process in the workpiece image removal step S4 is performed by superimposing the first image P1 (d) subjected to the expansion process and the second image P2 (e) subjected to the binarization process on the second image P2 subjected to the binarization process. Of these, it can also be regarded as a process of blackening an area overlapping a white block specified as a work image in the first image P1 (d) subjected to the expansion process.

本実施形態に係る異物検出装置Xは、ワーク像除去ステップS4においてワーク像を除去した第2画像P2(f)に基づいて、異物像特定手段45により、所定の面積以上の像を異物像として特定する(異物像特定ステップS5、図17参照)。この異物F特定ステップS5では、ワーク像除去画像P2(f)に写っている塊の面積を算出し、その面積(複数の塊があれば各塊の面積)が予め所定の記憶部に記憶されている「異物判定基準データ」に設定されている条件(数値)を満たす場合に、その面積を有する塊を「異物像」と判定することで、異物像を特定するようにしている。   The foreign object detection device X according to the present embodiment uses the foreign object image specifying unit 45 to set an image having a predetermined area or more as a foreign object image based on the second image P2 (f) from which the work image has been removed in the work image removal step S4. Identify (see foreign object image identifying step S5, FIG. 17). In this foreign matter F specifying step S5, the area of the lump shown in the workpiece image removal image P2 (f) is calculated, and the area (the area of each lump if there are a plurality of lumps) is stored in advance in a predetermined storage unit. When the condition (numerical value) set in the “foreign matter determination reference data” is satisfied, the block having the area is determined as the “foreign matter image” to identify the foreign matter image.

このように、本実施形態に係る異物検出装置Xでは、照射面である搬送床面Y2に対する入射角及び波長が相互に異なる第1光源1及び第2光源2で同時に照射し、その反射光を共通の撮像部3で記録した撮像画像Pに基づいて、画像処理部4によって、第1光源1の照射光に基づく第1画像P1と、第2光源2の照射光に基づく第2画像P2とに個別に抽出し、同時刻の第1画像P1及び第2画像P2をそれぞれワーク特定用画像、異物特定用画像として用いて上述の処理を行うことにより、搬送床面Y2上の異物Fを検出して特定することができる。   As described above, in the foreign object detection apparatus X according to the present embodiment, the first light source 1 and the second light source 2 having different incident angles and wavelengths with respect to the transport floor surface Y2 that is the irradiation surface are simultaneously irradiated, and the reflected light is irradiated. Based on the captured image P recorded by the common imaging unit 3, the image processing unit 4 uses the first image P 1 based on the irradiation light of the first light source 1 and the second image P 2 based on the irradiation light of the second light source 2. And detecting the foreign matter F on the transport floor Y2 by performing the above-described processing using the first image P1 and the second image P2 at the same time as the workpiece specifying image and the foreign matter specifying image, respectively. Can be specified.

特に、本実施形態に係る異物検出装置Xは、2種類の光源(第1光源1,第2光源2)が必要である一方で撮像部3は1つで足りるため、各光源(第1光源1,第2光源2)ごとに個別に撮像部を設ける態様と比較して、構成の簡略化及びコストの削減を図ることができるとともに、搬送床面Y2上を移動中のワークWを単一の撮像部3で撮影した場合に、第1画像P1に記録されるワークWの位置と、第2画像P2に記録されるワークWの位置とを相互に矛盾なく対応させることが可能であり、ワーク像除去手段44により第2画像P2において第1画像P1で特定したワークWの領域に対応する領域を除去する際に、第2画像P2中のワーク像に相当する領域を第2画像P2中から除去することができ、その第2画像P2(ワーク像に相当する領域を除去した第2画像P2)に基づいて異物Fを適切に検出することができる。   In particular, the foreign object detection device X according to the present embodiment requires two types of light sources (first light source 1 and second light source 2), but only one imaging unit 3 is required. Compared with a mode in which an imaging unit is individually provided for each of the first and second light sources 2), the configuration can be simplified and the cost can be reduced, and a single workpiece W moving on the transfer floor Y2 can be obtained. When the image pickup unit 3 is used, the position of the work W recorded in the first image P1 and the position of the work W recorded in the second image P2 can be made to correspond to each other without contradiction. When the area corresponding to the area of the workpiece W specified in the first image P1 is removed from the second image P2 by the workpiece image removing unit 44, the area corresponding to the workpiece image in the second image P2 is included in the second image P2. The second image P2 (which corresponds to the work image) Foreign matter F based on the second image P2) obtained by removing the region in which it is possible to appropriately detect.

さらに、本実施形態の異物検出装置Xでは、第1画像P1におけるワーク像を特定する一方で、第2画像P2におけるワーク像を特定する処理は不要であるため、第2画像P2におけるワーク像を特定する処理も必要な態様と比較して処理手順の単純化を図ることができる。   Furthermore, in the foreign object detection device X of the present embodiment, while the work image in the first image P1 is specified, the process of specifying the work image in the second image P2 is unnecessary, and thus the work image in the second image P2 is determined. The processing procedure can be simplified as compared with the required processing.

また、本実施形態に係る異物検出装置Xでは、第1光源1及び第2光源2の照射領域に、向きが揃っていない(整列していない)複数のワークWが相互に接触した状態で通過した場合であっても、ワークW同士が撮像部3に対峙する上向き面同士ではなく側面や角あるいは辺同士で接触していれば、ワーク特定用画像として用いる第1画像P1では、例えば図19及び図21に示すように、ワーク像に相当する部分が相互に連続していない(接触してない)像として写し出されるため、この第1画像P1を用いてワーク像を容易に特定することができる。   Further, in the foreign object detection device X according to the present embodiment, a plurality of workpieces W whose directions are not aligned (not aligned) pass through the irradiation regions of the first light source 1 and the second light source 2 while being in contact with each other. Even in the case where the workpieces W are in contact with the side surfaces, corners, or sides instead of the upward surfaces facing the imaging unit 3, in the first image P1 used as the workpiece specifying image, for example, FIG. As shown in FIG. 21 and FIG. 21, portions corresponding to the workpiece image are projected as non-continuous (non-contacting) images. Therefore, the workpiece image can be easily specified using the first image P1. it can.

加えて、第1画像P1には、異物Fのうち頂上部分に相当する領域のみが写し出されるため、第1画像P1中におけるワーク像に相当する領域と比較して異物Fの頂上部分に相当する領域は極めて小さく、これもまた第1画像P1におけるワーク像の検出・特定の容易化に資する。   In addition, since only the region corresponding to the top portion of the foreign matter F is projected on the first image P1, it corresponds to the top portion of the foreign matter F compared to the region corresponding to the work image in the first image P1. The area is extremely small, which also contributes to the easy detection and identification of the work image in the first image P1.

特に、本実施形態に係る異物検出装置Xは、ワーク像特定手段43において、抽出手段42で抽出した第1画像P1を所定回数収縮させる収縮処理を行い、収縮処理した第1画像P1(b)のうち所定の幾何学的特徴量を有する像をワーク像として特定するように構成しているため、収縮処理後の第1画像P1(b)中における異物Fの頂上部分に相当する面積はより一層小さくなり、収縮処理を行わない場合と比較して、ワーク像特定手段43によるワーク像特定処理をスムーズ且つ簡単に行うことができる。   In particular, in the foreign object detection device X according to the present embodiment, the work image specifying unit 43 performs a contraction process for contracting the first image P1 extracted by the extraction unit 42 a predetermined number of times, and the contracted first image P1 (b). Since an image having a predetermined geometric feature amount is specified as a work image, the area corresponding to the top portion of the foreign matter F in the first image P1 (b) after the shrinkage process is more Compared with a case where the shrinkage process is not performed, the work image specifying process by the work image specifying unit 43 can be performed smoothly and easily.

また、本実施形態に係る異物検出装置Xでは、ワーク像除去手段44において、ワーク像特定手段43でワーク像を特定した第1画像P1(c)を所定回数膨張させる膨張処理を行い、第2画像P2のうち、膨張処理した第1画像P1(d)においてワーク像として特定した領域(ワーク像特定領域)に対応する領域を除去するように構成しているため、膨張処理後の第1画像P1(d)に写し出されるワーク像の領域を、第2画像P2におけるワーク像に相当する領域よりも大きくすることが可能である。このような膨張処理後の第1画像P1(d)中におけるワーク像特定領域に応じた領域を第2画像P2中から除去することによって、第2画像P2中におけるワーク像に相当する領域を完全に除去することができ、その除去処理後に第2画像P2中に写し出されている像に対して異物Fか否かを特定する処理を行えばよいことになる。したがって、膨張処理を行わない第1画像P1に基づいて第2画像P2中のワーク像に相当する領域を除去した場合であれば第2画像P2中に枠状の像が残るという事象、つまり、第2画像P2中のワーク像に相当する領域が膨張処理をしていない第1画像P1中のワーク像特定領域よりも大きいことに起因して第2画像P2に枠状の像が残るという事象を回避することができ、異物検出処理効率の向上に役立つ。   In the foreign object detection device X according to the present embodiment, the work image removing unit 44 performs an expansion process for expanding the first image P1 (c), in which the work image is specified by the work image specifying unit 43, a predetermined number of times. Since the area corresponding to the area (work image specifying area) specified as the work image in the first image P1 (d) subjected to the expansion process is removed from the image P2, the first image after the expansion process is removed. The area of the work image projected on P1 (d) can be made larger than the area corresponding to the work image in the second image P2. By removing the area corresponding to the work image specific area in the first image P1 (d) after such expansion processing from the second image P2, the area corresponding to the work image in the second image P2 is completely completed. Therefore, after the removal process, a process for specifying whether or not the image is projected in the second image P2 is a foreign object F may be performed. Therefore, if the area corresponding to the work image in the second image P2 is removed based on the first image P1 that is not subjected to the expansion process, an event that a frame-like image remains in the second image P2, that is, A phenomenon in which a frame-like image remains in the second image P2 due to the fact that the area corresponding to the work image in the second image P2 is larger than the work image specific area in the first image P1 that has not been expanded. This is useful for improving the efficiency of foreign object detection processing.

搬送床面Y2上において異物F同士が接触している場合、そのような異物FとワークWとを撮像部3で記録した場合、その撮像画像Pにおいて、接触している異物F同士の全体形状に相当する像がワークWに相当する像と類似する場合がある。図28に上記ケースに該当する撮像画像Pを示す。このような場合、抽出手段42で抽出した図30に示す第2画像P2では、相互に接触している異物Fに相当する団子状の像と、ワークWに相当する像が類似しているため、この第2画像P2のみでは異物Fを検出して特定することは困難である。しかしながら、抽出手段42で抽出した図29に示す第1画像P1には、相互に接触している異物Fのうちそれぞれの頂上部分に相当する像が相互に分離した状態で写ったり、または輝度値によっては頂上部分に相当する像が写らないため、この第1画像P1に基づいてワーク像の特定を容易に行うことができる。   When foreign objects F are in contact with each other on the transport floor surface Y2, when such a foreign object F and a workpiece W are recorded by the imaging unit 3, the entire shape of the contacting foreign objects F in the captured image P May be similar to the image corresponding to the workpiece W. FIG. 28 shows a captured image P corresponding to the above case. In such a case, in the second image P2 shown in FIG. 30 extracted by the extracting means 42, the dumpling-like image corresponding to the foreign matter F in contact with the image and the image corresponding to the workpiece W are similar. It is difficult to detect and specify the foreign matter F only with the second image P2. However, in the first image P1 shown in FIG. 29 extracted by the extracting means 42, images corresponding to the top portions of the foreign substances F that are in contact with each other appear in a state where they are separated from each other, or the luminance value. In some cases, an image corresponding to the top portion is not captured, so that the workpiece image can be easily specified based on the first image P1.

また、本実施形態に係る異物検出装置Xでは、異物像特定手段45において、その時点で第2画像P2(f)に残っている像(2値化処理した後の第2画像P2(f)に残っている白い塊)に対してのみ、所定の面積以上の像であるか否かを判定(計算処理)して、所定の面積以上の像であれば異物Fと特定するように構成している。そして、異物像特定処理開始時点では、第2画像P2(f)からワーク像に相当する像は除去されているため、例えば異物像特定処理開始時点における第2画像P2中にワーク像に相当する像が記録されており、この像についても所定の面積以上の像であるか否かを判定しなければならない構成と比較して、異物像を特定するまでに要する計算処理回数を減らすことができるとともに、第2画像P2中におけるワークWの写り方に左右されることなく異物像特定処理を実行することができる。   Further, in the foreign object detection device X according to the present embodiment, the foreign object image specifying unit 45 has an image remaining in the second image P2 (f) at that time (the second image P2 (f) after the binarization process). It is configured to determine (calculation processing) whether or not the image is larger than a predetermined area only for the white lump (remaining white lump). ing. Since the image corresponding to the work image is removed from the second image P2 (f) at the start of the foreign object image specifying process, for example, the image corresponds to the work image in the second image P2 at the start time of the foreign object image specifying process. Compared with a configuration in which an image is recorded and it is necessary to determine whether this image is an image having a predetermined area or more, the number of calculation processes required to specify a foreign object image can be reduced. In addition, the foreign object image specifying process can be executed without being influenced by the way the workpiece W is captured in the second image P2.

さらに、本実施形態に係る異物検出装置Xでは、異物像特定処理開始時点では、第2画像P2からワーク像に相当する像は除去されており、その時点で第2画像P2に残っている像(白黒の2値化処理した後の第2画像P2に残っている白い塊)に対してのみ、所定の面積以上の像であるか否かを判定(計算処理)して、所定の面積以上の像であれば異物Fと特定するように構成しているため、異物像特定処理開始時点で第2画像P2に残っている像に対する異物像特定処理によって異物像であると特定されなかった像は、背景(搬送床面Y2を含むパーツフィーダY自体)の模様か、微小な粉塵、或いは画像ノイズであることが把握できる。このメリットは、例えば、異物Fと背景との輝度値の閾値を求める場合に、ワークWの輝度値に依存することなく算出することができることである。   Furthermore, in the foreign object detection device X according to the present embodiment, the image corresponding to the workpiece image is removed from the second image P2 at the start of the foreign object image identification process, and the image remaining in the second image P2 at that time point. Only (a white block remaining in the second image P2 after the black and white binarization process) is determined (calculation process) whether or not the image is a predetermined area or more, and the predetermined area or more Therefore, the image that is not identified as a foreign object image by the foreign object image identification process for the image remaining in the second image P2 at the start of the foreign object image identification process. Can be grasped as a background pattern (part feeder Y itself including the transport floor Y2), fine dust, or image noise. This merit is that, for example, when the threshold value of the brightness value of the foreign object F and the background is obtained, it can be calculated without depending on the brightness value of the workpiece W.

さらに、本実施形態に係るパーツフィーダYでは、上述した異物検出装置Xによって得られる効果を享受することで、搬送床面Y2上の異物Fを的確に検出することができる。そして、本実施形態に係るパーツフィーダYでは、ワークWを整列させる前の時点で異物検出装置Xによる異物検出処理を実施しているため、ワークWを整列させた時点以降で異物Fの存在によってワークWの整列搬送に支障を来し、搬送効率が低下する事態を防止・抑制することができる。   Furthermore, the parts feeder Y according to the present embodiment can accurately detect the foreign matter F on the transport floor surface Y2 by enjoying the effect obtained by the foreign matter detection device X described above. And in the parts feeder Y which concerns on this embodiment, since the foreign material detection process by the foreign material detection apparatus X is implemented before the work W is aligned, it exists by the presence of the foreign material F after the time when the work W is aligned. It is possible to prevent or suppress the situation where the work W is aligned and transported and the transport efficiency is lowered.

以上に述べたように、本実施形態に係る異物検出装置X、及び異物検出装置Xを備えたパーツフィーダYによって、従来では着想されることのなかった搬送床面Y2上に混在する異物Fを検出して特定するという技術を実現することができる。   As described above, the foreign matter F mixed on the transport floor Y2 that has not been conceived in the past by the foreign matter detection device X according to the present embodiment and the parts feeder Y provided with the foreign matter detection device X. A technique of detecting and specifying can be realized.

そして、このような異物検出装置Xによって異物Fの存在を特定した後の工程において、その特定した異物Fの位置を適宜の手段で検出することにより、位置を特定した異物Fのみをピンポイントで搬送床面Y2から適宜の除去装置(例えばロボットハンド等も用いたメカニカルな除去装置やエア噴射を用いた除去装置など)によって除去することが可能になる。   Then, in the process after the presence of the foreign matter F is identified by such a foreign matter detection device X, the position of the identified foreign matter F is detected by an appropriate means, so that only the foreign matter F whose location has been identified is pinpointed. It is possible to remove from the transfer floor surface Y2 by an appropriate removal device (for example, a mechanical removal device using a robot hand or the like, a removal device using air injection, or the like).

このような異物Fを除去する構成は、従来採用されていた構成、つまり搬送面に形成した窓に到達して通過したり、搬送面に形成した溝に到達して収容された物を異物Fとして搬送面から除去していた構成と比較して、搬送床面Y2上に混在する異物Fを全て搬送床面Y2から除去できるという顕著な効果を得ることができ、従来であれば生じる不具合、すなわち、異物Fであっても窓や溝に到達しなければそのままワークWと共に搬送先に向かって搬送されるという不具合を悉く解消することができる。   Such a configuration for removing the foreign matter F is a configuration that has been conventionally adopted, that is, the foreign matter F that reaches and passes through the window formed on the transport surface or reaches the groove formed on the transport surface. As compared with the configuration that has been removed from the transport surface, it is possible to obtain a remarkable effect that all the foreign matter F mixed on the transport floor surface Y2 can be removed from the transport floor surface Y2, a problem that occurs in the past, That is, even if the foreign matter F does not reach the window or the groove, it is possible to solve the problem that the foreign matter F is transported as it is toward the transport destination together with the workpiece W.

なお、本発明は上述した実施形態に限定されるものではない。例えば、上述した実施形態では、画像が処理部の抽出手段で抽出した第1画像、第2画像をそれぞれ所定の閾値で2値化する処理を行う態様を例示したが、抽出手段による抽出した第1画像、第2画像を2値化処理せずに、その後の処理を行うようにしてもよい。   In addition, this invention is not limited to embodiment mentioned above. For example, in the above-described embodiment, the mode in which the first image extracted from the image by the extraction unit of the processing unit and the second image are binarized with a predetermined threshold is exemplified. The subsequent processing may be performed without binarizing the one image and the second image.

また、ワーク像特定手段が、抽出手段で抽出した第1画像そのもの、或いはその第1画像を2値化処理した画像に基づいて、それらの画像のうち所定の幾何学的特徴量を有する塊(像)をワーク像として特定するものであっても構わない。つまり、本発明では、収縮処理をしていない画像に基づいてワーク像特定処理を行う構成にすることができる。   In addition, based on the first image itself extracted by the extraction means or an image obtained by binarizing the first image, the workpiece image specifying means includes a lump having a predetermined geometric feature amount among these images ( Image) may be specified as a work image. That is, according to the present invention, the work image specifying process can be performed based on an image that has not been subjected to the contraction process.

また、ワーク像特定手段においてワーク像として特定する際の基準となるワークの幾何学的特徴量として、例えば「面積」だけを採用したり、「面積」と「最小Feret径」だけ、或いは「面積」と「最大Feret径」だけを採用したり、「面積」とFeret径以外の要素や特性、量を採用しても構わない。   In addition, for example, only “area” is adopted as the geometric feature amount of the workpiece that is a reference when the workpiece image specifying means specifies the workpiece image, or only “area” and “minimum Feret diameter” or “area” is adopted. ”And“ maximum Feret diameter ”, or elements, characteristics, and quantities other than“ area ”and Feret diameter may be employed.

さらに、本発明では、ワーク像除去手段として、ワーク像特定手段によってワーク像を特定した第1画像を所定回数膨張させる膨張処理を行わないものを用いることが可能である。この場合、ワーク像除去手段は、第2画像のうち、ワーク像特定手段によってワーク像を特定した第1画像においてワーク像として特定した領域に対応する領域を除去するものであればよい。なお、膨張処理をしない場合、第2画像のうち、ワーク像特定手段によってワーク像を特定した第1画像においてワーク像として特定した領域(ワーク像特定領域)に対応する領域を除去した画像(ワーク像除去画像)には、第2画像中のワーク像に相当する領域が膨張処理をしていない第1画像中のワーク像特定領域よりも大きいことに起因して枠状の像が残ることがあり、この枠状の像を、例えば細線化処理してさらに収縮させる処理によってワーク像除去画像中から除去するようにすれば、異物像特定手段による異物像特定処理をスムーズ且つ適切に行うことができる。   Furthermore, in the present invention, it is possible to use a workpiece image removing unit that does not perform the expansion process for expanding the first image in which the workpiece image is specified by the workpiece image specifying unit a predetermined number of times. In this case, the work image removing means may be any means that removes the area corresponding to the area specified as the work image in the first image specified by the work image specifying means from the second image. In the case where the expansion process is not performed, an image obtained by removing an area corresponding to an area (work image specifying area) specified as a work image in the first image in which the work image is specified by the work image specifying means is removed from the second image. In the image-removed image, a frame-like image may remain because the area corresponding to the work image in the second image is larger than the work image specifying area in the first image that has not been subjected to the expansion process. If this frame-like image is removed from the workpiece image removal image by, for example, a thinning process and further contracting, the foreign object image specifying process by the foreign object image specifying means can be performed smoothly and appropriately. it can.

また、第1光源及び第2光源の照射領域が、スパイラル状の搬送路(ボウル搬送路)の搬送面であってもよい。すなわち、本発明の異物検出装置を適用するパーツフィーダが、ボウルフィーダを備えたものであり、ボウルフィーダに設けたボウル搬送路における所定領域を第1光源及び第2光源の照射領域とし、この照射領域を通過するワークに混在している異物を異物検出装置によって検出するように構成することができる。第1光源及び第2光源の照射領域を通過するワークの個数や向き(姿勢)は特に限定されるものではないが、仕様等を考慮して積極的にワークの数や向きを限定するようにしてもよい。   Moreover, the irradiation area | region of a 1st light source and a 2nd light source may be the conveyance surface of a spiral conveyance path (bowl conveyance path). That is, the parts feeder to which the foreign matter detection device of the present invention is applied includes a bowl feeder, and a predetermined area in the bowl conveyance path provided in the bowl feeder is set as an irradiation area of the first light source and the second light source. It can be configured such that the foreign matter mixed in the workpiece passing through the region is detected by the foreign matter detection device. The number and orientation (posture) of the workpieces that pass through the irradiation areas of the first light source and the second light source are not particularly limited, but the number and orientation of the workpieces should be positively limited in consideration of specifications and the like. May be.

ワークを搬送路(リニア搬送路、ボウル搬送路)の搬送側面にも接触または近接させながら搬送する構成であれば、搬送側面を本発明の「搬送面」とし、この搬送側面の所定領域を第1光源及び第2光源で照射するように設定することも可能である。   If the workpiece is conveyed while contacting or approaching the conveyance side surface of the conveyance path (linear conveyance path, bowl conveyance path), the conveyance side surface is the “conveyance surface” of the present invention, and a predetermined region on the conveyance side surface is the first area. It is also possible to set to irradiate with one light source and a second light source.

また、搬送路は、昇り勾配に設定したものに限られず、水平であったり、降り勾配に設定したものであっても構わない。   Further, the conveyance path is not limited to the one set to the ascending gradient, and may be horizontal or one set to the descending gradient.

第1光源及び第2光源は、相互に異なる波長であればよく、赤、青以外の色の可視光線にしたり、赤外線や紫外線など可視光以外の波長を採用してもよい。撮像部は、第1光源及び第2光源の光線の種類に応じて対応可能な適宜のものを選択すればよい。   The first light source and the second light source may have different wavelengths, and may be visible light of a color other than red or blue, or may employ a wavelength other than visible light such as infrared or ultraviolet. What is necessary is just to select the appropriate | suitable thing for an imaging part according to the kind of light beam of a 1st light source and a 2nd light source.

また、搬送対象物であるワークは、表面の一部又は全部を平滑な面に形成したものであればよく、LED等の各種LEDや、チップ抵抗やチップコンデンサ等のLED以外の電子部品、あるいは食品など電子部品以外のものを搬送対象物としてもよい。   In addition, the work that is the object to be transported may be formed by forming a part or all of the surface on a smooth surface, such as various LEDs such as LEDs, electronic components other than LEDs such as chip resistors and chip capacitors, or A thing other than electronic parts such as food may be used as a conveyance object.

本発明に係る異物検出装置の検出対象となる異物は、表面の全部又は一部が曲面であるものであればよく、球状のものに限られない。   The foreign object to be detected by the foreign object detection device according to the present invention is not limited to a spherical object as long as all or part of the surface is a curved surface.

また、本実施形態に係る異物検出装置では、ワークの上向き面に検出対象である異物が載ってしまっている状態で第1光源及び第2光源の照射領域を通過した場合であっても、抽出手段で抽出した第1画像には、ワークに相当する像の中に、異物の頂上部分に相当する像と、頂上部分以外の部分に相当する像が、ワークに相当する像とは異なる色又は輝度値で写ることになり、このような第1画像に基づいてワーク像特定処理を行うことができ、抽出手段で抽出した第2画像からワーク像特定画像におけるワーク像特定領域に対応する領域を除去することによって、その後の異物検出処理を適切に行うことが可能である。   Further, in the foreign object detection device according to the present embodiment, even when the foreign object to be detected is placed on the upward surface of the workpiece, the extraction is performed even when the irradiation area of the first light source and the second light source is passed. In the first image extracted by the means, in the image corresponding to the workpiece, the image corresponding to the top portion of the foreign substance and the image corresponding to the portion other than the top portion are different in color from the image corresponding to the workpiece or The work image specifying process can be performed based on the first image, and an area corresponding to the work image specifying area in the work image specifying image is extracted from the second image extracted by the extracting unit. By removing it, it is possible to appropriately perform subsequent foreign object detection processing.

その他、各部の具体的構成についても上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で種々変形が可能である。   In addition, the specific configuration of each part is not limited to the above embodiment, and various modifications can be made without departing from the spirit of the present invention.

1…第1光源
2…第2光源
3…撮像部
4…画像処理部
41…画像取込手段
42…抽出手段
43…ワーク像特定手段
44…ワーク像除去手段
45…異物像特定手段
F…異物
P1…第1画像
P2…第2画像
W…ワーク
X…異物検出装置
Y…パーツフィーダ
Y1…搬送路(リニア搬送路)
Y2…搬送面(搬送床面)
DESCRIPTION OF SYMBOLS 1 ... 1st light source 2 ... 2nd light source 3 ... Imaging part 4 ... Image processing part 41 ... Image capture means 42 ... Extraction means 43 ... Work image specification means 44 ... Work image removal means 45 ... Foreign object image specification means F ... Foreign substance P1 ... first image P2 ... second image W ... work X ... foreign matter detection device Y ... part feeder Y1 ... conveying path (linear conveying path)
Y2 ... Conveying surface (conveying floor surface)

Claims (4)

搬送面を有する搬送路の延伸方向に沿って搬送対象物であって表面が主として平面で構成されたワークを所定の搬送先へ搬送する際に、前記搬送面上に前記ワークと共に混入し得る表面が主として曲面で構成された異物を検出する異物検出装置であり、
前記搬送面における所定領域を照射する第1光源と、
前記搬送面における前記所定領域を前記第1光源よりも大きい入射角であって且つ前記第1光源とは異なる波長の光線で照射する第2光源と、
前記第1光源及び第2光源の同時照射時の画像を記録する撮像部と、
前記撮像部が記録した画像に基づいて所定の処理を行う画像処理部とを備え、
前記画像処理部が、
前記撮像部が記録した画像を取り込む画像取込手段と、
前記画像取込手段で取り込んだ画像から前記第1光源に基づく第1画像及び前記第2光源に基づく第2画像をそれぞれ抽出する抽出手段と、
前記抽出手段で抽出した前記第1画像のうち所定の幾何学的特徴量を有する像を前記ワークの像であるワーク像として特定するワーク像特定手段と、
前記抽出手段で抽出した前記第2画像から前記ワーク像特定手段で特定した前記ワーク像に対応する領域を除去するワーク像除去手段と、
前記ワーク像除去手段によって前記ワーク像を除去した前記第2画像に基づいて所定の面積以上の像を前記異物の像である異物像として特定する異物像特定手段とを備えたものであることを特徴とする異物検出装置。
A surface that can be mixed with the work on the transport surface when transporting a work to be transported to a predetermined transport destination, which is an object to be transported along the extending direction of the transport path having the transport surface. Is a foreign object detection device for detecting foreign objects mainly composed of curved surfaces,
A first light source that irradiates a predetermined area on the transport surface;
A second light source that irradiates the predetermined area on the transport surface with a light beam having a larger incident angle than the first light source and a wavelength different from that of the first light source;
An imaging unit for recording an image at the time of simultaneous irradiation of the first light source and the second light source;
An image processing unit that performs predetermined processing based on the image recorded by the imaging unit,
The image processing unit
Image capturing means for capturing an image recorded by the imaging unit;
Extraction means for respectively extracting a first image based on the first light source and a second image based on the second light source from the image captured by the image capturing means;
A work image specifying means for specifying an image having a predetermined geometric feature amount among the first image extracted by the extracting means as a work image which is an image of the work;
A work image removing means for removing a region corresponding to the work image specified by the work image specifying means from the second image extracted by the extracting means;
Foreign object image specifying means for specifying an image having a predetermined area or more as a foreign object image as the foreign object image based on the second image from which the work image has been removed by the work image removing means. A foreign object detection device.
前記ワーク像特定手段が、前記第1画像を所定回数収縮させる収縮処理を行い、収縮処理した前記第1画像のうち前記所定の幾何学的特徴量を有する像をワーク像として特定するものである請求項1に記載の異物検出装置。 The work image specifying means performs a contraction process for contracting the first image a predetermined number of times, and specifies an image having the predetermined geometric feature amount as a work image among the contracted first images. The foreign object detection device according to claim 1. 前記ワーク像除去手段が、前記ワーク像特定手段によってワーク像を特定した前記第1画像を所定回数膨張させる膨張処理を行い、前記第2画像のうち、膨張処理した前記第1画像において前記ワーク像として特定した領域に対応する領域を除去するものである請求項2記載の異物検出装置。 The workpiece image removing unit performs an expansion process for expanding the first image whose workpiece image is specified by the workpiece image specifying unit a predetermined number of times, and the workpiece image is expanded in the first image of the second image that has been expanded. The foreign object detection device according to claim 2, wherein an area corresponding to the area specified as is removed. 搬送路を振動させて搬送対象物であるワークを前記搬送路に沿って所定の搬送先へ搬送するパーツフィーダであって、
請求項1乃至3何れか記載の異物検出装置を備えていることを特徴とするパーツフィーダ。
A parts feeder that vibrates a conveyance path and conveys a workpiece, which is a conveyance object, to a predetermined conveyance destination along the conveyance path,
A parts feeder comprising the foreign matter detection device according to claim 1.
JP2013042845A 2013-03-05 2013-03-05 Foreign object detection device and parts feeder Active JP6044396B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013042845A JP6044396B2 (en) 2013-03-05 2013-03-05 Foreign object detection device and parts feeder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013042845A JP6044396B2 (en) 2013-03-05 2013-03-05 Foreign object detection device and parts feeder

Publications (2)

Publication Number Publication Date
JP2014168763A JP2014168763A (en) 2014-09-18
JP6044396B2 true JP6044396B2 (en) 2016-12-14

Family

ID=51691602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013042845A Active JP6044396B2 (en) 2013-03-05 2013-03-05 Foreign object detection device and parts feeder

Country Status (1)

Country Link
JP (1) JP6044396B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10179705B2 (en) * 2016-11-16 2019-01-15 Sensata Technologies, Inc. Feeder and method for feeding components into an assembly line
JP6818702B2 (en) 2018-01-15 2021-01-20 株式会社東芝 Optical inspection equipment and optical inspection method
JP6978131B1 (en) * 2021-06-11 2021-12-08 東京技研工業株式会社 Visual inspection method and visual inspection equipment
CN115307554B (en) * 2022-10-12 2023-03-24 山东创新精密科技有限公司 Aluminum profile width detection equipment and method based on target image processing

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0767102A (en) * 1993-08-27 1995-03-10 Ntn Corp Image processor for parts feeder
JP2001266124A (en) * 2000-03-23 2001-09-28 Matsushita Electric Ind Co Ltd Surface state inspecting method
JP3934359B2 (en) * 2001-04-23 2007-06-20 日立エンジニアリング株式会社 Foreign matter inspection device in liquid filled in transparent container
JP3653063B2 (en) * 2002-06-07 2005-05-25 三菱重工業株式会社 Agricultural product quality judgment device and agricultural product quality judgment method
JP2004037134A (en) * 2002-07-01 2004-02-05 Nec Corp Method and apparatus for inspecting metal mask
JP4096790B2 (en) * 2003-04-15 2008-06-04 株式会社デンソー Foreign matter discrimination image processing method and apparatus
JP2007294576A (en) * 2006-04-24 2007-11-08 Shibuya Kogyo Co Ltd Testing apparatus and testing method
DE102006047150B4 (en) * 2006-10-05 2013-01-17 Krones Aktiengesellschaft Inspection device for containers
JP5453350B2 (en) * 2011-06-23 2014-03-26 株式会社 システムスクエア Packaging inspection equipment

Also Published As

Publication number Publication date
JP2014168763A (en) 2014-09-18

Similar Documents

Publication Publication Date Title
TWI626440B (en) Defect detection apparatus, defect detection method and program product
KR102201911B1 (en) Automated inline inspection and metrology using shadow-gram images
JP5174540B2 (en) Wood defect detection device
JP6044396B2 (en) Foreign object detection device and parts feeder
JP2004109047A (en) Inspection method and inspection device of printed matter
JP2009016455A (en) Substrate position detecting device and substrate position detecting method
JP7157580B2 (en) Board inspection method and board inspection apparatus
JP2008025990A (en) Method and apparatus for detecting surface flaw of steel strip
JP6908123B2 (en) Visual inspection equipment and visual inspection method
JP2017166957A (en) Defect detection device, defect detection method and program
JP2007298472A (en) Inspection device and method for case
JP6628185B2 (en) Inspection method for transparent objects
JP4015436B2 (en) Gold plating defect inspection system
CN111602047B (en) Tablet inspection method and tablet inspection device
JP2009216647A (en) Defect inspection method and defect inspection device
JP5605010B2 (en) Surface inspection method
JP2005037203A (en) Inspection device and inspection method of bar-like object
JP2019124518A (en) Tablet inspection method and tablet inspection device
JP2006244869A (en) Plasma display panel inspection device, manufacturing method of plasma display panel, and device inspection method
JP5784406B2 (en) Inspection method for processed products
JP6937647B2 (en) Optical display panel damage inspection method
JP4220304B2 (en) Nuclear fuel pellet inspection method and apparatus
JP6688629B2 (en) Defect detecting device, defect detecting method and program
JP2006145377A (en) Method and apparatus for detecting defect on painted surface
JP6765645B2 (en) How to inspect the brazing material pattern

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161031

R150 Certificate of patent or registration of utility model

Ref document number: 6044396

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250