JP2008099598A - Device for inspecting insect-catching sheet, and method for counting insects caught in image of insect-catching sheet - Google Patents

Device for inspecting insect-catching sheet, and method for counting insects caught in image of insect-catching sheet Download PDF

Info

Publication number
JP2008099598A
JP2008099598A JP2006284558A JP2006284558A JP2008099598A JP 2008099598 A JP2008099598 A JP 2008099598A JP 2006284558 A JP2006284558 A JP 2006284558A JP 2006284558 A JP2006284558 A JP 2006284558A JP 2008099598 A JP2008099598 A JP 2008099598A
Authority
JP
Japan
Prior art keywords
insect
image
sheet
catching
counting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006284558A
Other languages
Japanese (ja)
Other versions
JP4200171B2 (en
Inventor
Atsuo Ida
敦夫 井田
Masaru Yoshimura
賢 吉村
Satoshi Nomura
諭司 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KYOTO INTELLIGENCE SEARCH KK
Newly Corp
Original Assignee
KYOTO INTELLIGENCE SEARCH KK
Newly Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KYOTO INTELLIGENCE SEARCH KK, Newly Corp filed Critical KYOTO INTELLIGENCE SEARCH KK
Priority to JP2006284558A priority Critical patent/JP4200171B2/en
Publication of JP2008099598A publication Critical patent/JP2008099598A/en
Application granted granted Critical
Publication of JP4200171B2 publication Critical patent/JP4200171B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A50/00TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
    • Y02A50/30Against vector-borne diseases, e.g. mosquito-borne, fly-borne, tick-borne or waterborne diseases whose impact is exacerbated by climate change

Landscapes

  • Catching Or Destruction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a device for inspecting an insect-catching sheet, capable of treating a plurality of insect-catching sheets in large quantity, while maintaining high accuracy in monitoring, and to provide a method of counting the insects caught in an image of the insect-catching sheet, attaining high-accuracy counting of images. <P>SOLUTION: The device for inspecting the long insect-catching sheet A, having adhesive layers on one or both surfaces, is equipped with a stage 2 for setting a plurality of the insect-catching sheets A, each having a plurality of divisions divided at prescribed intervals in the longitudinal direction; an imaging means 4a capable of simultaneously photographing the image of a plurality of the insect-catching sheets A, ... set on the stage 2; an image processing means 10a for forming a divided image Y as one image datum, by selectively cutting out any one of divisions from the overall image X obtained by the imaging means 4a; and a display means 15 for displaying the divided image Y formed by the image processing means 10a. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、片面又は両面に粘着層を備える長尺な捕虫シートの検査装置に関し、より詳しくは、その捕虫シートの粘着層で捕獲された微小昆虫(捕虫)を計数するための検査装置に関する。また、捕虫シートにおける捕虫の画像計数方法方法にも関する。   The present invention relates to an inspection device for a long insect trapping sheet having an adhesive layer on one or both sides, and more particularly to an inspection device for counting micro insects (insects) captured by the adhesive layer of the insect trapping sheet. The present invention also relates to a method of counting images of insects on an insect trap sheet.

蛍光灯等、微小昆虫が好む波長の光源を点灯させることによって集まってくる微小昆虫を捕虫シートの片面又は両面に形成された粘着層に接触させて捕獲する捕虫器が公知であり、また、これを対象場所に設置した後、一定期間使用した捕虫シートを取り出して目視にて検査する(目視にて捕虫を計数する)といったことを定期的に繰り返して、蚊、ハエ等の衛生上好ましくない微小昆虫をモニタリングすることが一般的に行われている。特に、食品業界においては、厚生労働省が推進しているHACCP(危害分析重要管理点システム)のもと、工場内外における微小昆虫のモニタリングを定期的に行わざるを得ない状況となっている。   An insect trap that captures micro insects collected by turning on a light source having a wavelength preferred by the micro insects such as a fluorescent lamp by contacting the adhesive layer formed on one or both sides of the trap sheet is also known. After being installed at the target location, the insect catching sheet that has been used for a certain period of time is taken out and visually inspected (the insects are counted visually). It is common practice to monitor insects. In particular, in the food industry, under the HACCP (Hazard Analysis Important Control Point System) promoted by the Ministry of Health, Labor and Welfare, monitoring of micro-insects inside and outside the factory is inevitable.

しかしながら、一般的な捕虫シート(「捕虫紙」とも呼ばれる)は、幅が約5cm、長さが約50cmと長尺で、それが(幅方向の線を長手方向に一定間隔で引くことにより)長手方向で例えば10個に仕切られており、モニタリングでは、それぞれが例えば約5cm×約5cmと比較的小さい区画を一つ一つ最後まで目視にて検査していく(目視にて捕虫を計数していく)必要があるため、モニタリングに従事する人に大きな負担を強いるものであった。また、この問題は、上記した理由により捕虫シートの消費量(即ち、検査すべき捕虫シートの数)が増えつつある現状において顕著となる。   However, a general insect catching sheet (also called “insect catching paper”) is about 5 cm in width and about 50 cm in length, which is (by drawing a line in the width direction at regular intervals). For example, in the monitoring, each of the relatively small sections of about 5 cm × about 5 cm is visually inspected one by one to the end (by counting the insects by visual inspection). Therefore, it puts a heavy burden on those who are engaged in monitoring. Moreover, this problem becomes remarkable in the present condition where the consumption of the insect catching sheet (that is, the number of the insect catching sheets to be inspected) is increasing for the reason described above.

このような作業者の負担を軽減するための方法として、各捕虫シートにおいて全ての区画を検査するのではなく、例えば1つや2つの区画を選択的に検査して、全ての区画を類推するという方法が採れなくもないが、但し、そのような簡易な方法では、モニタリングの精度に正確性の問題が生じるため、できるだけならば避けるべきである。   As a method for reducing the burden on such an operator, instead of inspecting all sections in each insect catching sheet, for example, one or two sections are selectively inspected and all sections are inferred. There is no point in adopting a method, but such a simple method has a problem of accuracy in monitoring accuracy and should be avoided if possible.

あるいは、特許文献1や2に開示されるように、捕虫シートの画像を取得して適宜の画像処理を施し、捕虫シートにおける捕虫を画像計数する方法が提供されているが、捕虫の特殊な形態(細い脚や翔が画像中に存在する)や、捕虫シートの形態(上記区画のための線が画像中に存在する)といった観点から、これら従来の画像計数方法は精度の高いものではない。
特開2003−304788号公報 特開2005−237317号公報
Alternatively, as disclosed in Patent Documents 1 and 2, there is provided a method for obtaining an image of a catching sheet, performing appropriate image processing, and counting the number of captured insects on the catching sheet. These conventional image counting methods are not highly accurate from the viewpoints of (thin legs and shorts are present in the image) and the form of the insect catching sheet (the lines for the compartments are present in the image).
JP 2003-304788 A JP 2005-237317 A

あるいは、作業者の負担を軽減するための装置として、微小昆虫が好む波長の光源をケーシングの内部に配置すると共に、ケーシングの侵入口に赤外線の発光素子と受光センサとを対向状態で配置し、さらに、ケーシングの内部で侵入口と誘虫ランプとの間に捕虫シートを着脱自在に設け、上記した発光素子及び受光センサの組み合わせによる光電センサにより、ケーシング内に侵入する微小昆虫を計数しようとする装置が提案されている(例えば特許文献3)が、微小昆虫が光電センサ付近で真っ直ぐ通過するような飛翔運動をするとは限らないので、重複検知が頻発し、やはり、モニタリングの精度に正確性の問題が生じる。
特開平10−99001号公報
Alternatively, as a device for reducing the burden on the worker, a light source of a wavelength preferred by a micro insect is arranged inside the casing, and an infrared light emitting element and a light receiving sensor are arranged in an opposed state at the entrance of the casing, Furthermore, an insect capturing sheet is detachably provided between the entrance and the insect lamp inside the casing, and a device that attempts to count minute insects entering the casing by a photoelectric sensor that is a combination of the light emitting element and the light receiving sensor described above. Has been proposed (for example, Patent Document 3), however, since a small insect does not always make a flying motion that passes straight in the vicinity of a photoelectric sensor, duplicate detection frequently occurs, and again, there is a problem of accuracy in monitoring accuracy. Occurs.
Japanese Patent Laid-Open No. 10-99901

そこで、本発明は、上記問題に鑑みてなされたもので、高いモニタリングの精度を維持しつつ、複数の捕虫シートを大量に処理することができる捕虫シートの検査装置を提供することを課題とする。また、精度の高い、捕虫シートにおける捕虫の画像計数方法を提供することも課題とする。   Then, this invention is made | formed in view of the said problem, and makes it a subject to provide the inspection apparatus of the insect trap sheet which can process a some insect trap sheet in large quantities, maintaining the precision of high monitoring. . It is another object of the present invention to provide a method for counting insect images on an insect trap sheet with high accuracy.

本発明に係る捕虫シートの検査装置は、上記課題を解決すべくなされたもので、片面又は両面に粘着層を備える長尺な捕虫シートであって、長手方向に一定間隔で仕切られて複数の区画を有する捕虫シートを複数並列してセットするためのステージと、該ステージ上にセットされた複数の捕虫シートを同時期的に撮像可能な撮像手段と、該撮像手段により取得された全体画像から、選択的に何れかの区画を切り出し、それを一つの画像データとして区画画像を生成する画像処理手段と、該画像処理手段により生成された区画画像を表示する表示手段とを備えることを特徴とする。   The insect trapping sheet inspection apparatus according to the present invention is a long insect trapping sheet provided with an adhesive layer on one or both sides, and is partitioned at regular intervals in the longitudinal direction. From a stage for setting a plurality of insect capturing sheets having compartments in parallel, an imaging means capable of imaging a plurality of insect capturing sheets set on the stage at the same time, and an entire image acquired by the imaging means An image processing unit that selectively cuts out any section and generates a section image using the section as one image data; and a display unit that displays the section image generated by the image processing unit. To do.

かかる構成によれば、例えば、検査の手順の一例として、まず、全体画像を取得した画像処理手段は、一つの区画画像を生成し、表示手段に出力する。そして、オペレータは、表示手段に表示される区画画像を観察して、当該区画内における捕虫を計数する。これが終了すれば、画像処理手段は、同じ全体画像における次の区画画像を生成し、表示手段に出力する。そして、これを繰り返し、全区画について検査を実施する。   According to this configuration, for example, as an example of an inspection procedure, first, the image processing unit that has acquired the entire image generates one division image and outputs it to the display unit. And an operator observes the division image displayed on a display means, and counts the insect capture in the said division. When this is finished, the image processing means generates the next section image in the same whole image and outputs it to the display means. And this is repeated and inspection is implemented about all the divisions.

また、本発明に係る捕虫シートの検査装置は、前記画像処理手段が、区画画像に対し、捕虫の画像計数処理を実施可能である構成を採用するのが好ましい。   Moreover, it is preferable that the inspection apparatus of the insect trap sheet | seat which concerns on this invention employ | adopts the structure in which the said image processing means can implement the image counting process of a trap insect with respect to a division image.

かかる構成によれば、画像計数処理の結果が、独立的に、あるいはオペレータの目測による計数結果の補完的に得られ、モニタリングの精度を高くすることができる。   According to such a configuration, the result of the image counting process can be obtained independently or complementary to the counting result obtained by the operator's eye measurement, and the monitoring accuracy can be increased.

この場合、本発明に係る捕虫シートの検査装置は、前記画像処理手段が、区画画像に対し、捕虫の同定処理を実施可能である構成を採用するのがより好ましい。   In this case, it is more preferable that the insect trapping sheet inspection apparatus according to the present invention employs a configuration in which the image processing unit can perform trapping identification processing on the section image.

同定は、ある程度の専門性が要求されるため、人が行う場合は専門家に頼らざるを得ないが、かかる構成によれば、そのようなことが不要となり、また、オペレータの作業負担を大きく軽減することもできる。   Since identification requires a certain level of expertise, humans must rely on specialists, but such a configuration is not necessary, and the operator's workload is increased. It can also be reduced.

また、本発明に係る捕虫シートの検査装置は、前記ステージが装置本体に対して引き出し可能な構成を採用することができる。   In addition, the insect trapping sheet inspection apparatus according to the present invention can employ a configuration in which the stage can be pulled out of the apparatus main body.

かかる構成によれば、複数の捕虫シートのセット作業及び交換作業を簡単に行うことができるようになる。   According to such a configuration, it becomes possible to easily perform a setting operation and a replacement operation of a plurality of insect capturing sheets.

また、本発明に係る捕虫シートにおける捕虫の画像計数方法は、片面又は両面に粘着層を備える長尺な捕虫シートの画像を取得するために該捕虫シートを撮像するステップと、取得された画像中に、捕虫シートを複数の区画に仕切るための罫線が存在する場合、該罫線を特定して除去するステップと、取得された画像中に捕虫シート以外の背景が存在する場合、該背景を特定して除去するステップと、取得された画像における捕虫の中心的な部分を抽出するステップと、該抽出された領域の輪郭をトレースすることにより、捕虫を計数するステップとを備えることを特徴とする。   In addition, the method of counting the number of insects in the insect trapping sheet according to the present invention includes a step of imaging the insect trapping sheet to acquire an image of a long trapping sheet having an adhesive layer on one side or both sides, and in the acquired image In addition, when there is a ruled line for partitioning the insect trapping sheet into a plurality of sections, the step of identifying and removing the ruled line and when the background other than the insect trapping sheet exists in the acquired image specify the background. Removing the central part of the captured image, extracting a central part of the captured insect in the acquired image, and counting the captured insect by tracing the outline of the extracted region.

かかる構成によれば、捕虫シートの罫線や、背景といったノイズとなり得る部分を除去し、且つ捕虫シートにおける捕虫のうち、細い部分(脚や翔など)といったノイズとなり得る部分を除去して、捕虫の中心的な部分を抽出することにより、精度の高い画像計数を実現することができる。   According to such a configuration, the ruled line of the insect catching sheet and the background such as the noise are removed, and the insect catching in the insect catching sheet is removed as the noise such as a thin part (leg or sho). By extracting the central part, it is possible to realize highly accurate image counting.

また、本発明に係る捕虫シートにおける捕虫の画像計数方法は、前記撮像ステップが、複数並列してセットされた捕虫シートを同時期的に撮像するものである構成を採用することができる。   Moreover, the image counting method of the insect trap in the insect trap sheet according to the present invention can employ a configuration in which the imaging step images a plurality of insect trap sheets set in parallel at the same time.

かかる構成によれば、大量の捕虫シートを処理することによる目の疲れ等、オペレータに掛かる作業負担を大きく軽減することができる。   According to such a configuration, it is possible to greatly reduce the work burden on the operator, such as eye fatigue caused by processing a large amount of insect catching sheets.

また、本発明に係る捕虫シートにおける捕虫の画像計数方法は、前記抽出ステップが、取得された画像に対するグレースケール化及び続いて2値化を、捕虫の中心的な部分の抽出に先立って行うものであり、前記罫線及び/又は背景の除去ステップが、捕虫シートとともに罫線及び/又は背景に係る画素が前記2値化によって白となるように、特定された罫線及び/又は背景に係る画素の画素値を変換するものである構成を採用することができる。   Further, in the method for counting the number of captured insects in the insect capturing sheet according to the present invention, the extraction step performs gray scale conversion and subsequent binarization on the acquired image prior to extraction of the central part of the captured insect. In the ruled line and / or background removal step, the pixel of the specified ruled line and / or background pixel is set such that the ruled line and / or background pixel becomes white by the binarization together with the insect capturing sheet. A configuration that converts values can be employed.

かかる構成によれば、捕虫シートの罫線や、背景といったノイズとなり得る部分を無くした状態で、捕虫の抽出を行うことができるため、精度の高い画像計数を実現することができる。   According to such a configuration, it is possible to extract the insects in a state where the ruled line of the insect trap sheet and the background such as the background are eliminated, so that it is possible to realize highly accurate image counting.

この場合、前記2値化は、最適2値化であるのが好ましい。   In this case, the binarization is preferably optimal binarization.

かかる構成によれば、画像における周囲の画素の輝度値の変化量などを考慮し、動的に閾値を変動させつつ2値化を行うため、捕虫に係る画素を適切に抽出することが可能となる。   According to such a configuration, since the binarization is performed while dynamically changing the threshold value in consideration of the amount of change in the luminance value of surrounding pixels in the image, it is possible to appropriately extract the pixels related to the insect traps. Become.

また、本発明に係る捕虫シートにおける捕虫の画像計数方法は、前記計数ステップが、領域の輪郭内の面積を求め、それが所定値よりも小さい場合、それを捕虫として計数に加えないといった構成を採用するのが好ましい。   In addition, the image counting method of the insect capturing in the insect capturing sheet according to the present invention is configured such that the counting step obtains an area within the outline of the region, and if it is smaller than a predetermined value, it is not added to the counting as a trap. It is preferable to adopt.

かかる構成によれば、本来は捕虫でない、あるいは捕虫の一部といったノイズを計数に加えないことになるため、さらに精度の高い画像計数を実現することができる。   According to such a configuration, noise such as a part of insect trapping that is not originally captured or part of the trapping is not added to the count, so that it is possible to realize a more accurate image count.

以上の如く、本発明に係る捕虫シートの検査装置によれば、捕虫シートの各区画を実際のサイズよりも大きく拡大して表示手段に表示することが可能となるため、オペレータの観察による検査が精度の高いものとなるばかりでなく、大量の捕虫シートを処理することによる目の疲れ等、オペレータに掛かる作業負担を大きく軽減することができる。しかも、複数の捕虫シートをセットすることにより、一時期に多くの区画画像を取得でき且つ検査することができるため、複数の捕虫シートを大量に処理することができる。即ち、本発明によれば、高いモニタリングの精度を維持しつつ、複数の捕虫シートを大量に処理することができるのである。   As described above, according to the insect trapping sheet inspection apparatus according to the present invention, each section of the insect trapping sheet can be displayed larger than the actual size on the display means. Not only can the accuracy be high, but the burden on the operator such as eye fatigue caused by processing a large amount of insect trapping sheets can be greatly reduced. In addition, by setting a plurality of insect trapping sheets, it is possible to acquire and inspect a large number of section images at a time, so that a plurality of insect trapping sheets can be processed in large quantities. That is, according to the present invention, it is possible to process a large number of insect trapping sheets while maintaining high monitoring accuracy.

また、本発明に係る捕虫シートにおける捕虫の画像計数方法によれば、精度の高い計数結果を得ることができる。   Moreover, according to the method for counting insects in the insect trapping sheet according to the present invention, a highly accurate counting result can be obtained.

以下、本発明に係る捕虫シートの検査装置(以下、単に「検査装置」という)の一実施形態につき、図面を参酌しつつ説明する。   Hereinafter, an embodiment of an insect trap sheet inspection apparatus (hereinafter simply referred to as “inspection apparatus”) according to the present invention will be described with reference to the drawings.

本実施形態に係る検査装置は、スキャナー装置と、該スキャナー装置に接続される表示装置(ディスプレイ)とから構成され、特徴とするところは、複数(本実施形態においては4本)の捕虫シートA,…を並べてスキャナー装置にセットすることができ(図1の状態から図2の状態)、そして、それらを同時に撮像することができることである。   The inspection apparatus according to the present embodiment includes a scanner device and a display device (display) connected to the scanner device, and is characterized by a plurality (four in this embodiment) of the insect trapping sheet A. ,... Can be set side by side on the scanner device (from the state of FIG. 1 to the state of FIG. 2), and they can be imaged simultaneously.

もう少し詳しく説明すると、スキャナー装置は、装置本体1に対して前方側に引き出し可能なステージ2を有し、また、このステージ2の平坦な上面に、各捕虫シートAのそれぞれ端部を支持するための台座3が配置され、捕虫シートA,…を並列してステージ2上にセットできるようになっており、一方、装置本体1内には、ライン状の撮像素子(ラインCCD)が副走査方向に可動にして配置されており、ステージ2を装置本体1内に収めると、ライン撮像素子が全ての捕虫シートA,…を同時に撮像することができる。   More specifically, the scanner apparatus has a stage 2 that can be pulled out forward with respect to the apparatus main body 1, and also supports each end of each insect catching sheet A on the flat upper surface of the stage 2. Are arranged so that the insect catching sheets A,... Can be set on the stage 2 side by side. On the other hand, in the apparatus main body 1, a line-shaped image sensor (line CCD) is arranged in the sub-scanning direction. When the stage 2 is housed in the apparatus main body 1, the line image sensor can image all the insect capturing sheets A,.

台座3は、捕虫シートAの基端部を支持するための第1台座3aと、捕虫シートAの先端部を支持するための第2台座3bとからなる。ここで、捕虫シートAは、カートリッジCから引き出されて使用されるものであり、従って、捕虫シートAの基端部とは、より正確に言えば、カートリッジCであるので、第1台座3aは、カートリッジCを保持するための収容凹部3a’を備える。   The pedestal 3 includes a first pedestal 3a for supporting the base end portion of the insect capturing sheet A and a second pedestal 3b for supporting the distal end portion of the insect capturing sheet A. Here, the insect catching sheet A is used by being pulled out from the cartridge C. Therefore, the base end portion of the insect catching sheet A is, more precisely, the cartridge C. Therefore, the first pedestal 3a is , A housing recess 3a ′ for holding the cartridge C is provided.

第1台座3a及び第2台座3bの対は、ステージ2の引き出し方向と直交する方向に配置されると共に、それらの対は、ステージ2の引き出し方向に沿って並列されるので、複数の捕虫シートA,…は、ステージ2の引き出し方向に並列されることとなる。   A pair of the first pedestal 3a and the second pedestal 3b is arranged in a direction perpendicular to the direction in which the stage 2 is pulled out, and these pairs are juxtaposed along the direction in which the stage 2 is pulled out. A,... Are arranged in parallel in the pulling direction of the stage 2.

また、第1台座3a及び第2台座3bの各組は、上記〔発明が解決しようとする課題〕で説明した捕虫シートAの例えば10個の区画が第1台座3a及び第2台座3b間に介在するような間隔で配置される。従って、ステージ2上には、複数の捕虫シートA,…の総区画(各捕虫シートAの区画が10個であれば、40個)がマトリックス状(4×10)に配置される格好となる。   In addition, each set of the first pedestal 3a and the second pedestal 3b includes, for example, 10 sections of the insect catching sheet A described in [Problems to be solved by the invention] between the first pedestal 3a and the second pedestal 3b. It arrange | positions at the space | interval which interposes. Therefore, on stage 2, the total section of the plurality of insect capturing sheets A,... (40 if each section of insect capturing sheet A is 10) is arranged in a matrix (4 × 10). .

上記したライン撮像素子は、ステージ2の引き出し方向に沿って配置されると共に、ステージ2上に並列された複数の捕虫シートA,…を同時期的にフォローできる長さ(画素数)のものが採用され、そして、ステージ2の引き出し方向と直交する方向に副走査のための移動を行うようになっている。従って、ライン撮像素子の主走査方向と捕虫シートAの幅方向とが一致し、且つ、ライン撮像素子の副走査方向と捕虫シートAの長手方向とが一致することとなり、複数の捕虫シートA,…は、先端側から基端側あるいは基端側から先端側にかけて同時に撮像されていくこととなる。   The above-described line image sensor has a length (number of pixels) that is arranged along the drawing direction of the stage 2 and that can follow a plurality of insect capturing sheets A arranged in parallel on the stage 2 at the same time. Adopted and moved for sub-scanning in a direction perpendicular to the drawing direction of the stage 2. Therefore, the main scanning direction of the line image sensor and the width direction of the insect capturing sheet A coincide with each other, and the sub scanning direction of the line image sensor and the longitudinal direction of the insect capturing sheet A coincide with each other. Are taken simultaneously from the distal end side to the proximal end side or from the proximal end side to the distal end side.

実際には、上記したライン撮像素子は、図3〜図5に示す如く、ステージ2の引き出し方向と直交する方向に可動する走査ヘッド4内に収められている。該走査ヘッド4は、装置本体1内にステージ2の引き出し方向と直交する方向に沿って配置された前後一対のシャフト5,5が挿通され、シャフト5,5をスライドするようにして可動するようになっている。因みに、動力源は、図示しないモータと、このモータの駆動軸に連結されたプーリ6と、このプーリ6に掛けられて一部が走査ヘッド4に取り付けられるベルト7とから構成される。   Actually, the above-described line imaging device is housed in a scanning head 4 that is movable in a direction perpendicular to the drawing direction of the stage 2 as shown in FIGS. The scanning head 4 is inserted in the apparatus main body 1 along a pair of front and rear shafts 5 and 5 arranged along a direction orthogonal to the direction in which the stage 2 is pulled out, and moves so as to slide the shafts 5 and 5. It has become. Incidentally, the power source is composed of a motor (not shown), a pulley 6 connected to the drive shaft of the motor, and a belt 7 that is hung on the pulley 6 and partially attached to the scanning head 4.

図6は、本実施形態に係る検査装置の全体構成図である。スキャナー装置(の装置本体)1内には、例えばCPUにて構成される制御部10が設けられ、該制御部10に、走査ヘッド4を駆動するための上記したモータ11用のドライバ12、ライン撮像素子4aから出力されるデータを取り込むための入力部13、及び後述する所定の画像処理が施された画像データを出力するための出力部14が接続されており、また、出力部14に、外部出力端末であって、本実施形態に係る検査装置の一部を構成する表示装置(ディスプレイ)15が接続される。   FIG. 6 is an overall configuration diagram of the inspection apparatus according to the present embodiment. In the scanner device (device main body) 1, a control unit 10 configured by, for example, a CPU is provided, and the control unit 10 has a driver 12 and a line for the motor 11 for driving the scanning head 4. An input unit 13 for capturing data output from the image sensor 4a and an output unit 14 for outputting image data subjected to predetermined image processing to be described later are connected to the output unit 14. A display device (display) 15 that is an external output terminal and constitutes a part of the inspection apparatus according to the present embodiment is connected.

加えて、制御部10は、本実施形態において特徴的な画像処理部10aを備える。該画像処理部10aは、ライン撮像素子4aから取り込まれた、複数の捕虫シートA,…の総区画をマトリックス状に含む一つの全体画像から、選択的に何れかの区画を切り出し、それを一つの画像データとして区画画像を生成する機能を有する。出力部14は、この区画画像(「コマ画像」と言ってもよい)を表示装置15に出力し、表示装置15には、この区画画像が表示される。   In addition, the control unit 10 includes an image processing unit 10a that is characteristic in the present embodiment. The image processing unit 10a selectively cuts out one section from one whole image including the total section of the plurality of insect capturing sheets A,. It has a function of generating a section image as one piece of image data. The output unit 14 outputs the section image (may be referred to as “frame image”) to the display device 15, and the display device 15 displays the section image.

図7は、その画像処理のイメージを説明するための図である。上段のものは、ライン撮像素子4aから取り込まれた、複数の捕虫シートA,…の総区画をマトリックス状に含む一つの全体画像Xであり、下段のものは、その全体画像Xから、選択された区画(本図においては、上から4行、左から5列の区画)が切り出された区画画像Yである。   FIG. 7 is a diagram for explaining an image of the image processing. The upper one is one whole image X including a total section of a plurality of insect capturing sheets A,... Taken in from the line image sensor 4a, and the lower one is selected from the whole image X. This is a section image Y obtained by cutting out the sections (in the figure, four lines from the top and five columns from the left).

検査の手順として、まず、画像処理部10aは、最初の区画画像(例えば1行1列の区画画像)を生成し、出力する。そして、オペレータは、表示装置15に表示される区画画像を観察して、当該区画内における捕虫を計数する。これが終了すれば、スキャナー装置が備える例えば指示キー(図示しない)を操作する。すると、画像処理部10aは、次の区画画像(例えば1行2列の区画画像)を生成し、出力する。そして、これを最後(例えば4行10列の区画画像)まで繰り返し、全区画について検査を実施する。   As an inspection procedure, first, the image processing unit 10a generates and outputs a first section image (for example, a section image of one row and one column). And an operator observes the division image displayed on the display apparatus 15, and counts the insect trap in the said division. When this is completed, for example, an instruction key (not shown) provided in the scanner device is operated. Then, the image processing unit 10a generates and outputs the next segment image (for example, a segment image with 1 row and 2 columns). And this is repeated to the last (for example, the division image of 4 rows 10 columns), and inspection is implemented about all the divisions.

ところで、画像処理部10aは、付随的に、画像計数処理を実施する。即ち、取得した全体画像あるいは各区画画像から2値画像を生成し、この取得した2値画像から画素の連結情報を求めて、画素の塊である図形を抽出した図形抽出画像を取得し、この図形抽出画像で得られた図形に対して、面積を求め、面積が規定値以上又は以下の図形を削除し、ラベリング処理等によって、残りの図形の個数を捕虫の数として計数する。尚、画像処理部10aによる画像計数処理としては、上記した方法以外に、他の公知の方法の何れをも採用することができる。   Incidentally, the image processing unit 10a performs an image counting process incidentally. That is, a binary image is generated from the acquired whole image or each divided image, pixel connection information is obtained from the acquired binary image, and a graphic extraction image obtained by extracting a graphic that is a block of pixels is acquired. An area is obtained for the figure obtained from the figure extraction image, figures whose area is greater than or equal to the specified value or less are deleted, and the number of remaining figures is counted as the number of insects captured by a labeling process or the like. As the image counting process by the image processing unit 10a, any other known method can be employed in addition to the above-described method.

以下は、全体画像を対象とした画像計数処理の一例の説明である。尚、画像計数処理に当たって注意すべき点は、第一に、微小昆虫が様々な状態・形状で捕虫シートに捕獲されているので、精度良く計数するためには、画像の中から適切に捕虫領域を抽出しなければならない点であり、第二に、罫線入りの捕虫シートを用いる場合(罫線が入っていない捕虫シートもある)等、区画のために幅方向に引かれた例えば黒色の線(以下、「罫線」という)が画像中に存在し得るが、これを計数前に除去しなければならない点である。   The following is an example of an image counting process for the entire image. It should be noted that in the image counting process, first, since micro insects are captured in the capturing sheet in various states and shapes, in order to accurately count, the capturing area is appropriately selected from the image. Second, when using a catching sheet with ruled lines (some insect catching sheets do not contain ruled lines), for example, a black line drawn in the width direction for the section ( (Hereinafter referred to as "ruled lines") may be present in the image, but this must be removed before counting.

図8は、その画像計数処理のフローチャートである。まず、スキャナー装置により高解像度で撮像した全体画像を得て(S1)、次に、画像中に罫線が存在するか否かがチェックされ(S2)、YESの場合、罫線の除去処理、即ち、画像中の罫線を特定して除去する処理が行われ(S3)、次に、あるいはS2がNOの場合、背景の除去処理、即ち、捕虫シート以外の領域(背景)を除去し(S4)、次に、捕虫の中心的な部分を抽出する処理を行い(S5)、最後に、捕虫領域の輪郭をトレースすることにより、捕虫の計数を行う(S6)。   FIG. 8 is a flowchart of the image counting process. First, an entire image captured at a high resolution is obtained by a scanner device (S1), and then whether or not a ruled line exists in the image is checked (S2). If YES, ruled line removal processing, that is, A process for identifying and removing ruled lines in the image is performed (S3). Next, or when S2 is NO, a background removal process, that is, an area other than the insect catching sheet (background) is removed (S4), Next, a process of extracting the central part of the insect trap is performed (S5), and finally, the count of the insect trap is performed by tracing the outline of the trapping area (S6).

<撮像(スキャン)(S1)>
スキャナー装置にセットされた複数の捕虫シートを、1600dpi以上の高解像度で撮像する。この全体画像を以下、入力画像ということにする。尚、入力画像は、RGB形式の24bitフルカラー形式である。
<Imaging (Scanning) (S1)>
A plurality of insect capturing sheets set in the scanner device are imaged at a high resolution of 1600 dpi or more. This whole image is hereinafter referred to as an input image. The input image is a 24-bit full color format in RGB format.

<罫線の除去処理(S3)>
まず、入力画像をある一定の縮小率で縮小し、縮小画像を得る。この縮小画像は、以下に続く罫線の除去処理のみならず、背景の除去処理(S4)でも用いられる。これらの処理において縮小画像を用いるのは、厳密に罫線や背景を特定して除去する必要はなく、罫線・背景の概形が得られれば、罫線・背景の除去には十分であるため、以降の処理を縮小画像を用いて処理を行うことにより、処理の高速化・効率化・一時記憶領域の節約を図ることができるからである。
<Rule Line Removal Process (S3)>
First, the input image is reduced at a certain reduction rate to obtain a reduced image. This reduced image is used not only in the following ruled line removal process but also in the background removal process (S4). In these processes, it is not necessary to specify and remove ruled lines and backgrounds strictly, and it is sufficient to remove ruled lines and backgrounds if outlines of ruled lines and backgrounds are obtained. This is because the above processing is performed using a reduced image, so that the processing can be speeded up, made efficient, and the temporary storage area can be saved.

次に、入力画像のうちの、捕虫シートが存在すべきおおよその領域について、各スキャンラインに対して左から右あるいは右から左へ画素値を取得し、捕虫シートの色以外の色の画素が捕虫シートの端から端へ連続しているかどうかを検査する。そして、捕虫シートの色以外の色の画素が捕虫シートの端から端へ連続しているスキャンラインが複数連続している場合、それを一つの罫線として、罫線候補に加える(図9(イ)の矢印が付された箇所)。尚、罫線と断定せずに、罫線候補とするのは、捕虫が連なっていて罫線のように見える可能性があるためである。   Next, pixel values are obtained from the left to the right or from the right to the left for each scan line for the approximate region where the insect catching sheet should be present in the input image. Inspect whether the insect trap sheet is continuous from end to end. When a plurality of scan lines in which pixels of a color other than the color of the insect trapping sheet are continuous from end to end of the insect trap sheet are continuous, they are added as one ruled line to the ruled line candidates (FIG. 9 (a) Where the arrow is marked). The reason why the ruled line candidate is not determined as the ruled line is that there is a possibility of catching insects and it looks like a ruled line.

但し、罫線候補として取り上げなかったスキャンラインのうち、捕虫シートの色以外の色の画素が多いもの、例えば、捕虫の色の画素がある一定の割合を超えているもの、も罫線候補とする(図9(ロ)の矢印が付された箇所)。これは、罫線上に捕虫シートの色に近い捕虫が存在することにより、罫線が分断されている可能性があるためである。   However, among the scan lines that are not picked up as ruler line candidates, those that have a large number of pixels other than the color of the insect catching sheet, for example, those that exceed a certain percentage of the insect catchment color pixels are also ruled line candidates ( FIG. 9 (B) is marked with an arrow). This is because the ruled line may be divided due to the presence of a catching insect similar to the color of the catching sheet on the ruled line.

罫線候補として取り上げられたものは、最終的に白色で塗りつぶされて除去される。但し、罫線候補上に捕虫が存在している場合を考慮する必要があるため、塗りつぶす罫線候補の上下にはみ出す捕虫に係る画素(捕虫シートの色以外の画素)が存在している場合は、罫線候補のうち、捕虫に係る画素は塗りつぶさずに残すようにする。例えば、図10に示す如く、太実線内の画素が捕虫に係る画素と判定されると、矢印が付された罫線候補のうち、太実線内の画素は白く塗りつぶさない。これにより、捕虫画像が分断された状態になる(即ち、捕虫の個体数が増えてしまう)のを防止することができる。尚、捕虫に係る画素であるか否かの判定は、画素の色相を算出し、その色相が捕虫シートの色相の範囲に含まれていないかどうかで行う。   What is taken up as a ruled line candidate is finally filled with white and removed. However, since it is necessary to consider the case where a catching insect exists on the ruled line candidate, if there is a pixel related to catching (pixels other than the color of the catching sheet) that protrudes above and below the ruled line candidate to be filled, the ruled line Among the candidates, the pixels related to insect catching are left unfilled. For example, as shown in FIG. 10, when a pixel in the thick solid line is determined to be a pixel related to catching insects, among the ruled line candidates to which arrows are attached, the pixel in the thick solid line is not painted white. As a result, it is possible to prevent the captured insect image from being divided (that is, the number of captured insects increases). Whether or not the pixel is a pixel related to catching insects is determined by calculating the hue of the pixel and determining whether or not the hue is included in the hue range of the insect catching sheet.

<背景の除去処理(S4)>
この工程では、罫線の除去処理(S3)に引き続き、入力画像の縮小画像を用いて、背景(捕虫シート以外の領域)を除去する。まず、入力画像のうちの、捕虫シートが存在すべきおおよその領域について、各スキャンラインに対して左から右あるいは右から左へ画素値を取得し、捕虫シートの色の画素に初めて到達した点を捕虫シートの端とする。(図11(イ)を参照)
<Background Removal Process (S4)>
In this step, following the ruled line removal process (S3), the background (area other than the insect trapping sheet) is removed using the reduced image of the input image. First, for the approximate area of the input image where the insect trap sheet should exist, the pixel values were acquired from the left to the right or from the right to the left for each scan line, and the pixel of the insect trap sheet color was reached for the first time Is the edge of the insect trap sheet. (See Fig. 11 (a))

捕虫シートの色の画素であるかどうかの判定は、画素の色が捕虫シートの色の色域に適合するかどうかで判定する。但し、背景が捕虫シートの色と色域が全く異なっていることが前提であるが、本スキャナー装置における背景(即ち、ステージ2内)は、灰色又は黒色であり、計数対象の捕虫シートの色は、それとは異なるもの(通常は黄色系)を用いるため、問題ない。   Whether a pixel is a color pixel of the insect catching sheet is determined by whether the color of the pixel matches the color gamut of the color of the insect catching sheet. However, the background is based on the premise that the color of the insect catching sheet is completely different from the color gamut, but the background in this scanner device (ie, in stage 2) is gray or black, and the color of the insect catching sheet to be counted. Is different from that (usually yellow), so there is no problem.

そうは言っても、背景領域内に偶然存在し得る捕虫シート系の色の画素を捕虫シートの端と誤認してしまう可能性もあるため、周囲の画素の色の平均及びそれまでの捕虫シートの端の平均位置などから、妥当性を検証して捕虫シートの真の端を決定する。例えば、図11(ロ)を参照して、破線円内の画素は、捕虫シート系の色の画素であるが、周囲の画素が捕虫シート系の色ではないことと、それまでの(スキャンラインにおいて決定された)捕虫シートの端と主走査方向での位置がずれていることとから端ではないと判断し、次のもの(実線円内の画素)を真の端と決定する。   Even so, there is a possibility that the color pixels of the insect catching sheet system that may be accidentally present in the background area may be mistaken for the edge of the insect catching sheet, so the average color of surrounding pixels and the insect catching sheet so far From the average position of the edge of the worm, the validity is verified and the true edge of the insect trap sheet is determined. For example, referring to FIG. 11 (b), the pixels in the broken circle are pixels of the insect catching sheet system color, but the surrounding pixels are not the insect catching sheet system color, and the (scan line) From the fact that the edge of the insect trapping sheet (determined in the above) is displaced from the position in the main scanning direction, it is determined that the edge is not the edge, and the next one (pixels in the solid line circle) is determined as the true edge.

これらの処理をスキャナー装置にセットされた捕虫シートの数だけ行い、背景を特定していく。そして、図12に示す如く、最終的に、入力画像に対して、罫線・背景を白色で塗りつぶす。   These processes are performed for the number of insect catching sheets set in the scanner device, and the background is specified. Then, as shown in FIG. 12, finally, the ruled line / background is painted in white on the input image.

<捕虫検出の前処理(S5)>
この工程では、捕虫シート上の捕虫の中心的な領域を強調・抽出することにより、この次の工程(S6)で捕虫を検出する際の精度向上を図る。まず、罫線の除去処理(S3)、背景の除去処理(S4)により、罫線及び背景が除去された入力画像(図12(ハ))の輝度値のみを抽出し、グレースケール画像に変換する。輝度値を算出する式は、
入力画素の輝度値 = R×0.299 + G×0.587 + B×0.114
R:入力画素のR成分
G:入力画素のG成分
B:入力画素のB成分
であり、グレースケール変換後の画像を図13に示す。尚、このとき、全ての画素をただ輝度値に変換せず、輝度値に変換する際に、画素の色相を算出し、色相が捕虫シートの色相の範囲外である場合には、その画素値を黒(捕虫の色)として設定する。これにより、画像を輝度画像に変換しつつ、ほとんどの捕虫に係る画素を強調する効果が得られる。但し、この時点では、色相が捕虫シートの色相に近似する捕虫に係る画素なども存在するため、この次の工程である「最適な2値化」によって捕虫に係る画素をさらに高精度に抽出することになる。
<Pretreatment for catching insects (S5)>
In this step, the central area of the insect trap on the insect trap sheet is emphasized / extracted to improve the accuracy when the trap is detected in the next step (S6). First, by the ruled line removal process (S3) and the background removal process (S4), only the luminance value of the input image (FIG. 12C) from which the ruled line and the background have been removed is extracted and converted into a grayscale image. The formula to calculate the brightness value is
Luminance value of input pixel = R × 0.299 + G × 0.587 + B × 0.114
R: R component of input pixel G: G component of input pixel B: B component of input pixel, FIG. 13 shows an image after grayscale conversion. At this time, instead of converting all the pixels into luminance values, when converting to luminance values, the hue of the pixels is calculated, and if the hue is outside the hue range of the insect capturing sheet, the pixel value Is set as black (the color of the insects). Thereby, the effect which emphasizes the pixel concerning most catching insects is acquired, converting an image into a luminance image. However, at this point in time, there are pixels related to catching whose hue approximates the hue of the catching sheet, etc., so pixels related to catching are extracted with higher accuracy by “optimal binarization” which is the next step. It will be.

次に、グレースケール化された入力画像から捕虫に係る画素を抽出するために2値化を行い、捕虫に係る画素を黒、捕虫シートに係る領域の画素を白に変換する(図14(ハ))。これは、輝度が高い(白に近い)捕虫シートに係る領域に対して、捕虫に係る領域は輝度が低い(黒に近い)という基本的な性質を利用するものである。但し、閾値固定の単純な2値化を行わず、「最適な2値化」(以下、「最適2値化」という)を行う。   Next, binarization is performed in order to extract the pixel related to the insect trap from the grayscale input image, and the pixel related to the insect trap is converted to black and the pixel of the region related to the insect trap sheet is converted to white (FIG. 14 (C )). This utilizes the basic property that the area related to insect catching has a low brightness (close to black) compared to the area related to the insect catching sheet having high brightness (close to white). However, simple binarization with a fixed threshold value is not performed, but “optimal binarization” (hereinafter referred to as “optimal binarization”) is performed.

最適2値化を行う理由は次のとおりである。2値化処理で通常利用される、閾値固定の単純な2値化では、捕虫シート上で捕虫の影の濃い部分なども黒(捕虫に係る画素)と処理されてしまう(図14(ロ))。逆に、影を除去するために閾値を下げると、今度は黒と処理されるべき領域までもが白として処理されてしまう場合がある。これは、単純な2値化処理が周囲の画素の状態を考慮していないためである。これに対して、最適2値化では、周囲の画素の輝度値の変化量などを考慮し、動的に閾値を変動させつつ2値化処理を行うため、捕虫に係る画素を適切に抽出することが可能となる(図14(ハ))。   The reason for performing the optimal binarization is as follows. In the simple binarization with a fixed threshold value that is normally used in the binarization process, the dark part of the catch of the insects on the insect catching sheet is also treated as black (pixels relating to the catch) (FIG. 14 (b)). ). On the other hand, if the threshold value is lowered to remove the shadow, an area to be processed as black may be processed as white. This is because a simple binarization process does not consider the state of surrounding pixels. On the other hand, in the optimal binarization, since the binarization process is performed while dynamically changing the threshold value in consideration of the amount of change in the luminance value of surrounding pixels, the pixel related to the insect trap is appropriately extracted. (Fig. 14 (c)).

最適2値化処理により、捕虫シート上の捕虫に係る画素のみを黒色で抽出したが、このままでは、捕虫の検出処理を試行する場合に、以下の問題が発生する。1)捕虫同士が脚や翔などによって連続している場合(図15(イ))、脚や翔で連続している二つの捕虫を一つの捕虫として誤検出する確率が高くなってしまう。2)一つの捕虫が複数の領域(検出処理の効率化のために細分化された単位画像領域)に分散されている場合(図15(ロ))、最適2値化処理を行った場合でも、捕虫の模様により、色の薄い部分が白色に処理されて、一つの捕虫が複数の領域に分散されてしまう場合がある。このような場合では、分離している各領域がそれぞれ一つの捕虫として誤検出する確率が高くなる。3)2値化された画像には、通常、多数の孤立点が発生することが多い。これらの孤立点は、捕虫の検出処理において邪魔になるため、前処理の段階で除去しておく必要がある。因みに、孤立点は、通常、捕虫の翔の部分や、捕虫の模様の色の薄い部分に発生しやすい。   Although only the pixels related to the insect trapping on the insect trapping sheet are extracted in black by the optimum binarization processing, the following problem occurs when trying to detect the trapping insect as it is. 1) When catching insects are continuous with each other by legs or sho (FIG. 15 (a)), there is a high probability that two catching insects that are continuous with legs or sho will be erroneously detected as one catching insect. 2) When a single insect is dispersed in a plurality of regions (unit image regions subdivided for efficiency of detection processing) (FIG. 15 (b)), even when optimal binarization processing is performed Depending on the pattern of catching insects, the light-colored part may be processed into white, and one catching insect may be dispersed in a plurality of regions. In such a case, the probability that each separated area is erroneously detected as one insect trap increases. 3) A large number of isolated points often occur in a binarized image. Since these isolated points are an obstacle in the catching detection process, it is necessary to remove them in the preprocessing stage. Incidentally, isolated points usually tend to occur in the part of the catch of the insects or in the light part of the pattern of the catch.

これらの問題を解決するために、1)脚や翔といった細い部分の除去、2)複数の領域(複数の単位画像領域)に跨って分離される一つの捕虫の領域の統合、3)不要な孤立点の除去、又は捕虫を構成するのに重要な位置にある孤立点の統合、を行う必要がある。そして、それらを同時に行うために、一種の平滑化処理を行う。   In order to solve these problems, 1) removal of thin parts such as legs and sho 2) integration of one catching area separated across multiple areas (multiple unit image areas), 3) unnecessary It is necessary to remove isolated points or to integrate isolated points that are important for constructing insect traps. And in order to perform them simultaneously, a kind of smoothing process is performed.

平滑化処理は、まず、注目画素を中心とする、ある一定の範囲の領域内の画素のうち、黒い画素(捕虫に係る画素)の数の合計を算出する。その黒い画素の数が領域内の全画素数の半分以上である場合に、その注目画素を黒とし、半数以下の場合に白とする。その処理を入力画像の全画素に対して行う。
但し、x:注目画素のX座標
y:注目画素のY座標
P:指定された座標の画素の状態を返す関数
画素値が黒なら1を返し、画素値が白なら0を返す
r:領域の半径
周囲に白い画素が多い場所においては黒い画素が白になり、周囲が黒い画素が多い場所では白い画素が黒くなる。つまり、平均化などによる平滑化と異なり、領域の凹凸や穴を明確に塞いだり、近接する領域を接続させるなどの結果を得ることができる。
In the smoothing process, first, the total number of black pixels (pixels related to insect trapping) is calculated among the pixels within a certain range with the pixel of interest at the center. When the number of black pixels is half or more of the total number of pixels in the region, the pixel of interest is black, and when it is half or less, it is white. The process is performed on all pixels of the input image.
Where x: X coordinate of the pixel of interest y: Y coordinate of the pixel of interest P: Function that returns the state of the pixel at the specified coordinate
Returns 1 if the pixel value is black, and returns 0 if the pixel value is white. R: Radius of the area Black pixels are white when there are many white pixels around the area, and white pixels are black when there are many black pixels around the area. Become. That is, unlike smoothing by averaging or the like, it is possible to obtain results such as clearly closing the unevenness and holes in the region, or connecting adjacent regions.

この処理は簡素であり、それゆえに高速に処理することができる。また、この処理だけで上記1)〜3)の処理結果を同時に得られる理由を説明する。1)脚のように細い部分では、周囲の画素は白い画素が多いため、結果として脚のように細い部分を除去した結果を得ることができる。2)この平滑化処理により、非常に近接した領域同士を統合することができるが、この近接した領域は、通常、一つの捕虫が分離した状態で存在する場合が多いため、これらを統合することにより、分離されている捕虫に係る領域を一つに統合するという結果を得ることができる。3)1)についての部分で述べたのと同じ理由で、孤立点を除去することができる。また、周囲に黒い部分が多い孤立点は、削除されずに他の捕虫に係る領域に統合される。   This process is simple and can therefore be performed at high speed. The reason why the above processing results 1) to 3) can be obtained simultaneously only by this processing will be described. 1) In a thin portion such as a leg, the surrounding pixels are often white pixels, and as a result, a result obtained by removing a thin portion such as a leg can be obtained. 2) By this smoothing process, very close regions can be integrated, but since this close region usually exists in the state where one catching insect is separated, these should be integrated. As a result, it is possible to obtain a result of integrating the areas related to the captured insects into one. 3) Isolated points can be removed for the same reason as described in the section 1). In addition, isolated points with a lot of black portions around them are not deleted but integrated into other areas related to catching insects.

図16は、今までに述べた一連の処理による各結果の画像である。上記した一種の平滑化処理を実行することにより、捕虫の余分な部分(脚など)を除去しつつ、分離した一つの捕虫に係る領域を統合し、結果として、捕虫の中心的な部分を形成・抽出することができる。   FIG. 16 is an image of each result obtained by the series of processes described so far. By performing the kind of smoothing process described above, the extra areas (legs, etc.) of the insects are removed and the areas related to one isolated insect are integrated, resulting in the formation of the central part of the insects. -Can be extracted.

<捕虫の計数処理(S6)>
この工程では、捕虫を検出し、計数を行う。具体的には、捕虫検出の前処理(S5)で得られた入力画像に対して、画像内に存在するそれぞれの捕虫に係る領域(黒色)の輪郭(アウトライン)を得る。アウトラインは、黒色の画素の輪郭をトレースすることにより得る。但し、取得したアウトラインが内側のアウトラインであれば破棄する。
<Counting process of insects (S6)>
In this step, catching insects are detected and counted. Specifically, an outline (outline) of a region (black) related to each insect trap existing in the image is obtained from the input image obtained in the preprocessing (S5) for catching insect detection. The outline is obtained by tracing the outline of the black pixel. However, if the acquired outline is an inner outline, it is discarded.

例えば、図17を参照して、破線は内側のアウトラインであるので、破棄する。内側のアウトラインであるかどうかは、アウトラインの追跡時に、曲がる向きとその回数で判定する。さらに、得られた外側のアウトライン(図17の太実線)の面積を算出し、ある一定以下の場合は、捕虫ではない(ゴミ又は捕虫の部分的な部分(脚・翔など))として破棄する。面積がある一定以上である場合は、このアウトラインを一つの捕虫としてカウントし、捕虫のリストに登録する。そして、この処理が完了した時点で、画像内に存在する捕虫のリストが完成し、捕虫の計数処理を完了する。   For example, referring to FIG. 17, since the broken line is an inner outline, it is discarded. Whether it is an inner outline or not is determined by the direction and number of turns when tracking the outline. Further, the area of the obtained outer outline (thick solid line in FIG. 17) is calculated, and if it is less than a certain level, it is discarded as not catching insects (trash or partial parts of catching insects (legs, sho, etc.)) . If the area is more than a certain level, this outline is counted as one catching insect and registered in the catching insect list. When this processing is completed, a list of insect traps existing in the image is completed, and the trap counting process is completed.

この結果は、表示装置15に表示される区画画像に基づいてオペレータが目測により計数した結果を補完するものである。そのため、本実施形態に係る検査装置によれば、モニタリングの精度を高くすることができる。あるいは、画像処理部10aによる画像計数処理が信頼性の高いものであれば、オペレータの観察による検査を省略することができ、そのため、オペレータの負担を大きく軽減することができる。   This result complements the result counted by the operator based on the division image displayed on the display device 15. Therefore, according to the inspection apparatus according to the present embodiment, the monitoring accuracy can be increased. Alternatively, if the image counting process by the image processing unit 10a is highly reliable, the inspection by the operator's observation can be omitted, and the burden on the operator can be greatly reduced.

以上、本実施形態に係る検査装置によれば、各区画が実際のサイズよりも大きく拡大されて表示装置15に表示されるようになっているため、オペレータの観察による検査が精度の高いものとなるばかりでなく、大量の捕虫シートA,…を処理することによる目の疲れ等、オペレータに掛かる作業負担を大きく軽減することができる。しかも、複数の捕虫シートA,…をセットすることにより、一時期に多くの区画画像を取得することができ且つ検査することができるため、複数の捕虫シートA,…を大量に処理することができるようになる。   As described above, according to the inspection apparatus according to the present embodiment, since each section is enlarged and displayed on the display device 15 larger than the actual size, the inspection by the operator's observation is highly accurate. In addition, the burden on the operator such as eye fatigue caused by processing a large amount of insect trap sheets A,... Can be greatly reduced. In addition, by setting a plurality of insect catching sheets A,..., It is possible to acquire a lot of division images at a time and to inspect them, so that a plurality of insect catching sheets A,. It becomes like this.

尚、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変更が可能である。   In addition, this invention is not limited to the said embodiment, A various change is possible in the range which does not deviate from the summary of this invention.

例えば、上記実施形態に係る検査装置は、画像計数処理を実施することにより、自動的に捕虫を計数することができるが、それに留まらず、同定(生物の分類学上の所属・名称を明らかにすること)まで自動的に行うようにしてもよい。その場合、微小昆虫の例示として、ユスリカ、ショウジョウバエ、クロバネキノコバエ、ノミバエ、タマバエ、ガガンボ、チョウバエ、ハネカクシ、チャタテムシ等のそれぞれについて、いろんなアングルから見た各種サンプル画像(テンプレート画像)を画像処理部10aが用意しておき、上記した図形抽出画像における図形とのテンプレートマッチングを行えばよい。尚、画像処理部10aによる同定処理としては、上記した方法以外に、他の公知の方法の何れをも採用することができる。   For example, the inspection apparatus according to the above embodiment can automatically count insects by performing the image counting process. However, the inspection apparatus is not limited to this, and the identification (the taxonomic affiliation / name is clarified). May be automatically performed. In this case, as examples of micro insects, various sample images (template images) viewed from various angles, such as chironomid, Drosophila, Black-winged mushroom, flea, gallfly, gangambo, butterfly, scallop, scallop, etc., are image processing unit 10a. And template matching with the graphic in the graphic extraction image described above may be performed. In addition to the above-described method, any other known method can be adopted as the identification processing by the image processing unit 10a.

また、上記実施形態に係る検査装置は、スキャナー装置と表示装置とを分けて構成しているが、スキャナー装置にディスプレイを設けて一体型としてもよい。また、画像処理部10aは、例えば別個のパソコンが担うようにしてもよい。   Moreover, although the inspection apparatus according to the above embodiment is configured by separating the scanner device and the display device, the scanner device may be provided with a display so as to be integrated. Moreover, you may make it the image processing part 10a bear a separate personal computer, for example.

また、上記実施形態においては、走査ヘッド4が可動して副走査を行うようにしているが、走査ヘッド4(撮像素子4a)は固定でステージが可動することにより副走査を行うようにしてもよい。但し、装置全体がコンパクトにできる点、前者の方が好ましい。   In the above embodiment, the scanning head 4 is moved to perform sub-scanning. However, the scanning head 4 (imaging device 4a) is fixed and the stage is movable to perform sub-scanning. Good. However, the former is preferable because the entire apparatus can be made compact.

また、上記実施形態においては、撮像素子としてラインCCDを用いているが、これに限定されず、CCDチップをX−Yプロッタ等に搭載して走査させ、あるいはCCDチップを用いると共に、ステージをX−Y方向に可動して、全体画像を取得するようにしてもよい。   In the above-described embodiment, a line CCD is used as an image pickup device. However, the present invention is not limited to this, and the CCD chip is mounted on an XY plotter or the like for scanning. The whole image may be acquired by moving in the −Y direction.

また、上記実施形態においては、捕虫シートAの長手方向に沿って副走査するようにしているが、これと直交する方向、即ち、捕虫シートAの幅方向に沿って副走査するようにしてもよい。   Further, in the above embodiment, the sub-scan is performed along the longitudinal direction of the insect catching sheet A, but the sub-scan may be performed along a direction orthogonal to this, that is, along the width direction of the insect catching sheet A. Good.

また、上記実施形態においては、カートリッジCと一体的に捕虫シートAをセットするものであったが、カートリッジをそもそも具備しない捕虫シートや、カートリッジから完全に引き出して捕虫シートのみをセットするようにしてもよい。   In the above-described embodiment, the insect catching sheet A is set integrally with the cartridge C. However, the insect catching sheet that does not have the cartridge in the first place, or only the insect catching sheet is set by completely pulling out the cartridge. Also good.

本実施形態に係る検査装置の一部を構成するスキャナー装置であって、ステージを引き出した状態の外観斜視図を示す。1 is a perspective view of an external appearance of a scanner apparatus that constitutes a part of an inspection apparatus according to the present embodiment in a state in which a stage is pulled out. 同スキャナー装置であって、引き出されたステージに複数の捕虫シートをセットした状態の外観斜視図を示す。FIG. 2 is an external perspective view of the scanner device with a plurality of insect catching sheets set on the pulled out stage. 同スキャナー装置であって、ステージを引き出した状態の内部透過斜視図を示す。The internal perspective view of the scanner device with the stage pulled out is shown. 同スキャナー装置であって、ステージを収めた状態の内部透過斜視図を示す。FIG. 2 shows an internal transmission perspective view of the scanner device with a stage stored therein. 同スキャナー装置の内部透過正面図を示す。An internal transmission front view of the scanner device is shown. 本実施形態に係る検査装置の全体構成図を示す。The whole block diagram of the inspection apparatus which concerns on this embodiment is shown. 同検査装置によって取得された検査画像を示す。The inspection image acquired by the inspection apparatus is shown. 同検査装置による画像計数処理のフローチャートを示す。The flowchart of the image counting process by the inspection apparatus is shown. (イ)、(ロ)は、図8のS3に係る罫線の除去処理の説明図を示す。(A) and (b) are explanatory diagrams of the ruled line removal process according to S3 of FIG. 図8のS3に係る罫線の除去処理の説明図を示す。FIG. 9 is an explanatory diagram of a ruled line removal process according to S3 of FIG. (イ)、(ロ)は、図8のS4に係る背景の除去処理の説明図を示す。(A) and (b) are explanatory diagrams of the background removal process according to S4 of FIG. 図8のS1〜S4に係る処理による結果の画像であって、(イ)は、入力画像、(ロ)は、罫線の除去処理が施された画像、(ハ)は、背景の除去処理が施された画像、を示す。FIGS. 8A and 8B are images obtained as a result of the processing according to S1 to S4, where (A) is an input image, (B) is an image subjected to ruled line removal processing, and (C) is background removal processing. The applied image is shown. (イ)は、図12(ハ)と同じ画像、(ロ)は、図8のS5に係る処理の最初の工程であるグレースケール化処理が施された画像、を示す。(A) shows the same image as FIG. 12 (C), and (B) shows an image that has been subjected to gray scale processing, which is the first step of the processing according to S5 of FIG. (イ)は、図13(ロ)の一部画像、(ロ)は、閾値固定の単純な2値化処理が施された画像、(ハ)は、最適2値化処理が施された画像、を示す。13A is a partial image of FIG. 13B, FIG. 13B is an image subjected to simple binarization processing with a fixed threshold, and FIG. 13C is an image subjected to optimal binarization processing. , Indicate. 最適2値化処理が施された画像であって、(イ)は、複数の捕虫が画像的に繋がった状態の画像、(ロ)は、一つの捕虫が隣接する単位画像領域に跨っているために部分的に欠落した状態の画像、を示す。(B) is an image in a state where a plurality of insects are connected in an image, and (b) is a unit image region where one insect catches adjacent to each other. Therefore, an image in a partially missing state is shown. (イ)は、入力画像、(ロ)は、グレースケール化処理が施された画像、(ハ)は、最適2値化が施された画像、(ニ)は、一種の平滑化処理が施された画像、(ホ)は、(イ)の画像と(ニ)の画像とを重ねて比較した画像、を示す。(A) is an input image, (b) is an image subjected to gray scale processing, (c) is an image subjected to optimal binarization, and (d) is subjected to a kind of smoothing processing. (E), an image obtained by comparing (i) and (d) by overlapping the images. 図8のS6に係る計数処理の説明図を示す。FIG. 9 is an explanatory diagram of a counting process according to S6 of FIG.

符号の説明Explanation of symbols

1 スキャナー装置の装置本体
2 ステージ
3 台座
4 走査ヘッド
4a 撮像素子(撮像手段)
10 制御部
10a 画像処理部(画像処理手段)
15 表示装置(表示手段)
A 捕虫シート
X 全体画像
Y 区画画像
DESCRIPTION OF SYMBOLS 1 Apparatus body of scanner apparatus 2 Stage 3 Base 4 Scanning head 4a Image sensor (imaging means)
DESCRIPTION OF SYMBOLS 10 Control part 10a Image processing part (image processing means)
15 Display device (display means)
A Insect collecting sheet X Whole image Y Section image

Claims (9)

片面又は両面に粘着層を備える長尺な捕虫シートであって、長手方向に一定間隔で仕切られて複数の区画を有する捕虫シートを複数並列してセットするためのステージと、該ステージ上にセットされた複数の捕虫シートを同時期的に撮像可能な撮像手段と、該撮像手段により取得された全体画像から、選択的に何れかの区画を切り出し、それを一つの画像データとして区画画像を生成する画像処理手段と、該画像処理手段により生成された区画画像を表示する表示手段とを備えることを特徴とする捕虫シートの検査装置。   A long insect trapping sheet having an adhesive layer on one or both sides, a stage for setting in parallel a plurality of insect trapping sheets that are partitioned at regular intervals in the longitudinal direction and have a plurality of sections, and set on the stage An imaging unit capable of simultaneously imaging a plurality of insect trap sheets, and a section image is generated by selectively cutting out any section from the whole image acquired by the imaging unit. An insect trap sheet inspection apparatus comprising: an image processing means for displaying; and a display means for displaying a section image generated by the image processing means. 前記画像処理手段は、区画画像に対し、捕虫の画像計数処理を実施可能である請求項1に記載の捕虫シートの検査装置。   The insect capturing sheet inspection apparatus according to claim 1, wherein the image processing unit is capable of performing an insect capturing image counting process on the section image. 前記画像処理手段は、区画画像に対し、捕虫の同定処理を実施可能である請求項2に記載の捕虫シートの検査装置。   The insect capturing sheet inspection apparatus according to claim 2, wherein the image processing unit is capable of performing an insect capturing identification process on the section image. 前記ステージは、装置本体に対して引き出し可能に構成される請求項1〜3の何れか1項に記載の捕虫シートの検査装置。   The insect trapping sheet inspection apparatus according to any one of claims 1 to 3, wherein the stage is configured to be drawable with respect to the apparatus main body. 片面又は両面に粘着層を備える長尺な捕虫シートの画像を取得するために該捕虫シートを撮像するステップと、取得された画像中に、捕虫シートを複数の区画に仕切るための罫線が存在する場合、該罫線を特定して除去するステップと、取得された画像中に捕虫シート以外の背景が存在する場合、該背景を特定して除去するステップと、取得された画像における捕虫の中心的な部分を抽出するステップと、該抽出された領域の輪郭をトレースすることにより、捕虫を計数するステップとを備えることを特徴とする捕虫シートにおける捕虫の画像計数方法。   There is a step of imaging the insect capturing sheet to acquire an image of a long insect capturing sheet having an adhesive layer on one side or both sides, and a ruled line for partitioning the insect capturing sheet into a plurality of sections exists in the acquired image. If there is a background other than the catching sheet in the acquired image, the step of specifying and removing the ruled line and removing the background, A method for counting insects on an insect trap sheet, comprising: extracting a portion; and counting the traps by tracing the contour of the extracted region. 前記撮像ステップは、複数並列してセットされた捕虫シートを同時期的に撮像するものである請求項5に記載の捕虫シートにおける捕虫の画像計数方法。   6. The method of counting images of insects on an insect trapping sheet according to claim 5, wherein the imaging step is to simultaneously image a plurality of insect trap sheets set in parallel. 前記抽出ステップは、取得された画像に対するグレースケール化及び続いて2値化を、捕虫の中心的な部分の抽出に先立って行うものであり、前記罫線及び/又は背景の除去ステップは、捕虫シートとともに罫線及び/又は背景に係る画素が前記2値化によって白となるように、特定された罫線及び/又は背景に係る画素の画素値を変換するものである請求項5又は6に記載の捕虫シートにおける捕虫の画像計数方法。   The extraction step is to perform gray scale conversion and subsequent binarization on the acquired image prior to extraction of the central part of the catching insect, and the ruled line and / or background removal step comprises the insect catching sheet. The catching insect according to claim 5 or 6, wherein the pixel value of the specified ruled line and / or background pixel is converted so that the pixel related to the ruled line and / or background becomes white by the binarization. An image counting method for catching insects on a sheet. 前記2値化は、最適2値化である請求項7に記載の捕虫シートにおける捕虫の画像計数方法。   The method of counting images of insects on an insect trap sheet according to claim 7, wherein the binarization is an optimum binarization. 前記計数ステップは、領域の輪郭内の面積を求め、それが所定値よりも小さい場合、それを捕虫として計数に加えない請求項5〜8の何れか1項に記載の捕虫シートにおける捕虫の画像計数方法。   The said counting step calculates | requires the area in the outline of an area | region, and when it is smaller than predetermined value, it does not add it to a count as a catching insect, The image of the catching insect in any one of Claims 5-8 Counting method.
JP2006284558A 2006-10-19 2006-10-19 Insect catching sheet inspection apparatus and image capturing method for catching insects on the catching sheet Expired - Fee Related JP4200171B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006284558A JP4200171B2 (en) 2006-10-19 2006-10-19 Insect catching sheet inspection apparatus and image capturing method for catching insects on the catching sheet

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006284558A JP4200171B2 (en) 2006-10-19 2006-10-19 Insect catching sheet inspection apparatus and image capturing method for catching insects on the catching sheet

Publications (2)

Publication Number Publication Date
JP2008099598A true JP2008099598A (en) 2008-05-01
JP4200171B2 JP4200171B2 (en) 2008-12-24

Family

ID=39434439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006284558A Expired - Fee Related JP4200171B2 (en) 2006-10-19 2006-10-19 Insect catching sheet inspection apparatus and image capturing method for catching insects on the catching sheet

Country Status (1)

Country Link
JP (1) JP4200171B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130340319A1 (en) * 2012-06-21 2013-12-26 King Abdul Aziz City For Science And Technology Method and apparatus for capturing and time-sorting insects
US9179662B1 (en) * 2011-10-10 2015-11-10 Andrew Kort Fly trap and method of use
RU2567743C2 (en) * 2013-11-27 2015-11-10 Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "Военная академия радиационной, химической и биологической защиты имени Маршала Советского Союза С.К. Тимошенко" Device of active, rapid, safe for operator trapping fleas infected with pathogens of dangerous and especially dangerous infections
WO2018019857A1 (en) 2016-07-26 2018-02-01 Demand Side Instruments Method and device for measuring insect density
JP2021078388A (en) * 2019-11-18 2021-05-27 コニカミノルタ株式会社 Insect detector
CN113313737A (en) * 2021-06-11 2021-08-27 长江大学 Insect trapping bottle insect counting method and counting device based on computer vision
US20210392866A1 (en) * 2018-10-22 2021-12-23 Brandenburg Connect Limited Intelligent trap and consumables
WO2023203993A1 (en) * 2022-04-22 2023-10-26 日本農薬株式会社 Program and server for pest insect inspection

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101507554B1 (en) * 2014-12-12 2015-04-01 주식회사 이티엔디 insect trap having image photographing function for managing information of insect
EP3437021B1 (en) 2016-03-29 2023-09-06 Ecolab USA Inc. Analyzing images of pests using a mobile device application

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9179662B1 (en) * 2011-10-10 2015-11-10 Andrew Kort Fly trap and method of use
US8943742B2 (en) * 2012-06-21 2015-02-03 King Abdul Aziz City for Science and Technology (KACST) Method and apparatus for capturing and time-sorting insects
US20130340319A1 (en) * 2012-06-21 2013-12-26 King Abdul Aziz City For Science And Technology Method and apparatus for capturing and time-sorting insects
RU2567743C2 (en) * 2013-11-27 2015-11-10 Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "Военная академия радиационной, химической и биологической защиты имени Маршала Советского Союза С.К. Тимошенко" Device of active, rapid, safe for operator trapping fleas infected with pathogens of dangerous and especially dangerous infections
WO2018019857A1 (en) 2016-07-26 2018-02-01 Demand Side Instruments Method and device for measuring insect density
FR3054662A1 (en) * 2016-07-26 2018-02-02 Demand Side Instruments METHOD AND DEVICE FOR MEASURING INSECT DENSITY
US20210392866A1 (en) * 2018-10-22 2021-12-23 Brandenburg Connect Limited Intelligent trap and consumables
US11974561B2 (en) * 2018-10-22 2024-05-07 Caucus Connect Limited Intelligent trap and consumables
JP2021078388A (en) * 2019-11-18 2021-05-27 コニカミノルタ株式会社 Insect detector
CN113313737B (en) * 2021-06-11 2023-02-03 长江大学 Insect trap bottle insect counting method and counting device based on computer vision
CN113313737A (en) * 2021-06-11 2021-08-27 长江大学 Insect trapping bottle insect counting method and counting device based on computer vision
WO2023203993A1 (en) * 2022-04-22 2023-10-26 日本農薬株式会社 Program and server for pest insect inspection
JP2023160299A (en) * 2022-04-22 2023-11-02 日本農薬株式会社 Program and server for inspection of harmful insects

Also Published As

Publication number Publication date
JP4200171B2 (en) 2008-12-24

Similar Documents

Publication Publication Date Title
JP4200171B2 (en) Insect catching sheet inspection apparatus and image capturing method for catching insects on the catching sheet
US20190154442A1 (en) High speed stereoscopic pavement surface scanning system and method
CN1324529C (en) Method and system for classifying object in scene
US6535621B1 (en) Defect integrated processing apparatus and method thereof
CN104729426B (en) Angle steel automatic on-line detecting system and method based on machine vision
US6728593B2 (en) System for analysis of fabric surface
CN105718931B (en) System and method for determining clutter in acquired images
CN104949998A (en) Online visual inspection device and method for surface dirt of group origin eggs
CN103852034B (en) A kind of method for measuring perendicular
JP4997255B2 (en) Cell image analyzer
US8139862B2 (en) Character extracting apparatus, method, and program
EP1845336A1 (en) Method and device for the optical detection of moving objects
KR101716725B1 (en) Distance measurement device and vehicle using same
DE102020124613A1 (en) IMPROVED SELECTION OF AN OBJECT OF INTEREST IN NEURAL NETWORK SYSTEMS AT POINT OF SALE
KR101141811B1 (en) Image sensing apparatus and method
CN113662530A (en) Pig physiological growth state monitoring and early warning method
CN1042981C (en) Reader for symbolic information
JP4271054B2 (en) Cell image analyzer
JP2007163173A (en) Apparatus, method, and program for measuring vehicle
Chanussot et al. Airborne remote sensing of vineyards for the detection of dead vine trees
JP4863050B2 (en) Color unevenness defect inspection method and apparatus
JP2861338B2 (en) Optical inspection equipment
DE112020004617T5 (en) ENDOSCOPE SYSTEM
CN109993761B (en) Ternary image acquisition method and device and vehicle
CN107121438B (en) Inspection apparatus and inspection method

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080626

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080926

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081006

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4200171

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131010

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees