JP2009110114A - Image processing apparatus - Google Patents

Image processing apparatus Download PDF

Info

Publication number
JP2009110114A
JP2009110114A JP2007279445A JP2007279445A JP2009110114A JP 2009110114 A JP2009110114 A JP 2009110114A JP 2007279445 A JP2007279445 A JP 2007279445A JP 2007279445 A JP2007279445 A JP 2007279445A JP 2009110114 A JP2009110114 A JP 2009110114A
Authority
JP
Japan
Prior art keywords
test
inspection
product inspection
data
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007279445A
Other languages
Japanese (ja)
Other versions
JP4462326B2 (en
Inventor
Yuji Torimaru
裕二 鳥丸
Yoshihiko Sugimoto
義彦 杉本
Masayuki Hattori
真之 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Panasonic Electric Works Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Electric Works Co Ltd filed Critical Panasonic Electric Works Co Ltd
Priority to JP2007279445A priority Critical patent/JP4462326B2/en
Priority to DE200810052487 priority patent/DE102008052487B4/en
Priority to TW97140656A priority patent/TWI391873B/en
Priority to CN2008101499755A priority patent/CN101419054B/en
Publication of JP2009110114A publication Critical patent/JP2009110114A/en
Application granted granted Critical
Publication of JP4462326B2 publication Critical patent/JP4462326B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To change a setting of a product inspection process without stopping the product inspection process during the product inspection process. <P>SOLUTION: The image processing apparatus includes: a test memory 9 for storing test data; a plurality of product inspection memories 4A, 4B for storing product inspection data; and image processing means 3, 8 for executing a test program for storing test data in one of the product inspection memories after testing product inspection using image data obtained by imaging a product to be inspected and the test data, and a product inspection program for inspecting product quality by using the image data obtained by imaging a product to be inspected and product inspection data stored in one of the product inspection memories. When the test program is executed in an execution state of the product inspection program, a priority of a test task to be executed according to the test program is lowered than a priority of a product inspection task to be executed according to the product inspection program. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、画像によって製品の良否を検査する画像処理装置に関する。   The present invention relates to an image processing apparatus that inspects the quality of a product by an image.

従来より、製品の良否判定を画像処理によって行う画像検査システムが知られている。この画像検査システムは、検査精度を向上させるために、実際の検査の前にテストを実施する。このテスト処理においては、製造ライン上の製品を撮像するカメラのパラメータ設定や、当該カメラによって撮像された画像に対する画像処理のパラメータ設定などを行う。したがって、従来の画像検査システムにおいては、製造ラインの製品検査処理の前にテスト処理を行うことが通例となっており、製造ラインの製品検査処理の最中にテスト処理を実施することはできなかった。   2. Description of the Related Art Conventionally, an image inspection system that performs product quality determination by image processing is known. This image inspection system performs a test before an actual inspection in order to improve inspection accuracy. In this test process, parameter settings for a camera that captures a product on the production line, image processing parameter settings for an image captured by the camera, and the like are performed. Therefore, in the conventional image inspection system, it is customary to perform the test process before the product inspection process of the production line, and the test process cannot be performed during the product inspection process of the production line. It was.

また、テスト処理を行う従来の技術としては、下記の特許文献１に記載されたものが知られている。この特許文献１に記載されたテスト実行システムは、組み込み型マイクロコンピュータシステムの制御ソフトウェアのテストを、多角的なビジュアル画面を連動表示させて実施する。このために、テスト実行システムは、装置の形状、入出力に関する情報を定義した装置情報をもとに装置シミュレーションを実施し、装置の制御プログラムをテストする。制御プログラムと装置情報内で定義された装置とは、装置対応テーブルにより対応づけがなされている。シミュレート実行プログラムは、制御プログラムを１ステップ解釈するごとに、その１ステップをプログラムトレース表示としてユーザに提示する。それとともに、装置情報から得られる装置の形状データをグラフィック表現し、制御プログラムの１ステップの実行により変化する装置の状況に合わせてアニメーション表示を行う。
特開平８−１９４６３４号公報 Further, as a conventional technique for performing a test process, one described in Patent Document 1 below is known. The test execution system described in Patent Document 1 executes a control software test of an embedded microcomputer system by displaying various visual screens in conjunction with each other. For this purpose, the test execution system performs a device simulation based on device information defining information on the shape and input / output of the device, and tests the device control program. The control program and the device defined in the device information are associated with each other by the device correspondence table. Whenever the simulation execution program interprets one step of the control program, the simulation execution program presents the step as a program trace display to the user. At the same time, the shape data of the device obtained from the device information is graphically expressed, and an animation is displayed in accordance with the status of the device that changes due to execution of one step of the control program.
JP-A-8-194634

しかしながら、従来の特許文献１に記載されたテスト実行システムは、テスト時の表示内容をテストの進行と共に提示するものであるが、上述した画像検査システムに応用した場合には、製造ラインを一旦止めてテスト実行を行う必要がある。   However, the conventional test execution system described in Patent Document 1 presents the display contents at the time of the test as the test progresses. However, when applied to the above-described image inspection system, the production line is temporarily stopped. Test execution is required.

また、上述の画像検査システムにおいては、製品検査中には、不良と判定された製品画像の確認、計測値の結果履歴の参照などの検査結果の確認しかできなかった。また、製品検査中にも検査条件や検査閾値の変更はできたものの、その変更内容の妥当性を評価するために、製品検査処理に影響せずにテスト検査を行うことができなかった。したがって、製品検査処理と各種設定とを同時に行うことができず、製品検査処理の条件変更、新たな検査エリアの追加又は調整を行うためには、製品検査処理を停止し且つ製造ラインを停止する必要があった。   Further, in the above-described image inspection system, during the product inspection, only the inspection result such as confirmation of the product image determined to be defective and reference to the result history of the measurement value can be confirmed. In addition, although the inspection conditions and the inspection threshold could be changed during the product inspection, the test inspection could not be performed without affecting the product inspection processing in order to evaluate the validity of the changed contents. Therefore, the product inspection process and various settings cannot be performed at the same time. In order to change the conditions of the product inspection process and add or adjust a new inspection area, the product inspection process is stopped and the production line is stopped. There was a need.

また、製品検査処理の設定変更を行う他の手法としては、画像検査システムに対してパーソナルコンピュータを接続して、オンラインで行うことができるものの、この手法であっても、製品検査処理の設定変更中には製造ラインを停止する必要があった。   As another method for changing the setting of the product inspection process, a personal computer can be connected to the image inspection system and performed online. Some of the production lines needed to be stopped.

そこで、本発明は、上述した実情に鑑みて提案されたものであり、製品検査処理中においても当該製品検査処理を中止することなく当該製品検査処理の設定を変更することができる画像処理装置を提供することを目的とする。   Therefore, the present invention has been proposed in view of the above-described circumstances, and an image processing apparatus capable of changing the setting of the product inspection process without stopping the product inspection process even during the product inspection process. The purpose is to provide.

本発明に係る画像検査システムは、テスト用データを記憶するテスト用メモリと、製品検査用データを記憶する複数の製品検査用メモリと、検査対象となる製品を撮像した画像データとテスト用データとを用いて製品検査をテストしてテスト用データを何れかの製品検査用メモリに格納するテスト用プログラム、及び、検査対象となる製品を撮像した画像データと何れかの製品検査用メモリに格納された製品検査用データとを用いて製品の良否を検査する製品検査用プログラムを実行する画像処理手段とを備える。このような画像検査システムは、上述の課題を解決するために、画像処理手段によって、製品検査用プログラムの実行状態時に、テスト用プログラムを実行する場合に、製品検査用プログラムに従って実行する製品検査タスクの優先度よりもテスト用プログラムに従って実行するテストタスクの優先度を低くして、製品検査用プログラム及びテスト用プログラムを並列処理することを特徴とする。   An image inspection system according to the present invention includes a test memory that stores test data, a plurality of product inspection memories that store product inspection data, image data obtained by imaging a product to be inspected, and test data. A test program for testing product inspection using a test data and storing test data in any product inspection memory, and image data obtained by imaging the product to be inspected and stored in any product inspection memory Image processing means for executing a product inspection program for inspecting the quality of the product using the product inspection data. In order to solve the above-described problem, such an image inspection system is a product inspection task that is executed according to a product inspection program when the test program is executed by the image processing unit when the product inspection program is being executed. The product inspection program and the test program are processed in parallel by lowering the priority of the test task to be executed according to the test program from the priority of the test program.

本発明によれば、製品検査用プログラムの実行状態時に、テスト用プログラムを実行する場合に、製品検査用プログラムに従って実行する製品検査タスクの優先度よりもテスト用プログラムに従って実行するテストタスクの優先度を低くして、製品検査用プログラム及びテスト用プログラムを並列処理するので、製品検査処理中においても当該製品検査処理を中止することなく当該製品検査処理の設定を変更することができる。   According to the present invention, when the test program is executed in the execution state of the product inspection program, the priority of the test task executed according to the test program is higher than the priority of the product inspection task executed according to the product inspection program. Since the product inspection program and the test program are processed in parallel, the setting of the product inspection process can be changed without stopping the product inspection process even during the product inspection process.

以下、本発明の実施の形態について図面を参照して説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

本発明は、例えば図１に示すように構成された画像検査システムに適用される。この画像検査システムは、主として製造ラインにおいて部品等の品種の識別、異種部品の混入検査、組立作業や製品検査などの自動化のために、部品や製品等の対象物の外観検査に使用される。この画像検査システムは、画像処理の結果が対象物の面積、形状、位置などの測定・認識に用いられ、これにより、対象物の良品、不良品などを判定する。   The present invention is applied to, for example, an image inspection system configured as shown in FIG. This image inspection system is mainly used for the appearance inspection of objects such as parts and products for the purpose of automating the identification of varieties such as parts, the inspection of mixing of different kinds of parts, the assembly work and the product inspection in the production line. In this image inspection system, the result of image processing is used for measurement / recognition of the area, shape, position, etc. of an object, thereby determining whether the object is good or defective.

この画像検査システムは、撮像部１と、検査用画像メモリ２と、検査処理部３と、第１検査用データ記憶部４Ａ及び第２検査用データ記憶部４Ｂと、インライン用入出力制御部５と、表示制御部（表示制御手段）６と、表示部（表示手段）７とを備える。   The image inspection system includes an imaging unit 1, an inspection image memory 2, an inspection processing unit 3, a first inspection data storage unit 4A and a second inspection data storage unit 4B, and an inline input / output control unit 5. And a display control section (display control means) 6 and a display section (display means) 7.

この画像検査システムは、製品の良否検査をする場合に、撮像部１によって製品を撮像した撮像画像データを作成する。この撮像画像データは、検査用画像メモリ２によって取り込まれて一時記憶され、検査処理部３によって検査対象とされる。   The image inspection system creates captured image data obtained by capturing an image of a product by the imaging unit 1 when the product is inspected for quality. The captured image data is taken in and temporarily stored by the inspection image memory 2 and is subjected to inspection by the inspection processing unit 3.

検査処理部３は、図示しないプログラムメモリから製品検査用プログラムを読み込んで、当該製品検査用プログラムの指示に従って演算処理（製品検査タスク）を行うマイクロプロセッサからなる。検査処理部３による製品検査タスクの開始トリガ（検査トリガ）は、図示しない操作入力部によってインライン用入出力制御部５に供給され、インライン用入出力制御部５から検査処理部３に供給される。また、インライン用入出力制御部５は、検査処理部３によって得られた製品検査結果を外部出力する。   The inspection processing unit 3 includes a microprocessor that reads a product inspection program from a program memory (not shown) and performs arithmetic processing (product inspection task) in accordance with instructions of the product inspection program. The start trigger (inspection trigger) of the product inspection task by the inspection processing unit 3 is supplied to the inline input / output control unit 5 by an operation input unit (not shown), and is supplied from the inline input / output control unit 5 to the inspection processing unit 3. . The inline input / output control unit 5 outputs the product inspection result obtained by the inspection processing unit 3 to the outside.

検査トリガが供給されると、検査処理部３は、検査用画像メモリ２に記憶された撮像画像データと、第１検査用データ記憶部４Ａ又は第２検査用データ記憶部４Ｂに記憶された製品検査用データとを用いて、製品の良否検査を行う。例えば、検査処理部３は、検査用画像メモリ２に記憶された画像データと、第１検査用データ記憶部４Ａ又は第２検査用データ記憶部４Ｂに予め記憶されていた良品の撮像画像データとの比較を行って、製品の面積、形状、位置などを測定し、良品又は不良品であるという製品検査結果を作成する。この製品検査結果は、表示制御部６を介して表示部７に表示される。   When the inspection trigger is supplied, the inspection processing unit 3 uses the captured image data stored in the inspection image memory 2 and the product stored in the first inspection data storage unit 4A or the second inspection data storage unit 4B. The product is inspected using the inspection data. For example, the inspection processing unit 3 includes the image data stored in the inspection image memory 2 and the non-defective imaged image data stored in advance in the first inspection data storage unit 4A or the second inspection data storage unit 4B. Are compared, and the area, shape, position, etc. of the product are measured, and a product inspection result indicating that the product is non-defective or defective is created. The product inspection result is displayed on the display unit 7 via the display control unit 6.

第１検査用データ記憶部４Ａ、第２検査用データ記憶部４Ｂに記憶されている第１検査用データ、第２検査用データは、後述するテストタスクを行うことによって、テスト用データに切り替えられる。   The first inspection data and the second inspection data stored in the first inspection data storage unit 4A and the second inspection data storage unit 4B are switched to test data by performing a test task described later. .

また、この画像検査システムは、検査処理部３による製品の良否判定の精度を向上させるため、又は、検査処理部３によって検査される検査対象を変更する場合に、製品検査タスクにおいて用いる製品検査用データを更新する。このために、この画像検査システムは、テスト用検査処理部８と、テスト用データを記憶するテスト用メモリであるテスト用データ記憶部９と、テスト用検査処理部８の作業領域となるテスト用画像メモリ１０と、データ通信部１１と、記憶装置１２とを備える。   In addition, this image inspection system is for product inspection used in a product inspection task in order to improve the accuracy of product quality determination by the inspection processing unit 3 or when the inspection object to be inspected by the inspection processing unit 3 is changed. Update the data. For this reason, this image inspection system includes a test inspection processing unit 8, a test data storage unit 9 that is a test memory for storing test data, and a test area that serves as a work area for the test inspection processing unit 8. An image memory 10, a data communication unit 11, and a storage device 12 are provided.

記憶装置１２は、内部保存用メモリ、外部記憶メディア等の記録再生装置からなる。この記憶装置１２には、テスト用データ記憶部９に格納するテスト用データが記億される。記憶装置１２は、図示しない操作入力部に対する操作に基づく指示によって、テスト用データをデータ通信部１１に供給する。また、記憶装置１２は、検査処理部３によって製品検査をしているときの撮像画像データがデータ通信部１１から供給される。記憶装置１２は、検査用画像メモリ２に記憶した撮像画像データを記憶する処理と、テスト用データをデータ通信部１１を介してテスト用データ記憶部９に出力する処理とを同時に行うように、ファイルのマルチオープンを行う。   The storage device 12 includes a recording / reproducing device such as an internal storage memory or an external storage medium. The storage device 12 stores test data stored in the test data storage unit 9. The storage device 12 supplies test data to the data communication unit 11 in accordance with an instruction based on an operation on an operation input unit (not shown). The storage device 12 is supplied with captured image data from the data communication unit 11 when the inspection processing unit 3 performs product inspection. The storage device 12 performs a process of storing the captured image data stored in the inspection image memory 2 and a process of outputting the test data to the test data storage unit 9 via the data communication unit 11 at the same time. Multi-open a file.

データ通信部１１は、記憶装置１２との間でイーサネット（登録商標）等の通信インターフェースによって通信接続される。データ通信部１１は、記憶装置１２に記憶されたテスト用データをテスト用データ記憶部９にロードする処理と、検査用画像メモリ２に記憶された撮像画像データを記憶装置１２に記憶する処理と、テスト用データ記憶部９に記憶されたテスト用データを第１検査用データ記憶部４Ａ又は第２検査用データ記憶部４Ｂにコピーして上書きする処理とを並列して行う。   The data communication unit 11 is connected to the storage device 12 through a communication interface such as Ethernet (registered trademark). The data communication unit 11 loads the test data stored in the storage device 12 into the test data storage unit 9, and stores the captured image data stored in the inspection image memory 2 in the storage device 12. The process of copying the test data stored in the test data storage unit 9 to the first test data storage unit 4A or the second test data storage unit 4B and overwriting is performed in parallel.

テスト用検査処理部８は、図示しないプログラムメモリからテスト用プログラムを読み込んで、当該テスト実行用プログラムの指示に従って演算処理（テストタスク）を行うマイクロプロセッサからなる。   The test inspection processing unit 8 includes a microprocessor that reads a test program from a program memory (not shown) and performs arithmetic processing (test task) in accordance with an instruction of the test execution program.

テスト用検査処理部８は、テスト実施時に、テスト用データをテスト用データ記憶部９から読み出すと共にテストに使用する撮像画像データ（テスト用画像）をテスト用画像メモリ１０から読み出す。このテスト用画像メモリ１０のテスト用画像は、撮像部１によって撮像されて検査用画像メモリ２に記憶されている撮像画像データであっても良い。そして、テスト用検査処理部８は、撮像画像データとテスト用データとを用いて、検査処理部３と同様に製品の面積、形状、位置などを測定して良品又は不良品であるというテスト結果を作成する演算処理を行って、テスト結果を表示制御部６に出力する。   The test inspection processing unit 8 reads the test data from the test data storage unit 9 and also reads the captured image data (test image) used for the test from the test image memory 10 when performing the test. The test image in the test image memory 10 may be captured image data captured by the imaging unit 1 and stored in the inspection image memory 2. Then, the test inspection processing unit 8 uses the captured image data and the test data to measure the area, shape, position, etc. of the product in the same manner as the inspection processing unit 3, and the test result is a non-defective or defective product Is performed, and the test result is output to the display control unit 6.

表示制御部６は、テスト用検査処理部８からテスト結果が供給されると共に、検査処理部３から製品検査結果が供給される。表示制御部６は、テスト結果を含むテスト用画像を表示部７に供給してテスト用画面７ａを表示させる状態と、製品検査結果を含む検査用画像を表示部７に供給して検査用画面７ｂを表示させる状態とで切り換える。   The display control unit 6 is supplied with a test result from the test processing unit 8 and a product test result from the test processing unit 3. The display control unit 6 supplies the test image including the test result to the display unit 7 to display the test screen 7a, and supplies the test image including the product inspection result to the display unit 7 to display the test screen. 7b is displayed and switched.

このような画像検査システムは、検査処理部３及びテスト用検査処理部８が、撮像画像データとテスト用データとを用いて製品検査をテストしてテスト用データを第１検査用データ記憶部４Ａ又は第２検査用データ記憶部４Ｂに格納するテスト用プログラム、及び、撮像画像データと第１又は第２検査用データとを用いて製品の良否を検査する製品検査用プログラムを実行する画像処理手段として機能する。   In such an image inspection system, the inspection processing unit 3 and the test inspection processing unit 8 test the product inspection using the captured image data and the test data, and the test data is stored in the first inspection data storage unit 4A. Alternatively, image processing means for executing a test program stored in the second inspection data storage unit 4B and a product inspection program for inspecting the quality of the product using the captured image data and the first or second inspection data. Function as.

また、画像検査システムは、検査処理部３によって製品検査タスクを行っている製品検査用プログラムの実行状態時に、テスト用検査処理部８によってテスト用プログラムを実行する場合に、製品検査用プログラムに従って実行する製品検査タスクの優先度よりもテスト用プログラムに従って実行するテストタスクの優先度を低くして、マイクロプロセッサによって、製品検査用プログラム及びテスト用プログラムを並列処理する。すなわち、製品検査タスクによって製品検査結果を表示制御部６に出力して一時的に終了した時に、テストタスクを開始する。   The image inspection system is executed according to the product inspection program when the test inspection processing unit 8 executes the test program when the product inspection program performing the product inspection task by the inspection processing unit 3 is executed. The priority of the test task executed according to the test program is set lower than the priority of the product inspection task to be performed, and the product inspection program and the test program are processed in parallel by the microprocessor. That is, when the product inspection result is output to the display control unit 6 by the product inspection task and temporarily ended, the test task is started.

このような画像検査システムは、検査処理部３及びテスト用検査処理部８を構成するマイクロプロセッサによって、図２に示すように、製品検査の実行処理系のタスクである製品検査タスクと、製品検査の設定を行う設定処理系のテストタスクとを並列処理する。なお、この画像検査システムを稼働させた当初は、第１検査用データ記憶部４Ａと第２検査用データ記憶部４Ｂとに同一の製品検査用データが記憶されている。   Such an image inspection system includes a product inspection task, which is a task of an execution processing system for product inspection, and a product inspection, as shown in FIG. 2, by a microprocessor constituting the inspection processing unit 3 and the test inspection processing unit 8. Performs parallel processing with the test task of the setting processing system that performs the setting. When the image inspection system is initially operated, the same product inspection data is stored in the first inspection data storage unit 4A and the second inspection data storage unit 4B.

テスト用検査処理部８による実行処理系の製品検査タスクは、先ずステップＳ１において、検査トリガが入力されると、ステップＳ２において撮像部１によって撮像されている撮像画像データを検査用画像メモリ２に取り込ませる。この検査トリガは、図示しないユーザに操作される操作入力部となる簡易型リモコン等によって発生されて、インライン用入出力制御部５を介してテスト用検査処理部８が検知する。この簡易型リモコンは、方向キー及び決定キーを含む簡易型入力装置であって、マウス等と比較して操作性が乏しいものが挙げられる。   In the product inspection task of the execution processing system by the test inspection processing unit 8, first, in step S1, when an inspection trigger is input, the captured image data captured by the imaging unit 1 in step S2 is stored in the inspection image memory 2. Let it be captured. This inspection trigger is generated by a simple remote controller or the like as an operation input unit operated by a user (not shown) and detected by the test inspection processing unit 8 via the inline input / output control unit 5. This simple remote controller is a simple input device including a direction key and a determination key, and has a poor operability as compared with a mouse or the like.

次にテスト用検査処理部８は、データ切替フラグがＯＮとなっているか否かを判定する。このデータ切替フラグは、設定処理系のテストタスクによって製品検査用データの変更が行われて、製品検査タスクに用いる製品検査用データを切り替える必要がある場合に、ＯＮとされ、そうではない場合にはＯＦＦとされる。データ切替フラグがＯＮとなっていない場合には、ステップＳ６に処理を進めて製品検査タスクを実行し、ステップＳ７において製品検査結果を表示制御部６に出力する。   Next, the test inspection processing unit 8 determines whether or not the data switching flag is ON. This data switching flag is turned ON when the product inspection data is changed by the test task of the setting processing system, and it is necessary to switch the product inspection data used for the product inspection task. Is turned off. If the data switching flag is not ON, the process proceeds to step S6 to execute the product inspection task, and the product inspection result is output to the display control unit 6 in step S7.

一方、データ切替フラグがＯＮとなっている場合には、ステップＳ４において、製品検査タスクに用いる製品検査用データを第１検査用データと第２検査用データとの間で切り替える。すなわち、現状で製品検査タスクで使用していた製品検査用データが第１検査用データである場合には、製品検査用データを第２検査用データに切り替え、逆に、現状で製品検査タスクで使用していた製品検査用データが第２検査用データである場合には、製品検査用データを第１検査用データに切り替える。   On the other hand, if the data switching flag is ON, in step S4, the product inspection data used for the product inspection task is switched between the first inspection data and the second inspection data. That is, when the product inspection data currently used in the product inspection task is the first inspection data, the product inspection data is switched to the second inspection data. If the product inspection data used is the second inspection data, the product inspection data is switched to the first inspection data.

次のステップＳ５においては、テスト用検査処理部８によって、データ切替フラグをＯＦＦに設定して、ステップＳ６及びステップＳ７を行うことによって、表示部７を検査用画面７ｂにして、処理をステップＳ１に戻す。   In the next step S5, the test inspection processing unit 8 sets the data switching flag to OFF, and by performing steps S6 and S7, the display unit 7 is changed to the inspection screen 7b, and the process is performed in step S1. Return to.

設定処理系のテストタスクは、当該テストタスクよりも優先度が高い実行処理系の製品検査タスクが一時的に終了した時点において、ステップＳ１１以降の処理が開始される。   The setting processing system test task starts the processing from step S11 onward when the execution processing system product inspection task having a higher priority than the test task temporarily ends.

ステップＳ１１において、図示しない操作入力部の操作に基づいた指示によって、記憶装置１２に記憶されたテスト用データを、データ通信部１１によってテスト用データ記憶部９にロードする。   In step S <b> 11, the test data stored in the storage device 12 is loaded into the test data storage unit 9 by the data communication unit 11 according to an instruction based on an operation of an operation input unit (not shown).

次のステップＳ１２においては、テスト用検査処理部８によって、テスト用データ記憶部９に記憶されたテスト用データと、テスト用画像メモリ１０に読み込んだ撮像画像データとを用いて、テスト用画像メモリ１０に記憶された撮像画像データの検査、計測といった処理を行う。ここで、現在製造ラインにおいて製造されている製品の良否判定の精度を向上させるためのテストタスクを実行する場合、テスト用データ記憶部９には、第１検査用データ、第２検査用データとは別のデータであって、良品である製品の製品検査用データがテスト用データとしてロードされる。そして、テスト用検査処理部８は、テスト用データと撮像画像データとを比較して、テスト結果を生成して、表示制御部６を介して表示部７をテスト用画面７ａとする。   In the next step S12, the test image memory using the test data stored in the test data storage unit 9 and the captured image data read into the test image memory 10 by the test inspection processing unit 8 is used. Processing such as inspection and measurement of the captured image data stored in 10 is performed. Here, when executing a test task for improving the accuracy of the quality determination of the product currently manufactured in the production line, the test data storage unit 9 includes the first inspection data, the second inspection data, and the like. Is different data, and product inspection data of a non-defective product is loaded as test data. Then, the test inspection processing unit 8 compares the test data with the captured image data, generates a test result, and sets the display unit 7 as the test screen 7 a via the display control unit 6.

次のステップＳ１３においては、テスト用検査処理部８によって、ステップＳ１１にて設定したテスト用データを製品検査用データに変更するか否かを判定する。このとき、テスト用検査処理部８は、テスト用画面７ａを視認確認したユーザによる操作入力部の操作に従って、テスト用データを製品検査用データに変更するか否かを判定する。テスト用データを製品検査用データに変更しない場合、テストタスクを終了して処理を終了する。一方、テスト用データを製品検査用データに変更する場合には、ステップＳ１４に処理を進める。   In the next step S13, the test inspection processing unit 8 determines whether or not to change the test data set in step S11 to product inspection data. At this time, the test inspection processing unit 8 determines whether or not to change the test data to product inspection data according to the operation of the operation input unit by the user who visually confirms the test screen 7a. When the test data is not changed to the product inspection data, the test task is terminated and the process is terminated. On the other hand, when the test data is changed to the product inspection data, the process proceeds to step S14.

ステップＳ１４においては、データ通信部１１によって、テスト用データ記憶部９に記憶されたテスト用データを、第１検査用データ記憶部４Ａ又は第２検査用データ記憶部４Ｂにコピーする。このとき、データ通信部１１は、テストタスクと並列処理されている製品検査タスクにおいて用いられている製品検査用データが第１検査用データか第２検査用データかを識別するフラグを参照する処理などによって、現在製品検査タスクによって用いられていない製品検査用データをテスト用データに変更する。   In step S14, the data communication unit 11 copies the test data stored in the test data storage unit 9 to the first inspection data storage unit 4A or the second inspection data storage unit 4B. At this time, the data communication unit 11 refers to a flag for identifying whether the product inspection data used in the product inspection task being processed in parallel with the test task is the first inspection data or the second inspection data. For example, the product inspection data that is not currently used by the product inspection task is changed to test data.

次のステップＳ１５においては、データ切替フラグをＯＮに設定して、テストタスクを終了する。   In the next step S15, the data switching flag is set to ON and the test task is terminated.

このようにテストタスクを行うことによってＯＮとされたデータ切替フラグは、並列処理されている製品検査タスクのステップＳ３において参照された結果、ＯＮとなっていると判定されて、第１検査用データと第２検査用データとの間で製品検査用データの切替が行われる。これによって、製品検査タスクにおいては、テストタスクによって変更された製品検査用データを用いて撮像画像データの製品検査処理を行うことができ、製品検査処理中においても当該製品検査処理を中止することなく当該製品検査処理の設定を変更することができる。   The data switching flag turned ON by performing the test task in this way is determined to be ON as a result of referring to step S3 of the product inspection task being processed in parallel, and the first inspection data Product inspection data is switched between the first inspection data and the second inspection data. Thereby, in the product inspection task, the product inspection processing of the captured image data can be performed using the product inspection data changed by the test task, and the product inspection processing is not stopped even during the product inspection processing. The setting of the product inspection process can be changed.

また、この画像検査システムによれば、製造ライン上の製品の画像データや過去の検査において使用したデータを記憶装置１２に記憶させておき、製品検査を行っている場合であっても、製品の良否を判定する閾値調整やテストを実行することができる。   Further, according to this image inspection system, the image data of the product on the production line and the data used in the past inspection are stored in the storage device 12, and even if the product inspection is performed, It is possible to perform threshold adjustment and test for determining pass / fail.

更に、この画像検査システムによれば、製造ライン上の製品の画像データを複数枚記憶装置１２に記憶させておき、各画像データに対する検査計測値を本体に保存しておき、その後に閾値調整を実施することによって、閾値調整調整前後の製品良否判定や計測値等の検査結果の比較及び検証が可能となる。   Furthermore, according to this image inspection system, the image data of products on the production line is stored in the plurality of storage devices 12, the inspection measurement values for each image data are stored in the main body, and then the threshold value adjustment is performed. By carrying out, it becomes possible to compare and verify the product quality judgment before and after the threshold adjustment and the inspection results such as the measured values.

更にまた、この画像検査システムによれば、操作性の良いパーソナルコンピュータのツールで検査条件の変更や検査閾値の追い込み、調整を行った後の検査プログラムを製品検査中でもアップロードすることができ、瞬時に製品検査に使用する製品検査用プログラムを切り替えることができる。   Furthermore, according to this image inspection system, the inspection program after changing the inspection conditions, adjusting the inspection threshold, and adjusting it with a personal computer tool with good operability can be uploaded even during product inspection. The product inspection program used for product inspection can be switched.

更にまた、この画像検査システムは、製品検査用データを変更する場面のみならず、製造ライン上の製品が変更されたことによって検査対象が変更した場合に、検査処理部３が用いる製品検査用データを変更することもできる。   Furthermore, this image inspection system is used not only for changing product inspection data but also for product inspection data used by the inspection processing unit 3 when the inspection object is changed due to a change in the product on the production line. Can also be changed.

この画像検査システムは、図３に示すように、データ通信部１１が、複数の検査対象の製品検査用データを格納する検査データ群記憶部２０と接続されている。画像検査システムは、図示しない操作入力部の操作に基づいて検査対象を変更する命令が発生した場合に、データ通信部１１によって、検査処理部３の製品検査用プログラムが使用していない製品検査用データを記憶している一方の第１検査用データ記憶部４Ａ又は第２検査用データ記憶部４Ｂに、変更された検査対象の製品検査用データをロードする。そして、検査処理部３は、データ通信部１１によってロードされた製品検査用データを用いて製品検査用プログラムを実行する。   In this image inspection system, as shown in FIG. 3, the data communication unit 11 is connected to an inspection data group storage unit 20 that stores a plurality of product inspection data to be inspected. The image inspection system is for product inspection that is not used by the product inspection program of the inspection processing unit 3 by the data communication unit 11 when an instruction to change an inspection target is generated based on an operation of an operation input unit (not shown). The changed product inspection data to be inspected is loaded into the first inspection data storage unit 4A or the second inspection data storage unit 4B that stores the data. Then, the inspection processing unit 3 executes a product inspection program using the product inspection data loaded by the data communication unit 11.

このような画像検査システムは、図４に示すように、図２に示した動作に対して設定処理系のタスクが異なる動作となる。なお、この設定処理系のタスクも、上述した製品検査タスクよりも優先度が低く設定されており、製品検査タスクの終了時に開始される。   In such an image inspection system, as shown in FIG. 4, the setting processing system task is different from the operation shown in FIG. The task of this setting processing system is also set with a lower priority than the above-described product inspection task, and is started at the end of the product inspection task.

この設定処理系のタスクは、ステップＳ２１において、検査対象が変更されるか否かを判定する。このとき、ユーザによる操作入力部の操作や、製造ライン上の製品が変更されたとの信号、又は、予め設定されたスケジュールに従って、検査対象が変更されたか否かを判定する。検査対象を変更しない場合、設定処理系のタスクを終了して処理を終了する。一方、検査対象が変更された場合には、ステップＳ２２に処理を進める。   In step S21, the setting processing system task determines whether or not the inspection target is changed. At this time, it is determined whether or not the inspection target has been changed according to the operation of the operation input unit by the user, a signal that the product on the production line has been changed, or a preset schedule. When the inspection target is not changed, the setting processing system task is terminated and the process is terminated. On the other hand, if the inspection target is changed, the process proceeds to step S22.

ステップＳ２２においては、データ通信部１１によって、検査データ群記憶部２０から変更後の検査対象を検査するための製品検査用データを取りだして、第１検査用データ又は第２検査用データとしてロードする。このとき、データ通信部１１は、設定処理系のタスクと並列処理されている製品検査タスクにおいて用いられている製品検査用データが第１検査用データか第２検査用データかを識別するフラグを参照する処理などによって、現在製品検査タスクによって用いられていない製品検査用データをテスト用データに変更する。   In step S22, the data communication unit 11 takes out the product inspection data for inspecting the inspection object after the change from the inspection data group storage unit 20, and loads the data as the first inspection data or the second inspection data. . At this time, the data communication unit 11 sets a flag for identifying whether the product inspection data used in the product inspection task being processed in parallel with the setting processing task is the first inspection data or the second inspection data. Product inspection data that is not currently used by the product inspection task is changed to test data by processing to be referred to.

次のステップＳ２３においては、データ切替フラグをＯＮに設定して、設定処理系のタスクを終了する。   In the next step S23, the data switching flag is set to ON, and the setting processing system task ends.

これによって画像検査システムは、製造ラインにおける検査を中止することなく、検査対象が変更された場合でも、当該変更に従って製品検査用データを切り替えることができる。   As a result, the image inspection system can switch the data for product inspection according to the change even if the inspection object is changed without stopping the inspection on the production line.

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。   The above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and various modifications can be made depending on the design and the like as long as the technical idea according to the present invention is not deviated from this embodiment. Of course, it is possible to change.

本発明を適用した画像検査システムの構成を示すブロック図である。It is a block diagram which shows the structure of the image inspection system to which this invention is applied. 本発明を適用した画像検査システムの動作手順を示すフローチャートである。It is a flowchart which shows the operation | movement procedure of the image inspection system to which this invention is applied. 本発明を適用した画像検査システムの他の構成を示すブロック図である。It is a block diagram which shows the other structure of the image inspection system to which this invention is applied. 本発明を適用した画像検査システムの他の動作手順を示すフローチャートである。It is a flowchart which shows the other operation | movement procedure of the image inspection system to which this invention is applied.

符号の説明Explanation of symbols

１ 撮像部
２ 検査用画像メモリ
３ 検査処理部
４Ａ 第１検査用データ記憶部
４Ｂ 第２検査用データ記憶部
５ インライン用入出力制御部
６ 表示制御部
７ 表示部
７ａ テスト用画面
７ｂ 検査用画面
８ テスト用検査処理部
９ テスト用データ記憶部
１０ テスト用画像メモリ
１１ データ通信部
１２ 記憶装置
２０ 検査データ群記憶部 DESCRIPTION OF SYMBOLS 1 Image pick-up part 2 Inspection image memory 3 Inspection process part 4A 1st inspection data storage part 4B 2nd inspection data storage part 5 Inline input / output control part 6 Display control part 7 Display part 7a Test screen 7b Inspection screen 8 Test processing unit for test 9 Data storage unit for test 10 Image memory for test 11 Data communication unit 12 Storage device 20 Test data group storage unit

Claims (4)

テスト用データを記憶するテスト用メモリと、
製品検査用データを記憶する複数の製品検査用メモリと、
検査対象となる製品を撮像した画像データと前記テスト用データとを用いて製品検査をテストしてテスト用データを何れかの製品検査用メモリに格納するテスト用プログラム、及び、検査対象となる製品を撮像した画像データと何れかの製品検査用メモリに格納された製品検査用データとを用いて製品の良否を検査する製品検査用プログラムを実行する画像処理手段とを備え、
前記画像処理手段は、前記製品検査用プログラムの実行状態時に、前記テスト用プログラムを実行する場合に、前記製品検査用プログラムに従って実行する製品検査タスクの優先度よりも前記テスト用プログラムに従って実行するテストタスクの優先度を低くして、前記製品検査用プログラム及び前記テスト用プログラムを並列処理すること
を特徴とする画像処理装置。 A test memory for storing test data;
A plurality of product inspection memories for storing product inspection data;
A test program for testing product inspection using image data obtained by imaging the product to be inspected and the test data, and storing the test data in any of the product inspection memories, and the product to be inspected Image processing means for executing a product inspection program for inspecting product quality using image data obtained by imaging and product inspection data stored in any of the product inspection memories,
In the execution state of the product inspection program, the image processing means executes a test to be executed according to the test program rather than a priority of a product inspection task to be executed according to the product inspection program when the test program is executed. An image processing apparatus characterized by lowering the priority of a task and processing the product inspection program and the test program in parallel. 前記テスト用データを前記製品検査用プログラムが用いる製品検査用データに変更する命令が発生した場合に、前記製品検査用プログラムが使用していない製品検査用データを記憶している一方の製品検査用メモリに前記テスト用データをコピーするデータ通信手段を備え、
前記画像処理手段は、前記データ通信手段によってコピーされたテスト用データを製品検査用データとして用いて製品検査用プログラムを実行することを特徴とする請求項１に記載の画像処理装置。 When an instruction to change the test data to product inspection data used by the product inspection program is generated, the product inspection data that is not used by the product inspection program is stored. Data communication means for copying the test data to a memory;
The image processing apparatus according to claim 1, wherein the image processing unit executes a product inspection program using the test data copied by the data communication unit as product inspection data. 複数の検査対象の製品検査用データを格納する記憶部と接続され、前記検査対象を変更する命令が発生した場合に、前記製品検査用プログラムが使用していない製品検査用データを記憶している一方の製品検査用メモリに前記変更された検査対象の製品検査用データをロードするデータ通信手段を備え、
前記画像処理手段は、前記データ通信手段によってロードされた製品検査用データを用いて製品検査用プログラムを実行することを特徴とする請求項１に記載の画像処理装置。 It is connected to a storage unit that stores product inspection data for a plurality of inspection targets, and stores product inspection data that is not used by the product inspection program when an instruction to change the inspection target is generated. Data communication means for loading the changed product inspection data to be inspected into one product inspection memory,
The image processing apparatus according to claim 1, wherein the image processing unit executes a product inspection program using the product inspection data loaded by the data communication unit. 前記画像処理手段が前記製品検査用プログラムを実行することによって取得した製品検査結果と、前記画像処理手段が前記テスト用プログラムを実行することによって取得したテスト結果とを表示する表示手段と、
前記テスト結果が前記テスト実行用プログラムを実行することによって取得された場合に、前記製品検査結果に代えて当該テスト結果を表示するように前記表示手段を制御する表示制御手段と
を備えることを特徴とする請求項１乃至請求項３の何れか一項に記載の画像処理装置。 Display means for displaying the product inspection result acquired by the image processing means executing the product inspection program and the test result acquired by the image processing means executing the test program;
Display control means for controlling the display means so as to display the test result instead of the product inspection result when the test result is acquired by executing the test execution program. The image processing apparatus according to any one of claims 1 to 3.
JP2007279445A 2007-10-26 2007-10-26 Image processing device Expired - Fee Related JP4462326B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007279445A JP4462326B2 (en) 2007-10-26 2007-10-26 Image processing device
DE200810052487 DE102008052487B4 (en) 2007-10-26 2008-10-21 Image processing device
TW97140656A TWI391873B (en) 2007-10-26 2008-10-23 Image processing apparatus
CN2008101499755A CN101419054B (en) 2007-10-26 2008-10-24 Image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007279445A JP4462326B2 (en) 2007-10-26 2007-10-26 Image processing device

Publications (2)

Publication Number Publication Date
JP2009110114A true JP2009110114A (en) 2009-05-21
JP4462326B2 JP4462326B2 (en) 2010-05-12

Family

ID=40621399

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007279445A Expired - Fee Related JP4462326B2 (en) 2007-10-26 2007-10-26 Image processing device

Country Status (4)

Country Link
JP (1) JP4462326B2 (en)
CN (1) CN101419054B (en)
DE (1) DE102008052487B4 (en)
TW (1) TWI391873B (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011096047A (en) * 2009-10-30 2011-05-12 Keyence Corp Image processing apparatus and image processing method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5046111A (en) * 1989-02-09 1991-09-03 Philip Morris Incorporated Methods and apparatus for optically determining the acceptability of products
JPH08194634A (en) 1995-01-18 1996-07-30 Hitachi Ltd Test execution system
JPH11304449A (en) * 1998-04-23 1999-11-05 Matsushita Electric Works Ltd Image processing device
JP3875403B2 (en) * 1998-06-05 2007-01-31 大日本印刷株式会社 Printed matter inspection method and apparatus
TWI268352B (en) * 2003-03-19 2006-12-11 R T S Co Ltd Apparatus for inspecting electric products using vision system
TWI273519B (en) * 2006-03-31 2007-02-11 Accton Technology Corp Detection system and detection method for electronic equipment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011096047A (en) * 2009-10-30 2011-05-12 Keyence Corp Image processing apparatus and image processing method

Also Published As

Publication number Publication date
CN101419054B (en) 2012-06-20
DE102008052487A1 (en) 2009-06-10
CN101419054A (en) 2009-04-29
TW200935349A (en) 2009-08-16
DE102008052487B4 (en) 2011-06-16
JP4462326B2 (en) 2010-05-12
TWI391873B (en) 2013-04-01

Similar Documents

Publication Publication Date Title
JP6192880B2 (en) Detection apparatus and detection method
JP4541172B2 (en) Information management system in component mounting line
US20140177937A1 (en) Hardness tester and method for hardness test
US10984523B2 (en) Seam inspection apparatus
JP2001059708A (en) Apparatus and method for measuring image as well as medium
JP2015197928A (en) Method for testing reliability of erroneous identification of image inspection method
JP5786622B2 (en) Image quality inspection method, image quality inspection apparatus, and image quality inspection program
JP5371674B2 (en) Test equipment
JP4462326B2 (en) Image processing device
JP7148858B2 (en) Image processing device, image processing method and image processing program
JP2019093550A5 (en) Image inspection equipment, image formation system, image inspection method, control equipment and programs
JP2007200332A (en) Method for using virtual input and output to automate inspection of application software and hardware
JP6951157B2 (en) Programmable controller and ladder circuit program verification system
JP2010244320A (en) Image processor
JP2019029001A5 (en) Image data management methods, manufacturing equipment, production systems, image management methods for production systems, control programs, and recording media
JP3931669B2 (en) Screen transition inspection apparatus and method for information providing apparatus
JP2009109440A (en) Visual examination processing system and program thereof
CN115136088B (en) Programmable display, control system and analysis method
WO2023162941A1 (en) Inspection device, image processing method, and image processing program
WO2023162940A1 (en) Inspection device, inspection method, and inspection program
JP2009223804A (en) Terminal device and inspection method
JP2006236192A (en) Quality control system
JP6861072B2 (en) Welding quality judgment device, welding system, welding quality judgment method and welding quality judgment program
JP3853007B2 (en) Image processing device
JP2012007979A (en) Remote control inspection support device of automatic inspection device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100126

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4462326

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140226

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees