JP2006005813A - Image processing device, area sensor, and non-detection area setup method therefor - Google Patents
Image processing device, area sensor, and non-detection area setup method therefor Download PDFInfo
- Publication number
- JP2006005813A JP2006005813A JP2004181965A JP2004181965A JP2006005813A JP 2006005813 A JP2006005813 A JP 2006005813A JP 2004181965 A JP2004181965 A JP 2004181965A JP 2004181965 A JP2004181965 A JP 2004181965A JP 2006005813 A JP2006005813 A JP 2006005813A
- Authority
- JP
- Japan
- Prior art keywords
- detection area
- area
- detection
- data
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 203
- 238000012545 processing Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000007689 inspection Methods 0.000 claims abstract description 50
- 238000003384 imaging method Methods 0.000 claims description 41
- 238000005259 measurement Methods 0.000 claims description 34
- 238000003860 storage Methods 0.000 claims description 15
- 238000005286 illumination Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002950 deficient Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Input (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は画像処理装置や、エリアセンサ等多次元の情報を処理するセンサに関する。
画像処理装置は、製造ライン上を移動する物体の形状又は物体に張付けられたシール等を撮像し、これを所定の基準等と比較する画像処理によって物体の欠損や良否判断、及びマーク認識等を行うため、座標毎示される濃淡輝度分布や色分布などの二次元情報を処理するものである。
エリアセンサは、所定の検出エリア内の障害物や侵入者等を検出し、無人搬送車であれば障害物回避や停止、大型プレス機であれば非常停止などを行なうため、座標表示される距離分布の二次元情報を処理するものである。
The present invention relates to an image processing device and a sensor that processes multidimensional information such as an area sensor.
The image processing device picks up the shape of the object moving on the production line or a sticker attached to the object, and compares the image with a predetermined standard to determine the defect of the object, pass / fail judgment, mark recognition, etc. In order to do this, two-dimensional information such as a gray level luminance distribution and a color distribution indicated for each coordinate is processed.
The area sensor detects obstacles, intruders, etc. within a predetermined detection area, avoids or stops obstacles if it is an automated guided vehicle, and performs emergency stops if it is a large press machine. Processes two-dimensional distribution information.
従来、その様な画像判別センサやエリアセンサにおいては、センサの視野に入って来た対象物の濃淡輝度分布、或いは対象物の距離分布の情報を取得し、得られた情報から対象物の有無判定等を行なっているところ、対象物と似通った情報を持つ別の物が当該視野に入って来た場合には、誤判定ひいては誤検出を引き起こすという問題がある。
ここで、もし視野内において検査対象が出現する位置が予め把握出来ている場合には、検査対象が出現する位置以外を非検出領域としてマスクし、視野の制限を行なう(ティーチングや教示、とも言われる)ことによって誤検出を回避又は軽減することが出来る。
Conventionally, in such image discriminating sensors and area sensors, information on the intensity luminance distribution of the target object or the distance distribution of the target object that has entered the field of view of the sensor is obtained, and the presence or absence of the target object is obtained from the obtained information. When a determination or the like is performed, when another object having information similar to the target object enters the field of view, there is a problem that erroneous determination and thus erroneous detection is caused.
Here, if the position where the inspection object appears in the field of view can be grasped in advance, the area other than the position where the inspection object appears is masked as a non-detection area and the field of view is limited (also referred to as teaching or teaching). Misdetection can be avoided or reduced.
この様な非検出領域を設定する発想自体は以前より存在しており、上記非検出領域の設定手法としては、図10に例示される様な、ディスプレイに映し出されるカーソルや矢印等を頼りに非検出領域の形状(矩形や円等)をコンソール(制御装置、操作卓)やマウス等で描いて設定するものが一般的である。また、最近では上記画像判別センサやエリアセンサに別途パソコンを接続し、パソコンのディスプレイとマウスを用いて非検出領域を設定する手法も見受けられる。 The idea of setting such a non-detection area has existed for a long time, and as a method for setting the non-detection area, a non-detection area such as the one shown in FIG. In general, the detection area shape (rectangle, circle, etc.) is set by drawing with a console (control device, console), mouse or the like. Recently, a method of connecting a separate personal computer to the image discrimination sensor and the area sensor and setting a non-detection area using a personal computer display and a mouse can be seen.
その一例として、特許文献1ではオペレーターがマウス等を操作することによって上記非検出領域を設定する手法が、又特許文献2においてはオペレーターが操作盤を操作することによって上記非検出領域を設定する手法が提案されている。
しかしながら、特許文献1や2を含む従来の手法では、上記非検出領域の設定に際してディスプレイやマウスといった専用のデバイスを必要としたり、非検出領域設定のたびに上記画像判別センサやエリアセンサにパソコンを接続しなければならない、また、大抵の現場(製造ライン等)では別途パソコンを設置するスペースやマウスを操作するスペースが無い等、非検出領域の設定作業が簡便に行えないと言う問題があった。さらに、種々の入力装置を用いて非検出領域の形状を設定する手法では、複雑な描画を行なうのが面倒である上に時間も掛かる。このことは、生産ラインの停止時間をむやみに増加させていることを意味し、稼働率を下げてしまうと言う課題があった。
However, in the conventional methods including
従って本発明は、画像処理装置やエリアセンサにおける非検出領域の設定に際して専用のデバイスを必要とせず、複雑な描画作業を行なうこと無く非検出領域の設定を簡便に行う方法、また、その方法を実施するために使用し得る画像処理装置やエリアセンサを提供することを課題とする。 Therefore, the present invention does not require a dedicated device for setting a non-detection region in an image processing apparatus or area sensor, and a method for easily setting a non-detection region without performing a complicated drawing operation, and a method thereof. It is an object to provide an image processing apparatus and an area sensor that can be used for implementation.
上記課題を解決すべく種々検討を重ねた結果、本発明者らは、所定の非検出領域に相当する領域が所定の態様で現わされた型紙その他(テンプレート)を予め準備しておくと共に、上記テンプレートに現わされた非検出領域に相当する領域を画像処理装置やエリアセンサに取り込み、取り込まれたその領域を当該画像判別センサやエリアセンサにおいて非検出領域データとして登録することにより、要領良く画像判別センサやエリアセンサに上記非検出領域を設定出来ることを見出し、それによって上記課題を解決可能であることを確信して、本発明を完成した。 As a result of repeating various studies to solve the above problems, the present inventors have prepared in advance a paper pattern or the like (template) in which a region corresponding to a predetermined non-detection region appears in a predetermined mode, The area corresponding to the non-detection area shown in the template is imported into the image processing apparatus or area sensor, and the acquired area is registered as non-detection area data in the image discrimination sensor or area sensor. The inventors have found that the non-detection area can be set in the image discrimination sensor and the area sensor, and have convinced that the above problem can be solved, thereby completing the present invention.
上記課題を解決可能な本発明の、画像判別センサを含む画像処理装置は、所定の検査対象物を撮像しこれを所定の基準等と比較することによって所定の判定等を行う画像処理装置であって、前記画像処理装置に非検出領域を設定するに当たり、予め、前記非検出領域に相応する所定形状のテンプレートを前記非検出領域に位置させた状態で撮像し、その撮像データを入力することにより、前記画像処理装置に前記非検出領域を登録する非検出領域登録手段を備えたことを特徴とするものである。
上記本発明の画像処理装置は例えば、検査対象物を照らすための照明手段と、撮像するための撮像手段と、撮像された前記検査対象物の画像データ、登録された非検出領域データ、及び判定処理を行なう際の基礎となる所定の基準等を記憶しておくための記憶手段と、撮像された前記検査対象物の画像データと所定の基準等を比較するための演算手段と、その結果を出力するための出力手段と、結果表示や操作メニュー表示を行なうための表示手段と、操作指示を与えるための入力手段とから成っている。
An image processing apparatus including an image discrimination sensor according to the present invention that can solve the above problems is an image processing apparatus that performs a predetermined determination by imaging a predetermined inspection object and comparing it with a predetermined reference. In setting the non-detection area in the image processing apparatus, a template having a predetermined shape corresponding to the non-detection area is imaged in advance in a state where the template is positioned in the non-detection area, and the image data is input. The image processing apparatus further comprises non-detection area registration means for registering the non-detection area.
The image processing apparatus of the present invention includes, for example, an illuminating unit for illuminating an inspection object, an imaging unit for imaging, the image data of the imaged inspection object, registered non-detection area data, and determination Storage means for storing a predetermined reference that is the basis for performing the processing, arithmetic means for comparing the image data of the imaged inspection object with the predetermined reference, and the result It comprises output means for outputting, display means for performing result display and operation menu display, and input means for giving operation instructions.
上記画像処理装置の非検出領域の設定方法としては、前記非検出領域に相応する所定の形状のテンプレートを予め準備しておき、前記撮像手段で前記テンプレートを撮像してその撮像データを前記画像処理装置に入力し、入力された前記撮像データ中の前記非検出領域に相当する非検出領域データを前記記憶手段に登録することによって前記非検出領域の設定を行なうものが挙げられる。 As a method for setting the non-detection area of the image processing apparatus, a template having a predetermined shape corresponding to the non-detection area is prepared in advance, the template is imaged by the imaging unit, and the image data is processed by the image processing. An example is one in which the non-detection area is set by registering in the storage means non-detection area data corresponding to the non-detection area in the input imaging data.
次に、上記課題を解決可能な本発明のエリアセンサは、所定のエリア内における障害物や侵入者等を検出するエリアセンサであって、前記エリアセンサに非検出領域を設定するに当たり、予め、前記非検出領域に相応する所定形状のテンプレートを前記非検出領域に位置させた状態で位置と距離を測定し、その測距データを入力することにより、前記エリアセンサに前記非検出領域を登録する非検出領域登録手段を備えたことを特徴とするものである。
上記本発明のエリアセンサは例えば、対象物等に投光するための投光手段と、その投光された光が検査対象で反射したときの反射光を受光するための受光手段と、投受光時間差や三角測量の原理を用いて位置と距離を測定し測距データを求めたり、その測距データと所定の基準等を比較したりするための演算手段と、求められた測距データ、登録された非検出領域データ、及び判定処理を行なう際の基礎となる所定の基準等を記憶しておくための記憶手段と、その結果を出力するための出力手段と、結果表示や操作メニュー表示を行なうための表示手段と、操作指示を与えるための入力手段とから成っている。
Next, the area sensor of the present invention capable of solving the above problems is an area sensor that detects an obstacle, an intruder, or the like in a predetermined area, and in setting a non-detection area in the area sensor, The position and distance are measured in a state where a template having a predetermined shape corresponding to the non-detection region is positioned in the non-detection region, and the distance detection data is input to register the non-detection region in the area sensor. A non-detection area registration unit is provided.
The area sensor of the present invention includes, for example, a light projecting unit for projecting light on an object, a light receiving unit for receiving reflected light when the projected light is reflected by an inspection target, and a light projecting and receiving unit. Calculating means for measuring position and distance using time difference or triangulation principle to obtain distance measurement data, or comparing the distance measurement data with a predetermined standard, etc., and obtained distance measurement data and registration Storage means for storing the non-detection area data that has been made and a predetermined reference that is the basis for performing the determination process, output means for outputting the result, result display and operation menu display It comprises display means for performing and input means for giving operation instructions.
上記エリアセンサの非検出領域の設定方法としては、前記非検出領域に相応する所定の形状のテンプレートを予め準備しておき、前記投光手段と受光手段および演算手段で前記テンプレートの位置と距離を測定し、その測距データを前記エリアセンサに入力し、入力された測距データ中の前記非検出領域に相当する非検出領域データを前記記憶手段に登録することによって前記非検出領域の設定を行なうものが挙げられる。 As a method for setting the non-detection area of the area sensor, a template having a predetermined shape corresponding to the non-detection area is prepared in advance, and the position and distance of the template are determined by the light projecting means, the light receiving means, and the computing means. Measure, input the distance measurement data to the area sensor, and register the non-detection area data corresponding to the non-detection area in the input distance measurement data in the storage means to set the non-detection area What to do is listed.
尚、本明細書においては、「非検出領域」とは、撮像手段の撮像範囲或いは視野内において、検査対象が出現する位置が予め把握出来ている場合における、実質上、検査対象が出現する位置以外の領域を指し示すものとする。
本明細書において「非検出領域データ」とは、所定のテンプレートの撮像等を介して画像処理装置等に登録される所定の非検出領域に関する情報であって、撮像された検査対象物の画像データや検出された対象物等の測距データの内、所定の非検出領域に対応する部分につき無効と取扱うものをいう。
又以下で説明する「演算装置」では、画像処理装置やエリアセンサの本来の使命である通常の、検査対象の検査や検出に関する判定処理のほか、本発明に係る、記憶手段に記憶されている登録された非検出領域に関する非検出領域データと、画像処理装置やエリアセンサ内に取得された画像データ或いは測距データとを夫々比較対照し、上記非検出領域に対応する部分の画像データ或いは測距データは無効なものと取扱い、検出領域に対応する部分の画像データ或いは測距データに基づいて検査対象の検査や検出に関する通常の判定処理を行なうものとする。
更に、「画像データ」とは、撮像手段により撮像された画像の構成要素である夫々の画素の受光量その他の情報の単体或いは集合を指し示すものとし、「測距データ」とは、投光手段、受光手段及び演算手段により求められた対象物等の位置と距離情報の単体或いは集合を指し示すものとする。
その他本発明においては、「記憶手段」とは、予めテンプレートを用いて登録された非検出領域データのほか、撮像された検査対象物の画像データや検出された対象物等の測距データその他の、画像処理装置やエリアセンサに入力されたデータや指令等を記憶するためのものであり、例えば以下で説明する実施形態の様に、メモリの用途や機能が分けられている場合には、それらの全部或いは少なくとも一部を指し示すものとする。
In the present specification, the “non-detection region” is a position where the inspection target appears substantially when the position where the inspection target appears in the imaging range or field of view of the imaging means is known in advance. The area other than is pointed to.
In this specification, “non-detection area data” is information related to a predetermined non-detection area registered in an image processing apparatus or the like via imaging of a predetermined template, and is imaged image data of an inspection object. In the distance measurement data of the detected object or the like, a portion corresponding to a predetermined non-detection area is treated as invalid.
In addition, the “arithmetic apparatus” described below is stored in the storage means according to the present invention, in addition to the normal determination processing related to the inspection and detection of the inspection object, which is the original mission of the image processing apparatus and area sensor. The non-detection area data regarding the registered non-detection area is compared with the image data or distance measurement data acquired in the image processing apparatus or the area sensor, respectively, and the image data or measurement of the portion corresponding to the non-detection area is compared. It is assumed that distance data is treated as invalid, and normal determination processing related to inspection and detection of an inspection object is performed based on image data or distance measurement data of a portion corresponding to a detection area.
Further, “image data” indicates a single or a set of received light amount and other information of each pixel which is a component of an image captured by the imaging unit, and “ranging data” refers to a light projecting unit The position and distance information of the object obtained by the light receiving means and the calculation means are pointed to a single piece or a set of distance information.
Others In the present invention, “storage means” refers to non-detection area data registered in advance using a template, image data of an imaged inspection object, distance measurement data such as a detected object, and the like. This is for storing data and commands input to the image processing device and area sensor. For example, when the use and function of the memory are divided as in the embodiment described below, these Of all or at least a part of it.
以上述べた通り、本発明は画像判別センサやエリアセンサにおいて、予めテンプレートを用いて任意に非検出領域を設定することが出来る非検出領域登録機能を備えたものであるため、今までの複雑な設定要領、即ちコンソールやマウスを使用した描画作業を必要とせず、非検出領域を容易に設定出来るものである。
又本発明によれば、非検出領域を容易に設定出来るほか、当該非検出領域が任意の複雑な輪郭をなしていても、変わらぬ要領で非検出領域の設定を行なうことが出来る。
As described above, the present invention includes a non-detection area registration function that can arbitrarily set a non-detection area using a template in advance in an image discrimination sensor or an area sensor. The setting procedure, that is, drawing operation using a console or a mouse is not required, and the non-detection area can be easily set.
Further, according to the present invention, the non-detection area can be easily set, and the non-detection area can be set in the same manner even if the non-detection area has an arbitrarily complicated outline.
1.第1実施形態
以下では、添付図面に基づき、本発明の一実施形態となる画像判別センサにつき詳細に説明する。図1は本発明の、画像判別センサを含む画像処理装置による非検出領域の設定要領を示す図、図2は上記画像処理装置の一構成例を示す図である。又図3は上記画像処理装置を用いた非検出領域の設定要領の一例を示す図、図4〜図7は画像処理装置内での処理の様子を示す図である。
1. First Embodiment Hereinafter, an image discrimination sensor according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 is a diagram showing a setting point of a non-detection area by an image processing apparatus including an image discrimination sensor according to the present invention, and FIG. 2 is a diagram showing a configuration example of the image processing apparatus. FIG. 3 is a diagram showing an example of how to set a non-detection area using the image processing apparatus, and FIGS. 4 to 7 are diagrams showing processing in the image processing apparatus.
[基本原理]
最初に、本実施形態の画像判別センサにより、その撮像領域中に非検出領域の設定行なう基本原理につき説明する。
図1に示される様に、本実施形態の画像判別センサ1による非検出領域Nの設定は、まず、画像判別センサ1で、非検出領域Nに相当する領域が予め所定の態様で現わされたテンプレート2を包含する所定の撮像領域Sを撮像し、その画像情報を画像判別センサ1内で適宜信号処理することを通じて、非検出領域データ即ち設定したい非検出領域Nの形状や輪郭を当該画像判別センサ1に先に登録しておくことにより行なわれる。
[Basic principle]
First, the basic principle of setting a non-detection area in the imaging area by the image discrimination sensor of this embodiment will be described.
As shown in FIG. 1, the non-detection area N is set by the
[構成]
ここで、本実施形態の画像判別センサの構成につき説明すると、図2に示す通り、本実施形態の画像判別センサ1は、所定の検査対象Wを撮像しこれを所定の基準等と比較することによって所定の判定等を行う画像処理装置であって、検査対象Wを照らすための発光ダイオードなどを用いた照明16と、撮像するための固体撮像素子14とレンズ15から成る撮像手段3と、データを記憶するためのマスクパターンメモリ4と画像メモリ7から成る記憶手段17と、演算を行い判定するための演算装置6と、その判定結果を出力するための出力部9と、各種入力を与える操作部8と、撮像された画像データの表示や、各種操作指示を与えるメニュー表示を行なうためのLCDディスプレイなどを用いた表示手段13、これらすべてを一体として備えたものである。マスクパターンメモリ4には、撮像された検査対象Wの画像データに関し、所定の非検出領域に対応する部分の画素については無効なものと取扱う、非検出領域に相当する領域の情報(非検出領域データ)を記憶しておく。画像メモリ7には、撮像された画像データを記憶しておく。演算装置6は、本発明に係る、マスクパターンメモリ4に記憶されている登録された上記非検出領域データと、画像メモリ7に記憶されている撮像された画像データとを、対応する夫々の画素毎に比較対照し、撮像領域Sの画像データのうち非検出領域Nに対応する部分は無効なものと取扱う。これにより、演算装置6は、撮像領域Sの画像データのうち検出領域Eに対応する部分のデータに基づいて検査対象物の検査作業に関わる判定処理を行なう。本発明の非検出領域登録手段は、上記の撮像手段と記憶手段及び演算装置を中心に構成されている。
[Constitution]
Here, the configuration of the image discrimination sensor of the present embodiment will be described. As shown in FIG. 2, the
尚、本実施形態における検査対象Wはベルトコンベア等からなる所定の搬送手段T上を順次移動する箱で、その箱には意匠として印刷されている「ABCDE」、製造工程において印字された製造日付「2004.06.01」がある。検出内容としては、印字された製造日付「2004.06.01」の有無を判別する。この場合、印字された製造日付「2004.06.01」部のみを検出領域Eとし、それ以外を非検出領域Nとしている。画像判別センサ1を用いて検査対象Wの検査を行なうに先立って、検出領域と非検出領域に相当する領域(E’,N’)とが所定の態様で現わされたテンプレート2を撮像手段3にて撮像し、画像判別センサ1に非検出領域データの登録を行なう必要があるが、その要領については後ほど説明する。
尚本実施形態では、検出領域Eに対応する部分の検査対象Wの画像データに基づいて検査対象Wの検査を行なった結果、検査対象Wに印字が無く不良であると判定された場合には、出力部9に接続されたシーケンサ10などを通じて、イジェクタを作動させ、不良品を排除して良品と選別する処置や、或いはアラームによりオペレーターに不良品が混入していることを知らせ、不良品が除去されるまで搬送手段Tを作動させない処置が取られる。
The inspection object W in this embodiment is a box that sequentially moves on a predetermined conveying means T such as a belt conveyor, and “ABCDE” printed as a design on the box, the manufacturing date printed in the manufacturing process. There is "2004.06.01". As the detected contents, it is determined whether or not the printed manufacturing date “2004.06.01” exists. In this case, only the printed manufacturing date “2004.06.01” is set as the detection area E, and the rest is set as the non-detection area N. Prior to inspecting the inspection object W using the
In the present embodiment, when the inspection target W is inspected based on the image data of the part of the inspection target W corresponding to the detection region E, if the inspection target W is determined to be defective without printing. , Through the
各構成要素の接続関係は図2に示す通りである。本実施形態では、撮像手段3と、画像メモリ7およびマスクパターンメモリ4と、演算装置6が接続され、非検出領域登録手段を構成している。演算装置6には、操作部8と出力部9と、LCDディスプレイなどを用いた表示手段13が接続されている。
The connection relationship of each component is as shown in FIG. In the present embodiment, the
[動作及び使用方法]
以下では、本実施形態の画像判別センサの動作及び使用方法の一例につき、図3〜図7に基づき順を追って説明する。尚説明の都合上、検出領域E及び非検出領域N並びにテンプレート2の形状は、図2に示すものとは別の形状としている。本実施形態の場合、撮像領域S中の非検出領域Nの設定は、テンプレート準備、撮像手段による非検出領域の形状の撮像、演算装置を用いた2値化処理、及び記憶手段に非検出領域データを登録、の順に行なわれる。
[Operation and usage]
Hereinafter, an example of the operation and usage of the image discrimination sensor of the present embodiment will be described in order based on FIGS. For convenience of explanation, the shapes of the detection region E, the non-detection region N, and the
まず最初に、撮像領域S中の検出領域Eと非検出領域Nとの区分けを行なうためのテンプレート2を予め準備しておく。テンプレート2については、先の基本原理の説明の際に図1に示した様な、設定したい非検出領域に示す白紙等からなるもののほか、図2や図3に示す様な、検出領域を示す部分と非検出領域を示す部分とが別の色彩で区別された構成のものとする。以下の説明では、テンプレート2は、図2や図3に示す様に、検出領域を示す部分E’と非検出領域を示す部分N’とが暗色と明色の様に別の色彩で区別された構成のものとした上で、図4〜図7では、説明の都合上、検出領域を示す部分E’とその周りの非検出領域を示す部分N’の一部の画素につき拡大して示すこととする。又上記した通り、本実施形態では撮像手段3により撮像された画像データは各画素毎の受光量の多寡で表現され得るものであるところ、以下の説明では各画素毎の受光量を16進数2桁の輝度データで表現している。輝度データは各画素毎の受光量を示す指標であり、便宜上、値が大きい程受光量が多い即ち当該画素部分が明るかったと言うことを意味している。
First of all, a
次に、そのテンプレート2を、図3に示す通り本実施形態の画像判別センサ1の撮像手段3で撮像し、テンプレート2に現わされた検出領域及び非検出領域に相当する領域(E’,N’)の情報を画像判別センサ1内に取り込む。
Next, the
撮像手段3で撮像された画像データは図4Aに示す通り画像メモリ7に展開され、又図4Bに示す通り、上記テンプレート2に現わされた検出領域及び非検出領域に相当する領域(E’,N’)の情報に基づき、任意の輝度を持つ画素はFFに、それ以外の画素は00に置き換える2値化処理が行なわれる。この2値化処理は、図2に示す通り画像メモリ7に展開された画像データを演算装置6に移した後、演算装置6内で行なわれる。2値化処理後の各画素のデータは一旦、画像メモリ7に戻される。一例によれば、D0以上の輝度を持つ画素はFFに置換される。又本実施形態では、非検出領域Nに当たる部分の画素データは全てFFとされる。
Image data picked up by the image pickup means 3 is developed in the
2値化処理が行なわれた画像データについてはこののち、図2のマスクパターンメモリ4に移され、これにより画像判別センサ1に非検出領域データの登録が行なわれる。図5Aには、2値化処理後の各画素のデータをマスクパターンメモリ4に移す前の画像メモリ7とマスクパターンメモリ4の様子が示されている。図5Aに示す通り、非検出領域データの登録が行なわれる前の状態のマスクパターンメモリ4については、予め各画素の値が00に初期化されている。尚本実施形態では、マスクパターンメモリ4の初期化は、非検出領域Nの形状等の変更その他に伴って非検出領域データの登録が必要になった際、その都度演算装置6からリセット信号を送ることによって行なわれる。
非検出領域データの登録は、図5Bに示す通り、非検出領域Nに相当する箇所である、画素データがFFとなっている画像メモリのデータを、マスクパターンメモリ4の対応する画素に書き写すことにより実施される。
The image data that has undergone binarization processing is then moved to the
As shown in FIG. 5B, the non-detection area data is registered by copying the data in the image memory in which the pixel data is FF corresponding to the non-detection area N to the corresponding pixels in the
図6及び7は、本実施形態の画像判別センサ1の演算装置6における、非検出領域データが登録された後の信号処理の様子を示す図である。次に説明する通り、本実施形態では、非検出領域データの登録後は、例えば図2に示す様な搬送手段T上を順次移動する検査対象Wを撮像した画像において、非検出領域Nに相当する画素データはすべて00に置き換えられ、無効なものとして取り扱われる。
6 and 7 are diagrams illustrating a state of signal processing after the non-detection area data is registered in the
非検出領域データが登録された後の本実施形態の画像判別センサの動作に付き説明すると、まず、図6Aに示す通り、例えば図2の搬送手段T上を順次移動する検査対象Wを撮像した画像データを画像メモリ7に展開する。このとき、図6Bに示す通り、マスクパターンメモリ4には既に、検出領域Eと非検出領域Nに関する形状や輪郭が2値化された状態で記憶されている。
次に、図7Aに示す通り、図2の演算装置6に画像メモリ7の画素データとマスクパターンメモリ4のマスクデータを読み出す。上記演算装置6では、画像メモリ7とマスクパターンメモリ4の夫々対応する画素毎に比較処理が行なわれる。
ここで、図7Bに示す通り、マスクパターンメモリ4から読み出したマスクデータがFFであれば、当該画素部分は非検出領域Nにあたり、従って画像メモリ7側の画素データは00に置換され、この置換後の画素データ00が画像メモリ7へ書き戻される。一方、マスクパターンメモリ4から読み出したマスクデータがFFでなければ、当該画素部分は検出領域Eにあたるので、当該画素部分については元の輝度レベルの儘画像メモリ7に書き戻される。
The operation of the image discrimination sensor of the present embodiment after the non-detection area data is registered will be described. First, as shown in FIG. 6A, for example, the inspection object W that sequentially moves on the transport means T in FIG. The image data is developed in the
Next, as shown in FIG. 7A, the pixel data of the
Here, as shown in FIG. 7B, if the mask data read from the
上記操作を経ることにより、図7Bに示す通り、画像メモリ7上には、検出領域Eにあたる部分にしか輝度レベルの情報が残存しておらず、非検出領域Nにあたる部分には00の画素データが与えられて無効化されているので、検査対象Wの検査作業を検出領域Eのデータのみに基づいて実施することが可能となる。これにより、誤検出の回避又は軽減が実現される点は、従来同様である。 Through the above operation, as shown in FIG. 7B, the luminance level information remains only in the portion corresponding to the detection area E and the pixel data of 00 exists in the portion corresponding to the non-detection area N as shown in FIG. Therefore, the inspection work of the inspection object W can be performed based only on the data in the detection area E. As a result, avoidance or mitigation of false detection is realized as in the conventional case.
この様に、本実施形態からも明らかな通り、本発明によれば、所定の非検出領域Nに相当する領域N’が所定の態様で現わされたテンプレート2を予め準備しておくと共に、撮像手段3で上記テンプレート2を撮像して当該テンプレート2に現わされた非検出領域に相当する領域N’の形状や輪郭をこの画像判別センサ1に取り込み、取り込まれたその形状や輪郭を非検出領域データとして登録しておくことにより、要領良く上記非検出領域を設定し得る画像判別センサを得ることが可能となる。設定すべき所定の非検出領域の形状や輪郭が複雑である程、本発明の有用性が顕著なものとなることについては、上記非検出領域の設定要領からも明白である。
Thus, as is apparent from the present embodiment, according to the present invention, the
2.第2実施形態
上記第1実施形態では、撮像手段3から取り込んだ画像データについては一旦、画像メモリ7に入力してから、場合によっては演算装置6による種々の信号処理を行なった後にそれぞれマスクパターンメモリ4や演算装置6等の後段に上記画像データを送っているが、画像メモリ7を別途設けなくても本発明の画像処理装置を構成することは可能である。
この場合、例えば非検出領域設定時と通常動作時のモード切換を演算装置6内で行なうこととした上、非検出領域設定時には、検出領域或いは非検出領域に相当する領域(E’,N’)が予め現わされたテンプレート2を包含する所定の撮像領域Sを撮像し、撮像手段3から取り込んだその画像データを直接或いは演算装置6で適宜処理を行なった後にマスクパターンメモリ4に入力し、画像判別センサ1に非検出領域データを登録しておく。
次に、通常動作時には、例えば図2の搬送手段T上を順次移動する検査対象Wを撮像し、撮像手段3から取り込んだその画像データを直接演算装置6に入力するほか、同時に演算装置6にはマスクパターンメモリ4に先に記憶され画像判別センサ1に予め設定された非検出領域データを入力し、更に演算装置6に入力された両者のデータを夫々対応する画素毎に比較処理して非検出領域Nに当たる部分を無効にしておく。
この様な構成及び設定要領によっても、検査対象Wの検査作業を検出領域Eのデータのみに基づいて実施することが可能であり、第1実施形態の場合同様、誤検出の回避又は軽減を実現し得る。
2. Second Embodiment In the first embodiment, the image data captured from the image pickup means 3 is once input to the
In this case, for example, the mode switching between the non-detection area setting and the normal operation is performed in the
Next, during normal operation, for example, the inspection object W that sequentially moves on the conveying means T in FIG. 2 is imaged, and the image data taken from the imaging means 3 is directly input to the
Even with such a configuration and setting procedure, it is possible to perform the inspection work of the inspection object W based only on the data of the detection area E, and as in the first embodiment, avoid or reduce false detection. Can do.
以上、本発明の画像判別センサにつきその一例を基に説明したが、本発明は上記の構成に限定されず、種々の設計変更をなし得る。
例えば、上記実施形態では、本発明の画像判別センサにつき搬送手段上を順次移動する検査対象Wの撮像及び画像判別を行なうものとして説明したが、本発明は、これに限られず、例えば、定置された一定形状の検査対象Wを都度検査する様な用途に対しても適用し得る。又図2に示す、撮像手段3の周囲に設ける照明光源16も適宜のものであって良く、更に当該光源を用いて、検査対象Wを撮像した際に生じ得る露光不足の補償等を行なっても良い。
また、本実施形態では、撮像された画像データや非検出領域データの確認や、操作部8による各種操作の確認等のため、LCDディスプレイ等からなる表示手段13が設けられているが、撮像手段3とテンプレート2、或いは検査対象Wとの位置関係を確実に固定しておくことにより、非検出領域の設定時に特に表示手段13を用いなくても良い。撮像手段3として本実施形態では固体撮像素子、例えば2次元フォトダイオードアレイが用いられているが、CCD等、適宜別構成のものも適用し得る。
As described above, the image discrimination sensor of the present invention has been described based on an example thereof, but the present invention is not limited to the above configuration, and various design changes can be made.
For example, in the above-described embodiment, the image determination sensor of the present invention has been described as performing imaging and image determination of the inspection target W that sequentially moves on the conveying unit. However, the present invention is not limited to this, and is, for example, stationary. The present invention can also be applied to uses such as inspecting an inspection target W having a certain shape each time. Also, the
In the present embodiment, the
更に上の例では、設定したい非検出領域Nに白紙等からなるテンプレート2を示し、それを撮像手段3で撮像して得られた画像データを適宜信号処理することによって非検出領域データの登録を行なったり、或いは検出領域を示す部分と非検出領域を示す部分(E’,N’)とが別の色彩で区別されたテンプレート2を撮像手段3で撮像し、取り込んだその画像データを適宜信号処理することによって非検出領域データの登録を行なう構成とされているが、非検出領域の設定要領はこれらに限られず、例えばテンプレートを、非検出領域を示す部分に切り欠きを設ける様な構成のものとしても構わない。
その他、上記実施形態では、各画素毎の受光量を16進数2桁の輝度データで表現しているが、当該光量の表示形態はこれに何ら限定されない。各画素毎の受光光量が把握出来るもので有れば、表現形式は適宜のものであって良い。
同様に、上記実施形態では、撮像された画像につき2値化処理を行なっているところ、当該処理に代えて例えば、所定の閾値を越える、或いは閾値未満の輝度や受光量を持つ画素については検出領域或いは非検出領域とし、各画素毎のその判定結果をマスクパターンメモリに送る態様で、画像判別センサに非検出領域データの登録を行なう構成としても構わない。
Further, in the above example, the non-detection region N to be set is shown as a
In addition, in the said embodiment, although the light reception amount for every pixel is represented by the luminance data of 2 hexadecimal numbers, the display form of the said light quantity is not limited to this at all. As long as the amount of received light for each pixel can be grasped, the expression form may be appropriate.
Similarly, in the above-described embodiment, binarization processing is performed on a captured image. Instead of this processing, for example, a pixel having a luminance or received light amount exceeding a predetermined threshold value or less than the threshold value is detected. An area or non-detection area may be used, and the determination result for each pixel may be sent to the mask pattern memory so that non-detection area data is registered in the image discrimination sensor.
3.第3実施形態
次に、本発明は、上記各例に示した画像処理装置に限られず、例えば以下に説明する様なエリアセンサにも適用し得る。図8は本発明の、エリアセンサによる非検出領域の設定要領を示す図であり、Aはエリアセンサ側から測距領域を見た斜視図、Bは図8Aに示す様子を上から見た図である。又図9は上記エリアセンサの一構成例を示す図である。尚説明の都合上、検出領域E及び非検出領域N並びにテンプレート2の形状は、図8と図9では夫々別の形状としてある。詳細は後記するが、図8に示す例では非検出領域Nに相当する領域を現わすために測距領域S’中に示された白紙等からなる所定形状の型紙がテンプレート2として扱われる一方、図9に示す例では壁がテンプレート2として扱われる。
3. Third Embodiment Next, the present invention is not limited to the image processing apparatus shown in each of the above examples, and may be applied to an area sensor as described below, for example. 8A and 8B are diagrams showing the setting procedure of the non-detection area by the area sensor according to the present invention, wherein A is a perspective view of the distance measurement area viewed from the area sensor side, and B is a view of the state shown in FIG. It is. FIG. 9 is a diagram showing a configuration example of the area sensor. For convenience of explanation, the shapes of the detection region E, the non-detection region N, and the
[基本原理]
最初に、本実施形態のエリアセンサにより、その測距領域中に非検出領域の設定を行なう基本原理につき説明する。本実施形態では、測距領域S’は投光手段から所定方向(図8及び9では水平方向)に投射光が拡がる所定範囲を指しており、測距データは対象物等の位置や距離の情報(距離分布)を座標表現し得る様、水平及び奥行方向成分から構成されている。
図8に示される様に、本実施形態のエリアセンサ1’による非検出領域Nの設定は、まず、エリアセンサ1’で、非検出領域Nに相当する領域が予め所定の態様で現わされたテンプレート2を包含する所定の測距領域S’を測定し、その測距情報をエリアセンサ1’内で適宜信号処理することを通じて、非検出領域データ即ち設定したい非検出領域Nの位置や距離を当該エリアセンサ1’に先に登録しておくことにより行なわれる。
[Basic principle]
First, the basic principle of setting a non-detection area in the distance measurement area by the area sensor of this embodiment will be described. In the present embodiment, the distance measurement area S ′ indicates a predetermined range in which the projection light spreads in a predetermined direction (horizontal direction in FIGS. 8 and 9) from the light projecting means, and the distance measurement data indicates the position and distance of the object or the like. It is composed of horizontal and depth direction components so that information (distance distribution) can be expressed as coordinates.
As shown in FIG. 8, in setting the non-detection area N by the
[構成他]
次に、本実施形態のエリアセンサの構成につき、図9に基づき説明する。
尚図9は、本実施形態に係るエリアセンサ1’を例えば、危険なエリアにオペレータが侵入したことを検出する目的で設置した一態様を示すものである。検査対象Wは例えば、機械を操作するオペレータである。又図9に示す例では、測距領域における壁までを検出領域Eとし、それ以外を非検出領域Nとしている。従ってエリアセンサ1’を用いて検査対象Wの検出を行なうに当たっては、予め壁をテンプレート2として位置と距離を測定し、エリアセンサ1’に非検出領域データの登録を行なう。
[Configuration etc.]
Next, the configuration of the area sensor of this embodiment will be described with reference to FIG.
FIG. 9 shows one mode in which the
図9に示す通り、本実施形態のエリアセンサ1’は、所定の検査対象Wを検出しこれを所定の基準等と比較することによって所定の判定等を行うエリアセンサであって、検査対象Wに投光するための発光ダイオードなどを用いた投光手段16’と、 その投光された光が検査対象Wで反射したときの反射光を受光するための受光素子14’とレンズ15から成る受光手段3’と、データを記憶するためのマスクパターンメモリ4と測距データメモリ7’から成る記憶手段17と、演算を行い判定するための演算装置6と、その判定結果を出力するための出力部9と、各種入力を与える操作部8と、撮像された画像データの表示や、各種操作指示を与えるメニュー表示を行なうためのLCDディスプレイなどを用いた表示手段13、これらすべてを一体として備えたものである。マスクパターンメモリ4には、所定の非検出領域に関する情報であって、検出された対象物等の測距データの内所定の非検出領域に対応する部分については無効なものと取扱うもの(非検出領域データ)を記憶しておく。測距データメモリ7’には、検出された測距データを記憶しておく。演算装置6は、本発明に係る、マスクパターンメモリ4に記憶されている登録された上記非検出領域データと、測距データメモリ7’に記憶されている検出された測距データとを夫々比較対照し、測距領域S’の測距データのうち非検出領域Nに対応する部分は無効なものと取扱う。これにより、演算装置6は、測距領域S’の測距データのうち検出領域Eに対応する部分のデータに基づいて検査対象の検出に関する判定処理を行なう。本実施形態の非検出領域登録手段は、上記の投受光手段、記憶手段及び演算装置を中心に構成されている。
As shown in FIG. 9, the
各構成要素の接続関係は図9に示す通りである。本実施形態では、受光手段3と、測距データメモリ7’及びマスクパターンメモリ4と、演算装置6が接続され、非検出領域登録手段を構成している。演算装置6には、操作部8と出力部9と、LCDディスプレイなどを用いた表示手段13が接続されている。
The connection relationship of each component is as shown in FIG. In the present embodiment, the light receiving means 3, the distance measurement data memory 7 'and the
上記構成からなるエリアセンサの使用方法、非検出領域の設定要領及び動作、並びに変形例等については、前述した画像処理装置の場合と同様である。
本実施形態では、検出領域Eに対応する部分の検査対象Wの測距データに基づいて検出領域の検出を行なった結果、検査対象Wが有れば、危険エリアへの侵入であると判定し、出力部9に接続されたシーケンサ10などを通じて、アラームによりオペレーターに危険であることを知らせ、オペレーターを危険なエリアから退出させる処置が取られる。
The method of using the area sensor having the above-described configuration, the setting procedure and operation of the non-detection area, the modification, and the like are the same as those of the image processing apparatus described above.
In this embodiment, as a result of detecting the detection area based on the distance measurement data of the inspection object W in the part corresponding to the detection area E, if there is the inspection object W, it is determined that the intrusion is in the dangerous area. The operator is informed of the danger by an alarm through the
このように、本発明は画像判別センサやエリアセンサにおいて、非検出領域登録機能を備えたものであるため、今までの複雑な設定方法、すなわち操作卓やマウスを使用した描画を必要とせず、より簡便に非検出領域の設定をなし得るものである。
更に本発明は、任意の複雑形状の非検出領域を、センサに容易に設定し得るものであり、作業者にもたらす負担が極めて少ないものである。
Thus, since the present invention has a non-detection area registration function in the image discrimination sensor and the area sensor, it does not require a complicated setting method up to now, that is, drawing using a console or a mouse, The non-detection area can be set more easily.
Furthermore, according to the present invention, a non-detection region having an arbitrary complicated shape can be easily set in the sensor, and the burden on the operator is extremely small.
W 検査対象
1 画像判別センサ
2 テンプレート
3 撮像手段
6 演算装置
17 記憶手段
Claims (5)
前記画像処理装置に非検出領域を設定するに当たり、予め、前記非検出領域に相応する所定形状のテンプレートを前記非検出領域に位置させた状態で撮像し、その撮像データを入力することにより、前記画像処理装置に前記非検出領域を登録する非検出領域登録手段を備えたことを特徴とする画像処理装置。 An image processing apparatus that performs a predetermined determination or the like by imaging a predetermined inspection object and comparing it with a predetermined reference or the like,
In setting the non-detection area in the image processing device, the template having a predetermined shape corresponding to the non-detection area is imaged in a state where the template is positioned in the non-detection area, and the imaging data is input, An image processing apparatus comprising non-detection area registration means for registering the non-detection area in the image processing apparatus.
検査対象物を照らすための照明手段と、
撮像するための撮像手段と、
撮像された前記検査対象物の画像データ、登録された非検出領域データ、及び判定処理を行なう際の基礎となる所定の基準等を記憶しておくための記憶手段と、
撮像された前記検査対象物の画像データと所定の基準等を比較する為の演算手段と、
その結果を出力するための出力手段と、
結果表示や操作メニュー表示を行なうための表示手段と、
操作指示を与えるための入力手段と、
からなることを特徴とする請求項1に記載の画像処理装置。 The image processing apparatus is
An illumination means for illuminating the inspection object;
Imaging means for imaging;
Storage means for storing imaged image data of the inspection object, registered non-detection area data, and a predetermined reference that is a basis for performing the determination process;
An arithmetic means for comparing the image data of the imaged inspection object with a predetermined reference, etc.
An output means for outputting the result;
Display means for displaying results and operation menus;
Input means for giving operation instructions;
The image processing apparatus according to claim 1, comprising:
前記非検出領域に相応する所定の形状のテンプレートを予め準備しておき、
前記画像処理装置の撮像手段で前記テンプレートを撮像してその撮像データを前記画像処理装置に入力し、
入力された前記撮像データ中の前記非検出領域に相当する非検出領域データを前記画像処理装置の記憶手段に登録することによって前記非検出領域の設定を行なうことを特徴とする画像処理装置の非検出領域の設定方法。 A method for setting a non-detection region of an image processing apparatus that performs a predetermined determination by imaging a predetermined inspection object and comparing it with a predetermined reference, etc.
Prepare a template of a predetermined shape corresponding to the non-detection area in advance,
The template is imaged by the imaging means of the image processing apparatus, and the imaging data is input to the image processing apparatus,
The non-detection region is set by registering non-detection region data corresponding to the non-detection region in the input imaging data in a storage unit of the image processing device. How to set the detection area.
前記非検出領域に相応する所定の形状のテンプレートを予め準備しておき、 前記エリアセンサの距離測定手段で前記テンプレートの位置と距離を測定してその測距データを前記エリアセンサに入力し、
入力された前記測距データ中の前記非検出領域に相当する非検出領域データを前記エリアセンサの記憶手段に登録することによって前記非検出領域の設定を行なうことを特徴とするエリアセンサの非検出領域の設定方法。 A method for setting a non-detection area of an area sensor that detects an obstacle or an intruder in a predetermined area,
Prepare a template of a predetermined shape corresponding to the non-detection area in advance, measure the position and distance of the template by the distance measurement means of the area sensor, and input the distance measurement data to the area sensor,
Non-detection of an area sensor characterized in that the non-detection area is set by registering non-detection area data corresponding to the non-detection area in the input distance measurement data in the storage means of the area sensor. How to set the area.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004181965A JP2006005813A (en) | 2004-06-21 | 2004-06-21 | Image processing device, area sensor, and non-detection area setup method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004181965A JP2006005813A (en) | 2004-06-21 | 2004-06-21 | Image processing device, area sensor, and non-detection area setup method therefor |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006005813A true JP2006005813A (en) | 2006-01-05 |
Family
ID=35773794
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004181965A Pending JP2006005813A (en) | 2004-06-21 | 2004-06-21 | Image processing device, area sensor, and non-detection area setup method therefor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006005813A (en) |
-
2004
- 2004-06-21 JP JP2004181965A patent/JP2006005813A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8233041B2 (en) | Image processing device and image processing method for performing three dimensional measurements | |
JP2006189421A (en) | High-intelligent digital image inspection system and its inspection method | |
JP2005072888A (en) | Image projection method and image projection device | |
CN111627008B (en) | Object surface detection method and system based on image fusion and storage medium | |
JP2005127989A (en) | Flaw detector and flaw detecting program | |
US11195042B2 (en) | Drug inspection assistance device, drug identification device, image processing device, image processing method, and program | |
JP2018066712A (en) | Measuring device | |
US20120250946A1 (en) | Fabric product identification device and fabric product handling system | |
JP2007298376A (en) | Method and device for determining boundary position, program for making computer function as boundary position determination device, and recording medium | |
JP2007248051A (en) | Method for inspecting defect of object surface | |
JP7268341B2 (en) | Inspection performance diagnostic device, inspection performance diagnostic method, program for inspection performance diagnostic device, and inspection performance diagnostic system | |
CN114365189A (en) | Image registration device, image generation system, image registration method, and image registration program | |
CN110274911B (en) | Image processing system, image processing apparatus, and storage medium | |
JP5445064B2 (en) | Image processing apparatus and image processing program | |
JPH09281055A (en) | Inspection method for chip | |
JP2009080004A (en) | Inspection device | |
JP2006005813A (en) | Image processing device, area sensor, and non-detection area setup method therefor | |
JP6371742B2 (en) | Measuring device and acquisition method | |
JP7404875B2 (en) | Inspection systems, information processing devices and programs | |
JP2002008029A (en) | Image inspection device | |
JP2017181228A (en) | Measurement device, measurement method and manufacturing method of article | |
JP6780533B2 (en) | Shape measurement system and shape measurement method | |
JP2000146857A (en) | Pattern defect inspection method, and device therefor | |
JP2021096116A (en) | Label inspection method and label inspection system | |
JP5509706B2 (en) | Image processing apparatus and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070417 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070417 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090729 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090902 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100106 |