JP2007024736A - Method and apparatus for creating image - Google Patents

Method and apparatus for creating image Download PDF

Info

Publication number
JP2007024736A
JP2007024736A JP2005209373A JP2005209373A JP2007024736A JP 2007024736 A JP2007024736 A JP 2007024736A JP 2005209373 A JP2005209373 A JP 2005209373A JP 2005209373 A JP2005209373 A JP 2005209373A JP 2007024736 A JP2007024736 A JP 2007024736A
Authority
JP
Japan
Prior art keywords
image
cylinder
captured
head
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005209373A
Other languages
Japanese (ja)
Inventor
Mineo Azuma
峰生 東
Sotoji Hiramoto
外二 平本
Masaaki Sakazume
正明 坂爪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Hitachi Industrial Equipment Systems Co Ltd
Original Assignee
Hitachi Ltd
Hitachi Industrial Equipment Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd, Hitachi Industrial Equipment Systems Co Ltd filed Critical Hitachi Ltd
Priority to JP2005209373A priority Critical patent/JP2007024736A/en
Publication of JP2007024736A publication Critical patent/JP2007024736A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To acquire optimum images of inner surfaces for inspecting the state of flaws and defects in the inner surfaces of small-diameter cylinders and holes. <P>SOLUTION: A scope head 2 using a fiber and a cylinder 1 are arranged in such a way that the center of the scope head 2 and the center of the inner surface of the cylinder 1 may be matched with each other. As moving the scope head 2 by a scope head moving device 6, the inner surface of the cylinder 1 is imaged, and information on pick-up images are captured by an image capture part 11 of an image processing device 10. A concentric image part surrounded by circles of two different radii is cut out from the captured images by a circumferential part image cutout part 12. Information on cutout images is stored in a circumferential part image storage part 13. These processings are sequentially performed. Images of the inner surface are displayed on a creation display part 14 on the basis of the stored image information. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は画像生成方法及び画像生成装置に係り、特に、内径が大よそ10mm前後の細管や筒状部品の内面の状態、とりわけ傷や欠陥等を検査する自動検査装置の内面の画像を取得するのに好適な画像生成方法及び画像生成装置に関する。   The present invention relates to an image generation method and an image generation apparatus, and in particular, acquires an image of an inner surface of an automatic inspection apparatus that inspects a state of an inner surface of a thin tube or a cylindrical part having an inner diameter of approximately 10 mm, particularly a scratch or a defect. The present invention relates to an image generation method and an image generation apparatus suitable for the above.

従来、この種の円筒内面の画像撮像方法としては、例えば特開平8−82753号公報に記載されるように円筒内面の画像を撮像するために、平面鏡や照明用の発光部を備えたヘッド光学機構を円周方向に回転させながら円筒内面を走査してリニヤセンサを内蔵するCCDカメラに結像させて画像を撮像する方法があった。   Conventionally, as this type of image capturing method for the inner surface of a cylinder, for example, as described in JP-A-8-82755, a head optical system equipped with a plane mirror and a light emitting unit for illumination is used to capture an image of the inner surface of the cylinder. There has been a method of imaging an image by scanning the inner surface of a cylinder while rotating the mechanism in the circumferential direction and forming an image on a CCD camera incorporating a linear sensor.

他に特開平11−23477号公報に記載されるように、CCD撮像素子を直線状に配列してなるラインセンサを円筒内に挿入して、回転させることにより、円筒内面を走査して画像を再生する方法も考案されていた。   In addition, as described in Japanese Patent Application Laid-Open No. 11-23477, a line sensor formed by linearly arranging CCD image sensors is inserted into a cylinder and rotated to scan the inner surface of the cylinder and display an image. A method of reproducing was also devised.

また近年、一般的に普及してきた、ファイバー素子をカメラのヘッド部に使用した内視鏡等に利用されている細い径の内視カメラを円筒内部に挿入して、内視カメラで撮影された画像を覗きながら目視で観察する方法も行われている。   Also, in recent years, a thin-diameter endoscope camera used for an endoscope or the like using a fiber element in a camera head portion, which has been widely used in recent years, was inserted into a cylinder and photographed with an endoscope camera. There is also a method of visually observing while looking through an image.

特開平8−82753号公報Japanese Patent Laid-Open No. 8-82753 特開平11−23477号公報Japanese Patent Laid-Open No. 11-23477

しかしながら上記の公報記載に代表される従来技術では、ヘッド光学機構やラインセンサを小型化することが技術的に容易ではなく、製作コストも高くなり、実用上は40mm以上の大きな内径を有する円筒内部の撮像には適用できるものの、大よそ20mm以下の小さな内径の円筒内部の画像を撮像する用途には適用できなかった。   However, in the prior art represented by the above publication, it is not technically easy to downsize the head optical mechanism and the line sensor, and the manufacturing cost is high, and practically the inside of a cylinder having a large inner diameter of 40 mm or more. However, it could not be applied to the purpose of capturing an image inside a cylinder with a small inner diameter of approximately 20 mm or less.

また内視カメラを使用した観察方法では、できるだけ広い視野を覗けるように通常、カメラヘッド部に広角レンズを用いており、撮像される画像は中心部と周辺部ではレンズの倍率や焦点深度が異なるため、全体的に歪のある画像となっており、欠陥や傷の有無は確認できるが、欠陥や傷の大きさを正確に把握することはできなかった。更に、内視カメラ使用した観察方法では、カメラの保持や位置調整等に多くの時間と労力を要し、生産ラインで大量に検査を行う場合には適用できなかった。   In the observation method using an endoscopic camera, a wide-angle lens is usually used in the camera head so that the field of view can be as wide as possible, and the images to be captured have different lens magnifications and depths of focus at the center and the periphery. Therefore, the entire image is distorted, and the presence or absence of defects or scratches can be confirmed, but the size of the defects or scratches cannot be accurately grasped. Furthermore, the observation method using the endoscopic camera requires a lot of time and labor for holding and adjusting the position of the camera, and cannot be applied when a large amount of inspection is performed on the production line.

そして上記のように従来は小さな内径の円筒部を正確に撮像する方法が開発されていない為に、生産ライン等で円筒内部の傷や欠陥の自動検査を行うことはできなかった。   As described above, conventionally, since a method for accurately imaging a cylindrical portion having a small inner diameter has not been developed, it has been impossible to automatically inspect the inside of the cylinder for scratches or defects on a production line or the like.

上記に鑑み、本発明は20mm以下の小径の円筒であっても、内部の画像を生産ラインでの自動検査が可能な内面画像を生成する方法を提供するものである。   In view of the above, the present invention provides a method for generating an inner surface image capable of automatically inspecting an internal image on a production line even if the cylinder has a small diameter of 20 mm or less.

上記目的を達成するために内面の画像撮影には、ヘッド部が小型化できるファイバーを使用した安価なマイクロスコープや内視カメラに使用されているヘッドを利用する。   In order to achieve the above object, an inexpensive microscope using a fiber that can reduce the size of the head and a head used in an endoscope camera are used for photographing an inner surface.

近年、ファイバースコープや内視カメラのカメラヘッド部の外形寸法は5mm前後のものまで製品化され、小径孔内部の観察等に利用されている。   In recent years, the outer dimensions of camera heads of fiberscopes and endoscope cameras have been commercialized to around 5 mm, and are used for observation inside small-diameter holes.

この小型のファイバースコープや内視カメラのヘッド部を対象となる円筒内部に挿入して軸方向に移動させてディジタルカメラ等の撮像手段で撮像し、撮像された画像のうち、異なる半径の円周で囲まれた画像のみを順次切り取り保存し、この切り取った画像から円筒内面の全体画像を平面画像として生成するものである。   This small fiberscope or endoscope camera head is inserted into the target cylinder, moved in the axial direction, and imaged by an imaging means such as a digital camera. Only the images surrounded by are cut out and stored sequentially, and the entire image of the inner surface of the cylinder is generated as a flat image from the cut out images.

通常、ファイバースコープや内視カメラの先端にはできるだけ広い視野を覗けるように広角のレンズが使用され中心部と外周部では倍率や焦点深度が異なっているが、同じ半径の円周部分では、倍率焦点深度はほぼ一定であると考えて良い。その為、ヘッドの中心を円筒内径の中心と一致させて撮影した画像は、同じ半径の円周上では同じ倍率の画像で構成されていることになる。   Normally, a wide-angle lens is used at the tip of a fiberscope or endoscopic camera, and the magnification and depth of focus are different at the center and the outer periphery. It can be considered that the depth of focus is almost constant. For this reason, images taken with the center of the head coincident with the center of the inner diameter of the cylinder are composed of images of the same magnification on the circumference of the same radius.

今、上記のように撮像された画像の中から、近接した2つの異なる半径rとr+Δの円周で囲まれる画像を切り出すと、この画像は同じ倍率で撮像されたΔの幅を持った線の画像情報と考えることができる。このΔに相当する円筒内面の軸方向の微小長さをDとすると、次にヘッドをDだけ円筒の軸方向に移動させて撮像すると半径rとr+Δの円周で囲まれる画像は移動前の画像からDだけ移動した隣接画像が得られることになる。この隣接画像を同じように切り出すと同様の倍率のΔの幅をもった線の画像情報となる。このようにして得られた線の画像情報を順次作成して結合すると同じ倍率をもつ平面の画像を生成することができる。   Now, when an image surrounded by two adjacent radii r and r + Δ is cut out from the image captured as described above, this image is a line having a width of Δ captured at the same magnification. Image information. Assuming that the minute length in the axial direction of the inner surface of the cylinder corresponding to Δ is D, when an image is taken by moving the head in the axial direction of the cylinder by D next, the image surrounded by the circumference of radius r and r + Δ is the image before the movement. An adjacent image moved by D from the image is obtained. If this adjacent image is cut out in the same way, it becomes image information of a line having a width of Δ of the same magnification. By sequentially creating and combining the image information of the lines obtained in this way, a plane image having the same magnification can be generated.

一般的に広角レンズを使用した場合、円筒内面を斜め方向から撮像することになり、真横から撮像する場合に比べて、実際の寸法より短く撮像されることになるが画像を切り出す部分の撮像装置の撮影角度を考慮することにより、補正することが可能であり実用上問題ない画像精度を得ることができる。   In general, when a wide-angle lens is used, the inner surface of the cylinder is imaged from an oblique direction. Compared to the case where the image is taken from the side, the image is taken shorter than the actual size, but the image pickup device of the part where the image is cut out By taking this shooting angle into account, it is possible to correct the image and to obtain an image accuracy with no practical problem.

また、撮像手段で撮像された画像の中から画像を切り出す場合の切り取り幅は生成表示する画像の精度と撮像時間を考慮して決定される。画像の切り出し幅を小さく、ヘッドの移動速度を遅くすると撮像される画像の分解能が向上し、生成する画像の精度を向上することができるが、画像の撮像時間が長くなる。   In addition, the cropping width in the case of cropping an image from images captured by the imaging unit is determined in consideration of the accuracy of the image to be generated and displayed and the imaging time. If the cutout width of the image is reduced and the moving speed of the head is decreased, the resolution of the captured image can be improved and the accuracy of the image to be generated can be improved, but the imaging time of the image becomes longer.

ファイバーを使用したファイバースコープや小型の内視カメラは一般に細い円筒内部を目視で観察する場合等に広く普及利用されており、価格も安価になっている。   Fiberscopes and small endoscope cameras that use fibers are generally widely used for visually observing the inside of a thin cylinder, and the price is also low.

よって、本発明の画像生成方法は、(1)管路内面の画像を撮像するに際し、管路内部を撮像手段のヘッド部が管路の路軸方向に移動可能にし、ヘッド部を前記路軸方向に移動させながら管路内面の画像を撮像し、移動撮影に伴う、ヘッド部から遠近複数地点間の画像情報から、内面の画像を生成表示することを特徴とし、或いは、(2)円筒内面の画像を撮像する撮像手段と円筒内面の中心と撮像手段のヘッド部の中心を一致させてヘッド部を軸方向に移動させる移動手段と撮像手段で撮影された画像を取り込んで画像処理を行う画像処理装置とからなる画像撮像装置を用いて、ヘッド部を円筒の軸方向に移動させながら円筒内面の画像を撮像し、撮像された画像情報を画像処理装置に取り込み、取り込んだ画像の中から、異なる2つの半径の円で囲まれる同心円状の画像部分を切り出して、切り出した画像部分の情報を保存して保存された画像情報から内面の画像を生成表示することを特徴とする。   Therefore, in the image generation method of the present invention, (1) when taking an image of the inner surface of the pipe, the head part of the imaging means can be moved in the pipe in the direction of the road axis. An image of the inner surface of the pipeline is taken while moving in the direction, and an inner surface image is generated and displayed from image information between a plurality of points near and near from the head part, or (2) the inner surface of the cylinder An image that captures an image of the image, and an image that captures the image captured by the imaging unit and a moving unit that moves the head unit in the axial direction by matching the center of the cylindrical inner surface with the center of the head unit of the imaging unit. Using an image capturing device composed of a processing device, the head portion is moved in the axial direction of the cylinder, the image of the inner surface of the cylinder is captured, the captured image information is captured in the image processing device, and from the captured image, Two different half Cut concentric image portion surrounded by a circle, generating display images of the inner surface from the Save and stored image information data of the image portion which is cut out, characterized in.

また、本発明の画像生成装置は、(1)管路内面の画像を撮像する装置であって、管路内部を撮像手段のヘッド部を管路の路軸方向に移動可能とする移動手段と、ヘッド部を前記路軸方向に移動させながら管路内面の画像を撮像する撮像手段と、移動撮影に伴うヘッド部から遠近複数地点間の画像情報から前記の内面の画像を生成表示する表示手段とを備えてなることを特徴とし、或いは、(2)円筒内面の画像を撮像する撮像手段と円筒内面の中心と撮像手段のヘッド部の中心を一致させてヘッド部を軸方向に移動させる移動手段と撮像手段で撮影された画像を取り込んで画像処理を行う画像処理装置とからなる画像撮像装置を用い、ヘッド部を円筒の軸方向に移動させながら円筒内面の画像を撮像し、撮像された画像情報を画像処理装置に取り込み、取り込んだ画像の中から、異なる2つの半径の円で囲まれる同心円状の画像部分を切り出して、切り出した画像部分の情報を保存するコンピュータと、該保存された画像情報から内面の画像を生成表示する表示手段とを備えることを特徴とする。   The image generation apparatus of the present invention is (1) a device that captures an image of an inner surface of a pipe, and a moving unit that allows the head portion of the imaging unit to move in the pipe in the direction of the axis of the pipe. An image pickup means for picking up an image of the inner surface of the pipe line while moving the head portion in the direction of the road axis, and a display means for generating and displaying the image of the inner face from image information between a plurality of points near and near the head portion accompanying the moving shooting Or (2) movement for moving the head portion in the axial direction with the image pickup means for picking up an image of the inner surface of the cylinder and the center of the inner surface of the cylinder coincide with the center of the head portion of the image pickup means. The image of the inner surface of the cylinder was picked up by moving the head portion in the axial direction of the cylinder using an image pickup device comprising an image processing device that captures an image captured by the image pickup device and the image processing device and performs image processing. Image information processing device A computer that cuts out concentric image portions surrounded by circles having two different radii from the captured images and stores information on the cut-out image portions, and an inner image from the stored image information And display means for generating and displaying.

本発明の各画像生成装置に適用する撮像手段のヘッドは、撮像手段のヘッド部の中心が前記内面の中心を移動できるように、前記ヘッド部に位置決め用のガイドを設けることや、撮像手段のヘッド部に側面全周を撮像するための円錐形のミラーを取り付けることが好ましい。   The head of the imaging means applied to each image generating apparatus of the present invention may be provided with a positioning guide on the head portion so that the center of the head portion of the imaging means can move the center of the inner surface, It is preferable to attach a conical mirror for imaging the entire circumference of the side surface to the head portion.

更に、本発明の画像処理装置は、管路内面の画像を撮像するに際して、該管路内部を撮像手段のヘッド部が管路の路軸方向に移動可能にし、前記ヘッド部を前記路軸方向に移動させながら前記管路内面の画像を撮像し、移動撮影に伴い、撮像手段により撮像された画像情報を取り込み、取り込んだ画像の中から異なる2つの半径の円で囲まれる同心円状の画像部分を切り出して、切り出した画像部分の情報を保存して保存された画像情報から内面の画像を生成表示するための処理を行うことを特徴とする。   Furthermore, the image processing apparatus according to the present invention enables the head portion of the imaging means to move in the direction of the road axis of the pipe in the direction of the road axis when taking an image of the inner surface of the pipe. The image of the inner surface of the pipe is taken while moving the image, the image information taken by the imaging means is taken along with the moving shooting, and the concentric image portion surrounded by circles having two different radii from the taken image And processing for generating and displaying an inner surface image from the saved image information.

本発明によれば従来は困難であった内径が10mm前後の細管や筒状部品の内面の画像を精度良く生成することができ、傷や欠陥の大きさや位置を把握することができる。この画像情報を入力として通常の検査装置で処理を行うことによりラインでの自動検査が行え、製品の品質向上や作業者に対する作業改善を図ることが可能となる。   According to the present invention, it is possible to accurately generate an image of the inner surface of a thin tube or cylindrical part having an inner diameter of about 10 mm, which has been difficult in the past, and the size and position of a flaw or defect can be grasped. By performing processing with a normal inspection apparatus using this image information as an input, automatic inspection on the line can be performed, and it is possible to improve the quality of products and work for workers.

以下本発明の実施の形態を添付図面に基づいて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.

図1は本発明を適用した画像生成装置の一実施例の構成図であり、1は撮像対象となる円筒、2は円筒1の内面の画像を取り込むためのスコープヘッドである。尚、本例では円筒としているが、円管のような管体に限らず(角管でも良いし)、管路が形成されていれば管路を形成する構造体の形状,状態は問わない。つまり概観が管状でなくとも良く、例えば直方体でも球体でも、要するにバルク内へ入る孔の入り口があって、そこからバルク内へ路が延びていれば本願で言う管路の概念に含まれる。   FIG. 1 is a configuration diagram of an embodiment of an image generation apparatus to which the present invention is applied. 1 is a cylinder to be imaged, and 2 is a scope head for capturing an image of the inner surface of the cylinder 1. In addition, although it is a cylinder in this example, it is not limited to a tubular body such as a circular tube (or a square tube), and the shape and state of the structure forming the conduit are not limited as long as the conduit is formed. . That is, the appearance does not have to be tubular. For example, a rectangular parallelepiped or a sphere has a hole entrance into the bulk, and the passage extends into the bulk.

スコープヘッド2で取り込まれた画像は、ファイバーケーブル3を経由し、カメラアダプタ4を介して撮像カメラ5に導かれて撮像される。スコープヘッド2は被写体となる円筒1の内径の中心と一致するように、スコープヘッド移動装置6に支持固定されており、撮像カメラ5で撮像される画像の中心と円筒1の内部の中心が常に一致するように構成されている。撮像カメラ5は撮像された画像を電気信号に変換し、他の機器と接続するための制御装置を内蔵している。   An image captured by the scope head 2 is guided to the imaging camera 5 via the fiber cable 3 and the camera adapter 4 to be captured. The scope head 2 is supported and fixed to the scope head moving device 6 so as to coincide with the center of the inner diameter of the cylinder 1 as a subject, and the center of the image captured by the imaging camera 5 and the center of the cylinder 1 are always located. Configured to match. The imaging camera 5 has a built-in control device for converting the captured image into an electrical signal and connecting to another device.

スコープヘッド移動装置6はスコープヘッド2を円筒1の軸方向に移動させるものであり、速度制御ユニット7で移動速度を制御できる。また光源装置8から発光された照明光がライトガイドケーブル9でファイバーケーブル3へ導かれており、円筒1内部の撮像のための照明を供給する。   The scope head moving device 6 moves the scope head 2 in the axial direction of the cylinder 1, and the moving speed can be controlled by the speed control unit 7. Illumination light emitted from the light source device 8 is guided to the fiber cable 3 by the light guide cable 9 and supplies illumination for imaging inside the cylinder 1.

10は撮像カメラ5から画像信号を取り込んで処理するための画像処理装置であり、内部の処理は撮像カメラ5で撮影された画像を取り込むための画像取り込み部11,取り込んだ画像の中から円周部の画像を切り出す円周部画像切り出し部12,切り出された円周部画像を保存する円周部画像保存部13,保存された画像を画面に生成表示する画像生成表示部14から構成されている。このような処理を行うために、撮像カメラ5とはシャッター制御信号15,画像情報信号16を、速度制御ユニット7とは起動(または停止)信号17の、各信号の送受信を行う。   Reference numeral 10 denotes an image processing device for capturing and processing image signals from the imaging camera 5, and internal processing includes an image capturing unit 11 for capturing an image captured by the imaging camera 5, and a circumference from the captured images. A circumferential image cutout unit 12 that cuts out the image of the image, a circumferential image storage unit 13 that stores the cut out circumferential image, and an image generation display unit 14 that generates and displays the saved image on the screen. Yes. In order to perform such processing, the imaging camera 5 transmits and receives the shutter control signal 15 and the image information signal 16, and the speed control unit 7 transmits and receives each signal of the start (or stop) signal 17.

図2は撮像カメラ5で撮像された画像を基に、画像処理装置10で処理する内容を説明するための図で、(a)はスコープヘッド2で取り込まれる円筒1の視野範囲、(b)は撮像される画像のイメージ図、(c)は画像情報の保存イメージを示す。   FIG. 2 is a diagram for explaining the content processed by the image processing apparatus 10 based on the image captured by the imaging camera 5, where (a) is the field of view of the cylinder 1 captured by the scope head 2, and (b). Is an image diagram of a captured image, and (c) is a storage image of image information.

以下本実施例である図1の1サイクルの動作について説明する。   The operation of one cycle of FIG. 1 according to this embodiment will be described below.

図1において、スコープヘッド2は円筒1内に挿入され、スコープヘッド2と円筒1の中心が一致するように設置されている。スコープヘッド2には画像を撮像カメラ5に導くためのファイバーケーブル3とカメラアダプタ4が接続されている。更に、光源装置8から出力された照明光がライトガイドケーブル9を経由してファイバーケーブル3に結合され、スコープヘッド2に照明光を供給する。   In FIG. 1, a scope head 2 is inserted into a cylinder 1 and installed so that the center of the scope head 2 and the cylinder 1 coincide. A fiber cable 3 and a camera adapter 4 for guiding an image to the imaging camera 5 are connected to the scope head 2. Further, the illumination light output from the light source device 8 is coupled to the fiber cable 3 via the light guide cable 9 to supply the illumination light to the scope head 2.

この状態で画像処理装置10から速度制御ユニット7へ起動信号17が入力されると、指定された一定の速度に対応してスコープヘッド移動装置6が円筒1の軸方向に移動する。スコープヘッドの移動中に画像処理装置10からシャッター制御信号15が出力されると撮像カメラ5が円筒1内の画像を撮影し、画像処理装置10は撮像カメラ5から画像情報16を取得する。この時、スコープヘッド2には、できるだけ広い視野範囲を撮像できるように先端部に広角のレンズが装着されており、円筒1の内部に挿入されたスコープヘッド2で撮影された画像も広角の画像が取り込まれることになる。   When an activation signal 17 is input from the image processing apparatus 10 to the speed control unit 7 in this state, the scope head moving device 6 moves in the axial direction of the cylinder 1 in accordance with a specified constant speed. When the shutter control signal 15 is output from the image processing apparatus 10 while the scope head is moving, the imaging camera 5 captures an image in the cylinder 1, and the image processing apparatus 10 acquires image information 16 from the imaging camera 5. At this time, the scope head 2 is equipped with a wide-angle lens at the tip so that the field of view as wide as possible can be imaged, and the image taken with the scope head 2 inserted into the cylinder 1 is also a wide-angle image. Will be captured.

図2の(a)に円筒1の内面のスコープヘッド2の視野範囲を、撮像される画像のイメージを(b)に示す。(b)に示されているように撮像される画像は同心円状に奥行きをもち、かつ中心部と外周部では画像の倍率が異なるため、歪んだものとなっている。   FIG. 2A shows the field of view of the scope head 2 on the inner surface of the cylinder 1, and FIG. As shown in (b), the captured image has a concentric depth and is distorted because the magnification of the image is different between the central portion and the outer peripheral portion.

ここで(a)において画像取り込み内面18として示される円筒内面の軸方向の長さDに相当する範囲に着目し、この範囲は図2の(b)において、画像切り取り範囲19で示される内径r20と外径r+Δ21の半径の範囲で囲まれた範囲に対応しているものとする。   Here, paying attention to a range corresponding to the axial length D of the cylindrical inner surface shown as the image capturing inner surface 18 in (a), this range is the inner diameter r20 indicated by the image cutout range 19 in FIG. And a range surrounded by a radius range of the outer diameter r + Δ21.

今、この状態で撮像カメラ5で撮像された画像は撮像カメラで画像情報の電気信号として変換され、画像処理装置10の内部の画像取り込み部11に入力される。画像取り込み部11に入力された画像は円周部画像切り出し部12で、図2の(b)に示す画像切り取り範囲19で示された同心円状の部分の画像のみを切り取る。画像切り取り範囲19は内径r20と外径r+Δ21の半径の範囲で囲まれており、例えば起点22を始点として走査方向23の向きに画像データを全周に渡って、取り込んでいく。このように同心円状に画像を切り出すことにより、ほぼ同一の倍率で撮像される画像のみを取り出すことができる。   Now, the image captured by the imaging camera 5 in this state is converted as an electrical signal of image information by the imaging camera and input to the image capturing unit 11 inside the image processing apparatus 10. The image input to the image capture unit 11 is a circumferential image cutout unit 12 that cuts out only the image of the concentric part indicated by the image cutout range 19 shown in FIG. The image cutout range 19 is surrounded by a radius range of an inner diameter r20 and an outer diameter r + Δ21. For example, image data is taken in the direction of the scanning direction 23 from the starting point 22 over the entire circumference. Thus, by cutting out images concentrically, it is possible to extract only images picked up at substantially the same magnification.

次に円周部画像切り出し部12で切り出された画像は円周部画像保存部13に入力される。図2の(c)は円周部画像保存部13で保存される画像データの保存イメージを示す。円周部画像切り出し部12で切り出された画像データは図2の(b)で示される内径r
20と外径r+Δ21の半径の範囲の幅dを持った1次元の情報と考えることができる。ここで幅dは図2(a)における着目対象内面の軸方向の長さDに相当するデータの幅に対応する。
Next, the image cut out by the circumferential part image cutout unit 12 is input to the circumferential part image storage unit 13. FIG. 2C shows a storage image of the image data stored in the circumferential image storage unit 13. The image data cut out by the circumferential image cutout unit 12 has an inner diameter r shown in FIG.
It can be considered as one-dimensional information having a width d in the radius range of 20 and the outer diameter r + Δ21. Here, the width d corresponds to the width of data corresponding to the axial length D of the inner surface of interest in FIG.

従って図2の(c)に示すとおり円周部画像切り出し部12で切り出された画像は円周部画像保存部13では幅dを持って走査方向23の長さに対応した線のデータとして保存済みのデータと一緒に保存される。   Therefore, as shown in FIG. 2C, the image cut out by the circumferential image cutout unit 12 is saved as line data corresponding to the length in the scanning direction 23 by the circumferential image storage unit 13 having a width d. It is saved with the already-completed data.

円周部画像保存部13で保存されると次に図1のスコープヘッド移動装置6が軸方向の長さDだけ軸方向に移動したタイミングで画像処理装置10からシャッター制御信号15を出力して撮像カメラ5で画像を撮像する。このとき撮像される画像はスコープヘッド2が軸方向に長さDだけ移動した画像であり、この時保存される切り取り画像は図2の(a)で示された画像取り込み内面18(着目範囲)の隣接した範囲の情報となり、これらの画像情報を取り込み、保存して全画像を取り込んだ後に、結合すれば画像の重なりのない画像情報を得ることができる。   When stored in the circumferential image storage unit 13, the shutter control signal 15 is output from the image processing device 10 at the timing when the scope head moving device 6 in FIG. 1 moves in the axial direction by the length D in the axial direction. An image is captured by the imaging camera 5. The image captured at this time is an image obtained by moving the scope head 2 by the length D in the axial direction, and the cut-out image stored at this time is the image capturing inner surface 18 (range of interest) shown in FIG. If the image information is captured, saved, and all images are captured and then combined, image information without overlapping images can be obtained.

以下同様にスコープヘッド移動装置6を移動させながらの同様の処理を繰り返して行うことにより、円筒1の軸方向に沿って画像を取り込み保存することができる。この結果、円筒1の全長にわたって倍率が一定でひずみのない画像情報を得ることができる。このようにして保存された画像は画像処理装置10の画像生成表示部14で平面的な画像として円筒内面を表示することができる。   Thereafter, the same processing is repeated while moving the scope head moving device 6 in the same manner, whereby an image can be captured and stored along the axial direction of the cylinder 1. As a result, image information with constant magnification and no distortion can be obtained over the entire length of the cylinder 1. The image stored in this way can display the inner surface of the cylinder as a planar image on the image generation / display unit 14 of the image processing apparatus 10.

また、画像の取り込み開始位置と円筒内部の位置を規定しておけば円筒内部の傷や欠陥の座標(位置)、大きさ等を数値化することができるため、本画像を利用して検査を行うことが可能となる。   In addition, if the start position of image capture and the position inside the cylinder are defined, the coordinates (position) and size of scratches and defects inside the cylinder can be quantified. Can be done.

本実施例の画像切り取り範囲の半径方向の幅は使用するスコープヘッドや撮像カメラの画像分解能やスコープヘッドの歪み率や生成する画像の分解能によって任意に設定できる。一般的に画像切り取り幅を小さくして、スコープヘッド2の移動速度を小さくすれば生成される画像の分解能を高くすることが出来る。   The radial width of the image cutout range of the present embodiment can be arbitrarily set according to the image resolution of the scope head and imaging camera used, the distortion rate of the scope head, and the resolution of the image to be generated. Generally, the resolution of the generated image can be increased by reducing the image cropping width and reducing the moving speed of the scope head 2.

上記の実施例では円筒内面を撮像するためにファイバーを使用したスコープヘッドを利用した例を示したが円筒内に挿入できる小型のカメラであれば内視カメラでも適用可能である。   In the above embodiment, an example is shown in which a scope head using a fiber is used to image the inner surface of a cylinder. However, any small camera that can be inserted into a cylinder can be applied to an endoscope camera.

またカメラヘッド移動装置は一定速度で移動しながら撮像する方法を説明したが、撮影のタイミングに合わせて、スコープヘッド移動装置6を起動,停止を繰り返すパターンで動作させる方法を採用しても良い。   In addition, although the camera head moving device has described the method of imaging while moving at a constant speed, a method of operating the scope head moving device 6 in a pattern of repeatedly starting and stopping according to the timing of shooting may be adopted.

また本方式では直線状の円筒だけではなく、曲線上の円筒内部の撮像にも適用することができる。そのために図3に示した位置決め用のガイド24をスコープヘッド2の先端部に取り付けることによりカメラヘッドを軸方向に移動させる際に、常にスコープヘッド2が円筒1の中心を移動できるようにすることが可能となり、実施例と同様の効果を得ることができる。   In addition, this method can be applied not only to a straight cylinder but also to imaging inside a curved cylinder. Therefore, by attaching the positioning guide 24 shown in FIG. 3 to the distal end portion of the scope head 2, the scope head 2 can always move the center of the cylinder 1 when moving the camera head in the axial direction. Thus, the same effects as in the embodiment can be obtained.

一般に広角レンズで撮影した画像では斜めから撮影した側面の画像を利用することになるため、生成する画像は撮像する角度に応じて補正する必要がある。この影響を除くために広角レンズの代わりに側面のみを直視して撮像できるように図4に示すような円錐型のミラー25を使用して撮像することにより、より精度の高い生成画像を得ることができる。円錐ミラー25はプラスチック等の透明筒体26に保持されており、これをスコープヘッド2の先端に取り付けて使用する。   In general, an image captured with a wide-angle lens uses an image of a side surface captured from an oblique direction. Therefore, an image to be generated needs to be corrected in accordance with the imaging angle. In order to eliminate this influence, a more accurate generated image can be obtained by imaging using a conical mirror 25 as shown in FIG. 4 so that only the side surface can be imaged directly instead of a wide-angle lens. Can do. The conical mirror 25 is held by a transparent cylindrical body 26 made of plastic or the like, and is used by being attached to the tip of the scope head 2.

以上説明したように本実施例装置及び方法では複雑な光学系を使用することなく、安価な撮像手段を利用することで、コスト的にも有利な方法を提供できる。更に撮像手段のヘッドの位置が円筒内面の中心を保持するようにヘッドに円筒内面と接しながら移動するような位置決めのガイドを設ければ、直線の円筒部品だけでなく、曲線のパイプや円筒に対しても円筒内部の画像を撮像することができる。例えば広角レンズで撮影された全視野の画像の中で、側面の部分の画像だけを利用する。そうすれば、円筒の側面だけを撮像するための円錐ミラー等のユニットを追加することで、必要な側面の画像だけを精度よく撮像することが可能となり、生成する画像の分解能の向上を図ることができる。尚、撮像装置で撮像された画像情報を取り込んで、取り込んだ画像の中から、異なる2つの半径の円で囲まれる同心円状の画像部分を切り出して、切り出した画像部分の情報を保存して保存された画像情報から内面の画像を生成表示するための処理をソフトウェア処理で行っても良いが、専用の画像処理基板を使用することにより、より高速で処理することが可能となる。   As described above, the apparatus and method of this embodiment can provide a cost-effective method by using an inexpensive imaging means without using a complicated optical system. Furthermore, if a positioning guide is provided so that the head position of the imaging means moves while contacting the inner surface of the cylinder so that the center of the inner surface of the cylinder is held, not only a straight cylindrical part but also a curved pipe or cylinder In contrast, an image inside the cylinder can be taken. For example, only the image of the side portion is used in the full-field image captured by the wide-angle lens. Then, by adding a unit such as a conical mirror for imaging only the side surface of the cylinder, it is possible to accurately capture only the image of the required side surface, and improve the resolution of the generated image. Can do. In addition, the image information captured by the imaging device is captured, and a concentric image portion surrounded by two different radius circles is extracted from the captured image, and the information of the extracted image portion is saved and stored. The processing for generating and displaying the inner surface image from the image information may be performed by software processing, but by using a dedicated image processing board, processing can be performed at higher speed.

本発明に係る円筒内面の画像を生成するための一実施例の概略構成図である。It is a schematic block diagram of one Example for producing | generating the image of the cylindrical inner surface which concerns on this invention. 本発明の実施例装置を用いた場合の、円筒内に挿入されたスコープヘッドで撮像される画像と取り込み保存する画像情報のイメージ図である。It is an image figure of the image imaged with the scope head inserted in the cylinder at the time of using the Example apparatus of this invention, and the image information captured and preserve | saved. 本発明の実施例装置を用いた場合の、撮像カメラのスコープヘッドの中心と円筒の中心が一致するように取り付けられたスコープヘッドのガイドを示す関係説明図である。It is a relationship explanatory view showing a guide of a scope head attached so that the center of the scope head of the imaging camera and the center of the cylinder coincide with each other when the embodiment device of the present invention is used. 本発明の実施例装置を用いた場合の、円筒内面の側面だけを撮像するための円錐ミラーを取り付けたヘッドの関係説明図である。It is a related explanatory drawing of the head which attached the conical mirror for imaging only the side surface of a cylindrical inner surface at the time of using the Example apparatus of this invention.

符号の説明Explanation of symbols

1…円筒、2…スコープヘッド、3…ファイバーケーブル、4…カメラアダプタ、5…撮像カメラ、6…スコープヘッド移動装置、7…速度制御ユニット、8…光源装置、9…ライトガイドケーブル、10…画像処理装置、11…画像取り込み部、12…円周部画像切り出し部、13…円周部画像保存部、14…画像生成表示部、15…シャッター制御信号、16…画像情報信号、17…起動信号、18…画像取り込み内面、19…画像切り取り範囲、20…内径r、21…外形r+Δ、22…起点、23…走査方向、24…ガイド、25…円錐ミラー、26…透明筒体。

DESCRIPTION OF SYMBOLS 1 ... Cylinder, 2 ... Scope head, 3 ... Fiber cable, 4 ... Camera adapter, 5 ... Imaging camera, 6 ... Scope head moving device, 7 ... Speed control unit, 8 ... Light source device, 9 ... Light guide cable, 10 ... Image processing apparatus 11... Image capture unit 12. Circumference image cutout unit 13. Circumference image storage unit 14. Image generation display unit 15. Shutter control signal 16. Image information signal 17. Signal 18, inner surface of image capturing 19, image cropping range 20, inner diameter r, 21 outer shape r + Δ, 22 starting point, 23 scanning direction, 24 guide, 25 conical mirror, 26 transparent cylinder.

Claims (7)

管路内面の画像を撮像するに際し、該管路内部を撮像手段のヘッド部が管路の路軸方向に移動可能にし、前記ヘッド部を前記路軸方向に移動させながら前記管路内面の画像を撮像し、移動撮影に伴う、前記ヘッド部から遠近複数地点間の画像情報から、前記内面の画像を生成表示することを特徴とする画像生成方法。   When taking an image of the inner surface of the pipeline, the head portion of the imaging means is movable in the direction of the road axis of the pipeline, and the image of the inner surface of the pipeline is moved while moving the head portion in the direction of the road axis. And generating and displaying an image of the inner surface from image information between a plurality of points near and near from the head unit, which is associated with moving shooting. 円筒内面の画像を撮像する撮像手段と円筒内面の中心と撮像手段のヘッド部の中心を一致させてヘッド部を軸方向に移動させる移動手段と撮像手段で撮影された画像を取り込んで画像処理を行う画像処理装置とからなる画像撮像装置を用いて、前記ヘッド部を円筒の軸方向に移動させながら円筒内面の画像を撮像し、撮像された画像情報を画像処理装置に取り込み、取り込んだ画像の中から、異なる2つの半径の円で囲まれる同心円状の画像部分を切り出して、切り出した画像部分の情報を保存して保存された画像情報から内面の画像を生成表示することを特徴とする画像生成方法。   The image pickup means for picking up an image of the inner surface of the cylinder, the moving means for moving the head portion in the axial direction by matching the center of the inner surface of the cylinder and the center of the head portion of the image pickup means and the image picked up by the image pickup means are processed. Using an image capturing device composed of an image processing device to perform, the image of the inner surface of the cylinder is captured while moving the head portion in the axial direction of the cylinder, the captured image information is captured in the image processing device, and the captured image of the captured image is captured. An image characterized in that a concentric image portion surrounded by circles having two different radii is cut out from the inside, the information of the cut out image portion is saved, and an inner image is generated and displayed from the saved image information. Generation method. 管路内面の画像を撮像する装置であって、前記管路内部を撮像手段のヘッド部を管路の路軸方向に移動可能とする移動手段と、前記ヘッド部を前記路軸方向に移動させながら前記管路内面の画像を撮像する撮像手段と、移動撮影に伴う前記ヘッド部から遠近複数地点間の画像情報から前記内面の画像を生成表示する表示手段とを備えてなることを特徴とする画像生成装置。   An apparatus that captures an image of an inner surface of a pipeline, and a moving unit that allows the head unit of the imaging unit to move in the pipeline in the direction of the road axis, and the head unit is moved in the direction of the road axis. In addition, the image processing apparatus includes: an imaging unit that captures an image of the inner surface of the duct; and a display unit that generates and displays an image of the inner surface from image information between a plurality of points near and near the head unit associated with moving shooting. Image generation device. 円筒内面の画像を撮像する撮像手段と円筒内面の中心と撮像手段のヘッド部の中心を一致させてヘッド部を軸方向に移動させる移動手段と撮像手段で撮影された画像を取り込んで画像処理を行う画像処理装置とからなる画像撮像装置を用い、前記ヘッド部を円筒の軸方向に移動させながら円筒内面の画像を撮像し、撮像された画像情報を画像処理装置に取り込み、取り込んだ画像の中から、異なる2つの半径の円で囲まれる同心円状の画像部分を切り出して、切り出した画像部分の情報を保存するコンピュータと、該保存された画像情報から内面の画像を生成表示する表示手段とを備えることを特徴とする画像生成装置。   The image pickup means for picking up an image of the inner surface of the cylinder, the moving means for moving the head portion in the axial direction by matching the center of the inner surface of the cylinder and the center of the head portion of the image pickup means and the image picked up by the image pickup means are processed. An image pickup device comprising an image processing device to be used is used to pick up an image of the inner surface of the cylinder while moving the head portion in the axial direction of the cylinder, and the acquired image information is taken into the image processing device. A computer that cuts out concentric image portions surrounded by circles having two different radii, stores information on the cut out image portions, and display means for generating and displaying an inner surface image from the stored image information. An image generation apparatus comprising: 前記撮像手段のヘッド部の中心が前記内面の中心を移動できるように、前記ヘッド部に位置決め用のガイドを設けたことを特徴とする請求項3または4の画像生成装置に適用する撮像手段のヘッド。   5. The imaging means applied to the image generation apparatus according to claim 3, wherein a positioning guide is provided on the head portion so that a center of the head portion of the imaging means can move on a center of the inner surface. head. 撮像手段のヘッド部に側面全周を撮像するための円錐形のミラーを取り付けていることを特徴とする請求項3または4の画像生成装置に適用する撮像手段のヘッド。   5. The head of the imaging means applied to the image generating apparatus according to claim 3 or 4, wherein a conical mirror for imaging the entire circumference of the side surface is attached to the head portion of the imaging means. 管路内面の画像を撮像するに際して、該管路内部を撮像手段のヘッド部が管路の路軸方向に移動可能にし、前記ヘッド部を前記路軸方向に移動させながら前記管路内面の画像を撮像し、移動撮影に伴い、撮像手段により撮像された画像情報を取り込み、取り込んだ画像の中から異なる2つの半径の円で囲まれる同心円状の画像部分を切り出して、切り出した画像部分の情報を保存して保存された画像情報から内面の画像を生成表示するための処理を行う画像処理装置。

When taking an image of the inner surface of the pipe, the head of the imaging means is movable in the direction of the road axis of the pipe, and the image of the inner surface of the pipe is moved while moving the head in the direction of the road. The image information captured by the image capturing means is captured along with moving imaging, and concentric image portions surrounded by circles having two different radii are extracted from the captured images, and information on the extracted image portions is captured. Is an image processing apparatus that performs processing for generating and displaying an inner surface image from the stored image information.

JP2005209373A 2005-07-20 2005-07-20 Method and apparatus for creating image Pending JP2007024736A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005209373A JP2007024736A (en) 2005-07-20 2005-07-20 Method and apparatus for creating image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005209373A JP2007024736A (en) 2005-07-20 2005-07-20 Method and apparatus for creating image

Publications (1)

Publication Number Publication Date
JP2007024736A true JP2007024736A (en) 2007-02-01

Family

ID=37785691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005209373A Pending JP2007024736A (en) 2005-07-20 2005-07-20 Method and apparatus for creating image

Country Status (1)

Country Link
JP (1) JP2007024736A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009257979A (en) * 2008-04-18 2009-11-05 Japan Aerospace Exploration Agency Method and device for inspecting inside of hole
KR101458426B1 (en) * 2013-07-16 2014-11-07 동명대학교산학협력단 Auto defects detection apparatus and method for testing inner side of cylinder tube

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54167786U (en) * 1978-05-17 1979-11-26
JPH0219693U (en) * 1988-07-27 1990-02-08
JPH03123311A (en) * 1989-10-06 1991-05-27 Furukawa Electric Co Ltd:The Light guide for in-duct line observing device
JPH03226659A (en) * 1990-01-31 1991-10-07 Nec Corp Apparatus for inspecting inner surface of cylinder
JPH0669823U (en) * 1993-03-02 1994-09-30 大阪瓦斯株式会社 In-pipe inspection device
JPH08136464A (en) * 1994-11-02 1996-05-31 Japan Steel Works Ltd:The Cylinder inner surface inspection method and cylinder inner surface inspection device
JPH1137951A (en) * 1997-07-24 1999-02-12 Mitsubishi Heavy Ind Ltd Traveling unit through pipe
JP2000331168A (en) * 1999-03-12 2000-11-30 Tokyoto Gesuido Service Kk Device and method for processing image of internal surface of conduit
JP2003207458A (en) * 2002-01-09 2003-07-25 Toshiba Corp Photographing apparatus
JP2003302207A (en) * 2002-04-08 2003-10-24 Toyota Industries Corp Inner surface observing method and inner surface observing device

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54167786U (en) * 1978-05-17 1979-11-26
JPH0219693U (en) * 1988-07-27 1990-02-08
JPH03123311A (en) * 1989-10-06 1991-05-27 Furukawa Electric Co Ltd:The Light guide for in-duct line observing device
JPH03226659A (en) * 1990-01-31 1991-10-07 Nec Corp Apparatus for inspecting inner surface of cylinder
JPH0669823U (en) * 1993-03-02 1994-09-30 大阪瓦斯株式会社 In-pipe inspection device
JPH08136464A (en) * 1994-11-02 1996-05-31 Japan Steel Works Ltd:The Cylinder inner surface inspection method and cylinder inner surface inspection device
JPH1137951A (en) * 1997-07-24 1999-02-12 Mitsubishi Heavy Ind Ltd Traveling unit through pipe
JP2000331168A (en) * 1999-03-12 2000-11-30 Tokyoto Gesuido Service Kk Device and method for processing image of internal surface of conduit
JP2003207458A (en) * 2002-01-09 2003-07-25 Toshiba Corp Photographing apparatus
JP2003302207A (en) * 2002-04-08 2003-10-24 Toyota Industries Corp Inner surface observing method and inner surface observing device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009257979A (en) * 2008-04-18 2009-11-05 Japan Aerospace Exploration Agency Method and device for inspecting inside of hole
KR101458426B1 (en) * 2013-07-16 2014-11-07 동명대학교산학협력단 Auto defects detection apparatus and method for testing inner side of cylinder tube

Similar Documents

Publication Publication Date Title
EP2689708B1 (en) Endoscopic apparatus and measurement method
JPWO2007139187A1 (en) 3D image construction apparatus and method, and program
US11940351B2 (en) Borescope that processes image data into 3-d data for optically inspecting gas turbines
US20220084178A1 (en) Method and device for inspecting hard-to-reach components
JP6425972B2 (en) Inner surface inspection apparatus for pipe material and inspection method using the same
JPH07113749A (en) Turbine blade inspection system
JP6242105B2 (en) Blade inspection apparatus and blade inspection method
JP4750082B2 (en) Measuring device for rotating body
US20160231555A1 (en) Borescope Inspection System
JP5278878B2 (en) Pipe inner surface shape measuring device
JP4467567B2 (en) Camera carriage
JP2007024736A (en) Method and apparatus for creating image
JP2003207458A (en) Photographing apparatus
JP5042503B2 (en) Defect detection method
JP2002022089A (en) Pipe inside inspection and repair device
JPH10323322A (en) Three-dimensional measurement endoscope device
JP2007155384A (en) Flaw inspection device and flaw inspection method
JP3454547B2 (en) Internal scanner device
JP3966405B2 (en) In-tube observation device
JP2011138096A (en) Measuring microscope
JP2010025805A (en) Depth measuring apparatus and depth measuring method
JP2003075361A (en) Non-destructive inspection method
JP2009229221A (en) Optical device defect inspection method and optical device defect inspecting apparatus
JP2007114456A (en) Lens unit discriminating device and endoscopic system using the same
JP2008128770A (en) Lens performance inspection device and lens performance inspection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100928

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110208