JP2006329684A - Image measuring instrument and method - Google Patents
Image measuring instrument and method Download PDFInfo
- Publication number
- JP2006329684A JP2006329684A JP2005150204A JP2005150204A JP2006329684A JP 2006329684 A JP2006329684 A JP 2006329684A JP 2005150204 A JP2005150204 A JP 2005150204A JP 2005150204 A JP2005150204 A JP 2005150204A JP 2006329684 A JP2006329684 A JP 2006329684A
- Authority
- JP
- Japan
- Prior art keywords
- image
- measurement
- point
- feature
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像計測技術に関し、特に、計測対象物を異なる視点から撮像した画像を用いて三角測量による三次元計測を行う技術に関する。 The present invention relates to an image measurement technique, and more particularly to a technique for performing three-dimensional measurement by triangulation using images obtained by imaging a measurement object from different viewpoints.
計測対象物を複数の視点から撮像して画像を取得し、取得した画像上に計測する箇所を指定することにより三角測量で三次元計測を行うステレオ計測装置が利用されている。このような装置において、計測対象物の形状などの特徴が未知である場合には、ユーザが手作業で計測箇所を指定して計測を行う。 2. Description of the Related Art Stereo measurement apparatuses that perform three-dimensional measurement by triangulation by acquiring images by imaging a measurement object from a plurality of viewpoints and specifying a measurement location on the acquired images are used. In such an apparatus, when characteristics such as the shape of the measurement object are unknown, the user manually performs measurement by specifying a measurement location.
このような計測装置に関し、例えば特許文献１には、一対の撮像系で画像を取得し、ＬＣＤディスプレイ上に表示された当該画像中の任意の位置を測定点入力装置で指定し、三次元計測の演算を行うという装置が開示されている。 With regard to such a measuring apparatus, for example, in Patent Document 1, an image is acquired by a pair of imaging systems, an arbitrary position in the image displayed on the LCD display is designated by a measurement point input apparatus, and three-dimensional measurement is performed. An apparatus for performing the above-described calculation is disclosed.
この特許文献１に開示されている装置によると、ユーザの手作業による計測箇所の指定における個人差により、計測箇所の指定に誤差が生じて正確な計測が行えない場合が考えられ、また、指定のための操作に長い時間を要する場合が考えられる。そこで、画像処理によって画像上の特徴点を抽出し、抽出された特徴点をユーザが選択することで、計測箇所の指定誤差を生ぜずに計測箇所を指定することも可能である。 According to the device disclosed in Patent Document 1, there may be a case where an error occurs in the designation of the measurement location due to individual differences in the designation of the measurement location manually performed by the user, and accurate measurement cannot be performed. It can be considered that a long time is required for the operation. Therefore, it is possible to specify a measurement location without causing a measurement location specification error by extracting a feature point on the image by image processing and selecting the extracted feature point by the user.
この他、本発明に関連する技術として、例えば非特許文献１には、複数枚の画像に共通する特徴点を抽出する画像処理技術が開示されている。
上掲した特許文献１に開示されている装置では、複数の画像の特徴点の対応が考慮されていないため、対応がとれない（計測不可能な）特徴点を選択してしまうことで不正確な計測を行ってしまう問題や、特徴点の対応がとれていることを確認するための手間を要する場合があるという問題が考えられる。 In the apparatus disclosed in Patent Document 1 listed above, correspondence between feature points of a plurality of images is not taken into consideration, so that it is inaccurate by selecting feature points that cannot be dealt with (cannot be measured). There are problems such as troublesome measurement and a problem that it may take time to confirm that the feature points are supported.
また、画像処理による特徴点の抽出では、画像によっては計測には十分すぎるほど多数の特徴点を抽出してしまう場合があり、特徴点の選択操作が却って煩雑になるという問題が考えられる。 In addition, when extracting feature points by image processing, depending on the image, a large number of feature points may be extracted that are too sufficient for measurement, and there is a problem that the feature point selection operation is rather complicated.
本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、特徴点の選択による計測箇所の指定操作を効率的に行えるようにすることである。 The present invention has been made in view of the above-described problems, and a problem to be solved is to make it possible to efficiently specify a measurement location by selecting a feature point.
本発明の態様のひとつである画像計測装置は、異なる視点から計測対象物を撮像して視点毎の画像を取得する撮像手段と、当該画像における当該計測対象物の像から特徴点を抽出する特徴点抽出手段と、当該特徴点を抽出した画像とは異なる当該画像における当該計測対象物の像から当該特徴点に対応する点の探索を行う探索手段と、当該画像上における当該特徴点のうち当該特徴点に対応する点が当該探索によって得られたものに対して所定の印を表示させる印表示手段と、当該印が表示されている特徴点のうち１以上の特徴点が選択されたときの選択結果を取得する特徴点選択結果取得手段と、当該選択結果に係る特徴点を計測対象として、当該視点毎の画像の撮像時における視差に基づいた三角測量による三次元計測を行う計測手段と、を有することを特徴とするものであり、この特徴によって前述した課題を解決する。 An image measurement apparatus according to one aspect of the present invention includes an imaging unit that captures an image of a measurement object from different viewpoints and acquires an image for each viewpoint, and a feature that extracts a feature point from the image of the measurement object in the image Point extraction means, search means for searching for a point corresponding to the feature point from the image of the measurement object in the image different from the image from which the feature point is extracted, and the feature point of the feature point on the image Mark display means for displaying a predetermined mark for the point corresponding to the feature point obtained by the search, and when one or more feature points are selected from the feature points displaying the mark A feature point selection result acquisition means for acquiring a selection result, and a measurement means for performing three-dimensional measurement by triangulation based on parallax at the time of capturing an image for each viewpoint, using the feature point according to the selection result as a measurement target; And characterized in that it has a, to solve the problems described above by this feature.
なお、上述した本発明に係る画像計測装置において、当該探索は、当該視点毎の画像の相互間でのマッチング処理によって行われ、当該印表示手段は、当該マッチング処理の処理結果である評価値に応じ、表示させる当該印の色彩、形状、大きさのうちの少なくともいずれかを変化させる、ように構成してもよい。 In the above-described image measuring device according to the present invention, the search is performed by matching processing between the images for each viewpoint, and the mark display unit determines the evaluation value that is the processing result of the matching processing. Accordingly, at least one of the color, shape, and size of the mark to be displayed may be changed.
また、前述した本発明に係る画像計測装置において、当該特徴点を抽出する条件についての指示を取得する抽出条件指示取得手段を更に有し、当該特徴点抽出手段は、当該条件に合致する当該特徴点を抽出する、ように構成してもよい。 The image measurement apparatus according to the present invention described above further includes an extraction condition instruction acquisition unit that acquires an instruction regarding a condition for extracting the feature point, and the feature point extraction unit includes the feature that matches the condition. You may comprise so that a point may be extracted.
なお、このとき、当該特徴点を抽出する条件についての指示は、特徴点の形態、特徴点が有している特徴の程度を表わす特徴値、及び、当該画像を構成している画素の特性を表わす画素情報、のうちの少なくともいずれかであってもよい。 At this time, the instruction on the condition for extracting the feature point includes the feature point form, the feature value indicating the degree of the feature of the feature point, and the characteristics of the pixels constituting the image. It may be at least one of the pixel information to be represented.
ここで、当該特徴点の形態の指示が、独立点、交点、極点、変曲点、若しくは端点であってもよい。
また、このとき、当該画素情報の指示が、当該画素の輝度若しくは色差を表わす情報であってもよい。
Here, the indication of the form of the feature point may be an independent point, an intersection, a pole, an inflection point, or an end point.
At this time, the instruction of the pixel information may be information indicating the luminance or color difference of the pixel.
また、前述した本発明に係る画像計測装置において、当該特徴点選択結果取得手段は、当該画像上において当該印が表示されている特徴点のうちのいずれかを指し示す指針であって移動可能な当該指針を表示させ、当該指針を移動させたときに当該指針が指し示した特徴点を当該選択結果として取得するように構成してもよい。 Further, in the above-described image measuring device according to the present invention, the feature point selection result acquisition unit is a pointer indicating any one of the feature points on which the mark is displayed on the image and is movable. A pointer may be displayed, and the feature point indicated by the pointer when the pointer is moved may be acquired as the selection result.
また、本発明の別の態様のひとつである画像計測方法は、異なる視点から計測対象物を撮像して視点毎の画像を取得し、当該画像における当該計測対象物の像から特徴点を抽出し、当該特徴点を抽出した画像とは異なる当該画像における当該計測対象物の像から当該特徴点に対応する点の探索を行い、当該画像上における当該特徴点のうち当該特徴点に対応する点が当該探索によって得られたものに対して所定の印を表示させ、当該印が表示されている特徴点のうち１以上の特徴点が選択されたときの選択結果を取得し、当該選択結果に係る特徴点を計測対象として、当該視点毎の画像の撮像時における視差に基づいた三角測量による三次元計測を行う、ことを特徴とするものであり、この特徴によって前述した課題を解決する。 An image measurement method according to another aspect of the present invention captures a measurement object from different viewpoints, acquires an image for each viewpoint, and extracts feature points from the image of the measurement object in the image. The point corresponding to the feature point is searched from the image of the measurement object in the image different from the image from which the feature point is extracted, and the point corresponding to the feature point on the image is the point corresponding to the feature point. A predetermined mark is displayed with respect to what is obtained by the search, and a selection result when one or more feature points are selected from the feature points on which the mark is displayed is obtained, and the selection result is related to The characteristic point is to perform three-dimensional measurement by triangulation based on the parallax at the time of capturing an image for each viewpoint, and the above-described problems are solved.
本発明によれば、以上のようにすることにより、特徴点の選択による計測箇所の指定操作が効率的に行えるようになるので、正確で容易に計測可能なステレオ画像計測装置が提供できるようになるという効果を奏する。 According to the present invention, as described above, the operation of specifying the measurement location by selecting the feature points can be performed efficiently, so that a stereo image measurement device capable of accurate and easy measurement can be provided. The effect of becoming.
以下、本発明の実施の形態を図面に基づいて説明する。なお、ここでは、ステレオ計測が可能な計測用内視鏡装置で本発明を実施する形態について説明する。
本発明を実施する計測用内視鏡装置の全体構成を図１に示す。同図において、計測用内視鏡装置１０は、ステレオ計測の可能な光学アダプタを着脱自在に構成されている内視鏡挿入部１１と、内視鏡挿入部１１を収納するコントロールユニット１２と、計測用内視鏡装置１０のシステム全体の各種動作制御に必要な操作指示を行うためのリモートコントローラ１３と、内視鏡画像や操作制御内容（例えば処理メニュー）等の表示を行う液晶モニタ（以下、ＬＣＤと記載）１４と、通常の内視鏡画像、あるいはその内視鏡画像を擬似的にステレオ画像として立体視可能なフェイスマウントディスプレイ（以下、ＦＭＤと記載）１７と、ＦＭＤ１７へ画像データを供給するＦＭＤアダプタ１８とを備えて構成されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. Here, an embodiment in which the present invention is implemented with a measurement endoscope apparatus capable of stereo measurement will be described.
FIG. 1 shows the overall configuration of an endoscope apparatus for measurement embodying the present invention. In the figure, an endoscope apparatus for measurement 10 includes an endoscope insertion portion 11 configured to be detachable from an optical adapter capable of stereo measurement, a control unit 12 that houses the endoscope insertion portion 11, A remote controller 13 for giving operation instructions necessary for various operation control of the entire system of the measurement endoscope apparatus 10 and a liquid crystal monitor (hereinafter, a processing menu) for displaying an endoscope image and operation control contents (hereinafter, processing menu). , LCD) 14, a normal endoscopic image, or a face-mount display (hereinafter referred to as FMD) 17 that can stereoscopically view the endoscopic image as a pseudo stereo image, and image data to FMD 17. The FMD adapter 18 to be supplied is provided.
次に計測用内視鏡装置１０のシステム構成について、図２を参照しながら説明する。
図２に示すように、コントロールユニット１２は映像信号処理回路２２と画像処理装置２３とを備えて構成されている。内視鏡挿入部１１は、先端に一対のレンズ系２０Ｌ、２０Ｒと、撮像手段である固体撮像素子２１と、照明装置（不図示）と、内視鏡挿入部１１の先端を自在に湾曲させるための湾曲装置（不図示）とを備えて構成されている。一対のレンズ系２０Ｌ、２０Ｒは横方向に所定の距離だけ隔てて設けられており、同一の被写体（計測対象物３０）を撮像する。
Next, the system configuration of the measurement endoscope apparatus 10 will be described with reference to FIG.
As shown in FIG. 2, the control unit 12 includes a video signal processing circuit 22 and an image processing device 23. The endoscope insertion unit 11 freely curves a pair of lens systems 20L and 20R at the tip, a solid-state image sensor 21 as an imaging means, an illumination device (not shown), and the tip of the endoscope insertion unit 11. And a bending device (not shown). The pair of lens systems 20L and 20R are provided at a predetermined distance in the lateral direction, and image the same subject (measurement object 30).
固体撮像素子２１からの撮像信号は、映像信号処理回路２２で画像データに変換された後に画像処理装置２３へ供給される。画像処理装置２３は、リモートコントローラ１３に対する操作に応じ、供給された画像データに対する画像処理や、計測、記録などを行う。映像信号処理回路２２は、更に、供給された画像データと、画像処理装置２３で生成されるグラフィックデータとを合成し、合成後の画像データをＮＴＳＣ信号等の映像信号に変換してＬＣＤ１４へ供給する。ＬＣＤ１４は、供給された映像信号で表わされている、内視鏡画像とグラフィック画像との合成画像を表示する。 An imaging signal from the solid-state imaging device 21 is converted into image data by the video signal processing circuit 22 and then supplied to the image processing device 23. The image processing device 23 performs image processing, measurement, recording, and the like on the supplied image data in response to an operation on the remote controller 13. The video signal processing circuit 22 further synthesizes the supplied image data with the graphic data generated by the image processing device 23, converts the combined image data into a video signal such as an NTSC signal, and supplies it to the LCD 14. To do. The LCD 14 displays a composite image of the endoscopic image and the graphic image represented by the supplied video signal.
次に、図３を用いて、ステレオ計測による計測点の三次元座標の求め方を説明する。
まず、左側および右側の光学系にて撮像された元画像上の計測点の座標をそれぞれ（ＸL ，ＹL ）、（ＸR ，ＹR ）とし、計測対象点の三次元座標を（Ｘ，Ｙ，Ｚ）とする。
Next, how to obtain the three-dimensional coordinates of the measurement point by stereo measurement will be described with reference to FIG.
First, the coordinates of the measurement points on the original image captured by the left and right optical systems are (X L , Y L ) and (X R , Y R ), respectively, and the three-dimensional coordinates of the measurement target points are (X , Y, Z).
ここで、左側光学系と右側光学系との光学中心の距離をＤ、焦点距離をＦとし、
ｔ＝Ｄ／（ＸL −ＸR ）
なるｔを定義すると、三角測量の原理により、
Ｘ＝ｔ×ＸR ＋Ｄ／２
Ｙ＝ｔ×ＹR
Ｚ＝ｔ×Ｆ
となる。
Here, the distance between the optical centers of the left optical system and the right optical system is D, and the focal length is F.
t = D / (X L −X R )
If t is defined, according to the principle of triangulation,
X = t × X R + D / 2
Y = t × Y R
Z = t × F
It becomes.
以上のように、元画像上の計測点の座標が決定されると、既知のパラメータであるＤ及びＦより計測点の三次元座標が求まる。このようにして幾つかの点の三次元座標を求めることにより、所定の２点間の距離、所定の２点を結ぶ線と他の１点との距離、面積、深さ、表面形状など、様々な計測が行えるようになる。これがステレオ計測である。 As described above, when the coordinates of the measurement point on the original image are determined, the three-dimensional coordinates of the measurement point can be obtained from the known parameters D and F. By obtaining the three-dimensional coordinates of several points in this way, the distance between two predetermined points, the distance between a line connecting the two predetermined points and another one point, the area, the depth, the surface shape, etc. Various measurements can be performed. This is stereo measurement.
次に、この計測用内視鏡装置１０を用いてステレオ計測を行う手順について、図４並びに図５Ａ及び図５Ｂを用いて説明する。なお、図４は、ステレオ計測の手順をフローチャートで示したものである。また、図５Ａ及び図５Ｂは、計測用内視鏡装置１０でのステレオ計測時におけるＬＣＤ１４での表示画面例を示しており、図５Ａの画面例は、航空機のエンジン部品であるタービンプレードに欠けが認められた状態において当該欠けの最も外側の幅を計測する場合の計測画面を、また、図５Ｂは、この計測における計測箇所の特徴を指定するために使用されるアイコンの形状を、それぞれ示している。 Next, a procedure for performing stereo measurement using the measurement endoscope apparatus 10 will be described with reference to FIGS. 4, 5 </ b> A, and 5 </ b> B. FIG. 4 is a flowchart showing a stereo measurement procedure. 5A and 5B show examples of display screens on the LCD 14 at the time of stereo measurement by the measuring endoscope apparatus 10, and the screen examples of FIG. 5A are lacking in turbine blades which are engine parts of aircraft. FIG. 5B shows the shape of an icon used for designating the characteristics of the measurement location in this measurement. ing.
図４において、まず、ステップＳｌ０ｌでは、ユーザが内視鏡挿入部１１とリモートコントローラ１３とを操作して計測対象物を撮像し、画像の取得を行う。なお、図５に示した画面例において、取得された画像である左画像２１０と右画像２１１とには、左側光学系と右側光学系とで各々撮像された計測対象物３００、３０１が表わされている。 In FIG. 4, first, in step SlOl, the user operates the endoscope insertion unit 11 and the remote controller 13 to capture an image of a measurement target and acquire an image. In the screen example shown in FIG. 5, the left image 210 and the right image 211, which are acquired images, represent the measurement objects 300 and 301 captured by the left optical system and the right optical system, respectively. Has been.
ここで、撮像した計測対象物３００、３０１の計測を行う場合には、ユーザはリモートコントローラ１３に対して所定の操作を行う。図４のステップＳ１０２の判定手順においてこの操作が検出されると判定結果がＹｅｓとなり、ステップＳ１０３へと手順を進める。なお、ステップＳｌ０２において、上述した操作が検出されない場合には判定結果がＮｏとなり、ステップＳ１０１へと手順を戻して上述した手順が繰り返される。 Here, when measuring the captured measurement objects 300 and 301, the user performs a predetermined operation on the remote controller 13. If this operation is detected in the determination procedure of step S102 of FIG. 4, the determination result is Yes, and the procedure proceeds to step S103. In step S102, if the operation described above is not detected, the determination result is No, the procedure returns to step S101, and the above-described procedure is repeated.
上述した計測実施の指示を行った後、ユーザはリモートコントローラ１３を更に操作して計測画面内の計測モードアイコン２００を選択し、計測用内視鏡装置１０での計測種別を示す計測モード（例えば２点間距離計測や面積計測など）を指定する。ステップＳｌ０３では、この選択内容を取得し、選択された計測モードで計測用内視鏡装置１０を動作させるために必要な所定の設定を行う。 After giving the measurement execution instruction described above, the user further operates the remote controller 13 to select the measurement mode icon 200 in the measurement screen, and the measurement mode (for example, the measurement type in the measurement endoscope apparatus 10) (for example, Specify distance measurement between two points, area measurement, etc.). In step S103, this selection content is acquired, and predetermined settings necessary for operating the measurement endoscope apparatus 10 in the selected measurement mode are performed.
次に、ユーザはリモートコントローラ１３を更に操作して計測画面内のセレクトモードアイコン２２０を選択し、特徴点の選択開始の指示を行う。ステップＳｌ０４の判定手順においてこの指示が検出されると判定結果がＹｅｓとなり、ステップＳ１０５へと手順を進める。 Next, the user further operates the remote controller 13 to select the select mode icon 220 in the measurement screen and gives an instruction to start selecting feature points. If this instruction is detected in the determination procedure of step S104, the determination result is Yes, and the procedure proceeds to step S105.
なお、ステップＳｌ０４において、セレクトモードアイコン２２０の選択が検出されなかった場合には判定結果がＮｏとなってステップＳ１２０へと手順を進め、リモートコントローラ１３に対するユーザの操作内容を取得して手作業による計測箇所の指定を取得し、続くステップＳ１２１において、計測手段として機能する画像処理装置２３が、指定された計測箇所について、前述したようにして三次元座標を算出する演算を行い、その演算結果に基づき、ステップＳｌ０３で取得していた計測モードでの三次元計測のための演算を実行する。 If the selection of the select mode icon 220 is not detected in step S104, the determination result is No, the procedure proceeds to step S120, the user's operation content for the remote controller 13 is acquired, and the manual operation is performed. In step S121, the image processing device 23, which functions as a measurement unit, obtains the designation of the measurement location, and performs an operation for calculating the three-dimensional coordinates for the designated measurement location as described above. Based on this, the calculation for the three-dimensional measurement in the measurement mode acquired in step S103 is executed.
前述したようにしてセレクトモードアイコン２２０の選択がなされたときには、ステップＳｌ０５において、特徴点抽出手段としても機能する画像処理装置２３が、まず、左画像２１０上に表れている、計測対象物３００の像におけるエッジ（縁）等の特徴点を抽出する処理を実行する。図５Ａの左画像２１０内における点３１０〜３１８は、この抽出処理によって抽出された特徴点を示している。なお、この特徴点の抽出は、例えば、前掲した非特許文献１に開示されている手法等の、公知の手法を用いて行う。 When the select mode icon 220 is selected as described above, in step S105, the image processing device 23 that also functions as a feature point extracting unit first displays the measurement object 300 appearing on the left image 210. Processing for extracting feature points such as edges in the image is executed. Points 310 to 318 in the left image 210 of FIG. 5A indicate feature points extracted by this extraction processing. The feature points are extracted using a known method such as the method disclosed in Non-Patent Document 1 described above.
次に、ステップＳｌ０６では、探索手段として機能する画像処理装置２３は、抽出された特徴点に対応する点を右画像２１１内より探索する周知のマッチング処理（例えば、前掲した非特許文献１に開示されているテンプレートマッチング）を実行する。そして、続くステップＳ１０７において、印表示手段としても機能する画像処理装置２３が、ＬＣＤ１４に表示中の計測画面における、右画像２１１内で見つかった対応点と、左画像２１０内の特徴点のうち当該対応点を見つけることのできたものとに実線の白丸印（○印）を表示させる処理を実行する。図５Ａの左画像２１０内における特徴点３１０〜３１４及び右画像における対応点３２０〜３２４に示されている○印はこの処理によって表示されたものである。 Next, in step S <b> 106, the image processing device 23 functioning as a search unit searches for a point corresponding to the extracted feature point from the right image 211 (for example, disclosed in Non-Patent Document 1 described above). Template matching). Then, in the subsequent step S107, the image processing device 23 that also functions as a mark display means, among the corresponding points found in the right image 211 and the feature points in the left image 210 on the measurement screen being displayed on the LCD 14, A process of displaying a solid white circle mark (◯ mark) on a case where a corresponding point has been found is executed. The circles indicated by the feature points 310 to 314 in the left image 210 of FIG. 5A and the corresponding points 320 to 324 in the right image are displayed by this processing.
なお、このステップＳ１０７で実行される処理において、ステップＳ１０６のマッチング処理の処理結果の評価値に応じ、○印の色彩、形状、大きさなどを変えることも可能である。例えば、この評価値が高いほど濃い色で○印を表示してもよい。また、このステップＳ１０７で実行される処理において、左画像２１０内の特徴点のうち当該対応点を見つけることができなかったものについては、図５Ａの左画像２１０内における特徴点３１５〜３１８のように、破線の白丸印を表示するようにしてもよく、また、何ら印を表示しないようにしてもよい。 In the processing executed in step S107, the color, shape, size, etc. of the circles can be changed according to the evaluation value of the processing result of the matching processing in step S106. For example, the higher the evaluation value, the darker the ◯ mark may be displayed. Further, in the processing executed in step S107, the feature points in the left image 210 for which the corresponding points cannot be found are feature points 315 to 318 in the left image 210 in FIG. 5A. In addition, a broken-line white circle may be displayed, or no mark may be displayed.
このように、マッチング処理の処理結果の評価値に応じて○印の表示を変えることにより、ユーザは、計測が可能な特徴点を確認した上で、計測箇所の指定を行うことができる。 In this way, by changing the display of the circles according to the evaluation value of the processing result of the matching process, the user can specify the measurement location after confirming the feature points that can be measured.
ステップＳ１０７での表示処理の後、ユーザは所望の計測箇所に○印が存在するか否かの確認を行う、ここで、当該所望の計測箇所に○印が存在しない場合や、○印の表示が過多のために所望の計測箇所の選択が困難な場合には、リモートコントローラ１３を操作して特徴点抽出の条件の変更要求を行う。ステップＳｌ０８の判定手順において当該要求が検出されると判定結果がＹｅｓとなり、ステップＳ１０９へと手順を進める。なお、ここで、当該要求が検出されなかった場合（すなわち、○印が所望の計測箇所に適切に存在している場合）には判定結果がＮｏとなり、ステップＳ１１０に手順を進める。 After the display process in step S107, the user confirms whether or not a circle is present at a desired measurement location. Here, when there is no circle at the desired measurement location, or when a circle is displayed. If it is difficult to select a desired measurement location due to excessive, the remote controller 13 is operated to make a request to change the feature point extraction condition. If the request is detected in the determination procedure of step Sl08, the determination result is Yes, and the procedure proceeds to step S109. Here, when the request is not detected (that is, when a circle is appropriately present at a desired measurement location), the determination result is No, and the procedure proceeds to step S110.
撮像された画像から特徴点を抽出する条件の設定を変更する指示を与え、ステップＳ１０９において、抽出条件指示取得手段として機能する画像処理装置２３がこの指示を取得する。 An instruction to change the setting of conditions for extracting feature points from the captured image is given, and in step S109, the image processing apparatus 23 functioning as an extraction condition instruction acquisition unit acquires this instruction.
ここで、特徴点抽出の条件の設定について説明する。
本実施形態においては、特徴点抽出条件の指定法として、以下の項目から選択できるようにする。
［１］特徴点が有している特徴についての程度を表わす特徴値、例えば閾値などのパラメータ値を指定できるようにする。例えば、図５Ｂの（１）に示すように、パラメータ設定アイコン２３０と、下限値設定アイコン２３１及び上限値設定アイコン２３２とを選択してパラメータを設定することにより、設定されたパラメータの範囲内（例えばエッジ抽出における先鋭度など）で特徴点を抽出する。これによって、抽出される特徴点の数を調節することができる。
［２］抽出する特徴点の形態を指定する。例えば、図５Ｂの（２）に示すように、独立点形態アイコン２４０、交点形態アイコン２４１、極点形態アイコン２４２、変曲点形態アイコン２４３、端点形態アイコン２４４のうちのいずれかを選択すると、選択された形態を有する特徴点のみを抽出するようにする。これによって、抽出される特徴点の数を調節することができる。
［３］特徴点抽出の対象とする画像を構成している画素の特性を表わす画素情報の種類を選択する。例えば、図５Ｂの（３）に示すように、輝度アイコン２５０と色差アイコン２５１とのどちらかを選択すると、選択された画素情報の種類（輝度または色差）を対象として特徴点の抽出を行う。これによって、抽出される特徴点の数を調節することができる。
Here, setting of feature point extraction conditions will be described.
In this embodiment, as a method for designating feature point extraction conditions, the following items can be selected.
[1] A feature value indicating the degree of the feature that the feature point has, for example, a parameter value such as a threshold value can be designated. For example, as shown in (1) of FIG. 5B, by selecting the parameter setting icon 230, the lower limit value setting icon 231 and the upper limit value setting icon 232, and setting the parameters, the range of the set parameters ( For example, feature points are extracted based on sharpness in edge extraction. Thereby, the number of extracted feature points can be adjusted.
[2] Designate the feature point form to be extracted. For example, as shown in (2) of FIG. 5B, when any one of the independent point form icon 240, the intersection form icon 241, the extreme point form icon 242, the inflection point form icon 243, and the end point form icon 244 is selected. Only feature points having the specified form are extracted. Thereby, the number of extracted feature points can be adjusted.
[3] Select the type of pixel information representing the characteristics of the pixels constituting the image that is the target of feature point extraction. For example, as shown in (3) of FIG. 5B, when either the luminance icon 250 or the color difference icon 251 is selected, feature points are extracted for the type (luminance or color difference) of the selected pixel information. Thereby, the number of extracted feature points can be adjusted.
なお、図５Ａにおいて、特徴点抽出の条件の変更要求、及び上述した特徴点抽出条件の設定法の項目切り替え指示はオプションアイコン２２１の選択によって行われ、図５Ｂに例示した各アイコンは、オプションアイコン２２１に対するクリック操作に応じてオプション表示エリア２２２で切り替えて表示される。 In FIG. 5A, a feature point extraction condition change request and an item switching instruction for setting the feature point extraction condition described above are performed by selecting an option icon 221. Each icon illustrated in FIG. 5B is an option icon. The display is switched in the option display area 222 in response to a click operation on 221.
図４の説明へ戻ると、ステップＳ１０９において以上のようにして特徴点抽出条件の設定変更指示を取得したときには、ステップＳ１０５へと手順を戻して画像処理装置２３による特徴点の抽出処理以降の手順が繰り返され、当該変更指示によって変更された特徴点抽出条件に合致する特徴点の抽出が行われる。 Returning to the description of FIG. 4, when the feature point extraction condition setting change instruction is acquired in step S109 as described above, the procedure returns to step S105 and the procedure after the feature point extraction processing by the image processing device 23 is performed. Are repeated, and feature points that match the feature point extraction condition changed by the change instruction are extracted.
一方、ステップＳｌ０８の判定手順において特徴点抽出条件の変更要求を行わなかったユーザは、リモートコントローラ１３を操作し、○印で表示されている特徴点のうちの幾つかを選択する。ステップＳ１１０において、画像処理装置２３は、この特徴点の選択結果を取得する。 On the other hand, the user who has not made the feature point extraction condition change request in the determination procedure of step Sl08 operates the remote controller 13 and selects some of the feature points displayed with circles. In step S110, the image processing device 23 acquires the selection result of the feature points.
ユーザによる特徴点の選択は、以下に示す操作によって行われる。
ユーザがリモートコントローラ１３で所定のポインタ移動操作を行うと、○印が表示されている特徴点を指し示すポインタ（指針）２０５及び２０６は○印間を移動する。ここで、ポインタ２０５は左画像２１０上に、またポインタ２０６は右画像２１１上に、それぞれ表示される。このように、画像処理装置２３がＬＣＤ１４における左画像２１０上及び右画像２１１上の各々にポインタを表示させることにより、ユーザは、所望の計測箇所でのマッチングが適切に行われたか否かの確認を容易に行うことができる。
Selection of the feature point by the user is performed by the following operation.
When the user performs a predetermined pointer movement operation with the remote controller 13, pointers (pointers) 205 and 206 indicating the feature points on which the circles are displayed move between the circles. Here, the pointer 205 is displayed on the left image 210, and the pointer 206 is displayed on the right image 211. In this way, the image processing device 23 displays the pointer on each of the left image 210 and the right image 211 on the LCD 14 so that the user can confirm whether or not matching at a desired measurement location has been appropriately performed. Can be easily performed.
なお、画像処理装置２３は、ステップＳ１１０における特徴点選択操作の際に、計測画面の左画像２１０におけるポインタ２０５周辺、若しくは計測画面の右画像２１１におけるポインタ２０６周辺の拡大画像を、ＬＣＤ１４に表示中の計測画面内のズームウィンドウ２０４に表示させる。この拡大画像により、ユーザは所望の計測箇所の指定を正しく行っているかどうかを確認することができる。なお、この拡大画像の倍率をリモートコントローラ１３の所定の倍率変更操作で調節可能とする。 Note that the image processing device 23 is displaying an enlarged image on the LCD 14 around the pointer 205 in the left image 210 of the measurement screen or the pointer 206 in the right image 211 of the measurement screen during the feature point selection operation in step S110. Are displayed on the zoom window 204 in the measurement screen. With this enlarged image, the user can confirm whether or not the desired measurement location is correctly specified. The magnification of the enlarged image can be adjusted by a predetermined magnification changing operation of the remote controller 13.
計測箇所が正しく指定されていることの確認後、ユーザがリモートコントローラ１３に対して所定の選択操作を行って特徴点の選択を確定することによって計測箇所が指定され、特徴点選択結果取得手段として機能する画像処理装置２３はこの特徴点の選択結果を取得する。なお、この計測箇所の指定は、計測モ−ドに応じて決定される所定の回数だけ繰り返される。例えば、２点間計測のためには計測箇所の指定は２回行われる。 After confirming that the measurement location is correctly specified, the user performs a predetermined selection operation on the remote controller 13 to confirm the selection of the feature point, whereby the measurement location is specified, and as a feature point selection result acquisition unit The functioning image processing device 23 acquires the selection result of the feature points. The designation of the measurement location is repeated a predetermined number of times determined according to the measurement mode. For example, the measurement location is designated twice for the measurement between two points.
最後に、ステップＳ１１１において、計測手段として機能する画像処理装置２３が、指定された計測箇所について、前述したようにして三次元座標を算出する演算を行い、その演算結果に基づき、ステップＳｌ０３で取得していた計測モードでの三次元計測のための演算を実行する。 Finally, in step S111, the image processing device 23 functioning as a measurement unit performs an operation for calculating the three-dimensional coordinates as described above for the designated measurement location, and is acquired in step S103 based on the operation result. The calculation for the three-dimensional measurement in the measurement mode that has been performed is executed.
以上のようにして計測用内視鏡装置１０でのステレオ計測が完了する。
このように、本実施形態に係る計測用内視鏡装置１０では、特徴点抽出手段によって抽出される特徴点より計測箇所を指定して計測するので、計測箇所の指定に個人差が生じることがない。更に、ユーザが抽出された特徴点より計測箇所を選択するだけで計測箇所の指定がなされるので、計測箇所の指定操作が短時間で行えるようになる。
As described above, the stereo measurement in the measurement endoscope apparatus 10 is completed.
As described above, in the measurement endoscope apparatus 10 according to the present embodiment, the measurement point is designated and measured from the feature point extracted by the feature point extraction unit, and thus individual differences may occur in the designation of the measurement point. Absent. Furthermore, since the measurement location is designated simply by selecting the measurement location from the extracted feature points, the measurement location designation operation can be performed in a short time.
更に、本実施形態に係る計測用内視鏡装置１０では、ステレオ計測時における左右の画像で対応していることが判明している特徴点のみが計測箇所としてユーザによる選択を可能としている。従って、計測不可能な点を計測箇所として誤指定してしまうことがなくなるので、計測箇所の指定操作の効率が向上する。 Furthermore, in the measurement endoscope apparatus 10 according to the present embodiment, only the feature points that have been found to correspond in the left and right images during stereo measurement can be selected by the user as measurement locations. Accordingly, it is possible to prevent erroneous specification of a point that cannot be measured as a measurement location, thereby improving the efficiency of the operation for specifying the measurement location.
なお、上述した実施形態においては計測用内視鏡装置で本発明を実施する例を説明したが、本発明は一般の画像計測装置にも適用することができる。その他、本発明は、上述した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。 In the above-described embodiment, the example in which the present invention is implemented by the measurement endoscope apparatus has been described. However, the present invention can also be applied to a general image measurement apparatus. In addition, the present invention is not limited to the above-described embodiments, and various improvements and changes can be made without departing from the scope of the present invention.
１０ 計測用内視鏡装置
１１ 内視鏡挿入部
１２ コントロールユニット
１３ リモートコントローラ
１４ 液晶モニタ（ＬＣＤ）
１７ フェイスマウントディスプレイ（ＦＭＤ）
１８ ＦＭＤアダプタ
２０Ｌ、２０Ｒ レンズ系
２１ 固体撮像素子
２２ 映像信号処理回路
２３ 画像処理装置
３０、３００、３０１ 計測対象物
２００ 計測モードアイコン
２０４ ズームウィンドウ
２０５、２０６ ポインタ
２１０ 左画像
２１１ 右画像
２２０ セレクトモードアイコン
２２１ オプションアイコン
２２２ オプション表示エリア
２３０ パラメータ設定アイコン
２３１ 下限値設定アイコン
２３２ 上限値設定アイコン
２４０ 独立点形態アイコン
２４１ 交点形態アイコン
２４２ 極点形態アイコン
２４３ 変曲点形態アイコン
２４４ 端点形態アイコン
２５０ 輝度アイコン
２５１ 色差アイコン
３１０、３１１、３１２、３１３、３１４、３１５、３１６、３１７、３１８ 特徴点
３２０、３２１、３２２、３２３、３２４ 対応点
DESCRIPTION OF SYMBOLS 10 Endoscope apparatus for measurement 11 Endoscope insertion part 12 Control unit 13 Remote controller 14 Liquid crystal monitor (LCD)
17 Face Mount Display (FMD)
18 FMD adapter 20L, 20R Lens system 21 Solid-state imaging device 22 Video signal processing circuit 23 Image processing device 30, 300, 301 Measurement object 200 Measurement mode icon 204 Zoom window 205, 206 Pointer 210 Left image 211 Right image 220 Select mode icon 221 Option icon 222 Option display area 230 Parameter setting icon 231 Lower limit value setting icon 232 Upper limit value setting icon 240 Independent point form icon 241 Intersection form icon 242 Extreme point form icon 243 Inflection point form icon 244 End point form icon 250 Luminance icon 251 Color difference icon 310, 311, 312, 313, 314, 315, 316, 317, 318 Feature point 320, 321, 322, 323, 324応点
Claims (8)
前記画像における前記計測対象物の像から特徴点を抽出する特徴点抽出手段と、
前記特徴点を抽出した画像とは異なる前記画像における前記計測対象物の像から当該特徴点に対応する点の探索を行う探索手段と、
前記画像上における前記特徴点のうち当該特徴点に対応する点が前記探索によって得られたものに対して所定の印を表示させる印表示手段と、
前記印が表示されている特徴点のうち１以上の特徴点が選択されたときの選択結果を取得する特徴点選択結果取得手段と、
前記選択結果に係る特徴点を計測対象として、前記視点毎の画像の撮像時における視差に基づいた三角測量による三次元計測を行う計測手段と、
を有することを特徴とする画像計測装置。 Imaging means for imaging a measurement object from different viewpoints and acquiring an image for each viewpoint;
Feature point extracting means for extracting feature points from the image of the measurement object in the image;
Search means for searching for a point corresponding to the feature point from the image of the measurement object in the image different from the image from which the feature point is extracted;
Mark display means for displaying a predetermined mark on a point corresponding to the feature point among the feature points on the image obtained by the search;
Feature point selection result acquisition means for acquiring a selection result when one or more feature points are selected from among the feature points on which the mark is displayed;
Measuring means for performing three-dimensional measurement by triangulation based on parallax at the time of capturing an image for each viewpoint, with the feature point according to the selection result as a measurement target;
An image measuring device comprising:
前記印表示手段は、前記マッチング処理の処理結果である評価値に応じ、表示させる前記印の色彩、形状、大きさのうちの少なくともいずれかを変化させる、
ことを特徴とする請求項１に記載の画像計測装置。 The search is performed by a matching process between the images for each viewpoint,
The mark display means changes at least one of the color, shape, and size of the mark to be displayed according to an evaluation value that is a processing result of the matching process.
The image measurement apparatus according to claim 1, wherein
前記特徴点抽出手段は、前記条件に合致する前記特徴点を抽出する、
ことを特徴とする請求項１に記載の画像計測装置。 Further comprising extraction condition instruction acquisition means for acquiring an instruction about a condition for extracting the feature points;
The feature point extracting means extracts the feature points that match the condition;
The image measurement apparatus according to claim 1, wherein
前記画像における前記計測対象物の像から特徴点を抽出し、
前記特徴点を抽出した画像とは異なる前記画像における前記計測対象物の像から当該特徴点に対応する点の探索を行い、
前記画像上における前記特徴点のうち当該特徴点に対応する点が前記探索によって得られたものに対して所定の印を表示させ、
前記印が表示されている特徴点のうち１以上の特徴点が選択されたときの選択結果を取得し、
前記選択結果に係る特徴点を計測対象として、前記視点毎の画像の撮像時における視差に基づいた三角測量による三次元計測を行う、
ことを特徴とする画像計測方法。 Capture the object to be measured from different viewpoints and acquire images for each viewpoint.
Extracting feature points from the image of the measurement object in the image;
Searching for a point corresponding to the feature point from the image of the measurement object in the image different from the image from which the feature point is extracted;
A point corresponding to the feature point on the image obtained by the search is displayed with a predetermined mark;
Obtaining a selection result when one or more feature points are selected from the feature points on which the mark is displayed;
Performing three-dimensional measurement by triangulation based on parallax at the time of capturing an image for each viewpoint, with the feature point according to the selection result as a measurement target,
An image measurement method characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005150204A JP2006329684A (en) | 2005-05-23 | 2005-05-23 | Image measuring instrument and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005150204A JP2006329684A (en) | 2005-05-23 | 2005-05-23 | Image measuring instrument and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006329684A true JP2006329684A (en) | 2006-12-07 |
Family
ID=37551529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005150204A Pending JP2006329684A (en) | 2005-05-23 | 2005-05-23 | Image measuring instrument and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006329684A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009222446A (en) * | 2008-03-14 | 2009-10-01 | Casio Comput Co Ltd | Distance measuring device and its program |
| JP2010210586A (en) * | 2009-03-12 | 2010-09-24 | Omron Corp | Derivation method of parameter of three-dimensional measuring processing, and three-dimensional visual sensor |
| JP2010256247A (en) * | 2009-04-27 | 2010-11-11 | Olympus Corp | Endoscope apparatus and measurement method |
| JP2012073930A (en) * | 2010-09-29 | 2012-04-12 | Casio Comput Co Ltd | Image processing apparatus, image processing method, and program |
| US8558879B2 (en) | 2009-07-23 | 2013-10-15 | Olympus Corporation | Endoscope apparatus and measuring method |
| US8708890B2 (en) | 2010-01-15 | 2014-04-29 | Olympus Corporation | Endoscope apparatus and method of measuring subject |
| JP2015176272A (en) * | 2014-03-14 | 2015-10-05 | オムロン株式会社 | Image processor, image processing method, and image processing program |
| US10942134B2 (en) | 2017-09-26 | 2021-03-09 | Olympus Corporation | Measurement device, method of operating measurement device, and recording medium |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0861932A (en) * | 1994-08-23 | 1996-03-08 | Sumitomo Electric Ind Ltd | Signal processing method for multi-eye visual device |
| JPH09210649A (en) * | 1996-01-30 | 1997-08-12 | Minolta Co Ltd | Three dimensional measurement device |
| JPH10149455A (en) * | 1996-11-20 | 1998-06-02 | Matsushita Electric Ind Co Ltd | Picture generation/display device and generated/ displayed picture compiling device |
| JPH10246629A (en) * | 1997-03-05 | 1998-09-14 | Kumagai Gumi Co Ltd | Photographing control method |
| JP2002230527A (en) * | 2001-01-31 | 2002-08-16 | Olympus Optical Co Ltd | Three-dimensional information acquisition device and method and computer readable storage medium storing three-dimensional information acquisition program |
| JP2005062924A (en) * | 2003-08-08 | 2005-03-10 | Omron Corp | Three-dimensional object recognition device and setting method therefor |
-
2005
- 2005-05-23 JP JP2005150204A patent/JP2006329684A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0861932A (en) * | 1994-08-23 | 1996-03-08 | Sumitomo Electric Ind Ltd | Signal processing method for multi-eye visual device |
| JPH09210649A (en) * | 1996-01-30 | 1997-08-12 | Minolta Co Ltd | Three dimensional measurement device |
| JPH10149455A (en) * | 1996-11-20 | 1998-06-02 | Matsushita Electric Ind Co Ltd | Picture generation/display device and generated/ displayed picture compiling device |
| JPH10246629A (en) * | 1997-03-05 | 1998-09-14 | Kumagai Gumi Co Ltd | Photographing control method |
| JP2002230527A (en) * | 2001-01-31 | 2002-08-16 | Olympus Optical Co Ltd | Three-dimensional information acquisition device and method and computer readable storage medium storing three-dimensional information acquisition program |
| JP2005062924A (en) * | 2003-08-08 | 2005-03-10 | Omron Corp | Three-dimensional object recognition device and setting method therefor |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009222446A (en) * | 2008-03-14 | 2009-10-01 | Casio Comput Co Ltd | Distance measuring device and its program |
| JP2010210586A (en) * | 2009-03-12 | 2010-09-24 | Omron Corp | Derivation method of parameter of three-dimensional measuring processing, and three-dimensional visual sensor |
| JP2010256247A (en) * | 2009-04-27 | 2010-11-11 | Olympus Corp | Endoscope apparatus and measurement method |
| US8558879B2 (en) | 2009-07-23 | 2013-10-15 | Olympus Corporation | Endoscope apparatus and measuring method |
| US8708890B2 (en) | 2010-01-15 | 2014-04-29 | Olympus Corporation | Endoscope apparatus and method of measuring subject |
| JP2012073930A (en) * | 2010-09-29 | 2012-04-12 | Casio Comput Co Ltd | Image processing apparatus, image processing method, and program |
| JP2015176272A (en) * | 2014-03-14 | 2015-10-05 | オムロン株式会社 | Image processor, image processing method, and image processing program |
| US10942134B2 (en) | 2017-09-26 | 2021-03-09 | Olympus Corporation | Measurement device, method of operating measurement device, and recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4873794B2 (en) | Image processing measuring apparatus and measuring endoscope apparatus | |
| JP5538667B2 (en) | Position / orientation measuring apparatus and control method thereof | |
| JP5281972B2 (en) | Imaging device | |
| JP2006329684A (en) | Image measuring instrument and method | |
| JP2010177741A (en) | Image capturing apparatus | |
| JP2010216838A (en) | Image processing apparatus and method | |
| JP4593730B2 (en) | Stereo image measuring device | |
| US11321861B2 (en) | Method of operating measurement device, measurement device, measurement system, three-dimensional shape restoration device, and recording medium | |
| JP2009300124A (en) | Image measuring device, image measuring method, and computer program | |
| JP5079973B2 (en) | Endoscope device for measurement and program for endoscope device for measurement | |
| JP5307407B2 (en) | Endoscope apparatus and program | |
| JP4674093B2 (en) | Endoscope apparatus and program | |
| JP7049220B2 (en) | How to operate the image acquisition device and the image acquisition device | |
| JP2006017632A (en) | Three-dimensional image processor, optical axis adjustment method, and optical axis adjustment support method | |
| CN112585423A (en) | Distance measuring camera | |
| JP5199634B2 (en) | Measuring endoscope system | |
| JP6789899B2 (en) | Measuring device and operating method of measuring device | |
| CN110858397A (en) | Measuring device, method for operating measuring device, and storage medium | |
| JP5209100B2 (en) | Imaging device | |
| JP2011039130A (en) | Linked display device, linked display method, and program | |
| US8704890B2 (en) | Inspection apparatus and measuring method | |
| JP2004012192A (en) | Measuring microscope device, its display method, and its display program | |
| JP5001400B2 (en) | Shield removal display device | |
| JP2020187557A (en) | Temperature image display device, temperature image display system and temperature image display program | |
| JP2009086553A (en) | Measuring endoscope system, method of measuring endoscope system, and program for measuring endoscope system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080319 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100817 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101013 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101116 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101228 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110426 |