JP2002039753A - Method for deciding photographing position for photogrammetry - Google Patents

Method for deciding photographing position for photogrammetry

Info

Publication number
JP2002039753A
JP2002039753A JP2000221162A JP2000221162A JP2002039753A JP 2002039753 A JP2002039753 A JP 2002039753A JP 2000221162 A JP2000221162 A JP 2000221162A JP 2000221162 A JP2000221162 A JP 2000221162A JP 2002039753 A JP2002039753 A JP 2002039753A
Authority
JP
Japan
Prior art keywords
measurement
virtual
measurement accuracy
photographing position
photograph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000221162A
Other languages
Japanese (ja)
Other versions
JP4470292B2 (en
Inventor
Harutaka Imoto
治孝 井本
Takayoshi Tahashi
孝善 太箸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Priority to JP2000221162A priority Critical patent/JP4470292B2/en
Publication of JP2002039753A publication Critical patent/JP2002039753A/en
Application granted granted Critical
Publication of JP4470292B2 publication Critical patent/JP4470292B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

PROBLEM TO BE SOLVED: To allow anyone to photograph for photogrammetry for wanted measurement precision. SOLUTION: A model of an object which is to be measured is generated in a 3DCAD space based on a design data (step S1), and a measurement point is marked at a required point (step S2). Three virtual photographing positions are set in the 3DCAD space (step S3). And photogrammetry where pictures taken at the positions are used is simulated to calculate measurement precision (step S4). The calculated measurement precision is compared with such measurement precision as wanted for actual photogrammetry (step S5), and if the former is lower than the latter the step S3 is visited again, for resetting the virtual photographing position, and then measurement precision is calculated in the step S4. If the former is higher than the latter, the virtual photographing position is decided to be a photographing position which is assured with measurement precision (step S6), and the data is outputted as a photographing position indicating report (step S7).

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は写真計測を実施する
際、所望の計測精度を確実に得ることができるように写
真撮影位置を決定する写真計測用写真撮影位置の決定方
法に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for determining a photographing position for measuring a photograph so as to reliably obtain a desired measurement accuracy when performing a photograph measurement.

【0002】[0002]

【従来の技術】たとえば、橋のブロックや船体のブロッ
ク等の立体的な構造物を製作した場合、これら構造物に
おいて正確に作りたい個所が設計通りに作られているか
否か、たとえば、孔を設けた場合に、その孔の位置が正
しいかどうかを確認するために、実際に製作された構造
物についての計測を望むことがあり、この場合、上記橋
のブロックや船体ブロックの如き大型で直接的な寸法測
定が困難な構造物の計測に用いられる手法の一つとし
て、写真計測がある。
2. Description of the Related Art For example, when a three-dimensional structure such as a bridge block or a hull block is manufactured, it is determined whether a portion to be accurately formed in these structures is formed as designed. In some cases, it may be desirable to measure the actual manufactured structure in order to confirm that the position of the hole is correct.In this case, a large, direct block such as the bridge block or hull block described above may be required. Photometry is one of the techniques used for measurement of structures for which it is difficult to measure dimensions.

【0003】これは、光学式カメラ又はデジタルカメラ
で計測すべき構造物を計測対象物として撮影した場合、
光学式カメラではフィルム面上に、又、デジタルカメラ
ではCCD上にそれぞれ投影される計測対象物の像の寸
法と、カメラの焦点距離と、カメラと計測対象物との距
離が判明していれば、これらの寸法や距離を基にして、
計測対象物の実際の寸法が算出できることを利用して、
計測対象物を撮影した写真を基に、該計測対象物の各部
の実寸法を求めて計測するものであり、計測対象物が立
体的な構造物の場合には、異なる角度から写した複数枚
の写真を組み合わせて使用することで、3次元的な寸法
を計測できるものである。
[0003] This is because when a structure to be measured by an optical camera or a digital camera is photographed as an object to be measured,
If the dimensions of the image of the object to be measured projected on the film surface with an optical camera or on the CCD with a digital camera, the focal length of the camera, and the distance between the camera and the object to be measured are known. , Based on these dimensions and distances,
Using the fact that the actual dimensions of the measurement object can be calculated,
Based on a photograph of the object to be measured, the actual dimensions of each part of the object to be measured are obtained and measured.If the object to be measured is a three-dimensional structure, a plurality of images taken from different angles are taken. By using these photographs in combination, three-dimensional dimensions can be measured.

【0004】ところで、かかる写真計測では、用いる写
真を撮影した写真撮影位置(カメラ位置とカメラの向
き)により計測精度が大きく変動し、又、使用する写真
の枚数によっても精度が変動することが知られており、
したがって、上記写真撮影位置の決定、すなわち、計測
対象物を角度を変えて撮影するためのカメラ設置位置の
決定、及び、該各カメラ設置位置におけるカメラの向き
の決定が非常に重要となる。
Incidentally, in such photo measurement, it is known that the measurement accuracy greatly varies depending on the photographing position (camera position and camera direction) at which the photograph to be used is taken, and the precision also varies depending on the number of photographs used. Has been
Therefore, it is very important to determine the photographing position, that is, to determine the camera installation positions for photographing the measurement object at different angles and to determine the direction of the camera at each camera installation position.

【0005】[0005]

【発明が解決しようとする課題】ところが、従来、写真
撮影位置を決定する場合には、計測現場で計測対象物を
見ながら撮影角度と写真の枚数の検討を行うようにして
いたが、この場合、写真計測を行って得られる計測精度
は計測者の検討した写真撮影位置に依存しており、その
決定は計測者の勘に頼っているものであるため、安定し
た計測精度が保証されないという問題があり、又、撮影
位置を検討するには経験を要するため、写真撮影を行う
者が限定され、誰にでも写真計測が行える状態とはなっ
ていないという問題がある。
However, conventionally, when determining the photographing position, the photographing angle and the number of photographs are examined while observing the object to be measured at the measurement site. The problem is that the measurement accuracy obtained by performing photo measurement depends on the photographing position examined by the measurer, and the determination depends on the intuition of the measurer, so that stable measurement accuracy is not guaranteed. In addition, there is a problem that the photographer is required to have experience in examining the photographing position, so that the number of photographers is limited, and it is not possible for anyone to measure the photograph.

【0006】そこで、本発明は、誰にでも写真計測用の
写真撮影を行えるようにするために、所望する計測精度
の保証された写真を撮影するための写真撮影位置を予め
決定し指示できる写真計測用写真撮影位置の決定方法を
提供しようとするものである。
[0006] Therefore, the present invention provides a photographing method capable of preliminarily determining and indicating a photographing position for photographing a photograph having a desired measurement accuracy so that anyone can take a photograph for photograph measurement. An object of the present invention is to provide a method of determining a measurement photographing position.

【0007】[0007]

【課題を解決するための手段】本発明は、上記課題を解
決するために、計測対象物の設計データを3DCAD上
に取り込んで作成したモデルに対し、写真計測を所望す
る計測ポイントを設定し、次に、設定された計測ポイン
トを撮影し得る、少なくとも2個所の仮想写真撮影位置
を3DCAD空間内にて設定し、該各仮想写真撮影位置
にて撮影された写真を基に写真計測を行った場合に得ら
れる計測精度を算出し、該算出された計測精度が実際の
計測時に所望される計測精度より低い場合は、仮想写真
撮影位置を変更するか又は仮想写真撮影位置を増やし
て、これら仮想写真撮影位置にて撮影された写真を基に
写真計測を行った場合に得られる計測精度を再び算出さ
せ、算出された計測精度が実際の計測時に所望される計
測精度以上となった場合に、上記各仮想写真撮影位置を
実際の写真撮影位置として指示する撮影位置指示書を出
力させる構成とする。
SUMMARY OF THE INVENTION In order to solve the above-mentioned problems, the present invention sets a measurement point at which a photograph measurement is desired for a model created by importing design data of a measurement object into 3D CAD, Next, at least two virtual photographing positions capable of photographing the set measurement points were set in the 3D CAD space, and photograph measurement was performed based on the photograph photographed at each virtual photographing position. If the calculated measurement accuracy is lower than the measurement accuracy desired at the time of actual measurement, change the virtual photographing position or increase the virtual photographing position, and The measurement accuracy obtained when performing the photo measurement based on the photograph taken at the photographing position was calculated again, and the calculated measurement accuracy was equal to or higher than the measurement accuracy desired in the actual measurement. The case, a configuration to output the imaging position instruction that instructs the actual photography positions each virtual photography position.

【0008】3DCAD空間内において、計測対象物の
モデル上に設定された計測ポイントを撮影し得る領域内
にて仮想写真撮影位置を設定すると、該各仮想写真撮影
位置で撮影される写真を基に計測対象物の写真計測を行
う場合に得られる計測精度が算出され、この算出された
計測精度が実際の写真計測に所望する計測精度よりも低
い場合には、仮想写真撮影位置の変更、又は、仮想写真
撮影位置を増やすことにより算出される計測精度の改善
が図られ、算出される計測精度が実際の写真計測に所望
する計測精度以上として算出された場合にのみ、各仮想
写真撮影位置を実際の写真撮影位置として指示する撮影
位置指示書が出力されるので、該撮影位置指示書に記載
された写真撮影位置で写真を撮影し、撮影された写真を
基に写真計測を行うことで、計測対象物の計測が、所望
する計測精度以上の計測精度で実施されるようになる。
In the 3D CAD space, when a virtual photographing position is set within an area where a measuring point set on a model of a measurement object can be photographed, a photograph taken at each virtual photographing position is set. The measurement accuracy obtained when performing photo measurement of the measurement target is calculated, and when the calculated measurement accuracy is lower than the measurement accuracy desired for actual photo measurement, a change in the virtual photo shooting position, or The measurement accuracy calculated by increasing the number of virtual photographing positions is improved, and each virtual photographing position is actually set only when the calculated measurement accuracy is calculated to be equal to or higher than the measurement accuracy desired for actual photograph measurement. Is output, so that a photograph is taken at the photographing position described in the photographing position instruction and a photo measurement is performed based on the photographed photograph. It is, measurement of the measurement object, it will be performed at a desired measurement accuracy over the measurement accuracy.

【0009】又、モニター画面上に、3DCAD空間内
に配した仮想のカメラのファインダーを通して観察され
る像を表示させながら仮想写真撮影位置を設定するよう
にした構成とすることにより、モニター画面上に計測ポ
イントが表示されている状態において仮想のカメラの位
置を仮想写真撮影位置として設定することで、3DCA
D空間内において、計測ポイントの撮影可能な領域内に
仮想写真撮影位置を容易に設定することができる。
[0009] Further, the virtual photographing position is set while displaying the image observed through the viewfinder of the virtual camera arranged in the 3D CAD space on the monitor screen, so that the monitor screen is displayed. By setting the position of the virtual camera as the virtual photographing position while the measurement point is displayed, 3DCA
In the D space, the virtual photographing position can be easily set in the photographable area of the measurement point.

【0010】更に、計測対象物の設計データを3DCA
D上に取り込んで作成したモデルに対し、写真計測を所
望する計測ポイントを設定し、次に、該計測ポイントの
実際の写真計測時に所望する計測精度を設定し、3DC
AD空間内における上記計測ポイントを撮影し得る領域
内にて、上記計測ポイントを撮影した写真を基に写真計
測を行った場合に得られる計測精度が、上記所望する計
測精度以上となる仮想写真撮影位置を計算して2個所以
上設定し、該設定された各仮想写真撮影位置を実際の写
真撮影位置として指示する撮影位置指示書を出力させる
構成とすることにより、3DCAD空間内において、計
測対象物のモデル上に計測ポイントを設定すると共に、
実際の写真計測時に所望する計測精度を入力するのみ
で、該所望の計測精度以上の計測精度で写真計測を行う
ことが可能な写真を撮影するための写真撮影位置を容易
に決定することができる。
Further, the design data of the object to be measured is stored in 3DCA.
A measurement point at which a photo measurement is desired is set for the model created by taking the image on D, and then a measurement accuracy desired at the time of actual photo measurement of the measurement point is set.
Virtual photographing in which the measurement accuracy obtained when performing photo measurement based on a photograph of the measurement point in an area where the measurement point can be captured in the AD space is equal to or higher than the desired measurement accuracy By calculating the positions and setting two or more positions, and outputting a photographing position instruction sheet designating each of the set virtual photographing positions as an actual photographing position, the object to be measured in the 3D CAD space is obtained. Set measurement points on the model of
By simply inputting the desired measurement accuracy at the time of actual photograph measurement, it is possible to easily determine a photographing position for taking a photograph capable of performing photo measurement with a measurement accuracy higher than the desired measurement accuracy. .

【0011】[0011]

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。
Embodiments of the present invention will be described below with reference to the drawings.

【0012】図1乃至図3は本発明の写真計測用写真撮
影位置の決定方法の実施の一形態を示すもので、図1は
作業手順のフローを示すものである。
FIGS. 1 to 3 show an embodiment of a method for determining a photographing position for photograph measurement according to the present invention, and FIG. 1 shows a flow of an operation procedure.

【0013】先ず、計測対象物の設計データを3DCA
D(3次元CAD)に取り込んで、図2に示す如く、3
DCAD空間(3DCAD上の仮想3次元空間)1内に
て計測対象物のモデル2(図では立方体としてある)を
作成して、モニター画面3上に表示させ(ステップS
1)、モニター画面3上に表示された上記計測対象物の
モデル2に対して、写真計測を望む個所、たとえば、上
記モデル2の前面の所要個所に計測ポイント4を設定し
マークする(ステップS2)。
First, the design data of the object to be measured is
D (three-dimensional CAD), and as shown in FIG.
In the DCAD space (virtual three-dimensional space on 3DCAD) 1, a model 2 (shown as a cube in the figure) of the object to be measured is created and displayed on the monitor screen 3 (step S).
1) For the model 2 of the measurement object displayed on the monitor screen 3, a measurement point 4 is set and marked at a place where photograph measurement is desired, for example, at a required place on the front of the model 2 (step S2). ).

【0014】次に、3DCAD空間1内において、図3
(イ)に示す如く、上記モデル3上にマークされた計測
ポイント4を撮影可能な領域内に、3個所の仮想写真撮
影位置5a,5b,5cを設定する(ステップS3)。
この際、モニター画面3上には、3DCAD空間1内の
所要個所に配した仮想のカメラのファインダーを通して
観察される像を表示させる、すなわち、たとえば、図3
(イ)における5aの位置に仮想のカメラ6が配置され
ている場合には、図3(ロ)に示される如く、上記仮想
のカメラ6のファインダーを通して計測対象物のモデル
2を正面左寄り位置から観察した像がモニター画面3上
に表示されるようにし、又、図3(イ)における5bの
位置に仮想のカメラ6が配置されている場合には図3
(ハ)に示される如くモデル2を正面より観察した像が
モニター画面3上に表示され、同様に、図3(イ)にお
ける5cの位置に仮想のカメラ6が配置されている場合
には図3(ニ)に示される如くモデル2を正面右寄り位
置から観察した像がモニター画面3上に表示されるよう
にすると、該モニター画面3上において計測対象物のモ
デル2の画像を回転させることにより、3DCAD空間
1内における仮想のカメラ6の上記モデル2に対する相
対的な位置を変更することができ、又、モニター画面3
上におけるモデル2の画像の大きさを拡大、縮小させる
ことにより、3DCAD空間1内における仮想のカメラ
6の配置位置を上記モデル2に対して相対的に近づけた
り遠ざけることができ、更に、モニター画面3上にモデ
ル2上の計測ポイント4が表示されている状態とするこ
とにより、3DCAD空間1内において、計測ポイント
4の撮影可能な領域内に、仮想のカメラ6を容易に配置
することができて、仮想写真撮影位置5a,5b,5c
を容易に設定することができるようになる。
Next, in the 3D CAD space 1, FIG.
As shown in (a), three virtual photographing positions 5a, 5b, and 5c are set in an area where the measurement point 4 marked on the model 3 can be photographed (step S3).
At this time, an image observed through a viewfinder of a virtual camera arranged at a required position in the 3D CAD space 1 is displayed on the monitor screen 3, that is, for example, as shown in FIG.
When the virtual camera 6 is arranged at the position 5a in (a), as shown in FIG. 3 (b), the model 2 of the measurement object is moved from the left front position through the viewfinder of the virtual camera 6. The observed image is displayed on the monitor screen 3, and when the virtual camera 6 is arranged at the position 5b in FIG.
As shown in (c), an image obtained by observing the model 2 from the front is displayed on the monitor screen 3. Similarly, when the virtual camera 6 is arranged at the position 5c in FIG. As shown in FIG. 3 (d), when an image of the model 2 observed from the right front position is displayed on the monitor screen 3, the image of the model 2 of the measurement object is rotated on the monitor screen 3. The relative position of the virtual camera 6 in the 3D CAD space 1 with respect to the model 2 can be changed.
By enlarging or reducing the size of the image of the model 2 above, the arrangement position of the virtual camera 6 in the 3D CAD space 1 can be made relatively closer or farther from the model 2, and further, the monitor screen By setting the measurement point 4 on the model 2 to be displayed on 3, the virtual camera 6 can be easily arranged in the area where the measurement point 4 can be photographed in the 3D CAD space 1. And the virtual photographing positions 5a, 5b, 5c
Can be easily set.

【0015】次いで、上記ステップS3において設定さ
れた各仮想写真撮影位置5a,5b,5cに仮想のカメ
ラ6を配置して撮影した場合に得られる写真、すなわ
ち、図3(ロ)(ハ)(ニ)にそれぞれ示した如きモニ
ター画面3上の画像に相当する3枚の写真を用いて行う
写真計測をシミュレーションし、得られる計測結果の計
測精度を算出する(ステップS4)。なお、上記シミュ
レーションを行う場合には、実際の写真計測で用いるロ
ジックに所要のノイズを加えて、実際の写真計測に近づ
けるようにさせるものとする。
Next, a photograph obtained when the virtual camera 6 is arranged at each of the virtual photographing positions 5a, 5b, and 5c set in step S3 and photographed, that is, FIGS. 3B, 3C, and 3C (D) Simulate photo measurement using three photographs corresponding to the images on the monitor screen 3 as shown in (d), and calculate the measurement accuracy of the obtained measurement result (step S4). When performing the above simulation, it is assumed that the required noise is added to the logic used in the actual photo measurement so as to approximate the actual photo measurement.

【0016】その後、上記ステップS4において算出さ
れた計測精度と、実際の写真計測を行う場合に計測者が
所望する計測精度との比較を行い(ステップS5)、ス
テップS4において算出された計測精度が計測者の所望
する計測精度よりも低い場合、たとえば、計測者が0.
05までの計測精度での計測を所望しているのに対し、
上記ステップS4にて算出された計測精度が0.1まで
しか得られない場合には、ステップS3に戻して、仮想
写真撮影位置5a,5b,5cの位置の変更を行って、
3個所の仮想写真撮影位置を再び設定するか、もしく
は、写真計測に用いる写真の枚数を増やすことができる
ように、既存の仮想写真撮影位置5a,5b,5cに加
えて新たな仮想写真撮影位置(図示せず)を設定した
後、ステップS4にて上記と同様に写真計測をシミュレ
ーションして、得られる計測精度を計算させるようにす
る。
Thereafter, the measurement accuracy calculated in step S4 is compared with the measurement accuracy desired by the measurer when performing actual photograph measurement (step S5), and the measurement accuracy calculated in step S4 is compared. If the measurement accuracy is lower than the measurement accuracy desired by the measurer, for example,
While we want to measure with measurement accuracy up to 05,
If the measurement accuracy calculated in step S4 is only up to 0.1, the process returns to step S3 to change the positions of the virtual photographing positions 5a, 5b, and 5c.
In addition to the existing virtual photographing positions 5a, 5b, and 5c, a new virtual photographing position is set so that the three virtual photographing positions can be set again or the number of photographs used for photograph measurement can be increased. After setting (not shown), the photograph measurement is simulated in the same manner as described above in step S4, and the obtained measurement accuracy is calculated.

【0017】ステップS5において、ステップS4で算
出された計測精度が、計測者の所望する計測精度以上で
あると判断された場合には、ステップS6に進ませ、上
記ステップS4で設定された各仮想写真撮影位置5a,
5b,5cを、所望する計測精度の保証された写真撮影
位置として決定した後、上記各仮想写真撮影位置5a,
5b,5cの情報をカメラ位置及びカメラの向き等を指
示する撮影位置指示書として、写真計測すべき計測ポイ
ント4の情報とともに出力させる(ステップS7)。こ
の際、出力させる撮影位置指示書に、ステップS3にお
いて仮想写真撮影位置5a,5b,5cを設定する際に
モニター画面3上に表示させた図3(ロ)(ハ)(ニ)
に示される如き画像、すなわち、3DCAD空間1内に
配した仮想のカメラ6のファインダーを通して観察され
るモデル2の画像を添付させるようにすれば、実際の撮
影時にカメラのファインダーを通して見たものと、上記
画像とを一致させるようにすることで、撮影すべき写真
についてより具体的な指示を与えることも可能となる。
If it is determined in step S5 that the measurement accuracy calculated in step S4 is equal to or higher than the measurement accuracy desired by the measurer, the process proceeds to step S6, where each virtual setting set in step S4 is performed. Photography position 5a,
After determining 5b and 5c as the photographing positions where the desired measurement accuracy is guaranteed, the above virtual photographing positions 5a and 5c are determined.
The information of 5b and 5c is output together with the information of the measurement point 4 to be photographed as a photographing position instruction for instructing the camera position and the direction of the camera (step S7). At this time, the photographing position instruction to be output is displayed on the monitor screen 3 when the virtual photographing positions 5a, 5b, 5c are set in step S3 in FIGS.
Is attached, that is, the image of the model 2 observed through the viewfinder of the virtual camera 6 arranged in the 3D CAD space 1 is attached, when viewed through the viewfinder of the camera at the time of actual shooting, By matching the image, it is possible to give a more specific instruction for the photograph to be taken.

【0018】なお、上記ステップS3〜ステップS5を
繰り返し行って、3DCAD空間1内の計測ポイント4
を撮影し得る領域内における仮想写真撮影位置の設定位
置を検討しても、ステップS4にて行うシミュレーショ
ンで算出される計測精度が所望する計測精度に達しない
場合には、上記計測ポイント4は写真計測に不適である
として、計測対象から除外するようにしてある(ステッ
プS8)。
Steps S3 to S5 are repeatedly performed to obtain the measurement points 4 in the 3D CAD space 1.
If the measurement accuracy calculated by the simulation performed in step S4 does not reach the desired measurement accuracy even after considering the set position of the virtual photographing position in the region where the image can be taken, the measurement point 4 is set to the photograph It is determined to be unsuitable for measurement and excluded from the measurement target (step S8).

【0019】このように、ステップS7において出力さ
れる撮影位置指示書では、実際の写真計測時に所望する
計測精度以上の計測精度を得られることが予めシミュレ
ーションで保証された写真撮影位置が指示されているこ
とから、上記撮影位置指示書の指示に基づいて実際にカ
メラを設置し、写真撮影を行うことにより、撮影された
写真を用いて所望する計測精度以上の写真計測を行うこ
とができて、計測現場で計測対象物を見ながら写真撮影
位置の検討を行う必要をなくすことができ、計測者の勘
に頼ることなく、誰にでも容易に写真計測用の写真を撮
影させることができて、適切な写真計測作業を行うこと
ができる。又、写真計測では所望する計測精度が得られ
ないことが判っている計測ポイント4は、予めステップ
S8において計測の対象から除くことができるので、写
真撮影作業の無駄を省くことができる。
As described above, in the photographing position instruction written in step S7, a photographing position that is previously guaranteed by simulation to obtain a measurement accuracy higher than a desired measurement accuracy in actual photograph measurement is specified. Therefore, by actually installing the camera based on the instructions of the above-mentioned shooting position instruction book and taking a photograph, it is possible to perform a photograph measurement of a desired measurement accuracy or more using the taken photograph, This eliminates the need to examine the photographing position while observing the measurement object at the measurement site, and allows anyone to easily take a photo for photo measurement without relying on the intuition of the measurer, Appropriate photo measurement work can be performed. Further, since the measurement point 4 for which it is known that the desired measurement accuracy cannot be obtained by the photo measurement can be excluded in advance from the measurement target in step S8, waste of the photo shooting operation can be eliminated.

【0020】次に、図4は本発明の実施の他の形態にお
ける作業手順のフローを示すもので、上記と同様に3D
CAD空間1内に作成した計測対象物のモデル2に対し
て、写真計測を望む計測ポイント4を設定した後、該計
測ポイント4の写真計測を行う場合に所望する計測精度
(設定された計測精度以上の計測精度)で写真計測を行
うことが可能な写真撮影位置はどこがよいかを求めて撮
影位置指示書として出力できるようにしたものである。
FIG. 4 shows a flow of a work procedure according to another embodiment of the present invention.
After setting a measurement point 4 for which a photo measurement is desired for the model 2 of the measurement object created in the CAD space 1, a desired measurement accuracy when the photo measurement of the measurement point 4 is performed (the set measurement accuracy) A photographing position at which photograph measurement can be performed with the above-described measurement accuracy) is determined so that it can be output as a photographing position instruction sheet.

【0021】すなわち、先ず、上記実施の形態における
ステップS1〜S2の手順と同様に、計測対象物の設計
データをもとに、3DCAD空間1内にて計測対象物の
モデル2を作成させると共に、該モデル2に対して計測
ポイント4の設定を行わせた後、該計測ポイント4に対
して写真計測を行う場合に所望する計測精度を入力させ
(ステップS9)、次に、上記ステップS2において設
定した計測ポイント4のデータを基に、3DCAD空間
内において該計測ポイント4を観察可能な領域内にて、
写真計測を行う場合に所望する計測精度以上の計測精度
の得られる写真の組を撮影することが可能な3個所以上
の仮想写真撮影位置を計算させ(ステップS10)、算
出された各仮想写真撮影位置を、所望する計測精度の保
証された写真撮影位置として決定した後(ステップS1
1)、上記各仮想写真撮影位置の情報をカメラ位置及び
カメラの向き等を指示する撮影位置指示書として、写真
計測すべき計測ポイント4とともに出力させる(ステッ
プS12)ようにする。
That is, similarly to the procedure of steps S1 and S2 in the above embodiment, a model 2 of a measurement object is created in the 3D CAD space 1 based on the design data of the measurement object. After the measurement point 4 is set for the model 2, a desired measurement accuracy is input when the photograph measurement is performed for the measurement point 4 (step S <b> 9). Based on the data of the measurement point 4 obtained, in a region where the measurement point 4 can be observed in the 3D CAD space,
When performing photo measurement, three or more virtual photo shooting positions capable of shooting a set of photos with a measurement accuracy higher than the desired measurement accuracy are calculated (step S10), and each calculated virtual photo shooting position is calculated. After the position is determined as the photographing position where the desired measurement accuracy is guaranteed (step S1)
1) The information of each virtual photographing position is output as a photographing position instruction for designating a camera position, a camera direction, and the like, together with the measurement point 4 to be photographed (step S12).

【0022】本実施の形態によれば、上記実施の形態と
同様の効果を得ることができ、更に、3DCAD空間1
内において、計測対象物のモデル2上に計測ポイント4
を設定すると共に、実際の写真計測時に所望する計測精
度を入力するのみで、該所望する計測精度以上の計測精
度で写真計測を行うことが可能な写真を撮影するための
写真撮影位置を容易に決定することができる。
According to this embodiment, the same effects as those of the above embodiment can be obtained.
Within the measurement object model 2
By simply inputting the desired measurement accuracy at the time of actual photo measurement, the user can easily set a photographing position for taking a photo capable of performing photo measurement with a measurement accuracy higher than the desired measurement accuracy. Can be determined.

【0023】なお、本発明は上記実施の形態のみに限定
されるものではなく、図2及び図3(イ)(ロ)(ハ)
(ニ)では計測対象物のモデル2を立方体として示した
が、計測対象物としては任意の形状のものに適用できる
こと、又、3DCAD空間1内における計測対象物のモ
デル2の前面に1つの計測ポイント4を設定するものと
して示したが、計測ポイント4は、外部より観察するこ
とができれば、上記モデル2上のいかなる場所に設定し
てもよく、更に、1台のカメラで同時に撮影することが
可能な配置であれば、複数の計測ポイント4を同時に設
定すると共に、該各計測ポイント4を所望する計測精度
以上の計測精度で写真計測を行い得る1組の写真撮影位
置を決定するようにしてもよいこと、図3(イ)では、
設定する仮想写真撮影位置5a,5b,5cを、3DC
AD空間内においてそれぞれ水平方向に位置が相違する
ものとして示したが、計測対象物のモデル2の形状や計
測ポイント4の設定位置に応じて、高さ方向に位置の異
なる仮想写真撮影位置を設定することも可能であるこ
と、ステップS2における計測ポイント4の設定の段階
で、図3(ロ)(ハ)(ニ)に示したものと同様に、3
DCAD空間1内に配置した仮想のカメラ6のファイン
ダーを通して観察されるモデル2の画像をモニター画面
3上に表示させるようにしてもよいこと、上記いずれの
実施の形態においても、仮想写真撮影位置は、3個所以
上設定するものとして示したが、これは、3個所以上と
すると高い計測精度を得ることができるためであり、所
望される計測精度が低い場合には2個所のみ設定するよ
うにしてもよいこと、その他、本発明の要旨を逸脱しな
い範囲内において種々変更を加え得ることは勿論であ
る。
It should be noted that the present invention is not limited to only the above-described embodiment, and FIGS. 2 and 3 (a), (b), and (c).
In (d), the model 2 of the measurement object is shown as a cube. However, the measurement object can be applied to any shape, and one measurement object is placed in front of the model 2 of the measurement object in the 3D CAD space 1. Although the point 4 is shown as being set, the measuring point 4 may be set at any place on the model 2 as long as it can be observed from the outside. If possible, a plurality of measurement points 4 are set at the same time, and a set of photographing positions at which each of the measurement points 4 can perform photo measurement with a measurement accuracy higher than the desired measurement accuracy is determined. In FIG. 3 (a),
Set the virtual photographing positions 5a, 5b, 5c to be set to 3DC
Although the position is shown as being different in the horizontal direction in the AD space, virtual photographing positions different in position in the height direction are set in accordance with the shape of the model 2 of the measurement object and the setting position of the measurement point 4. In the stage of setting the measurement point 4 in the step S2, as shown in FIGS.
The image of the model 2 observed through the viewfinder of the virtual camera 6 arranged in the DCAD space 1 may be displayed on the monitor screen 3. In any of the above embodiments, the virtual photographing position is , Three or more positions are set, but this is because high measurement accuracy can be obtained when three or more positions are set. If the desired measurement accuracy is low, only two positions are set. Of course, various changes can be made without departing from the spirit of the present invention.

【0024】[0024]

【発明の効果】以上述べた如く、本発明の写真計測用写
真撮影位置の決定方法によれば、計測対象物の設計デー
タを3DCAD上に取り込んで作成したモデルに対し、
写真計測を所望する計測ポイントを設定し、次に、設定
された計測ポイントを撮影し得る、少なくとも2個所の
仮想写真撮影位置を3DCAD空間内にて設定し、該各
仮想写真撮影位置にて撮影された写真を基に写真計測を
行った場合に得られる計測精度を算出し、該算出された
計測精度が実際の計測時に所望される計測精度より低い
場合は、仮想写真撮影位置を変更するか又は仮想写真撮
影位置を増やして、これら仮想写真撮影位置にて撮影さ
れた写真を基に写真計測を行った場合に得られる計測精
度を再び算出させ、算出された計測精度が実際の計測時
に所望される計測精度以上となった場合に、上記各仮想
写真撮影位置を実際の写真撮影位置として指示する撮影
位置指示書を出力させる構成としてあるので、3DCA
D空間内において、計測対象物のモデル上に設定された
計測ポイントを撮影し得る領域内にて仮想写真撮影位置
を設定すると、該各仮想写真撮影位置で撮影される写真
を基に行う写真計測がシミュレーションされて得られる
計測精度が算出され、この算出された計測精度が実際の
写真計測に所望する計測精度よりも低い場合には、仮想
写真撮影位置の変更、又は、仮想写真撮影位置を増やす
ことにより算出される計測精度の改善させることがで
き、算出される計測精度が実際の写真計測に所望する計
測精度以上として算出された場合にのみ、各仮想写真撮
影位置を実際の写真撮影位置として指示する撮影位置指
示書を出力させることができることから、上記撮影位置
指示書の指示に基づいて実際にカメラを設置し、写真撮
影を行うことにより、撮影された写真を用いて所望する
計測精度以上の写真計測を行うことができ、これによ
り、計測現場で計測対象物を見ながら写真撮影位置の検
討を行う必要をなくすことができ、計測者の勘に頼るこ
となく、誰にでも容易に写真計測用の写真を撮影させる
ことができて、適切な写真計測作業を行うことができ、
又、写真計測では所望する計測精度が得られないことが
判っている計測ポイントは、予め計測の対象から除外す
るができて、写真撮影作業の無駄を省くことができると
いう優れた効果を発揮し、又、モニター画面上に、3D
CAD空間内に配した仮想のカメラのファインダーを通
して観察される像を表示させながら仮想写真撮影位置を
設定するようにした構成とすることにより、モニター画
面上に計測ポイントが表示されている状態において仮想
のカメラの位置を仮想写真撮影位置として設定すること
で、3DCAD空間内において、計測ポイントの撮影可
能な領域内に仮想写真撮影位置を容易に設定することが
でき、更に、計測対象物の設計データを3DCAD上に
取り込んで作成したモデルに対し、写真計測を所望する
計測ポイントを設定し、次に、該計測ポイントの実際の
写真計測時に所望する計測精度を設定し、3DCAD空
間内における上記計測ポイントを撮影し得る領域内に
て、上記計測ポイントを撮影した写真を基に写真計測を
行った場合に得られる計測精度が、上記所望する計測精
度以上となる仮想写真撮影位置を計算して2個所以上設
定し、該設定された各仮想写真撮影位置を実際の写真撮
影位置として指示する撮影位置指示書を出力させる構成
とすることにより、3DCAD空間内において、計測対
象物のモデル上に計測ポイントを設定すると共に、実際
の写真計測時に所望する計測精度を入力するのみで、該
所望の計測精度以上の計測精度で写真計測を行うことが
可能な写真を撮影するための写真撮影位置を容易に決定
することができるという効果を発揮する。
As described above, according to the method for determining a photographing position for photograph measurement of the present invention, a model created by importing design data of an object to be measured into 3D CAD is used.
A measurement point at which photograph measurement is desired is set, and then at least two virtual photographing positions at which the set measurement point can be photographed are set in the 3D CAD space, and photographing is performed at each virtual photographing position. Calculating the measurement accuracy obtained when performing photo measurement based on the obtained photo, and if the calculated measurement accuracy is lower than the measurement accuracy desired at the time of actual measurement, change the virtual photographing position. Alternatively, the virtual photographing position is increased, and the measurement accuracy obtained when photograph measurement is performed based on the photographs taken at these virtual photographing positions is calculated again, and the calculated measurement accuracy is desired during actual measurement. When the measurement accuracy is equal to or higher than the measured accuracy, the photographing position instruction for designating each virtual photographing position as the actual photographing position is output.
In the D space, when a virtual photographing position is set within an area where a measuring point set on a model of a measurement target can be photographed, a photograph measurement performed based on the photograph taken at each virtual photographing position Is calculated by simulation, and if the calculated measurement accuracy is lower than the measurement accuracy desired for actual photograph measurement, the virtual photographing position is changed or the virtual photographing position is increased. It is possible to improve the measurement accuracy calculated by the above, and only when the calculated measurement accuracy is calculated as the desired measurement accuracy or more for the actual photo measurement, each virtual photo shooting position is set as the actual photo shooting position. Since it is possible to output the shooting position instruction to instruct, by actually installing the camera based on the instruction of the above shooting position instruction and taking a picture It is possible to perform photomeasurement beyond the desired measurement accuracy using the photographed photograph, thereby eliminating the need to examine the photographing position while observing the measurement object at the measurement site, and reduce the operator's Without relying on intuition, anyone can easily take pictures for photo measurement, and perform appropriate photo measurement work,
In addition, measurement points for which it is known that the desired measurement accuracy cannot be obtained by photo measurement can be excluded from measurement targets in advance, which has an excellent effect that waste of photo shooting work can be reduced. , And 3D on the monitor screen
With the configuration in which the virtual photographing position is set while displaying the image observed through the viewfinder of the virtual camera arranged in the CAD space, the virtual point is displayed in a state where the measurement points are displayed on the monitor screen. By setting the position of the camera as the virtual photographing position, the virtual photographing position can be easily set within the area where the measurement point can be photographed in the 3D CAD space. Is set on a 3D CAD model and a measurement point at which a photo measurement is desired is set. Next, a measurement accuracy desired at the time of actual photo measurement of the measurement point is set, and the measurement point in the 3D CAD space is set. Is obtained when a photo measurement is performed based on a photo taken of the above measurement point within the area where A virtual photographing position at which the measurement accuracy is equal to or higher than the desired measurement accuracy is calculated, two or more positions are set, and a photographing position instruction sheet indicating each of the set virtual photographing positions as an actual photographing position is output. With this configuration, in the 3D CAD space, a measurement point is set on the model of the measurement target, and a desired measurement accuracy is input at the time of actual photograph measurement. This makes it possible to easily determine a photographing position for photographing a photograph for which photograph measurement can be performed.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の写真計測用写真撮影位置の決定方法の
実施の一形態を示すもので、作業手順のフローを示す図
である。
FIG. 1 shows an embodiment of a method for determining a photographing position for photograph measurement according to the present invention, and is a diagram showing a flow of a work procedure.

【図2】図1のステップS1において3DCAD空間内
に作成した計測対象物のモデルの一例を示す図である。
FIG. 2 is a diagram illustrating an example of a model of a measurement target created in a 3D CAD space in step S1 of FIG. 1;

【図3】図1のステップS3において仮想写真撮影位置
を設定する場合の概略を示すもので、(イ)は3DCA
D空間内における仮想のカメラの配置を示す図、(ロ)
(ハ)(ニ)はそれぞれ(イ)の5a,5b,5cの各
位置に仮想のカメラが位置する場合にモニター画面上に
表示される画像を示す図である。
FIG. 3 schematically shows a case where a virtual photographing position is set in step S3 of FIG. 1;
The figure which shows arrangement | positioning of the virtual camera in D space, (b)
(C) and (d) are diagrams showing images displayed on the monitor screen when a virtual camera is located at each of the positions 5a, 5b, and 5c in (a).

【図4】本発明の実施の他の形態における作業手順のフ
ローを示す図である。
FIG. 4 is a diagram showing a flow of a work procedure in another embodiment of the present invention.

【符号の説明】[Explanation of symbols]

1 3DCAD空間 2 計測対象物のモデル 3 モニター画面 4 計測ポイント 5a,5b,5c 仮想写真撮影位置 6 仮想のカメラ 1 3D CAD space 2 Model of object to be measured 3 Monitor screen 4 Measurement points 5a, 5b, 5c Virtual photographing position 6 Virtual camera

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】 計測対象物の設計データを3DCAD上
に取り込んで作成したモデルに対し、写真計測を所望す
る計測ポイントを設定し、次に、設定された計測ポイン
トを撮影し得る、少なくとも2個所の仮想写真撮影位置
を3DCAD空間内にて設定し、該各仮想写真撮影位置
にて撮影された写真を基に写真計測を行った場合に得ら
れる計測精度を算出し、該算出された計測精度が実際の
計測時に所望される計測精度より低い場合は、仮想写真
撮影位置を変更するか又は仮想写真撮影位置を増やし
て、これら仮想写真撮影位置にて撮影された写真を基に
写真計測を行った場合に得られる計測精度を再び算出さ
せ、算出された計測精度が実際の計測時に所望される計
測精度以上となった場合に、上記各仮想写真撮影位置を
実際の写真撮影位置として指示する撮影位置指示書を出
力させることを特徴とする写真計測用写真撮影位置の決
定方法。
1. A measurement point for which a photographic measurement is desired is set for a model created by importing design data of a measurement target onto a 3D CAD, and then at least two points at which the set measurement point can be photographed. Is set in the 3D CAD space, and a measurement accuracy obtained when a photo measurement is performed based on a photograph taken at each virtual photo shooting position is calculated, and the calculated measurement accuracy is calculated. If the measurement accuracy is lower than the measurement accuracy desired at the time of actual measurement, the virtual photographing position is changed or the virtual photographing position is increased, and photograph measurement is performed based on the photograph taken at these virtual photographing positions. The measurement accuracy obtained in the above case is calculated again, and when the calculated measurement accuracy is equal to or more than the measurement accuracy desired at the time of actual measurement, each of the virtual photographing positions is regarded as an actual photographing position. A method for determining a photographing position for photograph measurement, characterized by outputting a photographing position instruction sheet to designate.
【請求項2】 モニター画面上に、3DCAD空間内に
配した仮想のカメラのファインダーを通して観察される
像を表示させながら仮想写真撮影位置を設定するように
した請求項1記載の写真計測用写真撮影位置の決定方
法。
2. The photographing apparatus according to claim 1, wherein a virtual photographing position is set while displaying an image observed through a viewfinder of a virtual camera arranged in a 3D CAD space on a monitor screen. How to determine the position.
【請求項3】 計測対象物の設計データを3DCAD上
に取り込んで作成したモデルに対し、写真計測を所望す
る計測ポイントを設定し、次に、該計測ポイントの実際
の写真計測時に所望する計測精度を設定し、3DCAD
空間内における上記計測ポイントを撮影し得る領域内に
て、上記計測ポイントを撮影した写真を基に写真計測を
行った場合に得られる計測精度が、上記所望する計測精
度以上となる仮想写真撮影位置を計算して2個所以上設
定し、該設定された各仮想写真撮影位置を実際の写真撮
影位置として指示する撮影位置指示書を出力させること
を特徴とする写真計測用写真撮影位置の決定方法。
3. A measurement point at which a photo measurement is desired is set for a model created by importing design data of a measurement object onto 3D CAD, and then a measurement accuracy desired at the time of actual photo measurement of the measurement point is set. And set 3DCAD
In a region where the measurement point can be photographed in space, a virtual photographing position at which the measurement accuracy obtained when performing photo measurement based on a photograph of the measurement point is equal to or greater than the desired measurement accuracy And calculating two or more locations, and outputting a photography position instruction for designating each set virtual photography position as an actual photography position.
JP2000221162A 2000-07-21 2000-07-21 How to determine the photography position for photo measurement Expired - Lifetime JP4470292B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000221162A JP4470292B2 (en) 2000-07-21 2000-07-21 How to determine the photography position for photo measurement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000221162A JP4470292B2 (en) 2000-07-21 2000-07-21 How to determine the photography position for photo measurement

Publications (2)

Publication Number Publication Date
JP2002039753A true JP2002039753A (en) 2002-02-06
JP4470292B2 JP4470292B2 (en) 2010-06-02

Family

ID=18715628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000221162A Expired - Lifetime JP4470292B2 (en) 2000-07-21 2000-07-21 How to determine the photography position for photo measurement

Country Status (1)

Country Link
JP (1) JP4470292B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011257389A (en) * 2010-05-14 2011-12-22 West Japan Railway Co Structure displacement measuring method
JP2013064618A (en) * 2011-09-16 2013-04-11 Mitsubishi Electric Corp Photogrammetry system and photographing condition determination method for photogrammetry
JP2013160602A (en) * 2012-02-03 2013-08-19 Mitsubishi Electric Corp Photographic surveying apparatus
WO2021039088A1 (en) * 2019-08-28 2021-03-04 パナソニックIpマネジメント株式会社 Imaging parameter output method and imaging parameter output device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6138077B2 (en) * 2014-03-19 2017-05-31 三菱電機株式会社 PHOTO MEASUREMENT SYSTEM AND PHOTOGRAPHING POSITION POSITION METHOD

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011257389A (en) * 2010-05-14 2011-12-22 West Japan Railway Co Structure displacement measuring method
JP2013064618A (en) * 2011-09-16 2013-04-11 Mitsubishi Electric Corp Photogrammetry system and photographing condition determination method for photogrammetry
JP2013160602A (en) * 2012-02-03 2013-08-19 Mitsubishi Electric Corp Photographic surveying apparatus
WO2021039088A1 (en) * 2019-08-28 2021-03-04 パナソニックIpマネジメント株式会社 Imaging parameter output method and imaging parameter output device

Also Published As

Publication number Publication date
JP4470292B2 (en) 2010-06-02

Similar Documents

Publication Publication Date Title
US5384615A (en) Ambient depth-of-field simulation exposuring method
KR100842552B1 (en) Method for photographing panorama picture
JP4178009B2 (en) Shooting system
US20050122400A1 (en) Photographic apparatus with function of image correction and method thereof
JP2007164258A (en) Image synthesizing device and method
JP2004286733A (en) Method for determination of imaging equation for autologous calibration on performing stereo piv method
CN102196166A (en) Imaging device and display method
WO2005054779A1 (en) Noncontact three-dimensional measuring method and device
JP2004286465A (en) Method for measuring object by image and imaging apparatus
JP2007225423A (en) Displacement measuring apparatus
JP2000125190A (en) Camera system and recording medium
JP2008216158A (en) Displacement measuring device
JP2002039753A (en) Method for deciding photographing position for photogrammetry
JP2001317915A (en) Three-dimensional measurement apparatus
JPH10320558A (en) Calibration method, corresponding point search method and device therefor, focus distance detection method and device therefor, three-dimensional position information detection method and device therefor, and recording medium
JP6138077B2 (en) PHOTO MEASUREMENT SYSTEM AND PHOTOGRAPHING POSITION POSITION METHOD
JP4208980B2 (en) Photo shooting management method
JP2006338284A (en) Image composition device and image composition method
JP4598372B2 (en) 3D field for calibration, 3D field for calibration
JP2003037767A (en) Digital camera
JP3446020B2 (en) Shape measurement method
CN112964189B (en) Measurement method for quasi-static stress deformation in large view field plane
JPH11148822A (en) Camera for photogrammetry
JP7463133B2 (en) Area measuring device, area measuring method, and program
JP7324639B2 (en) Subject position estimation device, focus assist device, and programs thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090908

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4470292

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140312

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term