JP2000306096A - Formation of virtual camera image - Google Patents
Formation of virtual camera imageInfo
- Publication number
- JP2000306096A JP2000306096A JP11110270A JP11027099A JP2000306096A JP 2000306096 A JP2000306096 A JP 2000306096A JP 11110270 A JP11110270 A JP 11110270A JP 11027099 A JP11027099 A JP 11027099A JP 2000306096 A JP2000306096 A JP 2000306096A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional coordinate
- dimensional
- coordinate system
- image
- projection plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、三次元座標系に従
って特定される光学系主点の位置や光学系主軸の向き、
焦点距離といったカメラ情報に基づき、１投影面上に仮
想カメラ画像を形成する仮想カメラ画像形成方法に関す
る。[0001] The present invention relates to a position of a principal point of an optical system specified according to a three-dimensional coordinate system, a direction of a principal axis of an optical system,
The present invention relates to a virtual camera image forming method for forming a virtual camera image on one projection plane based on camera information such as a focal length.
【０００２】[0002]
【従来の技術】一般に、製造の分野では、加工品が設計
通りに加工されたか否か、成型品が設計通りに成形され
たか否かが検証される。この検証には、高い精度で加工
品や成型品を象った検査具が広く用いられる。検査具に
加工品や成型品がはめ込まれると、検査具で規定される
理想形状に対して実際の加工品や成型品の誤差が一目で
確認されることができる。そういった誤差は例えばノギ
スなどを用いて測定されることができる。しかしなが
ら、使用される検査具は各加工品や成型品ごとに用意さ
れなければならず、検査具の製作には多大な費用や手間
がかかるだけでなく、製作された検査具を保管するにあ
たって多大なスペースが必要とされる。2. Description of the Related Art In the field of manufacturing, it is generally verified whether a processed product is processed as designed and whether a molded product is formed as designed. For this verification, an inspection tool that models a processed product or a molded product with high accuracy is widely used. When the processed product or the molded product is fitted into the inspection tool, an error of the actual processed product or the molded product with respect to the ideal shape defined by the inspection tool can be confirmed at a glance. Such an error can be measured using, for example, a caliper. However, the test equipment to be used must be prepared for each processed product or molded product, and the production of the test equipment is not only expensive and troublesome, but also a great deal of time is required to store the manufactured test equipment. Space is required.
【０００３】その一方で、そういった検証にあたって、
三次元測定機を用いて加工品や成型品の実寸法を測定す
ることが広く行われている。三次元測定機で測定された
実寸法と、加工品や成型品の設計寸法を特定する形状デ
ータとが比較されると、加工品や成型品の寸法誤差が算
出されることができる。しかしながら、こうした三次元
測定機では、加工品や成型品の表面に沿って接触プロー
ブを万遍なく移動させなければならない。接触プローブ
は加工品や成型品の表面に点接触することから、寸法測
定にあたって加工品や成型品の全表面にわたって十分な
サンプルデータを取得するには多大な時間が必要とされ
る。しかも、人手を用いて接触プローブを移動させれば
測定結果にばらつきが生じてしまい、ロボットを用いて
自動的に接触プローブを移動させればティーチング作業
に多くの時間や労力が費やされてしまう。On the other hand, in such verification,
2. Description of the Related Art Measuring the actual dimensions of a processed product or a molded product using a three-dimensional measuring machine is widely performed. When the actual dimensions measured by the three-dimensional measuring device are compared with the shape data for specifying the design dimensions of the processed product or the molded product, the dimensional error of the processed product or the molded product can be calculated. However, in such a coordinate measuring machine, the contact probe must be moved uniformly along the surface of the processed product or the molded product. Since the contact probe makes a point contact with the surface of a processed product or a molded product, a large amount of time is required to obtain sufficient sample data over the entire surface of the processed product or the molded product when measuring dimensions. In addition, if the contact probe is moved manually, the measurement results will vary. If the contact probe is automatically moved using a robot, much time and labor will be spent on the teaching work. .
【０００４】[0004]
【発明が解決しようとする課題】本発明者らは、カメラ
の実写像を用いて加工品や成型品の形状を簡単に検証す
ることが可能な形状検証システムを提案する。この形状
検証システムでは、形状データに基づき例えばコンピュ
ータ内に描き出される仮想カメラ画像と加工品や成型品
の実写像とが相互に比較される結果、設計寸法に対する
加工品や成型品の寸法誤差は測定される。しかしなが
ら、実写像にはレンズの歪みが影響することから、実写
像に正確に整合する仮想カメラ画像を形成することは難
しい。これまでのところ、こうしたレンズの歪みを考慮
して仮想カメラ画像を形成することは試みられていな
い。SUMMARY OF THE INVENTION The present inventors propose a shape verification system that can easily verify the shape of a processed product or a molded product using an actual image of a camera. In this shape verification system, the virtual camera image drawn in a computer, for example, based on the shape data and the actual image of the processed product or molded product are compared with each other, and the dimensional error of the processed product or molded product with respect to the design dimension is measured. Is done. However, it is difficult to form a virtual camera image that exactly matches the real image because the lens distortion affects the real image. So far, no attempt has been made to form a virtual camera image in consideration of such lens distortion.
【０００５】本発明は、上記実状に鑑みてなされたもの
で、実写像に現れるレンズの歪みの影響を反映し、実写
像に正確に整合した仮想カメラ画像を形成することがで
きる仮想カメラ画像形成方法を提供することを目的とす
る。SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned circumstances, and reflects the influence of lens distortion appearing in an actual image, thereby forming a virtual camera image accurately aligned with the actual image. The aim is to provide a method.
【０００６】[0006]
【課題を解決するための手段】上記目的を達成するため
に、本発明によれば、三次元空間に設定された基準点が
１投影面に映し出される画像データを取得する工程と、
前記三次元空間に構築された三次元座標系に従って前記
基準点の三次元座標値を特定する基準位置データを取得
する工程と、取得した画像データおよび基準位置データ
に基づき、投影面に規定される二次元座標系および前記
三次元座標系の間で写像を実現する変換行列を導き出す
工程とを備えることを特徴とする仮想カメラ画像形成方
法が提供される。According to the present invention, in order to achieve the above object, there is provided a step of acquiring image data in which a reference point set in a three-dimensional space is projected on one projection plane;
A step of acquiring reference position data specifying three-dimensional coordinate values of the reference point according to a three-dimensional coordinate system constructed in the three-dimensional space; and defining the projection plane based on the acquired image data and reference position data. Deriving a transformation matrix for realizing a mapping between the two-dimensional coordinate system and the three-dimensional coordinate system.
【０００７】例えば一般の撮像装置では、三次元空間に
存在する三次元物体はレンズを通して二次元の結像面に
写像される。こうしたレンズの働きは、任意の物体座標
系すなわち三次元座標系から二次元座標系への座標変換
として捉えられる。したがって、こうした座標変換を実
現する変換行列を用いれば、仮想空間で再現される三次
元像を任意の二次元投影面に投影させることができる。
撮像装置で得られる画像データと基準位置データとを用
いれば、現実のレンズの働きを反映した変換行列が導き
出されることができる。その結果、仮想空間の三次元像
は、あたかも実際のレンズを通して結像されたように仮
想空間の１投影面に描き出されることができる。For example, in a general imaging apparatus, a three-dimensional object existing in a three-dimensional space is mapped onto a two-dimensional image plane through a lens. The function of such a lens can be understood as a coordinate transformation from an arbitrary object coordinate system, that is, a three-dimensional coordinate system to a two-dimensional coordinate system. Therefore, a three-dimensional image reproduced in a virtual space can be projected onto an arbitrary two-dimensional projection plane by using a transformation matrix that realizes such coordinate transformation.
Using the image data and the reference position data obtained by the imaging device, it is possible to derive a conversion matrix that reflects the function of the actual lens. As a result, the three-dimensional image of the virtual space can be drawn on one projection plane of the virtual space as if it were formed through a real lens.
【０００８】具体的には、本発明に係る仮想カメラ画像
形成方法は、例えば、三次元空間に設定された基準点が
１投影面に映し出される画像データに基づき、投影面に
規定される二次元座標系に従って基準点の二次元座標値
（ｘi ，ｙi ）を取得する工程と、前記三次元空間に構
築された三次元座標系に従って前記基準点の三次元座標
値（ｘ，ｙ，ｚ）を取得する工程と、取得した二次元座
標値（ｘi ，ｙi ）および三次元座標値（ｘ，ｙ，ｚ）
に基づき、More specifically, the virtual camera image forming method according to the present invention provides, for example, a two-dimensional image defined on a projection plane based on image data in which a reference point set in a three-dimensional space is projected on one projection plane. Obtaining a two-dimensional coordinate value (x i , y i ) of the reference point according to the coordinate system; and a three-dimensional coordinate value (x, y, z) of the reference point according to the three-dimensional coordinate system constructed in the three-dimensional space. ), And the obtained two-dimensional coordinate values (x i , y i ) and three-dimensional coordinate values (x, y, z)
Based on
【数１６】 に従って各パラメータＣ１１〜Ｃ３４を算出する工程
と、算出されたパラメータＣ１１〜Ｃ３４を用いて、前
記二次元座標系および三次元座標系の間で写像を実現す
る変換行列(Equation 16) Calculating the parameters C11 to C34 according to the following formula: and a conversion matrix for realizing a mapping between the two-dimensional coordinate system and the three-dimensional coordinate system using the calculated parameters C11 to C34.
【数１７】 を導き出す工程とを備えればよい。こうした工程によれ
ば、前述したとおり、現実のレンズの歪みを反映した変
換行列Ｒが導き出されることとなる。[Equation 17] And a step of deriving According to these steps, as described above, the transformation matrix R reflecting the actual lens distortion is derived.
【０００９】こうして導き出された変換行列Ｒを用いれ
ば、前記三次元座標系で特定される三次元座標点（ｘ，
ｙ，ｚ）は、Using the transformation matrix R derived in this manner, the three-dimensional coordinate point (x,
y, z) is
【数１８】 ただし、(Equation 18) However,
【数１９】 に基づき、前記二次元座標系で特定される二次元座標点
（ｘi ，ｙi ）に写像されることができる。その結果、
三次元座標系が構築された仮想空間に描き出される三次
元像は、レンズの歪みを反映しながら、二次元座標系が
構築された１投影面に二次元像として描き出されること
ができる。[Equation 19] Based on the two-dimensional coordinate system, the two-dimensional coordinate point (x i , y i ) specified in the two-dimensional coordinate system can be mapped. as a result,
The three-dimensional image drawn in the virtual space in which the three-dimensional coordinate system has been constructed can be rendered as a two-dimensional image on one projection plane in which the two-dimensional coordinate system has been constructed, while reflecting the distortion of the lens.
【００１０】さらに具体的には、本発明に係る仮想カメ
ラ画像形成方法は、例えば、三次元空間に設定された少
なくとも６個の基準点が１投影面に映し出される画像デ
ータに基づき、投影面に規定される二次元座標系に従っ
て各基準点の二次元座標値（ｘi ，ｙi ）を取得する工
程と、前記三次元空間に構築された三次元座標系に従っ
て各基準点の三次元座標値（ｘ，ｙ，ｚ）を取得する工
程と、取得した二次元座標値（ｘi ，ｙi ）および三次
元座標値（ｘ，ｙ，ｚ）に基づき、各基準点ごとに構築
される連立方程式More specifically, in the virtual camera image forming method according to the present invention, for example, at least six reference points set in a three-dimensional space are projected on a projection plane based on image data projected on one projection plane. two-dimensional coordinate values of each reference point in accordance with the two-dimensional coordinate system defined (x i, y i) a step of acquiring the three-dimensional coordinates of each reference point in accordance with the three-dimensional coordinate system that is built on the three-dimensional space A step of acquiring (x, y, z) and a simultaneous system constructed for each reference point based on the acquired two-dimensional coordinate values (x i , y i ) and three-dimensional coordinate values (x, y, z) equation
【数２０】 に従って各パラメータＣ１１〜Ｃ３４を算出する工程
と、算出されたパラメータＣ１１〜Ｃ３４を用いて、前
記二次元座標系および三次元座標系の間で写像を実現す
る変換行列(Equation 20) Calculating the parameters C11 to C34 according to the following formula: and a conversion matrix for realizing a mapping between the two-dimensional coordinate system and the three-dimensional coordinate system using the calculated parameters C11 to C34.
【数２１】 を導き出す工程とを備えればよい。こうした工程によれ
ば、前述したとおり、現実のレンズの歪みを反映した変
換行列Ｒが導き出されることとなる。(Equation 21) And a step of deriving According to these steps, as described above, the transformation matrix R reflecting the actual lens distortion is derived.
【００１１】こうして導き出された変換行列Ｒを用いれ
ば、前記三次元座標系で特定される三次元座標点（ｘ，
ｙ，ｚ）は、By using the transformation matrix R thus derived, the three-dimensional coordinate point (x,
y, z) is
【数２２】 ただし、(Equation 22) However,
【数２３】 に基づき、前記二次元座標系で特定される二次元座標点
（ｘi ，ｙi ）に写像されることができる。(Equation 23) Based on the two-dimensional coordinate system, the two-dimensional coordinate point (x i , y i ) specified in the two-dimensional coordinate system can be mapped.
【００１２】その他、本発明に係る仮想カメラ画像形成
方法は、三次元空間に設定されたｎ個の基準点が１投影
面に映し出される画像データに基づき、投影面に規定さ
れる二次元座標系に従って各基準点の二次元座標値（ｘ
i1，ｙi1）〜（ｘin，ｙin）を取得する工程と、前記三
次元空間に構築された三次元座標系に従って各基準点の
三次元座標値（ｘ1 ，ｙ1 ，ｚ1 ）〜（ｘn ，ｙn ，ｚ
n ）を取得する工程と、取得した二次元座標値（ｘi1，
ｙi1）〜（ｘin，ｙin）および三次元座標値（ｘ1 ，ｙ
1 ，ｚ1 ）〜（ｘn ，ｙn ，ｚn ）を用いて最小二乗法
に基づき、[0012] In addition, the virtual camera image forming method according to the present invention provides a two-dimensional coordinate system defined on a projection plane based on image data in which n reference points set in a three-dimensional space are projected on one projection plane. According to the two-dimensional coordinate value (x
i 1, y i 1) ~ (x i n, y i n) a step of acquiring the three-dimensional coordinates of each reference point in accordance with the three-dimensional coordinate system that is built on the three-dimensional space (x 1, y 1 , Z 1 ) to (x n , y n , z
n ) and the obtained two-dimensional coordinate values (x i 1,
y i 1) ~ (x i n, y i n) and three-dimensional coordinate values (x 1, y
1 , z 1 ) to (x n , y n , z n ) based on the least squares method,
【数２４】 ただし、(Equation 24) However,
【数２５】 に従って各パラメータＣ１１〜Ｃ３３を算出する工程
と、算出されたパラメータＣ１１〜Ｃ３３を用いて、前
記二次元座標系および三次元座標系の間で写像を実現す
る変換行列(Equation 25) Calculating the parameters C11 to C33 according to the following formula: and a transformation matrix for realizing a mapping between the two-dimensional coordinate system and the three-dimensional coordinate system using the calculated parameters C11 to C33.
【数２６】 を導き出す工程とを備えてもよい。こうして導き出され
た変換行列Ｒを用いれば、前述と同様に、前記三次元座
標系で特定される三次元座標点（ｘ，ｙ，ｚ）は、(Equation 26) And a step of deriving Using the transformation matrix R derived in this manner, the three-dimensional coordinate point (x, y, z) specified in the three-dimensional coordinate system is calculated as described above.
【数２７】 ただし、[Equation 27] However,
【数２８】 に基づき、前記二次元座標系で特定される二次元座標点
（ｘi ，ｙi ）に写像されることができる。[Equation 28] Based on the two-dimensional coordinate system, the two-dimensional coordinate point (x i , y i ) specified in the two-dimensional coordinate system can be mapped.
【００１３】いずれの場合でも、画像データはＣＣＤ
（電荷結合素子）カメラによって生成されればよい。Ｃ
ＣＤカメラを用いれば、画像面上で各画素ごとに簡単に
二次元座標値を取得することができる。したがって、各
画素ごとに特定される画像情報を用いれば、簡単に基準
点の二次元座標値を取得することが可能となる。In any case, the image data is CCD
(Charge-coupled device) It may be generated by a camera. C
If a CD camera is used, two-dimensional coordinate values can be easily obtained for each pixel on the image plane. Therefore, it is possible to easily obtain the two-dimensional coordinate value of the reference point by using the image information specified for each pixel.
【００１４】加えて、以上のような仮想カメラ画像形成
方法は、前記三次元空間で対象物の三次元像を特定する
形状データを取得する工程と、前記変換行列を用いて、
形状データに基づき再現された対象物の三次元像を前記
投影面に投影する工程とをさらに備えてもよい。[0014] In addition, the virtual camera image forming method as described above includes a step of acquiring shape data for specifying a three-dimensional image of the object in the three-dimensional space;
Projecting a three-dimensional image of the object reproduced based on the shape data onto the projection plane.
【００１５】以上のような仮想カメラ画像形成方法は、
例えばコンピュータによって処理されるソフトウェアプ
ログラムに従って実現されてもよい。こういったソフト
ウェアプログラムは、例えばＦＤ（フロッピーディス
ク）といった磁気記録媒体、ＣＤ（コンパクトディス
ク）やＤＶＤ（デジタルビデオディスク）といった光学
記録媒体、いわゆるＭＯといった光磁気記録媒体、その
他の任意の記録媒体を通じてコンピュータに取り込まれ
ればよい。The virtual camera image forming method as described above includes:
For example, it may be realized according to a software program processed by a computer. Such a software program is transmitted through a magnetic recording medium such as an FD (floppy disk), an optical recording medium such as a CD (compact disk) or a DVD (digital video disk), a magneto-optical recording medium such as a so-called MO, or any other recording medium. It only has to be imported into the computer.
【００１６】[0016]
【発明の実施の形態】以下、添付図面を参照しつつ本発
明の一実施形態を説明する。An embodiment of the present invention will be described below with reference to the accompanying drawings.
【００１７】図１は、対象物Ｗの形状精度を検証する形
状検証システム１０の構成を概略的に示す。この形状検
証システム１０は、対象物Ｗの実写像すなわち投影面に
映し出される対象物Ｗの二次元像を取得するデジタルス
チルカメラ１１を備える。このデジタルスチルカメラ１
１は、例えばＣＣＤ（電荷結合素子）を利用して、対象
物Ｗの実写像を再現する画像データを出力する。この画
像データによれば、任意の投影面に微細な間隔で設定さ
れる各画素ごとに画像情報が特定される。各画素の位置
は、例えば投影面に設定される二次元座標系に従って特
定されることができる。ただし、デジタルスチルカメラ
１１のほか、撮像装置には、デジタルビデオカメラや、
ＣＣＤ以外の画像取得手段を用いて各画素ごとに画像情
報を特定する撮像装置が用いられてもよく、プリント写
真に基づき画像データを生成するスキャナなどが用いら
れてもよい。FIG. 1 schematically shows the configuration of a shape verification system 10 for verifying the shape accuracy of an object W. The shape verification system 10 includes a digital still camera 11 that acquires a real image of the object W, that is, a two-dimensional image of the object W projected on a projection plane. This digital still camera 1
1 outputs image data for reproducing a real image of the object W using, for example, a CCD (Charge Coupled Device). According to this image data, image information is specified for each pixel set at a fine interval on an arbitrary projection plane. The position of each pixel can be specified according to, for example, a two-dimensional coordinate system set on the projection plane. However, in addition to the digital still camera 11, the imaging device includes a digital video camera,
An imaging device that specifies image information for each pixel by using image acquisition means other than a CCD may be used, or a scanner that generates image data based on a printed photograph may be used.
【００１８】エンジニアリングワークステーション（Ｅ
ＷＳ）１２は、デジタルスチルカメラ１１で取得された
実写像に基づき対象物Ｗの形状寸法誤差を測定する。こ
の形状検証システム１０では、取得される実写像に基づ
いて対象物Ｗの輪郭や幾何学的稜線に関する形状寸法誤
差が測定される。こうした形状検証システム１０は、例
えば自動車の外板といった部品の形状精度や、そういっ
た部品の加工や成形に用いられる金型の形状精度を検証
する際に用いられることができるだけでなく、複数の部
品で組み立てられたアセンブリや完成品の組立精度や形
状精度を検証する際に用いられることができる。Engineering workstation (E
WS) 12 measures the shape and size error of the object W based on the actual image obtained by the digital still camera 11. In the shape verification system 10, a shape and size error related to the contour and the geometric ridge line of the object W is measured based on the acquired real image. Such a shape verification system 10 can be used not only when verifying the shape accuracy of a part such as an outer plate of an automobile, or the shape accuracy of a mold used for processing or molding such a part, but also for a plurality of parts. It can be used to verify the assembly accuracy and shape accuracy of assembled assemblies and finished products.
【００１９】形状検証システム１０には、対象物Ｗの三
次元形状を測定する三次元測定機１３がさらに組み込ま
れてもよい。三次元測定機１３は、対象物Ｗと接触プロ
ーブ１４との接触を通じて、対象物Ｗの三次元像を再現
するにあたって必要とされる三次元座標値を取得する。
１つの三次元座標値を取得するにあたって、接触プロー
ブ１４は、例えば任意の三次元座標系でｘ座標値および
ｙ座標値を維持しながらｚ軸方向に移動する。接触まで
に測定されるｚ軸方向の移動量に基づきｚ座標値は特定
される。ｘｙ平面に沿って微細な間隔で設定される多数
の測定点ごとにｚ座標値は測定されていく。その結果、
対象物Ｗの三次元像を再現するために十分な三次元座標
点の集合体が得られる。接触プローブ１４の動きは例え
ばパーソナルコンピュータ（ＰＣ）１５によって制御さ
れる。こうした三次元測定機１３は、平面や曲面、凹凸
面の歪みといったデジタルスチルカメラ１１による実写
像に現れにくい形状の歪みを測定する際に役立つ。The shape verification system 10 may further incorporate a three-dimensional measuring device 13 for measuring the three-dimensional shape of the object W. The three-dimensional measuring device 13 acquires three-dimensional coordinate values required for reproducing a three-dimensional image of the object W through the contact between the object W and the contact probe 14.
In acquiring one three-dimensional coordinate value, the contact probe 14 moves in the z-axis direction while maintaining the x-coordinate value and the y-coordinate value in an arbitrary three-dimensional coordinate system, for example. The z-coordinate value is specified based on the movement amount in the z-axis direction measured until the contact. The z-coordinate value is measured for each of a number of measurement points set at fine intervals along the xy plane. as a result,
An aggregate of three-dimensional coordinate points sufficient to reproduce a three-dimensional image of the object W is obtained. The movement of the contact probe 14 is controlled by, for example, a personal computer (PC) 15. Such a three-dimensional measuring device 13 is useful for measuring a distortion such as a distortion of a flat surface, a curved surface, or an uneven surface that is difficult to appear in an actual image captured by the digital still camera 11.
【００２０】図２に示されるように、検証にあたって対
象物Ｗは検査台１６に設置される。検査台１６には、対
象物Ｗを受け止める水平かつ平坦な受け面１７と、受け
面１７から垂直に立ち上がる複数（例えば３つ）の突き
当て１８ａ、１８ｂ、１８ｃとが設けられる。受け面１
７は、物体座標系ｘｙｚに従ってｚ座標値の基準を規定
する。すなわち、ｚ座標値は、受け面１７からの高さに
基づき特定されることができる。２つの突き当て１８
ａ、１８ｂは、受け面１７に直交する１平面を規定す
る。規定された１平面は、物体座標系ｘｙｚに従ってｙ
座標値の基準に設定される。すなわち、ｙ座標値は、２
つの突き当て１８ａ、１８ｂによって規定された１平面
からの距離に基づき特定されることができる。さらに、
残りの突き当て１８ｃは、他の２つの突き当て１８ａ、
１８ｂによって規定された１平面と受け面１７とに直交
する１平面を規定する。規定された１平面は、物体座標
系ｘｙｚに従ってｘ座標値の基準に設定される。したが
って、ｘ座標値は、突き当て１８ｃによって規定された
１平面からの距離に基づき特定されることができる。As shown in FIG. 2, an object W is placed on an inspection table 16 for verification. The inspection table 16 is provided with a horizontal and flat receiving surface 17 for receiving the object W, and a plurality (for example, three) of abutments 18 a, 18 b, and 18 c rising vertically from the receiving surface 17. Receiving surface 1
7 defines the reference of the z coordinate value according to the object coordinate system xyz. That is, the z-coordinate value can be specified based on the height from the receiving surface 17. Two butts 18
a, 18 b define one plane orthogonal to the receiving surface 17. One defined plane is y according to the object coordinate system xyz.
Set as the reference for the coordinate values. That is, the y coordinate value is 2
It can be specified based on the distance from one plane defined by the two butts 18a, 18b. further,
The remaining buttings 18c are the other two buttings 18a,
One plane orthogonal to the one plane defined by 18b and the receiving surface 17 is defined. One defined plane is set as a reference for the x coordinate value according to the object coordinate system xyz. Therefore, the x coordinate value can be specified based on the distance from one plane defined by the butting 18c.
【００２１】ここでは、物体座標系ｘｙｚのｘｙ平面は
受け面１７に沿って規定される。加えて、２つの突き当
て１８ａ、１８ｂは物体座標系ｘｙｚのｘｚ平面を規定
し、他の突き当て１８ｃは物体座標系ｘｙｚのｙｚ平面
を規定する。ただし、物体座標系ｘｙｚは、１または複
数の座標軸に沿って平行移動してもよい。Here, the xy plane of the object coordinate system xyz is defined along the receiving surface 17. In addition, the two butts 18a, 18b define the xz plane of the object coordinate system xyz, and the other butts 18c define the yz plane of the object coordinate system xyz. However, the object coordinate system xyz may move in parallel along one or more coordinate axes.
【００２２】検査台１６には複数個の基準ブロック１９
が設けられる。各基準ブロック１９の頂点には物体座標
系ｘｙｚに従って三次元座標値が与えられる。こうした
三次元座標値は例えば三次元測定機１３などによって予
め実測されていればよい。ただし、三次元座標値は、受
け面１７や突き当て１８ａ、１８ｂ、１８ｃに対して各
基準ブロック１９の相対的な位置関係を特定していれば
十分である。後述するように、全ての基準ブロック１９
に対して少なくとも６個の頂点で三次元座標値が明らか
にされなければならない。The inspection table 16 has a plurality of reference blocks 19.
Is provided. A vertex of each reference block 19 is given a three-dimensional coordinate value according to the object coordinate system xyz. These three-dimensional coordinate values may be measured in advance by, for example, the three-dimensional measuring device 13 or the like. However, it is sufficient for the three-dimensional coordinate values to specify the relative positional relationship of each reference block 19 with respect to the receiving surface 17 and the abutments 18a, 18b, 18c. As described later, all the reference blocks 19
, Three-dimensional coordinate values must be revealed with at least six vertices.
【００２３】図３に示されるように、ＥＷＳ１２は、三
次元測定機１３で測定された三次元形状と、形状データ
に基づき復元される対象物Ｗの理想三次元像とを相互に
比較する面情報解析回路２１を備える。この面情報解析
回路２１によれば、例えば、三次元測定機１３で測定さ
れた三次元座標点の集合体に基づき対象物Ｗを表現する
ポリゴンが再構築され、再構築されたポリゴンに基づい
て対象物Ｗの三次元像が描き出される。描き出された三
次元像と理想三次元像とが相互に比較される結果、対象
物Ｗの平面や曲面の歪みといった形状寸法誤差は導き出
される。こうして導き出された形状寸法誤差は例えばデ
ィスプレイ２２の画面に表示されることができる。同時
に、ディスプレイ２２の画面には、再構築されたポリゴ
ンに基づき対象物Ｗの三次元像が表示されてもよく、そ
ういった三次元像とともに理想三次元像（すなわち比較
の結果）が表示されてもよい。As shown in FIG. 3, the EWS 12 compares a three-dimensional shape measured by the three-dimensional measuring device 13 with an ideal three-dimensional image of the object W restored based on the shape data. An information analysis circuit 21 is provided. According to the surface information analysis circuit 21, for example, a polygon representing the object W is reconstructed based on a set of three-dimensional coordinate points measured by the three-dimensional measuring device 13, and based on the reconstructed polygon. A three-dimensional image of the object W is drawn. As a result of comparing the drawn three-dimensional image and the ideal three-dimensional image with each other, a geometric error such as distortion of a plane or a curved surface of the object W is derived. The geometric error thus derived can be displayed on the screen of the display 22, for example. At the same time, a three-dimensional image of the object W may be displayed on the screen of the display 22 based on the reconstructed polygon, or an ideal three-dimensional image (ie, a result of the comparison) may be displayed together with such a three-dimensional image. Good.
【００２４】ここで、形状データは、例えばＬＡＮ（構
内回線網）などによってＥＷＳ１２に接続された大容量
記憶装置２３内に構築された製品データベースから取得
される。製品データベースには、任意の三次元座標系に
基づき各製品ごとに三次元像を規定する三次元設計デー
タが格納される。各三次元設計データは、例えば周知の
三次元ＣＡＤ／ＣＡＭシステムなどを用いて構築される
ことができる。ただし、形状データは、可搬性の記録媒
体を用いてＥＷＳ１２に転送されてもよい。Here, the shape data is obtained from a product database constructed in a large-capacity storage device 23 connected to the EWS 12 by, for example, a LAN (Private Network). The product database stores three-dimensional design data that defines a three-dimensional image for each product based on an arbitrary three-dimensional coordinate system. Each three-dimensional design data can be constructed using, for example, a well-known three-dimensional CAD / CAM system. However, the shape data may be transferred to the EWS 12 using a portable recording medium.
【００２５】さらにＥＷＳ１２には、デジタルスチルカ
メラ１１で取得された実写像と、形状データに基づき描
かれる二次元理想像とを相互に比較する辺情報解析回路
２４が設けられる。二次元理想像は例えば対象物Ｗの輪
郭や幾何学的稜線によって描かれる。この辺情報解析回
路２４は、実写像と二次元理想像との比較結果をディス
プレイ２２の画面に表示させることができる。Further, the EWS 12 is provided with a side information analyzing circuit 24 for comparing an actual image obtained by the digital still camera 11 with a two-dimensional ideal image drawn based on the shape data. The two-dimensional ideal image is drawn, for example, by the contour or the geometric ridge of the object W. The side information analysis circuit 24 can display the result of comparison between the real image and the two-dimensional ideal image on the screen of the display 22.
【００２６】辺情報解析回路２４は、例えば図４に示さ
れるように、仮想空間に再現される対象物Ｗおよびデジ
タルスチルカメラ１１に基づき、デジタルスチルカメラ
１１で撮像されると想定される仮想カメラ画像を形成す
る仮想カメラ画像形成回路２６を備える。表示回路２７
は、仮想カメラ画像形成回路２６で形成された仮想カメ
ラ画像と実写像とを重ねてディスプレイ２２の画面に表
示させる。The side information analysis circuit 24 is, for example, as shown in FIG. 4, a virtual camera assumed to be imaged by the digital still camera 11 based on the object W and the digital still camera 11 reproduced in a virtual space. A virtual camera image forming circuit 26 for forming an image is provided. Display circuit 27
Displays the virtual camera image formed by the virtual camera image forming circuit 26 and the real image on the screen of the display 22 in a superimposed manner.
【００２７】仮想カメラ画像形成回路２６は、仮想空間
に物体座標系ｘｙｚすなわち三次元座標系を再現する座
標系構築回路２８を備える。物体座標系ｘｙｚを再現す
るにあたって、座標系構築回路２８は、大容量記憶装置
２３から取り込まれる形状データに基づき仮想空間で対
象物Ｗの三次元像を再現する。この三次元像に対して検
査台１６の受け面１７および突き当て１８ａ、１８ｂ、
１８ｃの位置が特定されると、仮想空間では、対象物Ｗ
の実寸法を規定する物体座標系ｘｙｚすなわち三次元座
標系が構築される。The virtual camera image forming circuit 26 includes a coordinate system construction circuit 28 for reproducing an object coordinate system xyz, that is, a three-dimensional coordinate system in a virtual space. In reproducing the object coordinate system xyz, the coordinate system construction circuit 28 reproduces a three-dimensional image of the object W in the virtual space based on the shape data taken from the mass storage device 23. The receiving surface 17 of the inspection table 16 and the abutments 18a, 18b,
When the position of 18c is specified, the object W
An object coordinate system xyz, that is, a three-dimensional coordinate system, that defines the actual dimensions of is constructed.
【００２８】投影面特定回路２９は、物体座標系ｘｙｚ
が構築された仮想空間で、対象物Ｗの実写像が映し出さ
れる投影面を特定する。この特定にあたって、投影面特
定回路２９は、画像データで特定される基準ブロック１
９の頂点すなわち基準点の二次元座標値（ｘi ，ｙi ）
と、各基準点に与えられた三次元座標値（ｘ，ｙ，ｚ）
とに基づき、各基準点ごとに構築される連立方程式The projection plane specifying circuit 29 uses the object coordinate system xyz
In the virtual space in which is constructed, a projection plane on which a real image of the object W is projected is specified. In this specification, the projection plane specifying circuit 29 uses the reference block 1 specified by the image data.
Nine vertices, that is, two-dimensional coordinate values of reference points (x i , y i )
And three-dimensional coordinate values (x, y, z) given to each reference point
And a simultaneous equation constructed for each reference point based on
【数２９】 に従って各パラメータＣ１１〜Ｃ３４を算出する。算出
されたパラメータＣ１１〜Ｃ３４によれば、変換行列(Equation 29) The parameters C11 to C34 are calculated according to the following. According to the calculated parameters C11 to C34, the conversion matrix
【数３０】 が導き出される。[Equation 30] Is derived.
【００２９】描画回路３０は、形状データに基づき再現
された対象物Ｗの三次元像を投影面に投影し、対象物Ｗ
の二次元理想像を形成する。二次元理想像の形成にあた
って、描画回路３０は、対象物Ｗの輪郭線や幾何学的稜
線を規定する三次元座標点（ｘ，ｙ，ｚ）と、投影面特
定回路２９で算出された変換行列Ｒとに基づいて、The drawing circuit 30 projects a three-dimensional image of the object W reproduced based on the shape data on a projection surface, and
To form a two-dimensional ideal image of In forming the two-dimensional ideal image, the drawing circuit 30 converts the three-dimensional coordinate points (x, y, z) defining the contour and the geometric ridge of the object W into the conversion calculated by the projection plane specifying circuit 29. Based on the matrix R,
【数３１】 ただし、(Equation 31) However,
【数３２】 に従って、投影面上で各三次元座標点（ｘ，ｙ，ｚ）に
対応する二次元座標点（ｘi ，ｙi ）を選び出す。こう
した描画回路３０の働きによれば、例えば仮想空間の物
体座標系ｘｙｚで対象物Ｗの三次元像が移動すると、そ
の移動に伴い投影面上で二次元理想像は移動することと
なる。(Equation 32) , Two-dimensional coordinate points (x i , y i ) corresponding to each three-dimensional coordinate point (x, y, z) are selected on the projection plane. According to such a function of the drawing circuit 30, for example, when the three-dimensional image of the object W moves in the object coordinate system xyz in the virtual space, the two-dimensional ideal image moves on the projection plane with the movement.
【００３０】描画回路３０には、仮想カメラ画像形成回
路２６で構築された三次元座標系すなわち物体座標系ｘ
ｙｚに従って実写像と二次元理想像との間で寸法誤差を
測定する誤差測定回路３１が接続される。この誤差測定
回路３１は、例えば、仮想空間に再現される三次元像上
で二次元理想像の輪郭線を特定したり三次元像の幾何学
的稜線を抽出したりする輪郭抽出回路３２を備える。こ
の輪郭抽出回路３２によれば、例えばマウス３３といっ
た入力装置を通じて操作者が入力する指令に従って任意
の輪郭線や幾何学的稜線が選び出されることができる。The drawing circuit 30 has a three-dimensional coordinate system constructed by the virtual camera image forming circuit 26, that is, an object coordinate system x.
An error measuring circuit 31 for measuring a dimensional error between the real image and the two-dimensional ideal image according to yz is connected. The error measurement circuit 31 includes, for example, a contour extraction circuit 32 that specifies a contour of a two-dimensional ideal image or extracts a geometric edge of the three-dimensional image on a three-dimensional image reproduced in a virtual space. . According to the contour extraction circuit 32, an arbitrary contour line or geometric ridge line can be selected according to a command input by the operator through an input device such as the mouse 33.
【００３１】移動方向決定回路３４は、選び出された輪
郭線や稜線の移動方向を決定する。こうした移動方向に
は、例えば三次元像の表面に対して直交する法線方向が
選択されてもよく、後述するように、稜線に接する１表
面に対して直交する法線方向や、稜線に対する接線方向
および法線方向にともに直交する外積方向が選択されて
もよい。The moving direction determining circuit 34 determines the moving direction of the selected contour line or ridge line. As such a moving direction, for example, a normal direction perpendicular to the surface of the three-dimensional image may be selected. As will be described later, a normal direction perpendicular to one surface in contact with the ridge, or a tangent to the ridge, An outer product direction orthogonal to both the direction and the normal direction may be selected.
【００３２】画像操作回路３５は、仮想空間に構築され
た物体座標系ｘｙｚすなわちスケール座標系に従って、
決定された移動方向に対象物Ｗの三次元像を移動させる
ことができる。この移動にあたって、画像操作回路３５
は、決定された移動方向に基づき、例えばボリュームス
イッチ３６の操作量に応じて物体座標系ｘｙｚに従った
ｘ座標値、ｙ座標値およびｚ座標値の各増減値を特定す
る。例えば移動方向決定回路３４で前述の法線方向およ
び外積方向が選択された場合には、法線方向および外積
方向に個別に三次元像の移動を引き起こす２つのボリュ
ームスイッチ３６が設けられればよい。The image operation circuit 35 operates in accordance with the object coordinate system xyz constructed in the virtual space, that is, the scale coordinate system.
The three-dimensional image of the object W can be moved in the determined moving direction. In this movement, the image operation circuit 35
Specifies the increase / decrease values of the x coordinate value, the y coordinate value, and the z coordinate value according to the object coordinate system xyz, for example, according to the operation amount of the volume switch 36 based on the determined moving direction. For example, when the above-described normal direction and cross product direction are selected by the moving direction determination circuit 34, two volume switches 36 that cause the three-dimensional image to move individually in the normal direction and cross product direction may be provided.
【００３３】移動量算出回路３７は、三次元座標系すな
わち物体座標系ｘｙｚに従って輪郭線や稜線の移動量を
算出する。輪郭線や稜線の移動量は、例えば画像操作回
路３５で特定されるｘ座標値、ｙ座標値およびｚ座標値
の各増減値に基づき算出されることができる。ただし、
こうした移動量は、ボリュームスイッチ３６の操作量に
基づき算出されてもよい。この場合には、例えば０．５
ｍｍや１μｍといった単位長さの移動量を引き起こすｘ
座標値、ｙ座標値およびｚ座標値の各増減値すなわちボ
リュームスイッチ３６の操作量が明らかであればよい。
ここでは、第１移動量算出回路３７ａによって、稜線に
接する１表面に対して直交する法線方向に稜線の法線方
向移動量は算出される。その一方で、第２移動量算出回
路３７ｂによって、稜線に対する接線方向および法線方
向にともに直交する外積方向に稜線の外積方向移動量は
算出される。The moving amount calculating circuit 37 calculates the moving amount of the contour line or the ridge line according to the three-dimensional coordinate system, that is, the object coordinate system xyz. The movement amount of the contour line or the ridge line can be calculated, for example, based on each increase / decrease value of the x coordinate value, the y coordinate value, and the z coordinate value specified by the image operation circuit 35. However,
Such a movement amount may be calculated based on the operation amount of the volume switch 36. In this case, for example, 0.5
x that causes a unit length movement, such as mm or 1 μm
It is only necessary that the increase / decrease values of the coordinate value, the y coordinate value, and the z coordinate value, that is, the operation amount of the volume switch 36 be clear.
Here, the first movement amount calculating circuit 37a calculates the normal direction movement amount of the ridge in the normal direction perpendicular to the one surface that is in contact with the ridge. On the other hand, the second moving amount calculating circuit 37b calculates the outer product direction moving amount of the ridge line in the outer product direction orthogonal to both the tangential direction and the normal direction to the ridge line.
【００３４】次に本実施形態に係る形状検証システム１
０の動作を詳述する。ここでは、辺情報解析回路２４の
動作に着目し、面情報解析回路２１の動作に関する説明
は省略される。面情報解析回路２１は周知の技術に基づ
き動作すればよい。Next, a shape verification system 1 according to this embodiment
0 will be described in detail. Here, attention is paid to the operation of the side information analysis circuit 24, and description of the operation of the surface information analysis circuit 21 is omitted. The surface information analysis circuit 21 may operate based on a known technique.
【００３５】いま、例えば図２に示される対象物Ｗの形
状を検証する場面を想定する。操作者は、対象物Ｗを特
定する形状データを大容量記憶装置２３の製品データベ
ースからＥＷＳ１２に取り込ませる。形状データが取り
込まれると、座標系構築回路２８は、ＥＷＳ１２に認識
される仮想空間に対象物Ｗの三次元像を再現する。こう
した三次元像は例えばディスプレイ２２の画面に表示さ
れる。Assume now that the shape of the object W shown in FIG. 2 is to be verified. The operator causes the EWS 12 to import the shape data specifying the target object W from the product database of the mass storage device 23. When the shape data is fetched, the coordinate system construction circuit 28 reproduces a three-dimensional image of the object W in the virtual space recognized by the EWS 12. Such a three-dimensional image is displayed on the screen of the display 22, for example.
【００３６】同時に、座標系構築回路２８は、物体座標
系ｘｙｚのｘｙ平面を規定する受け面１７の三次元像
や、ｘｚ平面を規定する突き当て１８ａ、１８ｂの三次
元像、ｙｚ平面を規定する突き当て１８ｃの三次元像を
再現する。操作者は、例えば図５に示されるように、再
現された対象物Ｗの三次元像に対して受け面１７の位置
を特定したり、図６に示されるように、突き当て１８
ａ、１８ｂ、１８ｃの位置を特定する。こうして受け面
１７や突き当て１８ａ、１８ｂ、１８ｃの位置が特定さ
れると、検査台１６に設定された物体座標系ｘｙｚがＥ
ＷＳ１２内の仮想空間に再現される。対象物Ｗの三次元
像は、ｘｙ平面、ｙｚ平面およびｘｚ平面を基準に物体
座標系ｘｙｚ内で位置決めされることとなる。At the same time, the coordinate system construction circuit 28 defines the three-dimensional image of the receiving surface 17 that defines the xy plane of the object coordinate system xyz, the three-dimensional image of the abutments 18a and 18b that define the xz plane, and the yz plane. A three-dimensional image of the butting 18c to be reproduced is reproduced. The operator specifies the position of the receiving surface 17 with respect to the reproduced three-dimensional image of the target object W as shown in FIG. 5, for example, or strikes the object 18 as shown in FIG.
The positions of a, 18b and 18c are specified. When the positions of the receiving surface 17 and the abutments 18a, 18b, 18c are specified in this manner, the object coordinate system xyz set on the inspection table 16 becomes E.
It is reproduced in the virtual space in WS12. The three-dimensional image of the object W is positioned in the object coordinate system xyz based on the xy plane, the yz plane, and the xz plane.
【００３７】続いて操作者は、デジタルスチルカメラ１
１で生成された画像データをＥＷＳ１２に取り込ませ
る。画像データによれば、実写像の投影面に設定される
二次元座標系に従って各画素の二次元座標値（ｘi ，ｙ
i ）が特定される。各画素の画像情報（例えば色情報）
が識別される結果、対象物Ｗの輪郭および幾何学的稜線
を規定する二次元座標点（ｘi ，ｙi ）の集合や、各基
準ブロック１９の頂点すなわち基準点を規定する二次元
座標点（ｘi ，ｙi ）が特定される。Subsequently, the operator operates the digital still camera 1
The image data generated in step 1 is loaded into the EWS 12. According to the image data, the two-dimensional coordinate values (x i , y) of each pixel according to the two-dimensional coordinate system set on the projection plane of the real mapping
i ) is specified. Image information of each pixel (for example, color information)
Are identified, a set of two-dimensional coordinate points (x i , y i ) defining the contour and the geometric ridge of the object W, and a vertex of each reference block 19, that is, a two-dimensional coordinate point defining the reference point (X i , y i ) is specified.
【００３８】以上のようにＥＷＳ１２に形状データおよ
び画像データが取り込まれると、投影面特定回路２９
は、前述したとおり変換行列Ｒを算出する。この変換行
列Ｒの算出にあたって、投影面特定回路２９は、少なく
とも６個の基準点の二次元座標値（ｘi ，ｙi ）を取得
すると同時に、各基準点の三次元座標値（ｘ，ｙ，ｚ）
を取得する。三次元座標値（ｘ，ｙ，ｚ）は例えば操作
者の入力操作を通じて投影面特定回路２９に取り込まれ
る。各基準点の三次元座標値（ｘ，ｙ，ｚ）は予め実測
されていればよい。When the shape data and the image data are taken into the EWS 12 as described above, the projection plane specifying circuit 29
Calculates the transformation matrix R as described above. When calculating the transformation matrix R, the projection plane specifying circuit 29 acquires the two-dimensional coordinate values (x i , y i ) of at least six reference points and simultaneously obtains the three-dimensional coordinate values (x, y) of each reference point. , Z)
To get. The three-dimensional coordinate values (x, y, z) are taken into the projection plane specifying circuit 29 through an input operation of the operator, for example. The three-dimensional coordinate values (x, y, z) of each reference point may be measured in advance.
【００３９】描画回路３０は、投影面特定回路２９で算
出された変換行列Ｒを用いて、仮想空間に再現される対
象物Ｗの三次元像を投影面に写像する。すなわち、三次
元像の輪郭や幾何学的稜線を規定する各三次元座標点
（ｘ，ｙ，ｚ）に変換行列Ｒが掛け合わされる。その結
果、投影面には、例えば図７に示されるように、二次元
座標点（ｘi ，ｙi ）の集合によって対象物Ｗの二次元
理想像４１が描き出される。変換行列Ｒは仮想空間の全
ての三次元座標点（ｘ，ｙ，ｚ）を投影面に写像させる
ことができることから、描き出された二次元理想像４１
は、対象物Ｗの実寸法を規定する物体座標系ｘｙｚを反
映する。言い換えれば、投影面には、例えば図７に示さ
れるように、物体座標系ｘｙｚの透視像が描き出され
る。したがって、二次元理想像４１によれば、物体座標
系ｘｙｚに従って対象物Ｗの理想位置が特定されること
ができる。Using the transformation matrix R calculated by the projection plane specifying circuit 29, the drawing circuit 30 maps a three-dimensional image of the object W reproduced in the virtual space onto the projection plane. That is, each three-dimensional coordinate point (x, y, z) that defines the contour or geometric edge of the three-dimensional image is multiplied by the transformation matrix R. As a result, a two-dimensional ideal image 41 of the object W is drawn on the projection plane by a set of two-dimensional coordinate points (x i , y i ) as shown in FIG. Since the transformation matrix R can map all three-dimensional coordinate points (x, y, z) in the virtual space onto the projection plane, the drawn two-dimensional ideal image 41
Reflects the object coordinate system xyz that defines the actual dimensions of the object W. In other words, a perspective image in the object coordinate system xyz is drawn on the projection plane, for example, as shown in FIG. Therefore, according to the two-dimensional ideal image 41, the ideal position of the target object W can be specified according to the object coordinate system xyz.
【００４０】表示回路２７は、画像データに基づき投影
面上に対象物Ｗの実写像を再現し、再現された実写像に
対象物Ｗの二次元理想像を重ね合わせる。その結果、投
影面に描き出された物体座標系ｘｙｚの透視像に対象物
Ｗの実写像は取り込まれる。投影面では、物体座標系ｘ
ｙｚに従って実写像の実位置が特定されることができる
こととなる。The display circuit 27 reproduces a real image of the object W on the projection plane based on the image data, and superimposes a two-dimensional ideal image of the object W on the reproduced real image. As a result, the actual image of the target object W is captured in the perspective image of the object coordinate system xyz drawn on the projection plane. On the projection plane, the object coordinate system x
The actual position of the real image can be specified according to yz.
【００４１】こうして単一の投影面に描き出された対象
物Ｗの実写像と二次元理想像とがディスプレイ２２の画
面に表示されると、対象物Ｗの寸法誤差の有無は一目で
確認されることができる。二次元理想像と、実写像で特
定される幾何学的稜線とが互いに一致すれば対象物Ｗの
寸法誤差は存在しないこととなる。その一方で、二次元
理想像と、実写像で特定される幾何学的稜線との間に生
じる「ずれ」は物体座標系ｘｙｚに従って対象物Ｗの寸
法誤差を表現することとなる。ただし、ここでは、後述
する誤差測定回路３１の働きに応じて、ディスプレイ２
２の画面には必ずしも物体座標系ｘｙｚの透視像は表示
される必要はない。When the real image and the two-dimensional ideal image of the object W drawn on the single projection plane are displayed on the screen of the display 22, the presence or absence of the dimensional error of the object W is confirmed at a glance. be able to. If the two-dimensional ideal image and the geometric ridgeline specified by the real mapping coincide with each other, there is no dimensional error of the object W. On the other hand, the “deviation” that occurs between the two-dimensional ideal image and the geometric ridgeline specified by the real image represents a dimensional error of the object W according to the object coordinate system xyz. However, here, according to the operation of an error measuring circuit 31 described later, the display 2
It is not always necessary to display a perspective image in the object coordinate system xyz on the screen 2.
【００４２】この形状検証システム１０によれば、操作
者は、二次元理想像と実写像との間に観察される「ず
れ」の大きさすなわち寸法誤差を測定することができ
る。この測定にあたって、操作者は、まず、マウス３３
を操作して二次元理想像の輪郭線や幾何学的稜線といっ
た特徴を指定する。例えば図８に示されるように、操作
者は、マウス３３の移動を通じてディスプレイ２２の画
面上でマウスポインタ４２を移動させ、マウス３３のク
リック操作を通じてマウスポインタ４２が指し示す輪郭
線や幾何学的稜線４３を指定する。輪郭抽出回路３２
は、仮想空間に再現された対象物Ｗの三次元像上で、ク
リック時のマウスポインタ４２が指し示す輪郭線や幾何
学的稜線４３を特定する。According to the shape verification system 10, the operator can measure the size of the "shift" observed between the two-dimensional ideal image and the real image, that is, the dimensional error. In this measurement, the operator firstly sets the mouse 33
To specify features such as contours and geometric edges of the two-dimensional ideal image. For example, as shown in FIG. 8, the operator moves the mouse pointer 42 on the screen of the display 22 through the movement of the mouse 33, and the outline or the geometric ridge 43 indicated by the mouse pointer 42 through the click operation of the mouse 33. Is specified. Contour extraction circuit 32
Specifies a contour line and a geometric ridge line 43 indicated by the mouse pointer 42 at the time of clicking on the three-dimensional image of the object W reproduced in the virtual space.
【００４３】図８に示されるように、例えば幾何学的稜
線４３が指定されると、移動方向決定回路３４は、仮想
空間に再現された三次元像上で、指定された幾何学的稜
線４３に接する１表面に対して直交する法線方向４４
と、その幾何学的稜線４３に対する接線方向４５および
法線方向４４にともに直交する外積方向４６とを特定す
る。こうして法線方向４４および外積方向４６が特定さ
れると、画像操作回路３５は、ボリュームスイッチ３６
の操作量と、物体座標系ｘｙｚに従ったｘ座標値、ｙ座
標値およびｚ座標値の各増減値とを対応づける。この場
合には、一方のボリュームスイッチ３６に対して法線方
向移動時のｘ座標値、ｙ座標値およびｚ座標値の各増減
値が設定され、他方のボリュームスイッチ３６に対して
外積方向移動時のｘ座標値、ｙ座標値およびｚ座標値の
各増減値が設定される。As shown in FIG. 8, when a geometric ridge line 43 is designated, for example, the moving direction determining circuit 34 outputs the designated geometric ridge line 43 on the three-dimensional image reproduced in the virtual space. Normal direction 44 perpendicular to one surface contacting
And a cross product direction 46 orthogonal to the tangent direction 45 and the normal direction 44 to the geometric ridge line 43. When the normal direction 44 and the cross product direction 46 are specified in this manner, the image operation circuit 35 sets the volume switch 36
Is associated with each increase / decrease value of the x coordinate value, the y coordinate value, and the z coordinate value according to the object coordinate system xyz. In this case, the x coordinate value, the y coordinate value, and the z coordinate value when moving in the normal direction are set for one of the volume switches 36, and when the outer volume direction movement is performed for the other volume switch 36. Of the x coordinate value, the y coordinate value, and the z coordinate value are set.
【００４４】例えば一方のボリュームスイッチ３６が操
作されると、仮想空間に再現された三次元像では、各三
次元座標点（ｘ，ｙ，ｚ）に決められたｘ座標値、ｙ座
標値およびｚ座標値の各増減値が加えられる。その結
果、仮想空間では、三次元像は決められた法線方向に移
動することとなる。この移動は、投影面に描かれた二次
元理想像４７の移動に反映される。したがって、ディス
プレイ２２の画面では、実写像４８に対して二次元理想
像４７が相対的に移動する。同様に、他方のボリューム
スイッチ３６が操作されると、仮想空間で三次元像は決
められた外積方向に移動し、その結果、ディスプレイ２
２の画面では実写像４８に対して二次元理想像４７は相
対的に移動することとなる。For example, when one of the volume switches 36 is operated, in the three-dimensional image reproduced in the virtual space, the x-coordinate value, the y-coordinate value, and the y-coordinate value determined for each three-dimensional coordinate point (x, y, z) are obtained. Each increase / decrease value of the z coordinate value is added. As a result, in the virtual space, the three-dimensional image moves in the determined normal direction. This movement is reflected in the movement of the two-dimensional ideal image 47 drawn on the projection plane. Therefore, on the screen of the display 22, the two-dimensional ideal image 47 moves relatively to the real image 48. Similarly, when the other volume switch 36 is operated, the three-dimensional image moves in the determined outer product direction in the virtual space.
On the screen 2, the two-dimensional ideal image 47 moves relatively to the real image 48.
【００４５】ボリュームスイッチ３６の操作や三次元像
の移動に応じて、移動量算出回路３７では、物体座標系
ｘｙｚに従って三次元像の移動量が算出される。この場
合には、例えば第１移動量算出回路３７ａで法線方向移
動量は算出され、第２移動量算出回路３７ｂで外積方向
移動量は算出される。算出された移動量は例えばディス
プレイ２２の画面上に表示される。In accordance with the operation of the volume switch 36 and the movement of the three-dimensional image, the movement amount calculating circuit 37 calculates the movement amount of the three-dimensional image in accordance with the object coordinate system xyz. In this case, for example, the first movement amount calculation circuit 37a calculates the normal direction movement amount, and the second movement amount calculation circuit 37b calculates the outer product direction movement amount. The calculated movement amount is displayed on the screen of the display 22, for example.
【００４６】このとき、操作者は、ディスプレイ２２の
画面を観察しながら２つのボリュームスイッチ３６を操
作し、二次元理想像４７で特定される幾何学的稜線４３
と、実写像４８で対応する幾何学的稜線４９とを互いに
重ね合わせる。実写像４８の稜線４９と二次元理想像４
７の稜線４３とが一致した時点で算出される法線方向移
動量や外積方向移動量は、形状データに基づき再現され
る対象物Ｗの三次元像と、撮像された実際の対象物Ｗの
三次元像との法線方向寸法誤差や外積方向寸法誤差に相
当する。したがって、操作者は、実写像４８と二次元理
想像４７とが一致した時点でディスプレイ２２の画面に
表示される法線方向移動量や外積方向移動量を読み取れ
ばよい。こうして、物体座標系ｘｙｚに従って対象物Ｗ
の実位置と理想位置との間で寸法誤差は測定される。At this time, the operator operates the two volume switches 36 while observing the screen of the display 22 to obtain the geometric ridge line 43 specified by the two-dimensional ideal image 47.
And the corresponding geometric ridge line 49 in the real map 48 are overlapped with each other. Edge 49 of real map 48 and two-dimensional ideal image 4
The movement amount in the normal direction and the movement amount in the cross product direction calculated when the ridge line 43 of the seventh object 7 coincides with the three-dimensional image of the object W reproduced based on the shape data and the actual object W captured. This corresponds to a dimensional error in the normal direction with respect to the three-dimensional image or a dimensional error in the outer product direction. Therefore, the operator only has to read the amount of movement in the normal direction and the amount of movement in the cross product direction displayed on the screen of the display 22 when the real image 48 and the two-dimensional ideal image 47 match. Thus, the target object W according to the object coordinate system xyz
The dimensional error is measured between the actual position and the ideal position.
【００４７】ここで、仮想カメラ画像形成回路２６の原
理を簡単に説明する。いま、例えば図９に示されるよう
に、対象物Ｗおよびピンホールカメラ５１を取り込んだ
三次元座標系ＸＹＺを想定する。この三次元座標系ＸＹ
Ｚでは、ｚ軸とピンホールカメラ５１の光学系主軸とは
一致する。ピンホール５２の前方には、ピンホール５２
から焦点距離ｆで離れた仮想結像面５３が設定される。
この仮想結像面５３には対象物Ｗの二次元像が描かれ
る。現実のピンホールカメラ５１では、ピンホール５２
の背後でピンホール５２から焦点距離ｆで離れた実結像
面５４に対象物Ｗの倒立像が結像される。ただし、仮想
結像面５３に描かれる二次元像と倒立像とは一致する。Here, the principle of the virtual camera image forming circuit 26 will be briefly described. Now, as shown in FIG. 9, for example, a three-dimensional coordinate system XYZ in which the object W and the pinhole camera 51 are captured is assumed. This three-dimensional coordinate system XY
In Z, the z axis coincides with the main axis of the optical system of the pinhole camera 51. In front of the pinhole 52, a pinhole 52
Is set at a focal distance f from the virtual imaging plane 53.
On this virtual imaging plane 53, a two-dimensional image of the object W is drawn. In a real pinhole camera 51, a pinhole 52
, An inverted image of the object W is formed on the actual image forming surface 54 which is separated from the pinhole 52 by the focal distance f. However, the two-dimensional image drawn on the virtual imaging plane 53 and the inverted image match.
【００４８】こうして設定された三次元座標系ＸＹＺに
従えば、対象物Ｗと二次元像との間、すなわち、対象物
Ｗ上で特定される三次元座標点（ｘ，ｙ，ｚ）と、仮想
結像面５３で想定される対応二次元座標点（ｘi ，ｙ
i ，ｚi ）との間には、According to the three-dimensional coordinate system XYZ thus set, between the object W and the two-dimensional image, that is, the three-dimensional coordinate point (x, y, z) specified on the object W, Corresponding two-dimensional coordinate points (x i , y
i , z i )
【数３３】 といった関係が成立する。ｚi ＝０に設定すると、[Equation 33] Is established. By setting z i = 0,
【数３４】 に基づき、(Equation 34) Based on
【数３５】 が得られる。こうした非線形変換は次式のような線形変
換に置き換えられることができる。(Equation 35) Is obtained. Such a non-linear transformation can be replaced by a linear transformation such as:
【００４９】[0049]
【数３６】 ただし、[Equation 36] However,
【数３７】 図１０に示されるように、現実には、対象物Ｗおよびピ
ンホールカメラ５１はともに物体座標系ｘｙｚに存在す
る。したがって、仮想結像面５３すなわち投影面に規定
される二次元座標系ｘi ｙi と物体座標系ｘｙｚとは、
回転および平行移動を含めた変換によって関連付けられ
ることができる。こうした変換が加えられると、(37) As shown in FIG. 10, in reality, the target object W and the pinhole camera 51 both exist in the object coordinate system xyz. Therefore, the two-dimensional coordinate system x i y i and the object coordinate system xyz defined on the virtual imaging plane 53, ie, the projection plane,
They can be related by transformations, including rotation and translation. When these transformations are added,
【数３８】 が得られる。すなわち、(38) Is obtained. That is,
【数３９】 [Equation 39]
【数４０】 が導き出される。その結果、３×４のＣ行列には、ピン
ホールカメラ５１の主点５５の位置や、光学系主軸５６
の向き、焦点距離ｆを始めとする全ての情報が含まれる
こととなる。したがって、３×４のＣ行列が特定されれ
ば、物体座標系ｘｙｚで特定される全ての三次元座標点
（ｘ，ｙ，ｚ）は、実写像の投影面に規定される二次元
座標系ｘi ｙi に従って二次元座標点（ｘi ，ｙi ）に
写像されることができる。(Equation 40) Is derived. As a result, the position of the principal point 55 of the pinhole camera 51 and the principal axis 56 of the optical system are stored in the 3 × 4 C matrix.
, And all information including the focal length f. Therefore, if a 3 × 4 C matrix is specified, all the three-dimensional coordinate points (x, y, z) specified by the object coordinate system xyz are converted to the two-dimensional coordinate system specified on the projection plane of the real map. According to x i y i, it can be mapped to a two-dimensional coordinate point (x i , y i ).
【００５０】次に投影面特定回路２９の原理を詳述す
る。いま、１つの基準点に対して、物体座標系ｘｙｚに
従った三次元座標値（ｘ，ｙ，ｚ）と、二次元座標系ｘ
i ｙiに従った二次元座標値（ｘi ，ｙi ）とが特定さ
れると、次のような連立方程式が得られる。Next, the principle of the projection plane specifying circuit 29 will be described in detail. Now, for one reference point, a three-dimensional coordinate value (x, y, z) according to the object coordinate system xyz and a two-dimensional coordinate system x
When the two-dimensional coordinate values (x i , y i ) according to i y i are specified, the following simultaneous equations are obtained.
【００５１】[0051]
【数４１】 なぜなら、式［数３７］および式［数４０］によれば、[Equation 41] Because, according to Equations [37] and [40],
【数４２】 ただし、(Equation 42) However,
【数４３】 が成立するからである。したがって、同一平面で特定さ
れることのない６個の基準点に基づき６組の連立方程式
を立てれば、３×４のＣ行列に含まれる１２個のパラメ
ータＣ１１〜Ｃ３４はすべて解き明かされることができ
る。[Equation 43] Is satisfied. Therefore, if six simultaneous equations are established based on six reference points that are not specified on the same plane, all 12 parameters C11 to C34 included in the 3 × 4 C matrix can be solved. .
【００５２】一般に、デジタルスチルカメラ１１を始め
とする撮像装置では、三次元空間に存在する三次元物体
はレンズを通じて二次元の結像面に写像される。デジタ
ルスチルカメラ１１で取得される画像データによれば、
レンズの歪みの影響を受けた二次元像が投影面に描かれ
ることとなる。その結果、前述のような形状データに基
づき再現される理想二次元像には、デジタルスチルカメ
ラ１１に使用されたレンズの歪みの影響が反映されなけ
ればならない。以上のように、画像データに基づく二次
元座標値と、物体座標系ｘｙｚに従った三次元座標値を
用いて変換行列Ｒが算出されれば、デジタルスチルカメ
ラ１１に用いられる現実のレンズの働きを反映した変換
行列Ｒが導き出されることができる。その結果、形状デ
ータに基づき仮想空間に再現される三次元像は、あたか
も実際のレンズを通して結像されたように仮想空間の１
投影面に描き出されることができることとなる。Generally, in an imaging apparatus such as the digital still camera 11, a three-dimensional object existing in a three-dimensional space is mapped onto a two-dimensional image plane through a lens. According to the image data acquired by the digital still camera 11,
A two-dimensional image affected by the lens distortion is drawn on the projection plane. As a result, the ideal two-dimensional image reproduced based on the shape data as described above must reflect the influence of the distortion of the lens used in the digital still camera 11. As described above, if the transformation matrix R is calculated using the two-dimensional coordinate values based on the image data and the three-dimensional coordinate values according to the object coordinate system xyz, the function of the actual lens used in the digital still camera 11 Can be derived that reflects As a result, the three-dimensional image reproduced in the virtual space based on the shape data becomes one of the virtual space as if it were formed through an actual lens.
It can be drawn on the projection plane.
【００５３】以上のような理論に従えば、例えばｎ個の
基準点について三次元座標値（ｘ，ｙ，ｚ）および二次
元座標値（ｘi ，ｙi ）が明らかであれば、変換行列Ｒ
の１パラメータにＣ３４＝１を設定することにより、[0053] According to the above-mentioned theories, for example, a three-dimensional coordinate values for n reference point (x, y, z) and two-dimensional coordinate values (x i, y i) if is evident, the transformation matrix R
By setting C34 = 1 to one parameter of
【数４４】 が成立する。ここで、[Equation 44] Holds. here,
【数４５】 とすれば、最小二乗法に従って、[Equation 45] Then, according to the least squares method,
【数４６】 から各パラメータＣ１１〜Ｃ３３は解き明かされること
ができる。[Equation 46] , The parameters C11 to C33 can be solved.
【００５４】以上のような形状検証システム１０の動作
は、ＥＷＳ１２のＣＰＵ（中央演算処理装置）によって
処理されるソフトウェアプログラムに従って実現されれ
ばよい。こういったソフトウェアプログラムは、図１２
に示されるように、例えばＦＤ（フロッピーディスク）
といった磁気記録媒体６１、ＣＤ（コンパクトディス
ク）やＤＶＤ（デジタルビデオディスク）といった光学
記録媒体６２、その他の任意の記録媒体を通じてＥＷＳ
１２に取り込まれればよい。The operation of the shape verification system 10 as described above may be realized according to a software program processed by the CPU (Central Processing Unit) of the EWS 12. These software programs are shown in FIG.
As shown in, for example, FD (Floppy Disk)
EWS through a magnetic recording medium 61, an optical recording medium 62 such as a CD (compact disk) or a DVD (digital video disk), or any other recording medium.
12 may be taken.
【００５５】なお、本実施形態では、以上のように三次
元物体の対象物に対して形状精度の検証が実現されるこ
とができるだけでなく、二次元の対象物に対して形状精
度の検証が実現されてもよい。In the present embodiment, not only the verification of the shape accuracy of the three-dimensional object as described above can be realized, but also the verification of the shape accuracy of the two-dimensional object. It may be realized.
【００５６】[0056]
【発明の効果】以上のように本発明によれば、実写像に
現れるレンズの歪みの影響を反映し、実写像に正確に整
合した仮想カメラ画像を形成することが可能となる。As described above, according to the present invention, it is possible to form a virtual camera image that accurately matches the real image by reflecting the influence of lens distortion appearing in the real image.
【図１】 本発明に係る形状検証システムの全体構成を
概略的に示す模式図である。FIG. 1 is a schematic diagram schematically showing an entire configuration of a shape verification system according to the present invention.
【図２】 検査台を概略的に示す斜視図である。FIG. 2 is a perspective view schematically showing an inspection table.
【図３】 形状検証システムの全体構成を機能的に示す
ブロック図である。FIG. 3 is a block diagram functionally showing the entire configuration of the shape verification system.
【図４】 辺情報解析回路の構成を概略的に示すブロッ
ク図である。FIG. 4 is a block diagram schematically showing a configuration of an edge information analysis circuit.
【図５】 仮想空間で三次元像に対して位置決めされた
受け面を表示するディスプレイの画面を示す図である。FIG. 5 is a diagram showing a screen of a display for displaying a receiving surface positioned with respect to a three-dimensional image in a virtual space.
【図６】 仮想空間で三次元像に対して位置決めされた
突き当てを表示するディスプレイの画面を示す図であ
る。FIG. 6 is a diagram showing a screen of a display for displaying an abutment positioned with respect to a three-dimensional image in a virtual space.
【図７】 投影面に投影された物体座標系の透視像を示
す図である。FIG. 7 is a diagram showing a perspective image of an object coordinate system projected on a projection plane.
【図８】 実写像と二次元理想像とが重ねて表示される
ディスプレイの画面を示す図である。FIG. 8 is a diagram illustrating a screen of a display on which a real image and a two-dimensional ideal image are displayed in a superimposed manner.
【図９】 仮想カメラ画像形成回路の原理を概略的に示
す模式図である。FIG. 9 is a schematic diagram schematically showing the principle of a virtual camera image forming circuit.
【図１０】 物体座標系ｘｙｚと投影面上の二次元座標
系ｘi ｙi との関係を示す模式図である。FIG. 10 is a schematic diagram illustrating a relationship between an object coordinate system xyz and a two-dimensional coordinate system x i y i on a projection plane.
【図１１】 他の具体例に係る形状検証システムの全体
構成を概略的に示す模式図である。FIG. 11 is a schematic diagram schematically showing an overall configuration of a shape verification system according to another specific example.
１０ 形状検証システム、１１ ＣＣＤ（電荷結合素
子）カメラとしてのデジタルスチルカメラ、１２ コン
ピュータとしてのエンジニアリングワークステーション
（ＥＷＳ）、２６ 仮想カメラ画像形成システムとして
機能する仮想カメラ画像形成回路、６１ 記録媒体とし
ての磁気記録媒体、６２ 記録媒体としての光学記録媒
体、Ｗ 対象物。Reference Signs List 10 shape verification system, 11 digital still camera as CCD (charge coupled device) camera, 12 engineering workstation (EWS) as computer, 26 virtual camera image forming circuit functioning as virtual camera image forming system, 61 recording medium Magnetic recording medium, 62 Optical recording medium as recording medium, W Object.
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA04 AA12 BB05 DD06 DD19 FF01 FF26 FF61 JJ03 JJ26 KK02 QQ21 QQ39 RR09 SS13 TT02 UU05 5B057 BA02 CA13 CB12 CD12 CD14 DA01 DA16 DB03 DC09 ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 2F065 AA04 AA12 BB05 DD06 DD19 FF01 FF26 FF61 JJ03 JJ26 KK02 QQ21 QQ39 RR09 SS13 TT02 UU05 5B057 BA02 CA13 CB12 CD12 CD14 DA01 DA16 DB03 DC09
Claims (11)
面に映し出される画像データを取得する工程と、前記三
次元空間に構築された三次元座標系に従って前記基準点
の三次元座標値を特定する基準位置データを取得する工
程と、取得した画像データおよび基準位置データに基づ
き、投影面に規定される二次元座標系および前記三次元
座標系の間で写像を実現する変換行列を導き出す工程と
を備えることを特徴とする仮想カメラ画像形成方法。A step of acquiring image data in which a reference point set in a three-dimensional space is projected on one projection plane; and a three-dimensional coordinate value of the reference point according to a three-dimensional coordinate system constructed in the three-dimensional space. Obtaining reference position data specifying the reference position data, and deriving a transformation matrix for realizing a mapping between the two-dimensional coordinate system defined on the projection plane and the three-dimensional coordinate system based on the obtained image data and reference position data. A virtual camera image forming method.
面に映し出される画像データに基づき、投影面に規定さ
れる二次元座標系に従って基準点の二次元座標値（ｘ
i ，ｙi ）を取得する工程と、前記三次元空間に構築さ
れた三次元座標系に従って前記基準点の三次元座標値
（ｘ，ｙ，ｚ）を取得する工程と、取得した二次元座標
値（ｘi ，ｙi ）および三次元座標値（ｘ，ｙ，ｚ）に
基づき、 【数１】 に従って各パラメータＣ１１〜Ｃ３４を算出する工程
と、算出されたパラメータＣ１１〜Ｃ３４を用いて、前
記二次元座標系および三次元座標系の間で写像を実現す
る変換行列 【数２】 を導き出す工程とを備えることを特徴とする仮想カメラ
画像形成方法。2. A two-dimensional coordinate value (x) of a reference point set in a three-dimensional space based on image data projected on one projection plane and according to a two-dimensional coordinate system defined on the projection plane.
i , y i ), obtaining three-dimensional coordinate values (x, y, z) of the reference point according to a three-dimensional coordinate system constructed in the three-dimensional space, and obtaining the obtained two-dimensional coordinates Based on the values (x i , y i ) and the three-dimensional coordinate values (x, y, z), Calculating the parameters C11 to C34 in accordance with the following formula, and using the calculated parameters C11 to C34, a conversion matrix for realizing a mapping between the two-dimensional coordinate system and the three-dimensional coordinate system. Deriving a virtual camera image.
法において、前記三次元座標系で特定される三次元座標
点（ｘ，ｙ，ｚ）は、 【数３】 ただし、 【数４】 に基づき、前記二次元座標系で特定される二次元座標点
（ｘi ，ｙi ）に写像されることを特徴とする仮想カメ
ラ画像形成方法。3. The virtual camera image forming method according to claim 2, wherein the three-dimensional coordinate points (x, y, z) specified in the three-dimensional coordinate system are: However, A virtual camera image forming method, wherein the image is mapped to a two-dimensional coordinate point (x i , y i ) specified in the two-dimensional coordinate system based on
の基準点が１投影面に映し出される画像データに基づ
き、投影面に規定される二次元座標系に従って各基準点
の二次元座標値（ｘi ，ｙi ）を取得する工程と、前記
三次元空間に構築された三次元座標系に従って各基準点
の三次元座標値（ｘ，ｙ，ｚ）を取得する工程と、取得
した二次元座標値（ｘi ，ｙi ）および三次元座標値
（ｘ，ｙ，ｚ）に基づき、各基準点ごとに構築される連
立方程式 【数５】 に従って各パラメータＣ１１〜Ｃ３４を算出する工程
と、算出されたパラメータＣ１１〜Ｃ３４を用いて、前
記二次元座標系および三次元座標系の間で写像を実現す
る変換行列 【数６】 を導き出す工程とを備えることを特徴とする仮想カメラ
画像形成方法。4. Based on image data in which at least six reference points set in a three-dimensional space are projected on one projection plane, two-dimensional coordinate values of each reference point (in accordance with a two-dimensional coordinate system defined on the projection plane). x i , y i ), acquiring the three-dimensional coordinate values (x, y, z) of each reference point according to the three-dimensional coordinate system constructed in the three-dimensional space, and acquiring the acquired two-dimensional coordinates. Based on the coordinate values (x i , y i ) and the three-dimensional coordinate values (x, y, z), a simultaneous equation is constructed for each reference point. Calculating the parameters C11 to C34 in accordance with the following formula, and using the calculated parameters C11 to C34, a conversion matrix for realizing a mapping between the two-dimensional coordinate system and the three-dimensional coordinate system. Deriving a virtual camera image.
法において、前記三次元座標系で特定される三次元座標
点（ｘ，ｙ，ｚ）は、 【数７】 ただし、 【数８】 に基づき、前記二次元座標系で特定される二次元座標点
（ｘi ，ｙi ）に写像されることを特徴とする仮想カメ
ラ画像形成方法。5. The virtual camera image forming method according to claim 4, wherein the three-dimensional coordinate points (x, y, z) specified in the three-dimensional coordinate system are: Where: A virtual camera image forming method, wherein the image is mapped to a two-dimensional coordinate point (x i , y i ) specified in the two-dimensional coordinate system based on
１投影面に映し出される画像データに基づき、投影面に
規定される二次元座標系に従って各基準点の二次元座標
値（ｘi1，ｙi1）〜（ｘin，ｙin）を取得する工程と、
前記三次元空間に構築された三次元座標系に従って各基
準点の三次元座標値（ｘ1 ，ｙ1 ，ｚ1 ）〜（ｘn ，ｙ
n ，ｚn ）を取得する工程と、取得した二次元座標値
（ｘi1，ｙi1）〜（ｘin，ｙin）および三次元座標値
（ｘ1 ，ｙ1 ，ｚ1 ）〜（ｘn ，ｙn ，ｚn ）を用いて
最小二乗法に基づき、 【数９】 ただし、 【数１０】 に従って各パラメータＣ１１〜Ｃ３３を算出する工程
と、算出されたパラメータＣ１１〜Ｃ３３を用いて、前
記二次元座標系および三次元座標系の間で写像を実現す
る変換行列 【数１１】 を導き出す工程とを備えることを特徴とする仮想カメラ
画像形成方法。6. A two-dimensional coordinate value (x) of each reference point according to a two-dimensional coordinate system defined on a projection plane based on image data in which n reference points set in a three-dimensional space are projected on one projection plane. i 1, y i 1) ~ (x i n, a step of acquiring a y i n),
According to the three-dimensional coordinate system constructed in the three-dimensional space, three-dimensional coordinate values (x 1 , y 1 , z 1 ) to (x n , y) of each reference point
n, a step of acquiring the z n), acquired two-dimensional coordinate values (x i 1, y i 1 ) ~ (x i n, y i n) and three-dimensional coordinate values (x 1, y 1, z 1 ) To (x n , y n , z n ) based on the least squares method. Where: Calculating the parameters C11 to C33 in accordance with the following formula, and using the calculated parameters C11 to C33, a transformation matrix for realizing a mapping between the two-dimensional coordinate system and the three-dimensional coordinate system. Deriving a virtual camera image.
法において、前記三次元座標系で特定される三次元座標
点（ｘ，ｙ，ｚ）は、 【数１２】 ただし、 【数１３】 に基づき、前記二次元座標系で特定される二次元座標点
（ｘi ，ｙi ）に写像されることを特徴とする仮想カメ
ラ画像形成方法。7. The virtual camera image forming method according to claim 6, wherein the three-dimensional coordinate points (x, y, z) specified in the three-dimensional coordinate system are: Where: A virtual camera image forming method, wherein the image is mapped to a two-dimensional coordinate point (x i , y i ) specified in the two-dimensional coordinate system based on
成方法において、前記画像データはＣＣＤ（電荷結合素
子）カメラによって生成されることを特徴とする仮想カ
メラ画像形成方法。8. The virtual camera image forming method according to claim 1, wherein said image data is generated by a CCD (Charge Coupled Device) camera.
法において、前記三次元空間で対象物の三次元像を特定
する形状データを取得する工程と、前記変換行列を用い
て、形状データに基づき再現された対象物の三次元像を
前記投影面に投影する工程とをさらに備えることを特徴
とする仮想カメラ画像形成方法。9. The virtual camera image forming method according to claim 8, further comprising: obtaining shape data for specifying a three-dimensional image of the object in the three-dimensional space; Projecting the three-dimensional image of the object reproduced based on the projection surface onto the projection plane.
影面に映し出される画像データを取得する工程と、前記
三次元空間に構築された三次元座標系に従って前記基準
点の三次元座標値を特定する基準位置データを取得する
工程と、取得した画像データおよび基準位置データに基
づき、投影面に規定される二次元座標系および前記三次
元座標系の間で写像を実現する変換行列を導き出す工程
とをコンピュータに実行させることを特徴とする記録媒
体。10. A step of acquiring image data in which a reference point set in a three-dimensional space is projected on one projection plane; and a three-dimensional coordinate value of the reference point according to a three-dimensional coordinate system constructed in the three-dimensional space. Obtaining reference position data specifying the reference position data, and deriving a transformation matrix for realizing a mapping between the two-dimensional coordinate system defined on the projection plane and the three-dimensional coordinate system based on the obtained image data and reference position data. A recording medium characterized by causing a computer to execute the steps.
影面に映し出される画像データに基づき、投影面に規定
される二次元座標系に従って基準点の二次元座標値（ｘ
i ，ｙi ）を取得する工程と、前記三次元空間に構築さ
れた三次元座標系に従って前記基準点の三次元座標値
（ｘ，ｙ，ｚ）を取得する工程と、取得した二次元座標
値（ｘi ，ｙi ）および三次元座標値（ｘ，ｙ，ｚ）に
基づき、 【数１４】 に従って各パラメータＣ１１〜Ｃ３４を算出する工程
と、算出されたパラメータＣ１１〜Ｃ３４を用いて、前
記二次元座標系および三次元座標系の間で写像を実現す
る変換行列 【数１５】 を導き出す工程とをコンピュータに実行させることを特
徴とする記録媒体。11. A two-dimensional coordinate value (x) of a reference point set in a three-dimensional space according to a two-dimensional coordinate system defined on the projection plane based on image data projected on one projection plane.
i , y i ), obtaining three-dimensional coordinate values (x, y, z) of the reference point according to a three-dimensional coordinate system constructed in the three-dimensional space, and obtaining the obtained two-dimensional coordinates Based on the values (x i , y i ) and the three-dimensional coordinate values (x, y, z), Calculating the parameters C11 to C34 in accordance with the following formula, and using the calculated parameters C11 to C34, a conversion matrix for realizing a mapping between the two-dimensional coordinate system and the three-dimensional coordinate system. And a step of causing a computer to execute the steps of:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11027099A JP4132387B2 (en) | 1999-04-19 | 1999-04-19 | Virtual camera image forming method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11027099A JP4132387B2 (en) | 1999-04-19 | 1999-04-19 | Virtual camera image forming method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000306096A true JP2000306096A (en) | 2000-11-02 |
| JP4132387B2 JP4132387B2 (en) | 2008-08-13 |
Family
ID=14531439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11027099A Expired - Fee Related JP4132387B2 (en) | 1999-04-19 | 1999-04-19 | Virtual camera image forming method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4132387B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100589125C (en) * | 2007-12-29 | 2010-02-10 | 中国科学院计算技术研究所 | Virtual video camera planning and distributing method and system |
| JP2011227613A (en) * | 2010-04-16 | 2011-11-10 | Canon Inc | Image processor and method |
| JP2012063310A (en) * | 2010-09-17 | 2012-03-29 | Mitsubishi Heavy Ind Ltd | Defect dimension measuring apparatus, defect dimension measurement method, and program |
| DE102011051417A1 (en) * | 2011-06-28 | 2013-01-03 | Lars Steinsiek | Device for producing photographs of objects from different angles, has object holder which is rotatable about axis together with another holder to fix completely different objects on device |
| CN111159872A (en) * | 2019-12-23 | 2020-05-15 | 中国一拖集团有限公司 | Three-dimensional assembly process teaching method and system based on human-machine engineering simulation analysis |
| CN111274927A (en) * | 2020-01-17 | 2020-06-12 | 北京三快在线科技有限公司 | Training data generation method and device, electronic equipment and storage medium |
| CN114295071A (en) * | 2021-08-16 | 2022-04-08 | 云南特可科技有限公司 | Multidimensional measurement method for obtaining target form |
-
1999
- 1999-04-19 JP JP11027099A patent/JP4132387B2/en not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100589125C (en) * | 2007-12-29 | 2010-02-10 | 中国科学院计算技术研究所 | Virtual video camera planning and distributing method and system |
| JP2011227613A (en) * | 2010-04-16 | 2011-11-10 | Canon Inc | Image processor and method |
| US8717419B2 (en) | 2010-04-16 | 2014-05-06 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| JP2012063310A (en) * | 2010-09-17 | 2012-03-29 | Mitsubishi Heavy Ind Ltd | Defect dimension measuring apparatus, defect dimension measurement method, and program |
| DE102011051417A1 (en) * | 2011-06-28 | 2013-01-03 | Lars Steinsiek | Device for producing photographs of objects from different angles, has object holder which is rotatable about axis together with another holder to fix completely different objects on device |
| DE102011051417B4 (en) * | 2011-06-28 | 2014-02-06 | Lars Steinsiek | Device for generating photographs of objects |
| CN111159872A (en) * | 2019-12-23 | 2020-05-15 | 中国一拖集团有限公司 | Three-dimensional assembly process teaching method and system based on human-machine engineering simulation analysis |
| CN111159872B (en) * | 2019-12-23 | 2023-02-28 | 中国一拖集团有限公司 | Three-dimensional assembly process teaching method and system based on human-machine engineering simulation analysis |
| CN111274927A (en) * | 2020-01-17 | 2020-06-12 | 北京三快在线科技有限公司 | Training data generation method and device, electronic equipment and storage medium |
| CN114295071A (en) * | 2021-08-16 | 2022-04-08 | 云南特可科技有限公司 | Multidimensional measurement method for obtaining target form |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4132387B2 (en) | 2008-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4025442B2 (en) | 3D model conversion apparatus and method | |
| Marcin et al. | Hierarchical, three‐dimensional measurement system for crime scene scanning | |
| JP2000516360A (en) | Three-dimensional object modeling apparatus and method | |
| JP2011522217A (en) | System, program product, and related method for aligning a three-dimensional model to point data representing the posture of a part | |
| JP2001506384A (en) | Apparatus and method for three-dimensional surface shape reconstruction | |
| Gibson et al. | Interactive reconstruction of virtual environments from video sequences | |
| JP5030953B2 (en) | Method and system for determining the relative position of a first object with respect to a second object, a corresponding computer program and a corresponding computer-readable recording medium | |
| Wang et al. | Accurate radius measurement of multi-bend tubes based on stereo vision | |
| CN107886567A (en) | A kind of three-dimensional quick scan matching identification and 3 D scanning system | |
| Niola et al. | A new real-time shape acquisition with a laser scanner: first test results | |
| Sansoni et al. | 3-D optical measurements in the field of cultural heritage: the case of the Vittoria Alata of Brescia | |
| Bradley et al. | A complementary sensor approach to reverse engineering | |
| JP4132387B2 (en) | Virtual camera image forming method | |
| Son et al. | Path planning of multi-patched freeform surfaces for laser scanning | |
| JP4085671B2 (en) | Data processing method, data processing program, and recording medium | |
| JP4481384B2 (en) | Shape verification system and virtual camera image forming system | |
| JP4481383B2 (en) | Shape verification system and shape verification method | |
| WO2002044650A9 (en) | Method and apparatus for simulating the measurement of a part without using a physical measurement system | |
| Sansoni et al. | In-field performance of an optical digitizer for the reverse engineering of free-form surfaces | |
| Tucci et al. | Photogrammetry and 3d scanning: Assessment of metric accuracy for the digital model of danatello’s maddalena | |
| JPH0650730A (en) | Three-dimensional shape measuring device | |
| CN115641405A (en) | Three-dimensional modeling method and system | |
| Górski et al. | Application of close-range photogrammetry in reverse engineering | |
| JP2001082951A (en) | Non-contact measured-point data positioning device, its method, and storage medium | |
| Liu et al. | Comparison study of three camera calibration methods considering the calibration board quality and 3D measurement accuracy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080418 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080520 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080602 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |