JP2000306096A - 仮想カメラ画像形成方法 - Google Patents

Abstract

(57)【要約】 【課題】 実写像に現れるレンズの歪みの影響を反映
し、実写像に正確に整合した仮想カメラ画像を形成する
ことができる仮想カメラ画像形成方法を提供する。 【解決手段】 デジタルカメラ１１で生成された画像デ
ータは投影面特定回路２９に取り込まれる。投影面特定
回路２９は、画像データに基づき、画像面に規定される
二次元座標系に従って基準点の二次元座標値を特定す
る。その一方で、基準点の三次元座標値は実測される。
得られた二次元座標値および三次元座標値に基づき、三
次元座標系の三次元座標点を二次元座標系の二次元座標
点に写像する変換行列は求められる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、三次元座標系に従
って特定される光学系主点の位置や光学系主軸の向き、
焦点距離といったカメラ情報に基づき、１投影面上に仮
想カメラ画像を形成する仮想カメラ画像形成方法に関す
る。

【０００２】

【従来の技術】一般に、製造の分野では、加工品が設計
通りに加工されたか否か、成型品が設計通りに成形され
たか否かが検証される。この検証には、高い精度で加工
品や成型品を象った検査具が広く用いられる。検査具に
加工品や成型品がはめ込まれると、検査具で規定される
理想形状に対して実際の加工品や成型品の誤差が一目で
確認されることができる。そういった誤差は例えばノギ
スなどを用いて測定されることができる。しかしなが
ら、使用される検査具は各加工品や成型品ごとに用意さ
れなければならず、検査具の製作には多大な費用や手間
がかかるだけでなく、製作された検査具を保管するにあ
たって多大なスペースが必要とされる。

【０００３】その一方で、そういった検証にあたって、
三次元測定機を用いて加工品や成型品の実寸法を測定す
ることが広く行われている。三次元測定機で測定された
実寸法と、加工品や成型品の設計寸法を特定する形状デ
ータとが比較されると、加工品や成型品の寸法誤差が算
出されることができる。しかしながら、こうした三次元
測定機では、加工品や成型品の表面に沿って接触プロー
ブを万遍なく移動させなければならない。接触プローブ
は加工品や成型品の表面に点接触することから、寸法測
定にあたって加工品や成型品の全表面にわたって十分な
サンプルデータを取得するには多大な時間が必要とされ
る。しかも、人手を用いて接触プローブを移動させれば
測定結果にばらつきが生じてしまい、ロボットを用いて
自動的に接触プローブを移動させればティーチング作業
に多くの時間や労力が費やされてしまう。

【０００４】

【発明が解決しようとする課題】本発明者らは、カメラ
の実写像を用いて加工品や成型品の形状を簡単に検証す
ることが可能な形状検証システムを提案する。この形状
検証システムでは、形状データに基づき例えばコンピュ
ータ内に描き出される仮想カメラ画像と加工品や成型品
の実写像とが相互に比較される結果、設計寸法に対する
加工品や成型品の寸法誤差は測定される。しかしなが
ら、実写像にはレンズの歪みが影響することから、実写
像に正確に整合する仮想カメラ画像を形成することは難
しい。これまでのところ、こうしたレンズの歪みを考慮
して仮想カメラ画像を形成することは試みられていな
い。

【０００５】本発明は、上記実状に鑑みてなされたもの
で、実写像に現れるレンズの歪みの影響を反映し、実写
像に正確に整合した仮想カメラ画像を形成することがで
きる仮想カメラ画像形成方法を提供することを目的とす
る。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、本発明によれば、三次元空間に設定された基準点が
１投影面に映し出される画像データを取得する工程と、
前記三次元空間に構築された三次元座標系に従って前記
基準点の三次元座標値を特定する基準位置データを取得
する工程と、取得した画像データおよび基準位置データ
に基づき、投影面に規定される二次元座標系および前記
三次元座標系の間で写像を実現する変換行列を導き出す
工程とを備えることを特徴とする仮想カメラ画像形成方
法が提供される。

【０００７】例えば一般の撮像装置では、三次元空間に
存在する三次元物体はレンズを通して二次元の結像面に
写像される。こうしたレンズの働きは、任意の物体座標
系すなわち三次元座標系から二次元座標系への座標変換
として捉えられる。したがって、こうした座標変換を実
現する変換行列を用いれば、仮想空間で再現される三次
元像を任意の二次元投影面に投影させることができる。
撮像装置で得られる画像データと基準位置データとを用
いれば、現実のレンズの働きを反映した変換行列が導き
出されることができる。その結果、仮想空間の三次元像
は、あたかも実際のレンズを通して結像されたように仮
想空間の１投影面に描き出されることができる。

【０００８】具体的には、本発明に係る仮想カメラ画像
形成方法は、例えば、三次元空間に設定された基準点が
１投影面に映し出される画像データに基づき、投影面に
規定される二次元座標系に従って基準点の二次元座標値
（ｘ_i ，ｙ_i ）を取得する工程と、前記三次元空間に構
築された三次元座標系に従って前記基準点の三次元座標
値（ｘ，ｙ，ｚ）を取得する工程と、取得した二次元座
標値（ｘ_i ，ｙ_i ）および三次元座標値（ｘ，ｙ，ｚ）
に基づき、

【数１６】 に従って各パラメータＣ１１〜Ｃ３４を算出する工程
と、算出されたパラメータＣ１１〜Ｃ３４を用いて、前
記二次元座標系および三次元座標系の間で写像を実現す
る変換行列

【数１７】 を導き出す工程とを備えればよい。こうした工程によれ
ば、前述したとおり、現実のレンズの歪みを反映した変
換行列Ｒが導き出されることとなる。

【０００９】こうして導き出された変換行列Ｒを用いれ
ば、前記三次元座標系で特定される三次元座標点（ｘ，
ｙ，ｚ）は、

【数１８】 ただし、

【数１９】 に基づき、前記二次元座標系で特定される二次元座標点
（ｘ_i ，ｙ_i ）に写像されることができる。その結果、
三次元座標系が構築された仮想空間に描き出される三次
元像は、レンズの歪みを反映しながら、二次元座標系が
構築された１投影面に二次元像として描き出されること
ができる。

【００１０】さらに具体的には、本発明に係る仮想カメ
ラ画像形成方法は、例えば、三次元空間に設定された少
なくとも６個の基準点が１投影面に映し出される画像デ
ータに基づき、投影面に規定される二次元座標系に従っ
て各基準点の二次元座標値（ｘ_i ，ｙ_i ）を取得する工
程と、前記三次元空間に構築された三次元座標系に従っ
て各基準点の三次元座標値（ｘ，ｙ，ｚ）を取得する工
程と、取得した二次元座標値（ｘ_i ，ｙ_i ）および三次
元座標値（ｘ，ｙ，ｚ）に基づき、各基準点ごとに構築
される連立方程式

【数２０】 に従って各パラメータＣ１１〜Ｃ３４を算出する工程
と、算出されたパラメータＣ１１〜Ｃ３４を用いて、前
記二次元座標系および三次元座標系の間で写像を実現す
る変換行列

【数２１】 を導き出す工程とを備えればよい。こうした工程によれ
ば、前述したとおり、現実のレンズの歪みを反映した変
換行列Ｒが導き出されることとなる。

【００１１】こうして導き出された変換行列Ｒを用いれ
ば、前記三次元座標系で特定される三次元座標点（ｘ，
ｙ，ｚ）は、

【数２２】 ただし、

【数２３】 に基づき、前記二次元座標系で特定される二次元座標点
（ｘ_i ，ｙ_i ）に写像されることができる。

【００１２】その他、本発明に係る仮想カメラ画像形成
方法は、三次元空間に設定されたｎ個の基準点が１投影
面に映し出される画像データに基づき、投影面に規定さ
れる二次元座標系に従って各基準点の二次元座標値（ｘ
_i1，ｙ_i1）〜（ｘ_in，ｙ_in）を取得する工程と、前記三
次元空間に構築された三次元座標系に従って各基準点の
三次元座標値（ｘ₁ ，ｙ₁ ，ｚ₁ ）〜（ｘ_n ，ｙ_n ，ｚ
_n ）を取得する工程と、取得した二次元座標値（ｘ_i1，
ｙ_i1）〜（ｘ_in，ｙ_in）および三次元座標値（ｘ₁ ，ｙ
₁ ，ｚ₁ ）〜（ｘ_n ，ｙ_n ，ｚ_n ）を用いて最小二乗法
に基づき、

【数２４】 ただし、

【数２５】 に従って各パラメータＣ１１〜Ｃ３３を算出する工程
と、算出されたパラメータＣ１１〜Ｃ３３を用いて、前
記二次元座標系および三次元座標系の間で写像を実現す
る変換行列

【数２６】 を導き出す工程とを備えてもよい。こうして導き出され
た変換行列Ｒを用いれば、前述と同様に、前記三次元座
標系で特定される三次元座標点（ｘ，ｙ，ｚ）は、

【数２７】 ただし、

【数２８】 に基づき、前記二次元座標系で特定される二次元座標点
（ｘ_i ，ｙ_i ）に写像されることができる。

【００１３】いずれの場合でも、画像データはＣＣＤ
（電荷結合素子）カメラによって生成されればよい。Ｃ
ＣＤカメラを用いれば、画像面上で各画素ごとに簡単に
二次元座標値を取得することができる。したがって、各
画素ごとに特定される画像情報を用いれば、簡単に基準
点の二次元座標値を取得することが可能となる。

【００１４】加えて、以上のような仮想カメラ画像形成
方法は、前記三次元空間で対象物の三次元像を特定する
形状データを取得する工程と、前記変換行列を用いて、
形状データに基づき再現された対象物の三次元像を前記
投影面に投影する工程とをさらに備えてもよい。

【００１５】以上のような仮想カメラ画像形成方法は、
例えばコンピュータによって処理されるソフトウェアプ
ログラムに従って実現されてもよい。こういったソフト
ウェアプログラムは、例えばＦＤ（フロッピーディス
ク）といった磁気記録媒体、ＣＤ（コンパクトディス
ク）やＤＶＤ（デジタルビデオディスク）といった光学
記録媒体、いわゆるＭＯといった光磁気記録媒体、その
他の任意の記録媒体を通じてコンピュータに取り込まれ
ればよい。

【００１６】

【発明の実施の形態】以下、添付図面を参照しつつ本発
明の一実施形態を説明する。

【００１７】図１は、対象物Ｗの形状精度を検証する形
状検証システム１０の構成を概略的に示す。この形状検
証システム１０は、対象物Ｗの実写像すなわち投影面に
映し出される対象物Ｗの二次元像を取得するデジタルス
チルカメラ１１を備える。このデジタルスチルカメラ１
１は、例えばＣＣＤ（電荷結合素子）を利用して、対象
物Ｗの実写像を再現する画像データを出力する。この画
像データによれば、任意の投影面に微細な間隔で設定さ
れる各画素ごとに画像情報が特定される。各画素の位置
は、例えば投影面に設定される二次元座標系に従って特
定されることができる。ただし、デジタルスチルカメラ
１１のほか、撮像装置には、デジタルビデオカメラや、
ＣＣＤ以外の画像取得手段を用いて各画素ごとに画像情
報を特定する撮像装置が用いられてもよく、プリント写
真に基づき画像データを生成するスキャナなどが用いら
れてもよい。

【００１８】エンジニアリングワークステーション（Ｅ
ＷＳ）１２は、デジタルスチルカメラ１１で取得された
実写像に基づき対象物Ｗの形状寸法誤差を測定する。こ
の形状検証システム１０では、取得される実写像に基づ
いて対象物Ｗの輪郭や幾何学的稜線に関する形状寸法誤
差が測定される。こうした形状検証システム１０は、例
えば自動車の外板といった部品の形状精度や、そういっ
た部品の加工や成形に用いられる金型の形状精度を検証
する際に用いられることができるだけでなく、複数の部
品で組み立てられたアセンブリや完成品の組立精度や形
状精度を検証する際に用いられることができる。

【００１９】形状検証システム１０には、対象物Ｗの三
次元形状を測定する三次元測定機１３がさらに組み込ま
れてもよい。三次元測定機１３は、対象物Ｗと接触プロ
ーブ１４との接触を通じて、対象物Ｗの三次元像を再現
するにあたって必要とされる三次元座標値を取得する。
１つの三次元座標値を取得するにあたって、接触プロー
ブ１４は、例えば任意の三次元座標系でｘ座標値および
ｙ座標値を維持しながらｚ軸方向に移動する。接触まで
に測定されるｚ軸方向の移動量に基づきｚ座標値は特定
される。ｘｙ平面に沿って微細な間隔で設定される多数
の測定点ごとにｚ座標値は測定されていく。その結果、
対象物Ｗの三次元像を再現するために十分な三次元座標
点の集合体が得られる。接触プローブ１４の動きは例え
ばパーソナルコンピュータ（ＰＣ）１５によって制御さ
れる。こうした三次元測定機１３は、平面や曲面、凹凸
面の歪みといったデジタルスチルカメラ１１による実写
像に現れにくい形状の歪みを測定する際に役立つ。

【００２０】図２に示されるように、検証にあたって対
象物Ｗは検査台１６に設置される。検査台１６には、対
象物Ｗを受け止める水平かつ平坦な受け面１７と、受け
面１７から垂直に立ち上がる複数（例えば３つ）の突き
当て１８ａ、１８ｂ、１８ｃとが設けられる。受け面１
７は、物体座標系ｘｙｚに従ってｚ座標値の基準を規定
する。すなわち、ｚ座標値は、受け面１７からの高さに
基づき特定されることができる。２つの突き当て１８
ａ、１８ｂは、受け面１７に直交する１平面を規定す
る。規定された１平面は、物体座標系ｘｙｚに従ってｙ
座標値の基準に設定される。すなわち、ｙ座標値は、２
つの突き当て１８ａ、１８ｂによって規定された１平面
からの距離に基づき特定されることができる。さらに、
残りの突き当て１８ｃは、他の２つの突き当て１８ａ、
１８ｂによって規定された１平面と受け面１７とに直交
する１平面を規定する。規定された１平面は、物体座標
系ｘｙｚに従ってｘ座標値の基準に設定される。したが
って、ｘ座標値は、突き当て１８ｃによって規定された
１平面からの距離に基づき特定されることができる。

【００２１】ここでは、物体座標系ｘｙｚのｘｙ平面は
受け面１７に沿って規定される。加えて、２つの突き当
て１８ａ、１８ｂは物体座標系ｘｙｚのｘｚ平面を規定
し、他の突き当て１８ｃは物体座標系ｘｙｚのｙｚ平面
を規定する。ただし、物体座標系ｘｙｚは、１または複
数の座標軸に沿って平行移動してもよい。

【００２２】検査台１６には複数個の基準ブロック１９
が設けられる。各基準ブロック１９の頂点には物体座標
系ｘｙｚに従って三次元座標値が与えられる。こうした
三次元座標値は例えば三次元測定機１３などによって予
め実測されていればよい。ただし、三次元座標値は、受
け面１７や突き当て１８ａ、１８ｂ、１８ｃに対して各
基準ブロック１９の相対的な位置関係を特定していれば
十分である。後述するように、全ての基準ブロック１９
に対して少なくとも６個の頂点で三次元座標値が明らか
にされなければならない。

【００２３】図３に示されるように、ＥＷＳ１２は、三
次元測定機１３で測定された三次元形状と、形状データ
に基づき復元される対象物Ｗの理想三次元像とを相互に
比較する面情報解析回路２１を備える。この面情報解析
回路２１によれば、例えば、三次元測定機１３で測定さ
れた三次元座標点の集合体に基づき対象物Ｗを表現する
ポリゴンが再構築され、再構築されたポリゴンに基づい
て対象物Ｗの三次元像が描き出される。描き出された三
次元像と理想三次元像とが相互に比較される結果、対象
物Ｗの平面や曲面の歪みといった形状寸法誤差は導き出
される。こうして導き出された形状寸法誤差は例えばデ
ィスプレイ２２の画面に表示されることができる。同時
に、ディスプレイ２２の画面には、再構築されたポリゴ
ンに基づき対象物Ｗの三次元像が表示されてもよく、そ
ういった三次元像とともに理想三次元像（すなわち比較
の結果）が表示されてもよい。

【００２４】ここで、形状データは、例えばＬＡＮ（構
内回線網）などによってＥＷＳ１２に接続された大容量
記憶装置２３内に構築された製品データベースから取得
される。製品データベースには、任意の三次元座標系に
基づき各製品ごとに三次元像を規定する三次元設計デー
タが格納される。各三次元設計データは、例えば周知の
三次元ＣＡＤ／ＣＡＭシステムなどを用いて構築される
ことができる。ただし、形状データは、可搬性の記録媒
体を用いてＥＷＳ１２に転送されてもよい。

【００２５】さらにＥＷＳ１２には、デジタルスチルカ
メラ１１で取得された実写像と、形状データに基づき描
かれる二次元理想像とを相互に比較する辺情報解析回路
２４が設けられる。二次元理想像は例えば対象物Ｗの輪
郭や幾何学的稜線によって描かれる。この辺情報解析回
路２４は、実写像と二次元理想像との比較結果をディス
プレイ２２の画面に表示させることができる。

【００２６】辺情報解析回路２４は、例えば図４に示さ
れるように、仮想空間に再現される対象物Ｗおよびデジ
タルスチルカメラ１１に基づき、デジタルスチルカメラ
１１で撮像されると想定される仮想カメラ画像を形成す
る仮想カメラ画像形成回路２６を備える。表示回路２７
は、仮想カメラ画像形成回路２６で形成された仮想カメ
ラ画像と実写像とを重ねてディスプレイ２２の画面に表
示させる。

【００２７】仮想カメラ画像形成回路２６は、仮想空間
に物体座標系ｘｙｚすなわち三次元座標系を再現する座
標系構築回路２８を備える。物体座標系ｘｙｚを再現す
るにあたって、座標系構築回路２８は、大容量記憶装置
２３から取り込まれる形状データに基づき仮想空間で対
象物Ｗの三次元像を再現する。この三次元像に対して検
査台１６の受け面１７および突き当て１８ａ、１８ｂ、
１８ｃの位置が特定されると、仮想空間では、対象物Ｗ
の実寸法を規定する物体座標系ｘｙｚすなわち三次元座
標系が構築される。

【００２８】投影面特定回路２９は、物体座標系ｘｙｚ
が構築された仮想空間で、対象物Ｗの実写像が映し出さ
れる投影面を特定する。この特定にあたって、投影面特
定回路２９は、画像データで特定される基準ブロック１
９の頂点すなわち基準点の二次元座標値（ｘ_i ，ｙ_i ）
と、各基準点に与えられた三次元座標値（ｘ，ｙ，ｚ）
とに基づき、各基準点ごとに構築される連立方程式

【数２９】 に従って各パラメータＣ１１〜Ｃ３４を算出する。算出
されたパラメータＣ１１〜Ｃ３４によれば、変換行列

【数３０】 が導き出される。

【００２９】描画回路３０は、形状データに基づき再現
された対象物Ｗの三次元像を投影面に投影し、対象物Ｗ
の二次元理想像を形成する。二次元理想像の形成にあた
って、描画回路３０は、対象物Ｗの輪郭線や幾何学的稜
線を規定する三次元座標点（ｘ，ｙ，ｚ）と、投影面特
定回路２９で算出された変換行列Ｒとに基づいて、

【数３１】 ただし、

【数３２】 に従って、投影面上で各三次元座標点（ｘ，ｙ，ｚ）に
対応する二次元座標点（ｘ_i ，ｙ_i ）を選び出す。こう
した描画回路３０の働きによれば、例えば仮想空間の物
体座標系ｘｙｚで対象物Ｗの三次元像が移動すると、そ
の移動に伴い投影面上で二次元理想像は移動することと
なる。

【００３０】描画回路３０には、仮想カメラ画像形成回
路２６で構築された三次元座標系すなわち物体座標系ｘ
ｙｚに従って実写像と二次元理想像との間で寸法誤差を
測定する誤差測定回路３１が接続される。この誤差測定
回路３１は、例えば、仮想空間に再現される三次元像上
で二次元理想像の輪郭線を特定したり三次元像の幾何学
的稜線を抽出したりする輪郭抽出回路３２を備える。こ
の輪郭抽出回路３２によれば、例えばマウス３３といっ
た入力装置を通じて操作者が入力する指令に従って任意
の輪郭線や幾何学的稜線が選び出されることができる。

【００３１】移動方向決定回路３４は、選び出された輪
郭線や稜線の移動方向を決定する。こうした移動方向に
は、例えば三次元像の表面に対して直交する法線方向が
選択されてもよく、後述するように、稜線に接する１表
面に対して直交する法線方向や、稜線に対する接線方向
および法線方向にともに直交する外積方向が選択されて
もよい。

【００３２】画像操作回路３５は、仮想空間に構築され
た物体座標系ｘｙｚすなわちスケール座標系に従って、
決定された移動方向に対象物Ｗの三次元像を移動させる
ことができる。この移動にあたって、画像操作回路３５
は、決定された移動方向に基づき、例えばボリュームス
イッチ３６の操作量に応じて物体座標系ｘｙｚに従った
ｘ座標値、ｙ座標値およびｚ座標値の各増減値を特定す
る。例えば移動方向決定回路３４で前述の法線方向およ
び外積方向が選択された場合には、法線方向および外積
方向に個別に三次元像の移動を引き起こす２つのボリュ
ームスイッチ３６が設けられればよい。

【００３３】移動量算出回路３７は、三次元座標系すな
わち物体座標系ｘｙｚに従って輪郭線や稜線の移動量を
算出する。輪郭線や稜線の移動量は、例えば画像操作回
路３５で特定されるｘ座標値、ｙ座標値およびｚ座標値
の各増減値に基づき算出されることができる。ただし、
こうした移動量は、ボリュームスイッチ３６の操作量に
基づき算出されてもよい。この場合には、例えば０．５
ｍｍや１μｍといった単位長さの移動量を引き起こすｘ
座標値、ｙ座標値およびｚ座標値の各増減値すなわちボ
リュームスイッチ３６の操作量が明らかであればよい。
ここでは、第１移動量算出回路３７ａによって、稜線に
接する１表面に対して直交する法線方向に稜線の法線方
向移動量は算出される。その一方で、第２移動量算出回
路３７ｂによって、稜線に対する接線方向および法線方
向にともに直交する外積方向に稜線の外積方向移動量は
算出される。

【００３４】次に本実施形態に係る形状検証システム１
０の動作を詳述する。ここでは、辺情報解析回路２４の
動作に着目し、面情報解析回路２１の動作に関する説明
は省略される。面情報解析回路２１は周知の技術に基づ
き動作すればよい。

【００３５】いま、例えば図２に示される対象物Ｗの形
状を検証する場面を想定する。操作者は、対象物Ｗを特
定する形状データを大容量記憶装置２３の製品データベ
ースからＥＷＳ１２に取り込ませる。形状データが取り
込まれると、座標系構築回路２８は、ＥＷＳ１２に認識
される仮想空間に対象物Ｗの三次元像を再現する。こう
した三次元像は例えばディスプレイ２２の画面に表示さ
れる。

【００３６】同時に、座標系構築回路２８は、物体座標
系ｘｙｚのｘｙ平面を規定する受け面１７の三次元像
や、ｘｚ平面を規定する突き当て１８ａ、１８ｂの三次
元像、ｙｚ平面を規定する突き当て１８ｃの三次元像を
再現する。操作者は、例えば図５に示されるように、再
現された対象物Ｗの三次元像に対して受け面１７の位置
を特定したり、図６に示されるように、突き当て１８
ａ、１８ｂ、１８ｃの位置を特定する。こうして受け面
１７や突き当て１８ａ、１８ｂ、１８ｃの位置が特定さ
れると、検査台１６に設定された物体座標系ｘｙｚがＥ
ＷＳ１２内の仮想空間に再現される。対象物Ｗの三次元
像は、ｘｙ平面、ｙｚ平面およびｘｚ平面を基準に物体
座標系ｘｙｚ内で位置決めされることとなる。

【００３７】続いて操作者は、デジタルスチルカメラ１
１で生成された画像データをＥＷＳ１２に取り込ませ
る。画像データによれば、実写像の投影面に設定される
二次元座標系に従って各画素の二次元座標値（ｘ_i ，ｙ
_i ）が特定される。各画素の画像情報（例えば色情報）
が識別される結果、対象物Ｗの輪郭および幾何学的稜線
を規定する二次元座標点（ｘ_i ，ｙ_i ）の集合や、各基
準ブロック１９の頂点すなわち基準点を規定する二次元
座標点（ｘ_i ，ｙ_i ）が特定される。

【００３８】以上のようにＥＷＳ１２に形状データおよ
び画像データが取り込まれると、投影面特定回路２９
は、前述したとおり変換行列Ｒを算出する。この変換行
列Ｒの算出にあたって、投影面特定回路２９は、少なく
とも６個の基準点の二次元座標値（ｘ_i ，ｙ_i ）を取得
すると同時に、各基準点の三次元座標値（ｘ，ｙ，ｚ）
を取得する。三次元座標値（ｘ，ｙ，ｚ）は例えば操作
者の入力操作を通じて投影面特定回路２９に取り込まれ
る。各基準点の三次元座標値（ｘ，ｙ，ｚ）は予め実測
されていればよい。

【００３９】描画回路３０は、投影面特定回路２９で算
出された変換行列Ｒを用いて、仮想空間に再現される対
象物Ｗの三次元像を投影面に写像する。すなわち、三次
元像の輪郭や幾何学的稜線を規定する各三次元座標点
（ｘ，ｙ，ｚ）に変換行列Ｒが掛け合わされる。その結
果、投影面には、例えば図７に示されるように、二次元
座標点（ｘ_i ，ｙ_i ）の集合によって対象物Ｗの二次元
理想像４１が描き出される。変換行列Ｒは仮想空間の全
ての三次元座標点（ｘ，ｙ，ｚ）を投影面に写像させる
ことができることから、描き出された二次元理想像４１
は、対象物Ｗの実寸法を規定する物体座標系ｘｙｚを反
映する。言い換えれば、投影面には、例えば図７に示さ
れるように、物体座標系ｘｙｚの透視像が描き出され
る。したがって、二次元理想像４１によれば、物体座標
系ｘｙｚに従って対象物Ｗの理想位置が特定されること
ができる。

【００４０】表示回路２７は、画像データに基づき投影
面上に対象物Ｗの実写像を再現し、再現された実写像に
対象物Ｗの二次元理想像を重ね合わせる。その結果、投
影面に描き出された物体座標系ｘｙｚの透視像に対象物
Ｗの実写像は取り込まれる。投影面では、物体座標系ｘ
ｙｚに従って実写像の実位置が特定されることができる
こととなる。

【００４１】こうして単一の投影面に描き出された対象
物Ｗの実写像と二次元理想像とがディスプレイ２２の画
面に表示されると、対象物Ｗの寸法誤差の有無は一目で
確認されることができる。二次元理想像と、実写像で特
定される幾何学的稜線とが互いに一致すれば対象物Ｗの
寸法誤差は存在しないこととなる。その一方で、二次元
理想像と、実写像で特定される幾何学的稜線との間に生
じる「ずれ」は物体座標系ｘｙｚに従って対象物Ｗの寸
法誤差を表現することとなる。ただし、ここでは、後述
する誤差測定回路３１の働きに応じて、ディスプレイ２
２の画面には必ずしも物体座標系ｘｙｚの透視像は表示
される必要はない。

【００４２】この形状検証システム１０によれば、操作
者は、二次元理想像と実写像との間に観察される「ず
れ」の大きさすなわち寸法誤差を測定することができ
る。この測定にあたって、操作者は、まず、マウス３３
を操作して二次元理想像の輪郭線や幾何学的稜線といっ
た特徴を指定する。例えば図８に示されるように、操作
者は、マウス３３の移動を通じてディスプレイ２２の画
面上でマウスポインタ４２を移動させ、マウス３３のク
リック操作を通じてマウスポインタ４２が指し示す輪郭
線や幾何学的稜線４３を指定する。輪郭抽出回路３２
は、仮想空間に再現された対象物Ｗの三次元像上で、ク
リック時のマウスポインタ４２が指し示す輪郭線や幾何
学的稜線４３を特定する。

【００４３】図８に示されるように、例えば幾何学的稜
線４３が指定されると、移動方向決定回路３４は、仮想
空間に再現された三次元像上で、指定された幾何学的稜
線４３に接する１表面に対して直交する法線方向４４
と、その幾何学的稜線４３に対する接線方向４５および
法線方向４４にともに直交する外積方向４６とを特定す
る。こうして法線方向４４および外積方向４６が特定さ
れると、画像操作回路３５は、ボリュームスイッチ３６
の操作量と、物体座標系ｘｙｚに従ったｘ座標値、ｙ座
標値およびｚ座標値の各増減値とを対応づける。この場
合には、一方のボリュームスイッチ３６に対して法線方
向移動時のｘ座標値、ｙ座標値およびｚ座標値の各増減
値が設定され、他方のボリュームスイッチ３６に対して
外積方向移動時のｘ座標値、ｙ座標値およびｚ座標値の
各増減値が設定される。

【００４４】例えば一方のボリュームスイッチ３６が操
作されると、仮想空間に再現された三次元像では、各三
次元座標点（ｘ，ｙ，ｚ）に決められたｘ座標値、ｙ座
標値およびｚ座標値の各増減値が加えられる。その結
果、仮想空間では、三次元像は決められた法線方向に移
動することとなる。この移動は、投影面に描かれた二次
元理想像４７の移動に反映される。したがって、ディス
プレイ２２の画面では、実写像４８に対して二次元理想
像４７が相対的に移動する。同様に、他方のボリューム
スイッチ３６が操作されると、仮想空間で三次元像は決
められた外積方向に移動し、その結果、ディスプレイ２
２の画面では実写像４８に対して二次元理想像４７は相
対的に移動することとなる。

【００４５】ボリュームスイッチ３６の操作や三次元像
の移動に応じて、移動量算出回路３７では、物体座標系
ｘｙｚに従って三次元像の移動量が算出される。この場
合には、例えば第１移動量算出回路３７ａで法線方向移
動量は算出され、第２移動量算出回路３７ｂで外積方向
移動量は算出される。算出された移動量は例えばディス
プレイ２２の画面上に表示される。

【００４６】このとき、操作者は、ディスプレイ２２の
画面を観察しながら２つのボリュームスイッチ３６を操
作し、二次元理想像４７で特定される幾何学的稜線４３
と、実写像４８で対応する幾何学的稜線４９とを互いに
重ね合わせる。実写像４８の稜線４９と二次元理想像４
７の稜線４３とが一致した時点で算出される法線方向移
動量や外積方向移動量は、形状データに基づき再現され
る対象物Ｗの三次元像と、撮像された実際の対象物Ｗの
三次元像との法線方向寸法誤差や外積方向寸法誤差に相
当する。したがって、操作者は、実写像４８と二次元理
想像４７とが一致した時点でディスプレイ２２の画面に
表示される法線方向移動量や外積方向移動量を読み取れ
ばよい。こうして、物体座標系ｘｙｚに従って対象物Ｗ
の実位置と理想位置との間で寸法誤差は測定される。

【００４７】ここで、仮想カメラ画像形成回路２６の原
理を簡単に説明する。いま、例えば図９に示されるよう
に、対象物Ｗおよびピンホールカメラ５１を取り込んだ
三次元座標系ＸＹＺを想定する。この三次元座標系ＸＹ
Ｚでは、ｚ軸とピンホールカメラ５１の光学系主軸とは
一致する。ピンホール５２の前方には、ピンホール５２
から焦点距離ｆで離れた仮想結像面５３が設定される。
この仮想結像面５３には対象物Ｗの二次元像が描かれ
る。現実のピンホールカメラ５１では、ピンホール５２
の背後でピンホール５２から焦点距離ｆで離れた実結像
面５４に対象物Ｗの倒立像が結像される。ただし、仮想
結像面５３に描かれる二次元像と倒立像とは一致する。

【００４８】こうして設定された三次元座標系ＸＹＺに
従えば、対象物Ｗと二次元像との間、すなわち、対象物
Ｗ上で特定される三次元座標点（ｘ，ｙ，ｚ）と、仮想
結像面５３で想定される対応二次元座標点（ｘ_i ，ｙ
_i ，ｚ_i ）との間には、

【数３３】 といった関係が成立する。ｚ_i ＝０に設定すると、

【数３４】 に基づき、

【数３５】 が得られる。こうした非線形変換は次式のような線形変
換に置き換えられることができる。

【００４９】

【数３６】 ただし、

【数３７】 図１０に示されるように、現実には、対象物Ｗおよびピ
ンホールカメラ５１はともに物体座標系ｘｙｚに存在す
る。したがって、仮想結像面５３すなわち投影面に規定
される二次元座標系ｘ_i ｙ_i と物体座標系ｘｙｚとは、
回転および平行移動を含めた変換によって関連付けられ
ることができる。こうした変換が加えられると、

【数３８】 が得られる。すなわち、

【数３９】

【数４０】 が導き出される。その結果、３×４のＣ行列には、ピン
ホールカメラ５１の主点５５の位置や、光学系主軸５６
の向き、焦点距離ｆを始めとする全ての情報が含まれる
こととなる。したがって、３×４のＣ行列が特定されれ
ば、物体座標系ｘｙｚで特定される全ての三次元座標点
（ｘ，ｙ，ｚ）は、実写像の投影面に規定される二次元
座標系ｘ_i ｙ_i に従って二次元座標点（ｘ_i ，ｙ_i ）に
写像されることができる。

【００５０】次に投影面特定回路２９の原理を詳述す
る。いま、１つの基準点に対して、物体座標系ｘｙｚに
従った三次元座標値（ｘ，ｙ，ｚ）と、二次元座標系ｘ
_i ｙ_iに従った二次元座標値（ｘ_i ，ｙ_i ）とが特定さ
れると、次のような連立方程式が得られる。

【００５１】

【数４１】 なぜなら、式［数３７］および式［数４０］によれば、

【数４２】 ただし、

【数４３】 が成立するからである。したがって、同一平面で特定さ
れることのない６個の基準点に基づき６組の連立方程式
を立てれば、３×４のＣ行列に含まれる１２個のパラメ
ータＣ１１〜Ｃ３４はすべて解き明かされることができ
る。

【００５２】一般に、デジタルスチルカメラ１１を始め
とする撮像装置では、三次元空間に存在する三次元物体
はレンズを通じて二次元の結像面に写像される。デジタ
ルスチルカメラ１１で取得される画像データによれば、
レンズの歪みの影響を受けた二次元像が投影面に描かれ
ることとなる。その結果、前述のような形状データに基
づき再現される理想二次元像には、デジタルスチルカメ
ラ１１に使用されたレンズの歪みの影響が反映されなけ
ればならない。以上のように、画像データに基づく二次
元座標値と、物体座標系ｘｙｚに従った三次元座標値を
用いて変換行列Ｒが算出されれば、デジタルスチルカメ
ラ１１に用いられる現実のレンズの働きを反映した変換
行列Ｒが導き出されることができる。その結果、形状デ
ータに基づき仮想空間に再現される三次元像は、あたか
も実際のレンズを通して結像されたように仮想空間の１
投影面に描き出されることができることとなる。

【００５３】以上のような理論に従えば、例えばｎ個の
基準点について三次元座標値（ｘ，ｙ，ｚ）および二次
元座標値（ｘ_i ，ｙ_i ）が明らかであれば、変換行列Ｒ
の１パラメータにＣ３４＝１を設定することにより、

【数４４】 が成立する。ここで、

【数４５】 とすれば、最小二乗法に従って、

【数４６】 から各パラメータＣ１１〜Ｃ３３は解き明かされること
ができる。

【００５４】以上のような形状検証システム１０の動作
は、ＥＷＳ１２のＣＰＵ（中央演算処理装置）によって
処理されるソフトウェアプログラムに従って実現されれ
ばよい。こういったソフトウェアプログラムは、図１２
に示されるように、例えばＦＤ（フロッピーディスク）
といった磁気記録媒体６１、ＣＤ（コンパクトディス
ク）やＤＶＤ（デジタルビデオディスク）といった光学
記録媒体６２、その他の任意の記録媒体を通じてＥＷＳ
１２に取り込まれればよい。

【００５５】なお、本実施形態では、以上のように三次
元物体の対象物に対して形状精度の検証が実現されるこ
とができるだけでなく、二次元の対象物に対して形状精
度の検証が実現されてもよい。

【００５６】

【発明の効果】以上のように本発明によれば、実写像に
現れるレンズの歪みの影響を反映し、実写像に正確に整
合した仮想カメラ画像を形成することが可能となる。

【図面の簡単な説明】

【図１】 本発明に係る形状検証システムの全体構成を
概略的に示す模式図である。

【図２】 検査台を概略的に示す斜視図である。

【図３】 形状検証システムの全体構成を機能的に示す
ブロック図である。

【図４】 辺情報解析回路の構成を概略的に示すブロッ
ク図である。

【図５】 仮想空間で三次元像に対して位置決めされた
受け面を表示するディスプレイの画面を示す図である。

【図６】 仮想空間で三次元像に対して位置決めされた
突き当てを表示するディスプレイの画面を示す図であ
る。

【図７】 投影面に投影された物体座標系の透視像を示
す図である。

【図８】 実写像と二次元理想像とが重ねて表示される
ディスプレイの画面を示す図である。

【図９】 仮想カメラ画像形成回路の原理を概略的に示
す模式図である。

【図１０】 物体座標系ｘｙｚと投影面上の二次元座標
系ｘ_i ｙ_i との関係を示す模式図である。

【図１１】 他の具体例に係る形状検証システムの全体
構成を概略的に示す模式図である。

【符号の説明】

１０ 形状検証システム、１１ ＣＣＤ（電荷結合素
子）カメラとしてのデジタルスチルカメラ、１２ コン
ピュータとしてのエンジニアリングワークステーション
（ＥＷＳ）、２６ 仮想カメラ画像形成システムとして
機能する仮想カメラ画像形成回路、６１ 記録媒体とし
ての磁気記録媒体、６２ 記録媒体としての光学記録媒
体、Ｗ 対象物。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA04 AA12 BB05 DD06 DD19 FF01 FF26 FF61 JJ03 JJ26 KK02 QQ21 QQ39 RR09 SS13 TT02 UU05 5B057 BA02 CA13 CB12 CD12 CD14 DA01 DA16 DB03 DC09

Claims (11)

【特許請求の範囲】
1. 【請求項１】 三次元空間に設定された基準点が１投影
   面に映し出される画像データを取得する工程と、前記三
   次元空間に構築された三次元座標系に従って前記基準点
   の三次元座標値を特定する基準位置データを取得する工
   程と、取得した画像データおよび基準位置データに基づ
   き、投影面に規定される二次元座標系および前記三次元
   座標系の間で写像を実現する変換行列を導き出す工程と
   を備えることを特徴とする仮想カメラ画像形成方法。
2. 【請求項２】 三次元空間に設定された基準点が１投影
   面に映し出される画像データに基づき、投影面に規定さ
   れる二次元座標系に従って基準点の二次元座標値（ｘ
   _i ，ｙ_i ）を取得する工程と、前記三次元空間に構築さ
   れた三次元座標系に従って前記基準点の三次元座標値
   （ｘ，ｙ，ｚ）を取得する工程と、取得した二次元座標
   値（ｘ_i ，ｙ_i ）および三次元座標値（ｘ，ｙ，ｚ）に
   基づき、 【数１】 に従って各パラメータＣ１１〜Ｃ３４を算出する工程
   と、算出されたパラメータＣ１１〜Ｃ３４を用いて、前
   記二次元座標系および三次元座標系の間で写像を実現す
   る変換行列 【数２】 を導き出す工程とを備えることを特徴とする仮想カメラ
   画像形成方法。
3. 【請求項３】 請求項２に記載の仮想カメラ画像形成方
   法において、前記三次元座標系で特定される三次元座標
   点（ｘ，ｙ，ｚ）は、 【数３】 ただし、 【数４】 に基づき、前記二次元座標系で特定される二次元座標点
   （ｘ_i ，ｙ_i ）に写像されることを特徴とする仮想カメ
   ラ画像形成方法。
4. 【請求項４】 三次元空間に設定された少なくとも６個
   の基準点が１投影面に映し出される画像データに基づ
   き、投影面に規定される二次元座標系に従って各基準点
   の二次元座標値（ｘ_i ，ｙ_i ）を取得する工程と、前記
   三次元空間に構築された三次元座標系に従って各基準点
   の三次元座標値（ｘ，ｙ，ｚ）を取得する工程と、取得
   した二次元座標値（ｘ_i ，ｙ_i ）および三次元座標値
   （ｘ，ｙ，ｚ）に基づき、各基準点ごとに構築される連
   立方程式 【数５】 に従って各パラメータＣ１１〜Ｃ３４を算出する工程
   と、算出されたパラメータＣ１１〜Ｃ３４を用いて、前
   記二次元座標系および三次元座標系の間で写像を実現す
   る変換行列 【数６】 を導き出す工程とを備えることを特徴とする仮想カメラ
   画像形成方法。
5. 【請求項５】 請求項４に記載の仮想カメラ画像形成方
   法において、前記三次元座標系で特定される三次元座標
   点（ｘ，ｙ，ｚ）は、 【数７】 ただし、 【数８】 に基づき、前記二次元座標系で特定される二次元座標点
   （ｘ_i ，ｙ_i ）に写像されることを特徴とする仮想カメ
   ラ画像形成方法。
6. 【請求項６】 三次元空間に設定されたｎ個の基準点が
   １投影面に映し出される画像データに基づき、投影面に
   規定される二次元座標系に従って各基準点の二次元座標
   値（ｘ_i1，ｙ_i1）〜（ｘ_in，ｙ_in）を取得する工程と、
   前記三次元空間に構築された三次元座標系に従って各基
   準点の三次元座標値（ｘ₁ ，ｙ₁ ，ｚ₁ ）〜（ｘ_n ，ｙ
   _n ，ｚ_n ）を取得する工程と、取得した二次元座標値
   （ｘ_i1，ｙ_i1）〜（ｘ_in，ｙ_in）および三次元座標値
   （ｘ₁ ，ｙ₁ ，ｚ₁ ）〜（ｘ_n ，ｙ_n ，ｚ_n ）を用いて
   最小二乗法に基づき、 【数９】 ただし、 【数１０】 に従って各パラメータＣ１１〜Ｃ３３を算出する工程
   と、算出されたパラメータＣ１１〜Ｃ３３を用いて、前
   記二次元座標系および三次元座標系の間で写像を実現す
   る変換行列 【数１１】 を導き出す工程とを備えることを特徴とする仮想カメラ
   画像形成方法。
7. 【請求項７】 請求項６に記載の仮想カメラ画像形成方
   法において、前記三次元座標系で特定される三次元座標
   点（ｘ，ｙ，ｚ）は、 【数１２】 ただし、 【数１３】 に基づき、前記二次元座標系で特定される二次元座標点
   （ｘ_i ，ｙ_i ）に写像されることを特徴とする仮想カメ
   ラ画像形成方法。
8. 【請求項８】 請求項１〜７に記載の仮想カメラ画像形
   成方法において、前記画像データはＣＣＤ（電荷結合素
   子）カメラによって生成されることを特徴とする仮想カ
   メラ画像形成方法。
9. 【請求項９】 請求項８に記載の仮想カメラ画像形成方
   法において、前記三次元空間で対象物の三次元像を特定
   する形状データを取得する工程と、前記変換行列を用い
   て、形状データに基づき再現された対象物の三次元像を
   前記投影面に投影する工程とをさらに備えることを特徴
   とする仮想カメラ画像形成方法。
10. 【請求項１０】 三次元空間に設定された基準点が１投
    影面に映し出される画像データを取得する工程と、前記
    三次元空間に構築された三次元座標系に従って前記基準
    点の三次元座標値を特定する基準位置データを取得する
    工程と、取得した画像データおよび基準位置データに基
    づき、投影面に規定される二次元座標系および前記三次
    元座標系の間で写像を実現する変換行列を導き出す工程
    とをコンピュータに実行させることを特徴とする記録媒
    体。
11. 【請求項１１】 三次元空間に設定された基準点が１投
    影面に映し出される画像データに基づき、投影面に規定
    される二次元座標系に従って基準点の二次元座標値（ｘ
    _i ，ｙ_i ）を取得する工程と、前記三次元空間に構築さ
    れた三次元座標系に従って前記基準点の三次元座標値
    （ｘ，ｙ，ｚ）を取得する工程と、取得した二次元座標
    値（ｘ_i ，ｙ_i ）および三次元座標値（ｘ，ｙ，ｚ）に
    基づき、 【数１４】 に従って各パラメータＣ１１〜Ｃ３４を算出する工程
    と、算出されたパラメータＣ１１〜Ｃ３４を用いて、前
    記二次元座標系および三次元座標系の間で写像を実現す
    る変換行列 【数１５】 を導き出す工程とをコンピュータに実行させることを特
    徴とする記録媒体。