JP2004348541A - 模様描画支援方法／プログラム - Google Patents

Abstract

【課題】安価に、しかも、高い精度で、作業者が立体物の表面の所定の位置に模様を描画するのを支援する方法を提供する。
【解決手段】まず、カメラ１２によって球１０の画像を取得し、この画像から球１０の空間位置を特定する。次に、模様を描画する位置がマークされた球１０の計算用モデルを、特定した位置においてカメラ１２で撮像したときに得られる画像を計算する。次に、取得した球の画像と、計算したモデルの画像を重ねて作業者に提示し、模様の描画を促す。作業者が模様を描画後、別の位置に模様を描画するために球１０の姿勢を変えると、その状態で球１０の画像を新たに取得し、既に描画済みの模様とそれに対応するマークが一致するようにモデルの姿勢を変え、これをカメラ１２によって撮像したときの画像を計算する。次に、新たに取得した球１０の画像と新たに計算したモデルの画像を重ねて作業者に提示し、模様の描画を促す。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、模様の描画の支援に関する。
【０００２】
【従来の技術】
従来、例えば球の表面に模様を描画する場合、模様を描画する箇所に対応する箇所に孔が開けられた半球状のシェルを製造し、このシェルを模様の描画を行う球に被せて、これをガイドとして模様を描画していた。
【０００３】
なお、先行技術には、患者の体内にある手術器具の位置をモニターして画面表示し、手術者の支援を行う技術がある（特許文献１参照）。
【０００４】
【特許文献１】
特表平１１−５１０４２３号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上記のようなシェルの製造にはコストがかかるため、描画作業全体としてコストがかかっていた。
【０００６】
また、特許文献１に記載の発明は、模様の描画の支援に活用できるかという視点で見た場合、描画用のペンの位置をモニターできるだけにすぎず、人体の内部のような入り組んだ環境で描画を行うような特別な場合以外は、模様の描画の支援には役に立たない。
【０００７】
本発明の目的は、安価に、しかも、高い精度で、作業者が任意立体物または球の表面の所定の位置に模様を描画するのを支援する方法を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明の方法は、立体物と同一の形状を有する計算機モデルを所定のカメラによって撮像した場合に得られる画像を計算し、この画像と、カメラによって撮像された立体物の画像が所定の範囲内で一致するように、立体物の空間位置および姿勢を特定する第１のステップと、模様が描画される所定の位置の情報を含む計算機モデルを、第１のステップにおいて特定された空間位置および姿勢に置いたと仮定したときに、カメラによって撮像される画像を計算する第２のステップと、第１のステップで撮像された立体物の画像と、第２のステップで計算された、所定の位置にマークが施された計算機モデルの画像を重ねて作業者に提示し、作業者に立体物の所定の位置に模様を描画するように促す第３のステップと、作業者がまだ描画していない箇所に模様を描画するため、立体物の空間位置または姿勢を変えると、カメラによって立体物の画像を取得するとともに、立体物における既に描画済みの模様の位置と、この模様に対応する、計算機モデルのマークの位置が、所定の範囲内で一致するように空間位置および姿勢を変化させた計算機モデルの、カメラによって撮像される画像を計算する第４のステップと、第４のステップで撮像された立体物の画像と、第４のステップで計算された、所定の位置にマークが施された計算機モデルの画像を重ねて作業者に提示し、作業者に立体物のまだ描画していない箇所に模様を描画するように促す第５のステップを有することを特徴とする。
【０００９】
また、立体物が球の場合、カメラによって球の画像を取得し、この画像とカメラの構造パラメータにもとづいて、球の空間位置を特定する第１のステップと、球と同一の半径を有し、模様が描画される所定の位置の情報を含む球の計算機モデルを、第１のステップにおいて特定された空間位置に置いたと仮定したときに、カメラによって撮像される画像を計算する第２のステップと、第１のステップで撮像された球の画像と、第２のステップで計算された、所定の位置にマークが施された計算機モデルの画像を重ねて作業者に提示し、作業者に球の所定の位置に模様を描画するように促す第３のステップと、作業者がまだ描画していない箇所に模様を描画するため、球の姿勢を変えると、カメラによって球の画像を取得するとともに、球における既に描画済みの模様の位置と、この模様に対応する、計算機モデルのマークの位置が、所定の範囲内で一致するように姿勢を変化させた計算機モデルの、カメラによって撮像される画像を計算する第４のステップと、第４のステップで取得された球の画像と、第４のステップで計算された、所定の位置にマークが施された計算機モデルの画像を重ねて作業者に提示し、作業者に球のまだ描画していない箇所に模様を描画するように促す第５のステップを有することを特徴とする。
【００１０】
球は点対称であるから、最初に模様を描画するのは球面上のどこでもよいので、第１のステップでは姿勢を特定する必要なない。また、いったん球の中心の空間位置が特定されると、姿勢を変化させても球の表面の空間位置は特定されたままであるので、第４のステップで空間位置を考慮する必要はなくなる。
【００１１】
さらに、第５のステップの後、第２のステップで描画した模様の一部または全部と、第５のステップで描画した模様の一部または全部を含む領域を設定し、この領域内の模様とこれに対応するマークの誤差が所定の範囲内にあることを検証するステップを設けるのが望ましい。これは、異なる空間位置または姿勢で描画した模様間では、同じ空間位置または姿勢で描画した模様間よりもずれが大きく、早期に不良を発見するためである。
【００１２】
【発明の実施の形態】
次に、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１３】
（第１の実施形態）
本実施形態では、模様を描画する対象物は球である。本実施形態では、まず、球の画像を取得し、この画像から球の空間位置を特定する（ステップ１）。次に、模様を描画する位置がマークされた球の計算機モデル（模様を描画する球と同一の半径を有する）を、ステップ１で特定された位置において撮像したとしたときの画像を計算する（ステップ２）。次に、ステップ１で取得した球の画像と、ステップ２で計算されたモデルの画像を重ねて作業者に提示して、作業者に模様の描画を促す（ステップ３）。作業者が模様を描画後、別の位置に模様を描画するために球の姿勢を変えると、その状態で球の画像を取得し、既に描画済みの模様とそれに対応するマークが一致するように、球の計算機モデルの姿勢を変え、それを撮像したとしたときの画像を計算する（ステップ４）。次に、ステップ４で取得した球の画像と計算されたモデルの画像を重ねて作業者に提示して、作業者に模様の描画を促す（ステップ５）。以下、ステップごとに、処理の内容を詳細に説明する。
（ステップ１）
図１を参照すると、模様の描画を行う球１０と、球１０を安定に載置するための治具１１と、球１０を撮像するカメラ１２と、球１０に模様を描画するペン１３と、治具１１が取り付けられる机１４が示されている。カメラ１２は、十分なキャリブレーションが施されているカメラ、または、ピンホールモデルカメラである。球１０の表面はつや消し赤色、治具１１と机１４の表面はつや消し白色である。カメラ１２で撮像した画像において、球１０と机１４の表面にハイライトが発生しないように、照明を適宜調整する。ペン１３は作業者の手により把持されているが、省略されている。以上のようにして、球１０の画像を取得する。この画像は、カラー画像と輝度画像（モノクロ）を含む。
【００１４】
図２を参照すると、カメラ１２によって撮像された球１０のカラー画像が示されている。赤色情報に基づいて、図２のカラー画像に２値化処理を施す。この２値化処理は、球１０の画像の重心を算出するために行う。各ピクセル（ｉ，ｊ）でのＲＧＢ（Ｒｅｄ， Ｇｒｅｅｎ， Ｂｌｕｅ）輝度をＲ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）としたとき、Ｇ（ｉ，ｊ）＜ＴかつＢ（ｉ，ｊ）＜Ｔを満たすピクセルを「１」とし、それ以外のピクセルを「０」とする処理を行う。ただし、Ｔ＝Ｒ（ｉ，ｊ）×ｔ_１であり、ｔ_１＝０．２５である。なお、ｔ_１の値については、照明環境に応じて適宜設定する。
【００１５】
図３を参照すると、２値化処理された画像が示されている。この画像から赤色領域（すなわち「１」の領域）３０を切り出し、その重心３１を算出する。
【００１６】
図４を参照すると、重心３１から延びる半直線４０上に、微分経路４１が示されている。微分経路４１は、球１０の画像の輪郭を算出するために行う微分の経路のことである。半直線４０は、重心３１から１５度ごとに放射状に２４本延びている。この本数は、必要に応じて適宜増減することが可能である。微分経路４１の長さを定めるｒ_１とｒ_２は、赤色領域３０の面積をＡとして、（数１）〜（数３）により求まる。
【００１７】
【数１】

【００１８】
【数２】

【００１９】
【数３】

ここで、ｔ_２の値としては０．１を用いたが、シーンの状況に応じて適宜増減することが望ましい。
【００２０】
図５を参照すると、球１０の輝度画像に、重心３１、半直線４０、微分経路４１を設定し、微分経路４１において輝度のグラディエントの絶対値が最大となるエッジ位置５０を求める様子が示されている。なお、微分経路４１のうち、球１０の画像の外に出る部分はクリッピングする。
【００２１】
球を透視投影した際の輪郭は楕円になることから、求められた２４個のエッジ位置５０を結ぶ曲線に最もよくフィットする楕円を求める。求めるための方法は様々あるが、例えば、Ａｎｄｒｅｗ Ｆｉｔｚｇｉｂｂｏｎ、Ｍａｕｒｉｚｉｏ Ｐｉｌｕ、Ｒｏｂｅｒｔ Ｂ．Ｆｉｓｈｅｒらの「楕円の直接最小２乗フィッティング（Ｄｉｒｅｃｔ Ｌｅａｓｔ Ｓｑｕａｒｅ Ｆｉｔｔｉｎｇ ｏｆ Ｅｌｌｉｐｓｅｓ）」（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ．２１， Ｎｏ．５， Ｍａｙ １９９９）などがある。
【００２２】
図６を参照すると、２４個のエッジ位置５０を結ぶ曲線にフィットする楕円が示されている。楕円は、長径ａ、中心６０を有し、楕円中心６０と画面中心６１との距離はｇ、画面の水平線と、楕円中心６０と画面中心６１を結ぶ直線のなす角はψである。ここで、後の処理のために、楕円内における最低輝度を求め、Ｉ_ｍｉｎ（Ｅ）とする。
【００２３】
図７を参照すると、実物の球１０と、カメラ１２のスクリーン７４上の球１０の像（図６で求めた楕円）との空間的な位置関係が示されている。球１０は、中心７０、半径ｒを有する。レンズ面７１と、球１０の中心７０の距離をｚとし、レンズ面７１とスクリーン７４の距離をｄとする。また、球１０の中心７０と、レンズ面７１の中心７２とスクリーン７４の中心（画面中心）６１を通る中心軸７３の距離をｓとする。ここで、ａ、ｇ、ｓ、ｚは、（数４）〜（数７）の非線形連立方程式に示す関係にある。
【００２４】
【数４】

【００２５】
【数５】

【００２６】
【数６】

【００２７】
【数７】

ｒは球１０の半径であり、既知の値である。また、レンズ面７１とスクリーン７４の距離ｄは、カメラ１２の構造によって定まる値であり、既知の値である。結局、図６からａとｇが求まると、（数４）〜（数７）の非線形連立方程式を解くことができる。ニュートン法によってｓとｚを求める。また、図６からはψも求まるので、結局、球１０の画像とカメラ１２の構造から、球１０の空間位置が円筒座標（ｓ，ψ，ｚ）の形で求まる。
（ステップ２）
図８を参照すると、球１０の計算機モデル８０が示されている。球の計算機モデル８０は、球１０と同一の半径を有し、球１０において模様を描画する位置の情報が含まれている。Ｐ_０〜Ｐ_５が模様を描画する位置を示している。この球の計算機モデル８０を球１０の現在の空間位置（ｓ，ψ，ｚ）に配置して、カメラ１２によって撮像したときの画像を計算する（透視投影変換）。
【００２８】
図９を参照すると、球の計算機モデル８０の透視投影変換像が示されている。球の計算機モデル８０の姿勢は、模様の描画位置Ｐ_１〜Ｐ_５を透視投影変換した位置Ｑ_１〜Ｑ_５が、透視投影変換した球の計算機モデル８０の輪郭のほぼ中央となるような姿勢に調節する（Ｑ_０は見えていない）。ここで、球の表面に描画する模様は、異なる球の姿勢に対しては異なる見え方をするようなデザインに限るとする。
（ステップ３）
上で求めた球の計算機モデル８０の透視投影変換像と球１０のカラー画像を重ね合わせる。
【００２９】
図１０を参照すると、球の計算機モデル８０の透視投影変換像が重ねられた球１０のカラー画像を参照しながら、ペン１３によって、十字のマークがされた位置Ｑ_１〜Ｑ_５に模様を描画していく様子が示されている。作業者は、ペン１３の像の先端がカラー画像において各十字マーカに一致するように実空間でペン１３を操作し、その位置において、球１０の表面に所定の大きさのドットを描画する。
【００３０】
図１１を参照すると、球１０の位置Ｑ_１〜Ｑ_５に対応する位置に模様が全て描画された様子が示されている。
（ステップ４）
以降のステップは、まだ描画していないＰ_０の位置に模様を描画するために行う。
【００３１】
図１２を参照すると、図１１のドットが描画された球の画像を、Ｉ_Ｔ＝Ｉ_ｍｉｎ（Ｅ）×ｔ_３を基準に２値化処理を施した画像が示されている。ここで、ｔ_３＝０．９であるが、ドットの模様のみが黒になるように、ｔ_３を適宜調整することが望ましい。
【００３２】
球の計算機モデル８０における模様の位置Ｐ_０に対応する球１０の位置（まだ模様が描画されていない）、および、位置Ｐ_１〜Ｐ_３に対応して描かれたドットが、球１０の輪郭楕円のほぼ中央に位置するように、実空間において球１０の姿勢を調整する。この調整の後、球１０を撮像し、Ｉ_Ｔ＝Ｉ_ｍｉｎ（Ｅ）×ｔ_３を基準に２値化処理を施す。
【００３３】
図１３を参照すると、２値化処理後の画像が示されている。ただし、輝度情報は浮動小数点で表現されており、明領域の輝度値は１．０であり、暗領域の輝度値は０．０である。
【００３４】
図１４を参照すると、図１３の画像に対して、（数８）に示すガウシアン分布のテンプレートを用いた正規化相関によるずらしマッチングを施した正規化相関値分布画像が示されている。
【００３５】
【数８】

ここでは、５×５のテンプレートを用いたが、描画されたドットの大きさに適合するように、適切なサイズを用いることが望ましい。
【００３６】
図１５を参照すると、図１４の正規化相関値分布画像において、相関値が最大となる位置を求め、その最大相関値がＧ_Ｔ以上である場合に、その位置をＣ_ｉとして記憶した後、Ｃ_ｉの近傍Ｕ_ｉにおける正規化相関値分布画像の値を全て０．０とする処理の様子が示されている。この処理を、求められた最大相関値がＧ_Ｔ未満となるまで繰り返す。ここで、Ｇ_Ｔは、ドットの検出が正しくなされるように選定する。
【００３７】
次に、球１０の現在の姿勢を求めるために、球１０の計算機モデル８０において、所定の範囲で、十分に小さな刻み幅で角度パラメータ（α，β，γ）を変化させ、各角度パラメータ（α_ｊ，β_ｊ，γ_ｊ）に対して以下の処理を行う。
【００３８】
（数９）で示されるマトリックスを算出した後に、球１０の計算機モデル８０におけるドット模様０〜３の位置Ｐ_０〜Ｐ_３を、（数１０）により変換してから、透視投影変換を施し、位置Ｑ_０〜Ｑ_３を求める。
【００３９】
【数９】

【００４０】
【数１０】

図１６を参照すると、求められた位置Ｑ_０〜Ｑ_３の様子が示されている。位置Ｑ_０〜Ｑ_３の近傍Ｖ_０〜Ｖ_３に、図１５に示す位置Ｃ_ｉのいずれかが１個ずつ存在する場合に限り、Ｃ_ｉ（Ｃ_０〜Ｃ_３）とＱ_０〜Ｑ_３の誤差の２乗和をマッチング評価値としてＭ_ｊに保存する。この処理を全ての角度パラメータ（α_ｊ，β_ｊ，γ_ｊ）に対して行い、Ｍ_ｊが最小となる角度パラメータを（α_ｍ，β_ｍ，γ_ｍ）とする。Ｍ_ｊが１つも得られない場合は、治具１１またはカメラ１２の位置や環境照明などを調整した後、再度上記の全手順を繰り返す。
【００４１】
さらに精度を上げるために、上記で求められた（α_ｍ，β_ｍ，γ_ｍ）を中心に、さらに絞られた所定の範囲において、１／１０の刻み幅で角度パラメータ（α，β，γ）を変化させ、同様の処理を行う。
【００４２】
以上の処理を刻み幅が所定の値より小さくなるまで繰り返し行い、角度パラメータ（α_ｍ，β_ｍ，γ_ｍ）を求める。最終的に求められた角度パラメータ（α_ｍ，β_ｍ，γ_ｍ）に対応するマトリックスで、球１０の計算機モデル８０におけるドット模様０〜３の位置Ｐ_０〜Ｐ_３を変換してから、透視投影変換を施し、位置Ｑ_０〜Ｑ_３を求める。
【００４３】
図１７を参照すると、最終的に得られた透視投影変換像が示されている。
（ステップ５）
図１８を参照すると、図１７の透視投影変換像が重ねられた球１０のカラー画像において、十字マーカが表示された位置Ｑ_０に、ペン１３によって模様を描画する様子が示されている。作業者は、ペン１３の像の先端がカラー画像において十字マーカに一致するように実空間でペン１３を操作し、その位置において、球１０の表面に所定の大きさのドットを描画する。
【００４４】
図１９を参照すると、すべての模様を描画し終わった後の球１０のカラー画像が示されている。
【００４５】
なお、さらに描画する箇所があるならば、ステップ４にもどり、描画が完了するまで、ステップ４とステップ５を繰り返す。
【００４６】
（第２の実施形態）
本実施形態では、第１の実施形態とは異なり、模様を描画する対象物は、球ではなく任意の立体物である。ここでは、サッカーボールと同様の構造の多面体を用いるが、任意の立体物に適用可能である。
【００４７】
対象物を球から任意の立体物とした場合、第１の実施形態は、以下のように修正されなければならない。すなわち、球は点対称であるから、最初に模様を描画する箇所はどこでもよいので、第１の実施形態のステップ１においては、球の空間位置のみを特定すればよかった。しかし、任意の立体物の場合、最初に模様を描画する箇所はどこでもよいというわけにはいかず、立体物の姿勢も決定しなければならない。さらに、球は点対称であるから、一度、中心の空間位置を特定すれば、後は姿勢のみを変化させればよかった（中心が特定されているので、姿勢が特定されれば、球面上の空間位置は特定される）が、任意の立体物の場合、中心を特定したとしても、姿勢が変われば、空間位置の特定はできない。そこで、第１の実施形態のステップ４において、姿勢のみならず、空間位置も変化させたうえで、特定しなければならない。
【００４８】
以上のように、模様を描画する対象物を任意の立体物とすることで、空間位置と姿勢を同時に特定しなければならない。以下、第１の実施形態のステップ１および４とは異なる、空間位置および姿勢の特定の点について説明する。
（ステップ１）
第１の実施形態とは異なり、対象物の空間位置のみならず、姿勢も特定する。本実施形態では、ステップ１から計算機モデルを用いる。
【００４９】
図２０を参照すると、本実施形態で模様を描画するサッカーボール状の多面体の計算機モデル２００が示されている。Ｐ_０〜Ｐ_４は、多面体において模様を描画する箇所に対応する位置を示している。
【００５０】
図２１を参照すると、計算機モデル２００の位置と姿勢の変化量を示す位置姿勢角パラメータが（ｘ_ｊ，ｙ_ｊ，ｚ_ｊ，α_ｊ，β_ｊ，γ_ｊ）のとき、（数９）の変換マトリクスを用いて、（数１１）により、計算機モデル２００の位置と姿勢を変化後、第１の実施形態と同様に透視投影変換を施し、得られた画像の輪郭を構成する点群をＥ_ｊ、重心をＧ_ｊと設定する様子が示されている。
【００５１】
【数１１】

図２２を参照すると、サッカーボール状の多面体の輝度画像から、輪郭を検出するために、Ｇ_ｊからＥ_ｊを結ぶ半直線２２０上に、微分経路２２１を設定する様子が示されている。ここで、微分経路２２１は、その領域の中央がＥ_ｊに一致するように設定される。また、ｒ_３＝Ｇ_ｊＥ_ｊ×ｔ_４であり、ｔ_４＝０．２であるが、対象物の形状に対応して適宜適切な値とする。
【００５２】
図２３を参照すると、第１の実施形態のステップ１と同様に、カラー画像の赤色情報にもとづく２値化処理により求められた、サッカーボール状の多面体２３３の重心２３０と、レンズ面中心７２を結ぶ直線２３１から半径ρ_１以内の領域２３２を設定する様子が示されている。
【００５３】
計算機モデル２００を領域２３２に置く全ての位置姿勢角パラメータに対し、取り込んだサッカーボール状の多面体２３３の輝度画像において、微分経路２２１上で輝度のグラディエントが最大となるエッジＥ’_ｊを求める。
【００５４】
図２４を参照すると、この様子が示されている。誤差Ｅ_ｊＥ’_ｊの２乗和を位置姿勢角パラメータ（ｘ_ｊ，ｙ_ｊ，ｚ_ｊ，α_ｊ，β_ｊ，γ_ｊ）で定まる変換に対応するマッチング評価値としてＭ_ｊに保存する。全ての処理が終了した時点で、Ｍ_ｊが最小となる位置姿勢角パラメータを（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ，α_ｍ，β_ｍ，γ_ｍ）とし、対象物の位置および姿勢として確定する。
（ステップ４）
第１の実施形態とは、角度パラメータ（α_ｊ，β_ｊ，γ_ｊ）を用いる代わりに、位置姿勢角パラメータ（ｘ_ｊ，ｙ_ｊ，ｚ_ｊ，α_ｊ，β_ｊ，γ_ｊ）を用いる点だけが異なる。
【００５５】
第１の実施形態のステップ２、３、５については、本実施形態にも共通する。
【００５６】
（第３の実施形態）
本実施形態では、第１の実施形態と同様、模様を描画する対象物は球１０である。第１の実施形態と異なる点は、第１の実施形態のステップ３とステップ５、すなわち、球１０の姿勢を変える前後で描画された模様の間にずれがないかどうかを検証するステップが、ステップ５の後に加わる点である。以下、このステップについて説明する。
【００５７】
図２５を参照すると、第１の実施形態のステップ５（図１８または１９）で、球１０のＱ_０に対応する位置にドットを描画した後、楕円中心６０から半径ρ_２以内の領域２５０を設定している様子が示されている。この領域２５０には、第１の実施形態のステップ３で描画したドット（Ｑ_１〜Ｑ_３に対応するドット）と、ステップ５で描画したドット（Ｑ_０）を必ず含めるように設定する。領域２５０にあるドットに対する最小のマッチング評価値Ｍを、第１の実施形態のステップ４で説明した方法により算出し、規定値より大きな場合は不良品と判断し、処理を中断する。なお、ρ_２は、輪郭楕円の長径ａを用いて、（数１２）から算出される。
【００５８】
【数１２】

ここで、ｔ_５＝０．７としたが、適宜増減可能である。
【００５９】
このステップは、球１０の異なる姿勢のもとで描画を行った模様間のすべてで行うことが好ましい。
【００６０】
（第４の実施形態）
本実施形態では、第２の実施形態と同様、模様を描画する対象物は任意の立体物である。第２の実施形態と異なる点は、第２の実施形態のステップ３とステップ５、すなわち、立体物の位置および姿勢を変える前後で描画された模様の間にずれがないかどうかを検証するステップが、ステップ５の後に加わる点である。以下、このステップについて説明する。このステップは、第３の実施形態で説明されたものと基本的に同じである。
【００６１】
第３の実施形態では、楕円中心６０から半径ρ_２で領域２５０を設定したが、本実施形態では、計算機モデル２００の透視投影変換像の重心Ｇを用いる。また、対象領域半径ρ_２については、（数１３）により算出した値を用いる。
【００６２】
【数１３】

ここで、Ｅ_ｋは、計算機モデル２００の透視投影変換像の輪郭点群である。ｔ_６は定数である。
【００６３】
図２６を参照すると、重心Ｇ、輪郭点群Ｅ_ｋ、半径ρ_２、検証を行う領域２６０が示されている。
【００６４】
【発明の効果】
以上説明したように、本発明によれば、従来技術のように、模様に対応する箇所に孔が開けられた半球状のシェルのようなハードウェアを製造する必要がなくなるので、コストを大幅に低減することができる。
【図面の簡単な説明】
【図１】模様を描画する球１０をカメラ１２によって撮像するシステムの構成を示した図である。
【図２】カメラ１２によって撮像された球１０のカラー画像である。
【図３】図２のカラー画像を、赤色情報に基づいて２値化処理した画像である。
【図４】重心３１から延びる半直線４０上の、球１０の輪郭を求めるための微分経路４１を示した図である。
【図５】各半直線４０上の微分経路４１において、輝度のグラディエントの絶対値が最大となるエッジ位置５０を示した図である。
【図６】エッジ位置５０を結ぶ曲線を近似するために求められた楕円を示した図である。
【図７】実物の球１０と、カメラ１２のスクリーン７４上の、球１０の像を近似する楕円との空間的な位置関係を示した図である。
【図８】球の計算機モデルを示した図である。
【図９】図９の球の計算機モデルの透視投影変換像を示した図である。
【図１０】球の計算機モデル８０の透視投影変換像が重ねられた球１０のカラー画像を参照しながら、ペン１３によって、十字のマークがなされた位置Ｑ_１〜Ｑ_５に対応する位置に模様を描画していく様子を示した図である。
【図１１】球１０の位置Ｑ_１〜Ｑ_５に対応する位置に模様が全て描画された様子を示した図である。
【図１２】図１１のドットが描画された球の画像に２値化処理を施した画像を示した図である。
【図１３】球の計算機モデル８０におけるドット模様Ｐ_０〜Ｐ_３に対応して描かれるドットが、ほぼ中央に位置するように調整された球１０の画像に２値化処理を施した画像を示した図である。
【図１４】図１３の画像に対して、ガウシアン分布のテンプレートを用いた正規化相関によるずらしマッチングを施した正規化相関値分布画像を示した図である。
【図１５】図１４の正規化相関値分布画像において、相関値が最大となる位置を求め、その最大相関値がＧ_Ｔ以上である場合に、その位置をＣ_ｉとして記憶した後、Ｃ_ｉの近傍Ｕ_ｉにおける正規化相関値分布画像の値を全て０．０とする処理の様子を示した図である。
【図１６】球の計算機モデル８０におけるドット模様０〜３の位置Ｐ_０〜Ｐ_３を、（数１０）の式により変換してから、透視投影変換を施し、求められた位置Ｑ_０〜Ｑ_３の様子を示した図である。
【図１７】最終的に求められた角度パラメータ（α_ｍ，β_ｍ，γ_ｍ）に対応するマトリックス（数９）で球の計算機モデル８０におけるドット模様０〜３の位置Ｐ_０〜Ｐ_３を変換してから、透視投影変換を施し、位置Ｑ_０〜Ｑ_３を求めた透視投影変換像を示した図である。
【図１８】図１７の透視投影変換像が重ねられた球１０のカラー画像において、十字マーカが表示された位置Ｑ_０に、ペン１３によって模様を描画する様子を示した図である。
【図１９】すべての模様を描画し終わった後の球１０のカラー画像を示した図である。
【図２０】サッカーボール状の多面体の計算機モデルを示した図である。
【図２１】各位置姿勢角パラメータ（ｘ_ｊ，ｙ_ｊ，ｚ_ｊ，α_ｊ，β_ｊ，γ_ｊ）に対する、輪郭を構成する点群Ｅ_ｊと、重心Ｇ_ｊを示した図である。
【図２２】重心Ｇ_ｊから延びる半直線２２０と、微分経路２２１を示した図である。
【図２３】スクリーン上のサッカーボール状の多面体の像と、直線２３１から半径ρ_１以内の領域２３２との空間的な位置関係を示した図である。
【図２４】微分経路２２１において、エッジＥ’_ｊを求める様子を示した図である。
【図２５】楕円中心６０から半径ρ_２以内の領域２５０にあるドットに対する最小マッチング評価を行う様子を示した図である。
【図２６】重心Ｇから半径ρ_２以内の領域２６０にあるドットに対する最小マッチング評価を行う様子を示した図である。
【符号の説明】
１０ 球
１１ 治具
１２ カメラ
１３ ペン
１４ 机
３０ 赤色領域
３１ 赤色領域の重心
４０ 重心３１から延びる半直線
４１ 微分経路
５０ エッジ位置
６０ 楕円中心
６１ スクリーン中心（画面中心）
７０ 球１０の中心
７１ レンズ面
７２ レンズ面中心
７３ 中心軸
７４ スクリーン
８０ 球の計算機モデル
２００ サッカーボール状の多面体の計算機モデル
２２０ 重心Ｇ_ｊから延びる半直線
２２１ 微分経路
２３０ 赤色情報にもとづく２値化処理によって求めた重心
２３１ 重心２３０とレンズ面中心７２を結ぶ直線
２３２ 重心２３０とレンズ面中心７２を結ぶ直線２３１から半径ρ_１以内の領域
２３３ サッカーボール状の多面体
２５０ 楕円中心６０から半径ρ_２以内の領域
２６０ 重心Ｇから半径ρ_２以内の領域

Claims (5)

1. 作業者が立体物の表面の所定の位置に模様を描画するのを支援する方法において、
   前記立体物と同一の形状を有する計算機モデルを所定のカメラによって撮像した場合に得られる画像を計算し、該画像と、前記カメラによって撮像された前記立体物の画像が所定の範囲内で一致するように、前記立体物の空間位置および姿勢を特定する第１のステップと、
   模様が描画される前記所定の位置の情報を含む前記計算機モデルを、前記第１のステップにおいて特定された前記空間位置および前記姿勢に置いたと仮定したときに、前記カメラによって撮像される画像を計算する第２のステップと、
   前記第２のステップで計算された前記計算機モデルの画像中に現れる前記所定の位置にマークを施した画像と、前記第１のステップで撮像された前記立体物の画像を重ねて作業者に提示し、作業者に模様を描画するように促す第３のステップと、
   作業者が、前記第２のステップで計算された前記計算機モデルの画像中に現れなかった前記所定の位置に模様を描画するため、前記立体物の空間位置または姿勢を変えると、前記カメラによって前記立体物の画像を取得するとともに、前記立体物における既に描画済みの模様の位置と、該模様に対応する、前記計算機モデルの前記マークの位置が、所定の範囲内で一致するように空間位置および姿勢を変化させた前記計算機モデルの、前記カメラによって撮像される画像を計算する第４のステップと、
   前記第４のステップで撮像された前記立体物の画像と、前記第４のステップで計算された、前記所定の位置にマークが施された前記計算機モデルの画像を重ねて作業者に提示し、作業者に、前記立体物のまだ描画していない箇所に、模様を描画するように促す第５のステップを有することを特徴とする方法。
2. 作業者が球の表面の所定の位置に模様を描画するのを支援する方法において、
   カメラによって球の画像を取得し、該画像と前記カメラの構造パラメータにもとづいて、前記球の空間位置を特定する第１のステップと、
   前記球と同一の半径を有し、模様が描画される前記所定の位置の情報を含む前記球の計算機モデルを、前記第１のステップにおいて特定された前記空間位置に置いたと仮定したときに、前記カメラによって撮像される画像を計算する第２のステップと、
   前記第２のステップで計算された前記計算機モデルの画像中に現れる前記所定の位置にマークを施した画像と、前記第１のステップで撮像された前記立体物の画像を重ねて作業者に提示し、作業者に模様を描画するように促す第３のステップと、
   作業者が、前記第２のステップで計算された前記計算機モデルの画像中に現れなかった前記所定の位置に模様を描画するため、前記球の姿勢を変えると、前記カメラによって前記球の画像を取得するとともに、前記球における既に描画済みの模様の位置と、該模様に対応する、前記計算機モデルの前記マークの位置が、所定の範囲内で一致するように姿勢を変化させた前記計算機モデルの、前記カメラによって撮像される画像を計算する第４のステップと、
   前記第４のステップで取得された前記球の画像と、前記第４のステップで計算された、前記所定の位置にマークが施された前記計算機モデルの画像を重ねて作業者に提示し、作業者に、前記球のまだ描画していない箇所に、模様を描画するように促す第５のステップを有することを特徴とする方法。
3. 前記第５のステップの後、前記第２のステップで描画した模様の一部または全部と、前記第５のステップで描画した模様の一部または全部を含む領域を設定し、該領域内の前記模様とこれに対応する前記マークの誤差が所定の範囲内にあることを検証するステップをさらに有する、請求項１または２に記載の方法。
4. 請求項１または３に記載の各ステップをコンピュータに実行させるプログラム。
5. 請求項２または３に記載の各ステップをコンピュータに実行させるプログラム。

Images