JP2004264249A

JP2004264249A - 格子パターン投影法における画像処理方法、計測装置及び画像処理装置

Info

Publication number: JP2004264249A
Application number: JP2003057390A
Authority: JP
Inventors: Tatsuhiko Suzuki; 建彦鈴木; Takashi Miyoshi; 隆志三好; Ryuko Son; 龍江孫
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2003-03-04
Filing date: 2003-03-04
Publication date: 2004-09-24

Abstract

【課題】格子パターン投影法において、カラー縞格子を使用する際に色識別の失敗を防止する。
【解決手段】赤、緑、青、シアン、マゼンタ及びイエローのうち少なくとも２色を格子の色として用いたカラー格子パターンを被計測物体に投影した場合における、被計測物体についてのカラー画像を取得するステップと、カラー格子パターンが投影された被計測物体についてのモノクロ画像を取得するステップと、カラー画像とモノクロ画像との差画像を生成するステップと、差画像の画素の色及びカラー格子パターンの色の並びのデータに少なくとも基づき、カラー格子パターンにおける縞波番号を差画像の所定の画素につき特定するステップとを含む。光の三原色とその補色に色を限定しているので、カラー画像とモノクロ画像の差画像において色の識別が容易になり、縞波番号を正確に特定できるようになる。
【選択図】図１

Description

【０００１】
【発明が属する技術分野】
本発明は、被測定物体に対して色が付された格子パターンを投影して当該被測定物体の三次元形状を計測するための技術に関する。
【０００２】
【従来の技術】
３次元形状の計測は工業のみならず、医学、生物学、考古学、美術品の調査復元など社会の多くの領域で使用されるようになってきている。３次元計測では、従来からの接触型よりも光を用いた非接触型の光計測が望まれている。光計測の領域計測には、１本の線状のスリット光をスリット方向と直交する方向に走査することにより領域の計測を行う光切断法と、面単位で一括して計測する計測方法に分類される。計測時間の観点からは後者の方が有利であり、この開発が望まれている。
【０００３】
光切断法は既に十分確立された技術であり、様々な態様が開発され、信頼性の高い計測が可能となっている。しかし、「光三次元計測」吉澤徹編［新技術コミニュケーションズ］ｐ．３１に見るようにスリット光の投影部などの機械的な移動機構を必要としており、これが隘路となって計測時間を短縮することができず、能率が悪いという問題がある。従って計測時間を短縮する必要がある分野における適用には問題がある。また、機械的移動機構を有するため保守調整に手間が掛かるという問題点もある。
【０００４】
一方、面を一括して処理する方法の代表的なものは、モアレ縞により等高線を取得するモアレ法（「光三次元計測」吉澤徹編［新技術コミニュケーションズ］ｐ．６５）、縞状の格子を物体に投影してできる格子パターンを観測する格子パターン投影法（「光三次元計測」吉澤徹編［新技術コミニュケーションズ］ｐ．８３）がある。特に計測精度及び装置の価格からして、現在では後者が期待されている。
【０００５】
格子パターン投影装置は、図１に示すように投影部１０００、プロジェクタのレンズ１００２及び格子１００１を含む投影系と被計測物体１００４に投影された変形格子パターン１００３をレンズ１００６を介して撮影する撮影部１００５を含む撮影系の二つの系統に分けられる。投影部１０００は格子１００１による縞状の格子をレンズ１００２を介して被計測物体１００４に投影する。投影により生ずる格子パターンは被計測物体の凹凸によって変形される。撮影部１００５は、変形された格子パターン１００３を投影方向とは異なる角度から撮影し、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）などの受光素子を介して電気信号に変換し、記憶装置に蓄積する。これを解析することによって被測定物体１００４の３次元形状を計測する。なお、各受光素子はその点における照度（輝度）に対応した電圧などの電気信号を出力する。格子１００１については、以前はガラスの表面などに作成され固定的であったが、最近は液晶等による格子が実用化され、コンピュータにより液晶デバイスに実体化された縞格子のＯＮ又はＯＦＦを高速に制御するようになっている。
【０００６】
通常、投影部１０００の光軸に直交する基準平面を設定し、この上で縞方向Ｙ及び縞直交方向Ｘの二つの軸を設定する。詳しくは非特許文献１（Ｈ．Ｌｕｅｔａｌ．，”ＡｕｔｏｍａｔｉｃＭｅａｓｕｒｅｍｅｎｔｏｆ３−ＤＯｂｊｅｃｔＳｈａｐｅｓＢａｓｅｄｏｎＣｏｍｐｕｔｅｒ−ｇｅｎｅｒａｔｅｄＲｅｆｅｒｅｎｃｅＳｕｒｆａｃｅ”，Ｂｕｌｌ．ＪａｐａｎＳｏｃ．ｏｆＰｒｅｃ．Ｅｎｇ．Ｖｏｌ．２１，Ｎｏ．４，ｐ２５１（１９８７））に開示されているが、この方法では、格子パターンを、縞と直交する軸Ｘ上の位置に対する、照度Ｉの波として表現し、被計測物体１００４を基準平面上に設置した場合の波の位相Φ（＝Φ_２）又は基準平面についての波の位相Φ_１と被計測物体１００４を基準平面上に設置した場合の波の位相Φ_２との差分ΔΦ（＝Φ_２−Φ_１）を用いて解析する。これにより格子パターン投影法は別名「変調格子位相法」とも呼ばれる。ここで波の位相の差分ΔΦを使用するのは、計測における系統誤差が引き算によって消滅するので、精度が向上するためである。この方法では、縞波（明の縞と暗の縞のペア）番号は相対的であれば任意に設定することができる。
【０００７】
詳しい計算式は非特許文献１に開示されているのでここでは詳細な説明は省略するが、図１に示すようにΔΦを求めるためにΦ_１は、格子１００１とレンズ１００２の間の距離、撮影部１００５の光軸と投影部１０００の光軸との交点とレンズ１００２との距離、格子間隔、撮影部１００５の光軸と投影部１０００の光軸の角度などの光学的な幾何位置関係から計算にて求める。一方、（Φ_２＝２π×縞波番号＋縞内部位相角）であって、計測にて求めることになる。以下でも述べるが、特に縞波番号を特定することが重要となる。
【０００８】
縞内部位相角を取得するために、基準平面上に対して設定した縞直交方向のＸ軸（図１参照）に沿って走査が行われる。正弦波格子はもちろん、縞格子が２値化されたいわゆるロンキー格子であっても、明及び暗の縞の境界付近は、光の回折現象や受光素子による離散化誤差などによって、基準平面上の縞直交方向のＸ軸に沿った格子パターンの照度Ｉは除変する。この照度分布を波と認識し、正弦波の基点を始点とする縞波内位相角を求める。波の山及び谷をπ／２，３π／２とする方法（前述非特許文献１）の他に、谷から山に至る区間の中央値となる点を縞波内位相角０とする方法などが存在する。いずれの方法を用いるにせよ、縞内部位相角０の点で縞波番号は変化し、そこで１つの縞波が区分される。
【０００９】
上で述べたように、投影された格子パターン１００３は照度Ｉの波として認識されるので、その位相Φは２π×縞波番号＋縞内部位相角として表現される。従って、格子パターン投影法などでは、縞波番号が分からなければ３次元計測ができないことになる。縞波が連続的である場合にはＸ軸に沿って縞波番号は１ずつ増減するため、容易に位相差ΔΦを計算することはできる。しかし、図２に示すように、縞が不連続になる場合がある。図２では、基準平面上に球形状の物体を配置した場面を示しており、通常の順番では明の縞が現れるべき部分に暗の縞を生成させ３本の暗の縞を連続させることにより、縞の不連続部分を明確にしている。すなわち平面上のライン１１００と球上のライン１１０１とは同じラインであるが、基準平面上のライン１１００の位置と球上のライン１１０１の位置とは大きく距離が離れており不連続となっている。このように縞が不連続となってしまった場合には、上記のような縞波番号の連続性を使用することはできないので、位相差を計算することは容易ではなくなってしまう。また、縞波番号を誤って認識してしまうと、測定の誤差が生じてしまう。
【００１０】
これに対して、縞の不連続性に対応して自動的に縞波番号を取得する方法として、以下に記す非特許文献３に概括されているように白黒の縞格子に対して多数の研究がなされているが、いずれも成功しているとは言いがたい。この他、カラー縞格子を用いる方法が知られている（特許文献１及び非特許文献２）。理論的には、色の数を増やせば、縞が不連続であっても、いずれの縞波番号の縞であるかを判定しやすくなる。
【００１１】
【特許文献１】
特開平３−１９２４７４号公報
【非特許文献１】
Ｈ．Ｌｕｅｔａｌ．，”ＡｕｔｏｍａｔｉｃＭｅａｓｕｒｅｍｅｎｔｏｆ３−ＤＯｂｊｅｃｔＳｈａｐｅｓＢａｓｅｄｏｎＣｏｍｐｕｔｅｒ−ｇｅｎｅｒａｔｅｄＲｅｆｅｒｅｎｃｅＳｕｒｆａｃｅ”，Ｂｕｌｌ．ＪａｐａｎＳｏｃ．ｏｆＰｒｅｃ．Ｅｎｇ．Ｖｏｌ．２１，Ｎｏ．４，ｐ２５１（１９８７）
【非特許文献２】
Ｗ．Ｌｉｕｅｔａｌ．，ＣｏｌｏｒＣｏｄｅｄＰｒｏｊｅｃｔｉｏｎＧｒａｔｉｎｇＭｅｔｈｏｄｆｏｒＳｈａｐｅＭｅａｓｕｒｅｍｅｎｔｗｉｔｈａＳｉｎｇｌｅＥｘｐｏｓｕｒｅ，ＡｐｐｌｉｅｄＯｐｔｉｃｓＶｏｌ．３９，Ｎｏ．２０，ｐ３５０３（２０００）
【非特許文献３】
ＸｉａｏＹｕａｎＨｅｅｔａｌ． ”ＰｒｏｐｏｓｅｄＡｌｇｏｒｉｔｈｍｆｏｒＰｈａｓｅＵｎｗｒａｐｐｉｎｇ”，ＡｐｐｌｉｅｄＯｐｔｉｃｓＶｏｌ４１，Ｎｏ．３５，ｐ．７４２２，Ｄｅｃ，２００２
【００１２】
【発明が解決しようとする課題】
しかし、カラー縞格子を用いる方法では、投影光にむらがある場合などには、コントラストが不足して色の識別を誤るという問題がある。また、実際の計測においては被計測物体の色などを考慮して色識別を誤らないようにするため、自ずと色に制約があり、適用可能範囲が限定されていた。
【００１３】
従って、本発明の目的は、カラー縞格子を使用する際に色識別の失敗を防止するための技術を提供することである。
【００１４】
また本発明の他の目的は、少ない色を使用したカラー縞格子の適用範囲を拡大するための新規な技術を提供することである。
【００１５】
【課題を解決するための手段】
本発明の第１の態様に係る、格子パターン投影法における画像処理方法は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、シアン（Ｃ）、マゼンタ（Ｍ）及びイエロー（Ｙ）のうち少なくとも２色を格子の色として用いたカラー格子パターンを被計測物体に投影した場合における、被計測物体についてのカラー画像を取得するカラー画像取得ステップと、カラー格子パターンが投影された被計測物体についてのモノクロ画像を取得する（例えば生成する又は撮影する）モノクロ画像取得ステップと、カラー画像とモノクロ画像との差画像を生成する差画像生成ステップと、差画像の画素の色及びカラー格子パターンの色の並びのデータに少なくとも基づき、カラー格子パターンにおける縞波番号を差画像の所定の画素につき特定する特定ステップとを含む。
【００１６】
本発明の第１の態様においては、赤、緑、青、シアン、マゼンタ及びイエローという光の三原色とその補色に色を限定しているので、カラー画像とモノクロ画像の差画像において色の識別が容易になり、縞波番号を正確に特定できるようになる。
【００１７】
なお、上記のカラー格子パターンに、さらに白又は黒を格子の色として使用するようにしてもよい。上で述べた６色では、６縞区間以上の不連続部分に対応できないので、白又は黒の縞を例えば各色の縞の間に又は６色の前又は後ろに白又は黒の縞をまとめて挿入すれば、６縞区間以上の不連続部分に対応することができるようになる。
【００１８】
本発明の第２の態様に係る計測装置は、赤、緑、青、シアン、マゼンタ及びイエローのうち少なくとも２色を格子の色として用いたカラー格子パターンを被計測物体に投影する手段と、カラー格子パターンを被計測物体に投影した場合における、被計測物体についてのカラー画像を撮影する手段と、画像処理装置であって、カラー画像とカラー格子パターンが投影された被計測物体についてのモノクロ画像とを取得する手段と、カラー画像とモノクロ画像との差画像を生成する手段と、差画像の画素の色及びカラー格子パターンの色の並びのデータに少なくとも基づき、カラー格子パターンにおける縞波番号を差画像の所定の画素につき特定する手段とを有する画像処理装置とを有する。なお、モノクロ画像の取得は、カラー画像から生成しても良いし、モノクロ画像を撮影しても良い。
【００１９】
本発明の第３の態様に係る、格子パターン投影法における画像処理方法は、使用する色の種類ｍ（ｍは２以上の整数）及び撮影ステージ番号ｎ（ｎは１以上の整数）に基づき最大ｍ^ｎ本の上記使用する色の縞を含むカラー格子パターンを被計測物体に投影した場合における、被計測物体についての各撮影ステージのカラー画像を取得するステップと、少なくともカラー画像の画素の色に基づき、第１ステージから最終ステージまでのカラー画像における所定の画素の色系列又は色に対応付けられたコードによるコード系列を特定するステップと、色系列又はコード系列からカラー画像における所定の画素の縞波番号を特定するステップとを含む。
【００２０】
このように複数撮影ステージに渡って異なるカラー格子パターンを投影し、各撮影ステージにおけるカラー画像を処理することにより、画素毎に第１ステージから最終ステージに渡る色系列又は色に対応付けられたコードによるコード系列が特定される。この色系列又はコード系列は、第１ステージから最終ステージまでの縞の配置に従って縞波番号に変換される。
【００２１】
本発明の第４の態様に係る画像処理装置は、使用する色の種類ｍ（ｍは２以上の整数）及び撮影ステージ番号ｎ（ｎは１以上の整数）に基づき最大ｍ^ｎ本の上記使用する色の縞を含むカラー格子パターンを被計測物体に投影させる手段と、各撮影ステージにおけるカラー格子パターンを被計測物体に投影した場合における、被計測物体についてのカラー画像を取得する手段と、カラー画像の画素の色に少なくとも基づき、第１ステージから最終ステージまでのカラー画像における所定の画素の色系列又は色に対応付けられたコードによるコード系列を特定する手段と、色系列又はコード系列からカラー画像における所定の画素の縞波番号を特定する手段とを有する。
【００２２】
なお、上述の方法はプログラム及びコンピュータの組み合わせにて実施することができ、このプログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体又は記憶装置に格納される。また、ネットワークなどを介してデジタル信号として配信される場合もある。尚、中間的な処理結果はメモリに一時保管される。
【００２３】
【発明の実施の形態】
本発明の一実施の形態に係る機能ブロック図を図３に示す。本実施の形態では、本実施の形態における主要な処理を実施し且つコンピュータである画像処理装置５と、当該画像処理装置５に接続されており且つランプなどの投影部１１と格子を形成するための液晶パネル１２とレンズ１３とを有する液晶プロジェクタ１と、レンズ４１とＣＣＤ４２と図示しないメモリを有するカメラ４とにより計測装置が構成されている。なお、被計測物体３は、基準平面２上に配置されており、液晶プロジェクタ１からカラー格子パターンが投影される。基準平面２上において、縞直交方向をＸ軸とし、縞方向をＹ軸とし、Ｚ軸方向にカメラ４の光軸が設けられている。
【００２４】
画像処理装置５は、投影制御部５６と、カラー画像取得部５１と、モノクロ画像取得部５２と、差画像生成部５３と、位相角計算部５４と、高度計算部５５と、カメラ４により撮影された画像などを格納する格子パターン画像格納部５７と、位相角計算部５４や高度計算部５５の計算結果を格納する計測データ格納部５９とを含む。また、画像処理装置５は、例えばメインメモリなどにワークメモリ領域５８を確保する。投影制御部５６は、液晶プロジェクタ１の液晶パネル１２を制御して、所定のカラー格子パターンを投影させる。カラー画像取得部５１は、所定のカラー格子パターンが投影された被計測物体３の、カメラ４のＣＣＤ４２が捉えたカラー画像をカメラ４から読み出す。カラー画像の各画素はＲＧＢの各画素値で表される。モノクロ画像取得部５２は、カラー画像取得部５１が取得したカラー画像をモノクロ画像に変換する。但し、所定のカラー格子パターンが投影された被計測物体３の、カメラ４のＣＣＤ４２が捉えたモノクロ画像をカメラ４から読み出すようにしてもよい。モノクロ画像においては各画素は白又は黒で表される。差画像生成部５３は、カラー画像とモノクロ画像とのＲ，Ｇ，Ｂの明るさについての差画像を生成する。位相角計算部５４は、差画像生成部５３により生成された差画像を処理することにより各画素の縞波番号を判定する縞波番号判定部５４１を含み、さらに各画素の縞内部位相角を算出することにより、（２π×縞波番号＋縞内部位相角）により各画素の位相角を算出する。なお、カラー格子を用いる場合には、以下では縞と縞波は同じものを意味するものとして説明する。但し、異なるようにして取り扱うことも可能である。高度計算部５５は、上で説明した非特許文献１において述べられたように、各画素について計算された位相角から被計測物体３の基準平面２からの高度を計算する。高度計算部５５の処理内容については、本発明の主要部ではなく、非特許文献１などに詳しく説明されているので、以降これについては説明しない。
【００２５】
［実施の形態１］
カラー格子を用いた格子パターン投影法においては、色の数が多いほど、縞が大きく不連続となっている部分に対応できるようになる。しかし、色の数が増えれば増えるほど、その判定は難しくなる。また、一般にコントラストが高い場合には精度良く色を識別できるが、光源から離れた所や陰影部分の近傍などはコントラストが低く、色の識別精度は落ちてしまう。
【００２６】
カラー格子パターンのカラー画像の各画素における明るさはバックグラウンドと本来の縞の明るさの和であるから、カラー格子パターンのカラー画像とモノクロ画像とのＲ，Ｇ，Ｂの明るさについての差である差画像を生成すれば、本来の縞の明るさについてのカラー画像を得ることができるようになる。当該差画像を用いれば、コントラストが低い、被計測物体３についてのカラー格子パターンに対しても色の識別が可能となる。また、カラー格子パターンとして、光の三原色であるＲ，Ｇ及びＢ並びにその補色であるＣ，Ｙ及びＭを用いることにより、縞の色相判定（３原色のＲ，Ｇ，Ｂの有無の判定）を離散的に行えばよくなり、判定精度を上げることができるためである。
【００２７】
これを簡単に式で説明すると、以下のようになる。カラー格子パターンのカラー画像の照度をＩ＝（Ｉ_Ｒ，Ｉ_Ｇ，Ｉ_Ｂ）と表すと、差画像Ｉ’＝（Ｉ_Ｒ’，Ｉ_Ｇ’，Ｉ_Ｂ’）は以下のように表される。
Ｉ_Ｒ’＝ｍａｘ｛Ｉ_Ｒ−（Ｉ_Ｒ＋Ｉ_Ｇ＋Ｉ_Ｂ）／３，０｝
Ｉ_Ｇ’＝ｍａｘ｛Ｉ_Ｇ−（Ｉ_Ｒ＋Ｉ_Ｇ＋Ｉ_Ｂ）／３，０｝
Ｉ_Ｂ’＝ｍａｘ｛Ｉ_Ｂ−（Ｉ_Ｒ＋Ｉ_Ｇ＋Ｉ_Ｂ）／３，０｝
【００２８】
一方、縞の照度Ｉはバックグランドの照度Ｊと縞それ自身の照度Ｋ＝（Ｋ_Ｒ，Ｋ_Ｇ，Ｋ_Ｂ）の和である。３原色Ｒ，Ｇ，Ｂとその補色Ｃ，Ｍ，Ｙが均等に出現するように設定すれば、バックグランドは灰色になると期待されるため、Ｊ＝（Ｊ_Ｄ，Ｊ_Ｄ，Ｊ_Ｄ）が成立する。従って、カラー格子パターンのカラー画像の照度Ｉは、Ｉ＝（Ｋ_Ｒ＋Ｊ_Ｄ，Ｋ_Ｇ＋Ｊ_Ｄ，Ｋ_Ｂ＋Ｊ_Ｄ）となる。
【００２９】
従って差画像Ｉ’は、以下のように表される。
Ｉ_Ｒ’＝ｍａｘ｛Ｋ_Ｒ＋Ｊ_Ｄ−｛（Ｋ_Ｒ＋Ｋ_Ｇ＋Ｋ_Ｂ）／３＋Ｊ_Ｄ｝，０｝
＝ｍａｘ｛Ｋ_Ｒ−（Ｋ_Ｒ＋Ｋ_Ｇ＋Ｋ_Ｂ）／３，０｝
Ｉ_Ｇ’＝ｍａｘ｛Ｋ_Ｇ＋Ｊ_Ｄ−｛（Ｋ_Ｒ＋Ｋ_Ｇ＋Ｋ_Ｂ）／３＋Ｊ_Ｄ｝，０｝
＝ｍａｘ｛Ｋ_Ｇ−（Ｋ_Ｒ＋Ｋ_Ｇ＋Ｋ_Ｂ）／３，０｝
Ｉ_Ｂ’＝ｍａｘ｛Ｋ_Ｂ＋Ｊ_Ｄ−｛（Ｋ_Ｒ＋Ｋ_Ｇ＋Ｋ_Ｂ）／３＋Ｊ_Ｄ｝，０｝
＝ｍａｘ｛Ｋ_Ｂ−（Ｋ_Ｒ＋Ｋ_Ｇ＋Ｋ_Ｂ）／３，０｝
【００３０】
なお、上で述べたように縞は３原色Ｒ，Ｇ，Ｂ及びその補色であるＣ，Ｍ，Ｙのいずれかで構成されるため、縞がＲであれば、

となる。Ｇであれば、
Ｉ’＝（０，２Ｋ_Ｇ／３，０）
となる。さらにＢであれば、
Ｉ’＝（０，０，２Ｋ_Ｂ／３）
となる。Ｃであれば、ＧとＢ成分のみであるから、
Ｉ’＝（０，Ｋ_Ｇ−（Ｋ_Ｇ＋Ｋ_Ｂ）／３，Ｋ_Ｂ−（Ｋ_Ｇ＋Ｋ_Ｂ）／３｝
となる。Ｍであれば、ＢとＲ成分のみであるから、
Ｉ’＝（Ｋ_Ｒ−（Ｋ_Ｒ＋Ｋ_Ｂ）／３，０，Ｋ_Ｂ−（Ｋ_Ｒ＋Ｋ_Ｂ）／３｝
となる。Ｙであれば、ＲとＧ成分のみであるから、
Ｉ’＝（Ｋ_Ｒ−（Ｋ_Ｒ＋Ｋ_Ｇ）／３，Ｋ_Ｇ−（Ｋ_Ｒ＋Ｋ_Ｇ）／３，０｝
【００３１】
となる。
【００３２】
すなわち、Ｒ成分のみの画素であればＲと判定でき、Ｇ成分のみの画素であればＧと判定でき、Ｂ成分のみの画素であればＢと判定でき、Ｇ成分及びＢ成分のみの画素であればＣと判定でき、Ｒ成分及びＧ成分のみの画素であればＹと判定でき、Ｂ成分及びＲ成分のみの画素であればＭと判定できる。従って、色識別の精度が向上する。
【００３３】
なお、上の議論では離散化誤差等の各種のばらつきを考慮しておらず、また被計測物体３の色が白色であることを前提としているため、実際の計測では適切な閾値を設定して成分の有無を判定する必要がある。
【００３４】
以上のような前提を基に、図３に示した装置の処理内容について図４乃至図９を用いて説明する。最初に、投影制御部５６は、液晶プロジェクタ１に対して特定のカラー格子パターンの投影を指示し、液晶プロジェクタ１の液晶パネル１２は指示に従って特定のカラー格子を構成して、被計測物体３に投影する（ステップＳ１）。本実施の形態では、図５（ａ）に示すようなカラー格子を使用する。すなわち、Ｒ，Ｇ，Ｂ，Ｃ，Ｍ，Ｙを１サイクルとして、複数サイクル繰り返すようなカラー格子である。途中でサイクル中の並びを変更することもある。
【００３５】
これに対してカメラ４は、レンズ４１を介してＣＣＤ４２により上記のようなカラー格子パターンが投影された被計測物体３のカラー格子パターン画像を撮影し、カメラ４に内蔵するメモリに格納する（ステップＳ３）。なお、当該カラー格子パターン画像において、図３に示すように水平方向に縞が並んでいるものとする。そして、画像処理装置５のカラー画像取得部５１は、撮影されたカラー格子パターン画像をカメラ４から読み出し、画像処理装置５の格子パターン画像格納部５７に格納する。
【００３６】
次に、モノクロ画像取得部５２は、格子パターン画像格納部５７に格納されたカラー格子パターン画像を読み出し、当該カラー格子パターン画像からモノクロ格子パターン画像を生成し、格子パターン画像格納部５７に格納する（ステップＳ５）。又は、モノクロ画像を撮影しても構わない。モノクロ格子パターン画像は後に差画像を生成するため、画像の方向についてはカラー格子パターン画像と同じように、水平方向に縞が並んでいるものとする。なお、モノクロ画像取得部５２は、カメラ４に指示して単色撮影を行わせ、当該カメラ４からモノクロ格子パターン画像を取得するようにしても良い。その後、差画像生成部５３は、格子パターン画像格納部５７に格納されているカラー格子パターン画像及びモノクロ格子パターン画像から差画像を生成し、例えば画像処理装置５のワークメモリ領域５８に格納する（ステップＳ７）。上でも述べたが、Ｒ，Ｇ，Ｂの明るさについての差画像を生成する。
【００３７】
そして、画像処理装置５の位相角計算部５４は、縞波番号を特定すべきラインの中から１本のラインを選択し（ステップＳ９）、左又は右から順番に１画素を特定する（ステップＳ１１）。例えば左上の画素から処理を始める。その後、位相角計算部５４の縞波番号判定部５４１は、色判定処理を実施する（ステップＳ１３）。この処理について図６を用いて説明する。
【００３８】
図６の例では、最初に当該画素の色が「黒」であるか判断する（ステップＳ３１）。「黒」と判断できるようなＲＧＢ値である場合には、当該画素を陰影として登録する（ステップＳ５９）。なお、本実施の形態では、図７に示すように、物体に光を当てた場合にその物体にできる暗部である陰も、物体の陰を投影面に投影したものである影についても共に黒く撮影される。従って、「黒」と判定できる画素については被計測物体３の基準平面２からの高さを計測することはできないので、例えば「陰影」であると登録する。但し、ステップＳ３１及びステップＳ５９のような判定を行わず、判定不能と判断するようにしても良い。
【００３９】
次に、「黒」ではないと判断された場合には、「Ｒ」が所定値以上であるか判断する（ステップＳ３３）。「Ｒ」が所定値以上であると判断された場合には、当該画素を「Ｒ」と判断し、「Ｒ」及び当該Ｒの値を登録する（ステップＳ３５）。例えば図８に示すようなテーブルに登録する。図８の例では、画素番号の行と、色の行と、値の行と、縞波番号の行と、縞内部位相角の行とが設けられており、各画素について判定結果の色と当該判定された色に関連する画素値（ＲＧＢ値）と後に決定される縞波番号と後に決定される縞内部位相角が対応付けられている。例えば画素番号２番の画素は、「Ｒ」と判定され、当該Ｒの値は２４５であり、縞波番号は「１−１」であり、縞内部位相角は「１」πである。そして元の処理に戻る。
【００４０】
一方「Ｒ」が所定値以上ではないと判断された場合には、「Ｇ」が所定値以上であるか判断する（ステップＳ３７）。「Ｇ」が所定値以上であると判断された場合には、当該画素を「Ｇ」と判断し、「Ｇ」及び当該Ｇの値を登録する（ステップＳ３９）。そして元の処理に戻る。
【００４１】
「Ｇ」が所定一以上ではないと判断された場合には、「Ｂ」が所定値以上であるか判断する（ステップＳ４１）。「Ｂ」が所定値以上であると判断された場合には、当該画素を「Ｂ」と判断し、「Ｂ」及び当該Ｂの値を登録する（ステップＳ４３）。そして元の処理に戻る。
【００４２】
「Ｂ」が所定値以上ではないと判断された場合には、「Ｒ」及び「Ｇ」が第２の所定値以上であるか判断する（ステップＳ４５）。「Ｒ」及び「Ｇ」が第２の所定値以上であると判断された場合には、当該画素を「Ｙ」と判断し、「Ｙ」並びにＲ及びＧの値を登録する（ステップＳ４７）。そして元の処理に戻る。
【００４３】
「Ｒ」及び「Ｇ」が第２の所定値以上ではないと判断された場合には、「Ｇ」及び「Ｂ」が第２の所定値以上であるか判断する（ステップＳ４９）。「Ｇ」及び「Ｂ」が第２の所定値以上であると判断された場合には、当該画素を「Ｃ」と判定し、「Ｃ」並びにＧ及びＢの値を登録する（ステップＳ５１）。そして元の処理に戻る。
【００４４】
「Ｇ」及び「Ｂ」が第２の所定値以上ではないと判断された場合には、「Ｂ」及び「Ｒ」が第２の所定値以上であるか判断する（ステップＳ５３）。「Ｂ」及び「Ｒ」が第２の所定値以上であると判断された場合には、当該画素を「Ｍ」と判定し、「Ｍ」並びにＢ及びＲの値を登録する（ステップＳ５５）。そして元の処理に戻る。
【００４５】
もし「Ｇ」及び「Ｂ」が第２の所定値以上ではないと判断された場合には、判定不能と判断され、判定不能を表すデータを登録する（ステップＳ５７）。そして元の処理に戻る。
【００４６】
図４に戻って、ステップＳ１３における色判定処理が行われると、ステップＳ１３において判定不能とされたか確認する（ステップＳ１５）。もし、判定不能とされた場合には、当該画素の縞波番号の判定を保留して（ステップＳ１９）、ステップＳ２１に移行する。一方、色の判定が可能であった場合には、カラー格子パターンの色の並び及び判定された色に基づき縞波番号を特定する（ステップＳ１７）。上でも述べたが、縞は水平方向に並んでいるため、例えばステップＳ９において上のラインから抽出し、さらにステップＳ１１において左から画素を特定する場合には、最初に判定された色に「１」又は図５（ａ）で示した色の並びに基づき最初に判定された色までの順番の数（例えば「Ｙ」であれば「６」）を割り振って、以降は当該最初に判定された色の縞波番号からの相対的な番号を判定する。また、サイクル番号と１サイクル内の色の順番の組み合わせ（例えば１番目のＲは「１−１」）を使用しても良く、本実施の形態ではこのような縞波番号を用いる。色の並びは図５（ａ）に示したカラー格子パターンの並びどおりに差画像においては検出されるとは限らない。図８に示したようにＲの次にＹが検出される場合もある。この場合にはＧ、Ｂ、Ｃ及びＭがスキップされたものとして、Ｒが「１−１」（１番目のサイクルの１番目）であればＹには「１−６」（１番目のサイクルの６番目）が割り当てられる。但し、このＹが「２−６」かもしれないが、本実施の形態ではそれについては判断できない。なお、縞波番号については、上で述べたように「１−１」や「１−６」といった形ではなく「１」「６」といったシリアル番号にしても良い。シリアル番号が必要であればサイクル番号×当該サイクルの中での番号で計算できる。
【００４７】
そして当該ラインの全ての画素を処理したか判断する（ステップＳ２１）。もしまだ全ての画素を処理していない場合にはステップＳ１１に戻る。一方、当該ラインの全ての画素を処理したと判断された場合には、縞波番号判定部５４１は、差画像における格子幅（縞区間）を考慮して、縞波番号が特定された画素から、特定できなかった画素の縞波番号を推定し、登録する（ステップＳ２３）。なお、縞波番号が特定されなかった画素がなければ本ステップはスキップされる。
【００４８】
図９に一例を示す。図９ではＲの場合の例を示しており、黒丸は色判定処理においてＲの値が所定値以上であるため色を「Ｒ」と判定された画素であり、白丸は色判定処理において判定不能とされた画素であるとする。１ライン分の画素について色及び縞波番号の判定を行えば、いずれの画素の画素値が極大となっているかを判断することができる。この画素値が極大となっている画素を縞区間の中央であると判断して、縞区間を設定する。縞区間の両端には、「Ｒ」と判断されるべきであるが、各種誤差により判定不能と判断される画素が生ずる可能性がある。このような画素については、この縞区間内に入っているか否かで「Ｒ」と判断するか、又は隣接する他の色であるかを判断する。図９に示されている２つの白丸はピーク値を有する画素から設定される縞区間に入っているので、その画素値は所定値を下回っているが「Ｒ」と判定して、元々「Ｒ」と判定されていた画素と同じ縞波番号が割り当てられる。「Ｇ」及び「Ｂ」についても同様に判断する。また、「Ｃ」「Ｙ」「Ｍ」についてもＲＧＢのうち２つの組み合わせとなるため、それら２つの値を加算したり平均したりして図９のようにピークの画素を検出し、縞区間を設定し、判定不能と判断された画素について、縞区間に応じた縞波番号を、例えば図８のテーブルに登録する。「色」を登録しても良い。
【００４９】
また、位相角計算部５４は、例えば図８のようなテーブルから各縞において画素値のピークを検出して、各画素について差画像における格子幅（縞区間）と画素値がピークの画素からの距離に基づき縞内部位相角を計算し、例えば図８のようなテーブルに登録する（ステップＳ２５）。縞区間で位相は２π変化する。画素値がピークとなる画素は位相がπ変化した位置にある。従って、各画素について、画素値がピークとなっている画素からの距離に基づき縞内部位相角を計算し、登録する。なお、ピークを基にせずとも計算することもできる。この処理については、従前から行われているものであり、ここではこれ以上述べない。
【００５０】
そして、全ての処理すべきラインを処理したか判断する（ステップＳ２７）。もし、まだ処理すべきラインが残っている場合にはステップＳ９に戻る。もし、全ての処理すべきラインについて処理が終了した場合には、処理を終了する。
【００５１】
このような処理を実施することにより、各画素について縞波番号及び縞内部位相角が例えば図８のようなテーブルに特定されることになる。このデータについては例えば計測データ格納部５９に格納する。縞波番号と縞内部位相角が取得できれば、全体における位相を２π×縞波番号＋縞内部位相角にて各画素について計算することができ、周知の方法にて高度計算部５５は、被計測物体３の基準平面２からの高度を計算することができるようになる。このデータについては例えば計測データ格納部５９に格納する。
【００５２】
なお、色を上で述べた３原色及びその補色に限定し差画像にて処理を行うことにより、上で説明したように色の識別が容易になっており、より正確に縞波番号を特定することができるようになっている。
【００５３】
また、上では１色で縞波が構成されるとして説明したが、隣接する２色で縞波を構成するようにしても良い。また、別の方法にて縞波を構成するようにしても良い。
【００５４】
［実施の形態２］
実施の形態１では、上記６色のカラー格子パターンを投影する場合を説明したが、縞６本以上の不連続部分があると判別できなくなるという問題がある。しかし、上で述べたように最大上記６色に限定すると色の識別が容易になるので、この特性を保持しつつ、より大きい不連続部分に対処できるようにしたいという要望もある。
【００５５】
その場合には、２回に処理を分けて、１回目の処理において図５（ｂ−１）に示すようなカラー格子パターンを用い、２回目の処理において図５（ｂ−２）に示すようなカラー格子パターンを用いる。図５（ｂ−１）では、「Ｒ」「Ｗ（白（Ｗｈｉｔｅ）。但し黒でもよい）」「Ｇ」「Ｗ」「Ｂ」「Ｗ」「Ｃ」「Ｗ」「Ｍ」「Ｗ」「Ｙ」「Ｗ」を１サイクルとするもので、複数サイクル繰り返す。すなわち、「Ｒ」「Ｇ」「Ｂ」「Ｃ」「Ｍ」「Ｙ」の間に「Ｗ」を挿入するものである。一方、「Ｗ」については色がないので、いずれの色の間に挿入された「Ｗ」であるか判断できないので、図５（ｂ−１）のみを用いて処理しても縞波番号を特定できない。従って、図５（ｂ−２）に示すようなカラー格子パターンを用いる。すなわち、「Ｗ」「Ｒ」「Ｗ」「Ｇ」「Ｗ」「Ｂ」「Ｗ」「Ｃ」「Ｗ」「Ｍ」「Ｗ」「Ｙ」を１サイクルとして、複数サイクル繰り返す。このように、図５（ｂ−１）の「Ｗ」のところに色の縞が割り当てられ、図５（ｂ−１）と図５（ｂ−２）が互い違いになっている。
【００５６】
処理については図４の処理を２回行えばよい。「Ｗ」の部分については「判定不能」と判断し、ステップＳ１７における縞波番号の特定については例えば１回目の処理においては奇数番号を、２回目の処理においては偶数番号を割り当てればよい。但し、他の方式に従って番号を付しても良い。例えばサイクル番号おｔサイクル内の順番で決定してもよい。また、ステップＳ２３において「判定不能」とされた画素について縞波番号を推定しているが、ステップＳ２３において「Ｗ」の縞区間については縞波番号を推定しないようにする。又は、判定不能のままで放置するものとする。なお、図６のステップＳ３１において「黒」か否かを判定してステップＳ５９においては「陰影として登録する」ようになっているが、ステップＳ３１の代わりに「白」又は「黒」か判断し、「白」又は「黒」と判定された場合には、「判定不能」と判断するようにしても良い。
【００５７】
このような処理を行えば、１サイクルが１２色と同じ効果を奏するので、不連続部分が長くなっても対処することができるようになる。
【００５８】
［実施の形態３］
実施の形態２では、白又は黒である「Ｗ」を導入して、「Ｒ」「Ｇ」「Ｂ」「Ｃ」「Ｍ」「Ｙ」の間に「Ｗ」を挿入する例を示したが、必ずしも上記６色のそれぞれの間に「Ｗ」を挿入しなければならないわけではない。
【００５９】
例えば図５（ｃ−１）及び図５（ｃ−２）に示すように、「Ｒ」「Ｇ」「Ｂ」「Ｃ」「Ｍ」「Ｙ」の後に６つの「Ｗ」を並べ、６つの「Ｗ」の後に「Ｒ」「Ｇ」「Ｂ」「Ｃ」「Ｍ」「Ｙ」と連ねる。このようにしても図５（ｃ−１）及び図５（ｃ−２）は互い違いになっている。
【００６０】
処理については図４の処理を２回行えばよい。「Ｗ」の部分については「判定不能」と判断し、ステップＳ１７における縞波番号の特定については例えば１回目の処理においては１乃至６についての１２の等差数列による番号を、２回目の処理においては７乃至１２についての１２の等差数列による番号を割り当てればよい。他の方式に従って縞波番号を決定しても良い。また、ステップＳ２３において「判定不能」とされた画素について縞波番号を推定しているが、ステップＳ２３において「Ｗ」の縞区間については縞波番号を推定しないようにする。又は、判定不能のままで放置するものとする。
【００６１】
このようなカラー格子パターンを用いても、２回図４の処理を行えば、１サイクルが１２色と同様の効果を奏する。
【００６２】
さらに、２回に分けて処理を行うだけではなく、３回以上に分けても良い。図１０（ａ−１）に示すように、「Ｒ」「Ｇ」「Ｂ」「Ｃ」「Ｍ」「Ｙ」の各色の間に「Ｗ」を２個入れて、１８縞で１サイクルを構成する。そして、図１０（ａ−２）及び図１０（ａ−３）においては、図１０（ａ−１）における「Ｒ」「Ｇ」「Ｂ」「Ｃ」「Ｍ」「Ｙ」の位置を１つずつずらしている。
【００６３】
この場合には、図４の処理を３回行えばよい。「Ｗ」の部分については「判定不能」と判断し、ステップＳ１７における縞波番号の特定については例えば１回目の処理においては１，４，７，１０，１３，１６についての１８の等差数列による番号を、２回目の処理においては２，５，８，１１，１４，１７についての１８の等差数列による番号を、３，６，９，１２，１５，１８にうちての１８の等差数列による番号を割り当てればよい。また、ステップＳ２３において「判定不能」とされた画素について縞波番号を推定しているが、ステップＳ２３において「Ｗ」の縞区間については縞波番号を推定しないようにする。又は、判定不能のままで放置するものとする。
【００６４】
３回以上に分けるときも「Ｒ」「Ｇ」「Ｂ」「Ｃ」「Ｍ」「Ｙ」の間に「Ｗ」を挿入するだけではなく、「Ｒ」「Ｇ」「Ｂ」「Ｃ」「Ｍ」「Ｙ」の後に１２個以上の「Ｗ」を挿入するようにしても良い。
【００６５】
［実施の形態４］
上で述べた実施の形態では「Ｒ」「Ｇ」「Ｂ」「Ｃ」「Ｍ」「Ｙ」を基本的には用いるようにしており、典型的には６の倍数で縞の種類数を増やすことになる。しかし、上記のような計測方法では、実際いずれの縞の種類数で計測をすればよいのかは不明である。従って、一旦特定の縞の種類数で計測して問題があった場合に、さらに縞の種類数を増やして計測し直すといった手法を用いざるを得ない。
【００６６】
本実施の形態では、上記のような計測のやり直しなどを行わず、以下のような処理を実施し、少ない色を用いて色の識別を容易にした上で、縞波番号の不連続部分に対応する。
【００６７】
装置構成は図３とほぼ同じである。但し、モノクロ画像取得部５２及び差画像生成部５３については動作しない。最初に、カウンタｎを１に初期化する（図１１：ステップＳ６１）。投影制御部５６は、ｎステージ（最初は第１ステージ）におけるカラー格子パターンの投影を液晶プロジェクタ１に対して指示し、液晶プロジェクタ１の液晶パネル１２は指示に従ってｎステージのカラー格子を構成して、被計測物体３に投影する（ステップＳ６３）。本実施の形態では、図１２（ａ）に示すようなカラー格子を使用する。すなわち、第１ステージでは、Ｒ，Ｇ，Ｂの３色で全撮影領域をカバーするようなカラー格子である。
【００６８】
これに対してカメラ４は、レンズ４１を介してＣＣＤ４２により上記のようなカラー格子パターンが投影された被計測物体３のカラー格子パターン画像を撮影し、カメラ４に内蔵するメモリに格納する（ステップＳ６５）。なお、当該カラー格子パターン画像において、図３に示すように水平方向に縞が並んでいるものとする。そして、画像処理装置５のカラー画像取得部５１は、撮影されたカラー格子パターン画像をカメラ４から読み出し、画像処理装置５の格子パターン画像格納部５７に格納する。
【００６９】
そして、画像処理装置５の位相角計算部５４は、カラー格子パターン画像において縞波番号を特定すべきラインの中から１本のラインを選択し（ステップＳ６７）、左又は右から順番に１画素を特定する（ステップＳ６９）。例えば左上の画素から処理を始める。その後、位相角計算部５４の縞波番号判定部５４１は、色判定処理を実施する（ステップＳ７１）。この処理については、図６のステップＳ４５乃至ステップＳ５５をスキップする形で実施し、色判定が不能であった画素については図４のステップＳ２３で述べたような方法にて色判定が不能とされた画素について色（縞波番号）を推定する。なお、本実施の形態では、図１３に示すようなテーブルにて管理する。例えば図１３の例では、画素番号の行と、第１ステージで判定された色の行と、第１ステージで判定された色の値の行と、第２ステージで判定された色の行と、第２ステージで判定された色の値の行と、．．．．、縞波番号（シリアル番号）の行と、最終ステージにおける縞内部位相角の行とが設けられており、各画素について第１ステージから最終ステージまでの色系列（色に対応付けられた他のコードのコード系列であってもよい）と、各ステージにおける画素値及び最終ステージの縞内部位相角とが登録されるようになっている。
【００７０】
色の判定が終わると、全ての画素について処理したか判断する（ステップＳ７３）。全ての画素について処理が終了しているわけではない場合には、ステップＳ６９に戻り、次の画素の処理を行う。一方、全ての画素について処理を行った場合には、全ての処理すべきラインを処理したか判断する（ステップＳ７５）。処理すべきラインのうち未処理のラインが存在している場合には、ステップＳ６７に戻って次のラインの処理を行う。全てのラインについて処理が終了したと判断された場合には、現在のｎが最終ステージを示す設定値であるか否かを判断する（ステップＳ７７）。最終ステージではないと判断された場合には、ｎを１インクリメントして（ステップＳ７８）、ステップＳ６３に戻る。
【００７１】
第２ステージでは、図１２（ｂ）のようなカラー格子パターンを使用する。すなわち、第１ステージでＲとされた領域をＲ，Ｇ及びＢの３つの縞に分割する。同じく第１ステージでＧとされた領域をＲ，Ｇ及びＢの３つの縞に分割する。同様に第１ステージでＢとされた領域をＲ，Ｇ，Ｂの３つの縞に分割する。以下の処理については上で述べたのと同様である。第３ステージでは、図１２（ｃ）に示すようなカラー格子パターンを使用する。すなわち、Ｒ，Ｇ，Ｂのそれぞれの縞をさらにＲ，Ｇ，Ｂの縞に分割する。このような完全な３分木に基づきカラー格子パターンを構成せずとも、不完全な３分木に基づきカラー格子パターンを構成するようにしてもよい。ステージ数については、所望の縞区間長となるステージの数で特定される。
【００７２】
以上のように３分木に従って各ステージのカラー格子パターンを構成して投影し、各ステージにおいてステップＳ６３乃至ステップＳ７５までの処理を実施することにより、第１ステージから最終ステージまでの色系列を得ることができるようになる。
【００７３】
ステップＳ７７においてｎは最終ステージを表す設定値であると判断された場合には、各画素について、全ステージの色系列を用いて縞波番号を特定し、例えば図１３のようなテーブルに登録する（ステップＳ７９）。例えば全ステージのカラー格子パターンを用いて、「ＲＲＲＲＲ」（５ステージの場合）という色系列には「１」を対応させ、「ＲＲＲＲＧ」という色系列には「２」を対応させるといったテーブルを別途用意して、縞波番号を特定するようにしても良い。
【００７４】
そして、位相角計算部５４は、例えば図１３のようなテーブルから最終ステージにおけるカラー格子パターン画像の各縞において画素値のピークを検出して、各画素について最終ステージのカラー格子パターン画像における格子幅（縞区間）と画素値がピークの画素からの距離に基づき縞内部位相角を計算し、例えば図１３のようなテーブルに登録する（ステップＳ８１）。縞区間で位相は２π変化する。画素値がピークとなる画素は位相がπ変化した位置にある。従って、各画素について、画素値がピークとなっている画素からの距離に基づき縞内部位相角を計算し、登録する。なお、ピークを元にせずとも計算することもでき、さらにこの処理については、従前から行われているものであり、ここではこれ以上述べない。
【００７５】
以上のような処理を実施することにより、少ない色を用いて縞の大きな不連続部分に対処できるようになる。また、最終的に必要な縞数ｐに対してステージ数はｌｏｇ_３ｐとなるため、より少ない処理回数で済むようになる。
【００７６】
以上本発明の実施の形態を説明したが、本発明はこれに限定されない。例えば、図３に示した機能ブロック図は一例であって、必ずしも液晶プロジェクタ１でなければならないことはなく、他の投影装置を用いるようにしても良い。また、画像処理装置５の機能部についても実際のプログラムモジュールが対応しない場合もある。また、撮影制御部５６については画像処理装置５とは別の装置によって実現される場合もある。さらに、液晶プロジェクタ１やカメラ４に、画像処理装置５の一部の機能を保持させるような構成とする場合もある。
【００７７】
また、第１乃至第３の実施の形態においては６色用いる例を示したが、６色使用せずとも良い。また、第４の実施の形態においては３色用いる例を示したが、より多くの色を用いるようにしても良い。また、第１乃至第３の実施の形態を第４の実施の形態と組み合わせる場合もある。
【００７８】
（付記１）
赤、緑、青、シアン、マゼンタ及びイエローのうち少なくとも２色を格子の色として用いたカラー格子パターンを被計測物体に投影した場合における、前記被計測物体についてのカラー画像を取得するカラー画像取得ステップと、
前記カラー格子パターンが投影された前記被計測物体についてのモノクロ画像を取得するモノクロ画像取得ステップと、
前記カラー画像と前記モノクロ画像との差画像を生成する差画像生成ステップと、
前記差画像の画素の色及び前記カラー格子パターンの色の並びのデータに少なくとも基づき、前記カラー格子パターンにおける縞波番号を前記差画像の所定の画素につき特定する特定ステップと、
を含む格子パターン投影法における画像処理方法。
【００７９】
（付記２）
前記差画像の画素が属する縞の画素値のピーク位置、当該ピーク位置からの縞直交方向における距離及び前記差画像における縞の幅に基づき、前記差画像の所定の画素について縞内部位相角を計算するステップ
をさらに含む付記１記載のカラー格子パターン投影方法における画像処理方法。
【００８０】
（付記３）
前記カラー格子パターンに、さらに白又は黒を格子の色として使用することを特徴とする付記１又は２記載のカラー格子パターン投影方法における画像処理方法。
【００８１】
（付記４）
前記カラー格子パターンに白又は黒を格子の色として使用している場合には、
白又は黒を格子の色としてさらに用いた第１のカラー格子パターンについて、前記カラー画像取得ステップと前記モノクロ画像取得ステップと前記差画像生成ステップと前記特定ステップとを実施し、
前記第１のカラー格子パターンにおける白又は黒の縞位置に他の色の縞が設定されている第２のカラー格子パターンについて、前記カラー画像取得ステップと前記モノクロ画像取得ステップと前記差画像生成ステップと前記特定ステップを実施する
ことを特徴とする付記３記載の格子パターン投影法における画像処理方法。
【００８２】
（付記５）
前記特定ステップが、
前記差画像の所定の画素について、赤、緑及び青のいずれかのみ又は任意の２つの組み合わせのいずれかであるか判断することにより、色を判定するステップを含むことを特徴とする請求項１乃至４のいずれか１つ記載の格子パターン投影法における画像処理方法。
【００８３】
（付記６）
赤、緑、青、シアン、マゼンタ及びイエローのうち少なくとも２色を格子の色として用いたカラー格子パターンを被計測物体に投影する手段と、
前記カラー格子パターンを前記被計測物体に投影した場合における、前記被計測物体についてのカラー画像を撮影する手段と、
画像処理装置であって、
前記カラー画像と前記カラー格子パターンが投影された前記被計測物体についてのモノクロ画像とを取得する手段と、
前記カラー画像と前記モノクロ画像との差画像を生成する手段と、
前記差画像の画素の色及び前記カラー格子パターンの色の並びのデータに少なくとも基づき、前記カラー格子パターンにおける縞波番号を前記差画像の所定の画素につき特定する手段と、
を有する画像処理装置と、
を有する計測装置。
【００８４】
（付記７）
赤、緑、青、シアン、マゼンタ及びイエローのうち少なくとも２色を格子の色として用いたカラー格子パターンを被計測物体に投影させる手段と、
前記カラー格子パターンを前記被計測物体に投影した場合における、前記被計測物体についてのカラー画像を取得する手段と、
前記カラー格子パターンが投影された前記被計測物体についてのモノクロ画像を取得する手段と、
前記カラー画像と前記モノクロ画像との差画像を生成する手段と、
前記差画像の画素の色及び前記カラー格子パターンの色の並びのデータに少なくとも基づき、前記カラー格子パターンにおける縞波番号を前記差画像の所定の画素につき特定する手段と、
を有する画像処理装置。
【００８５】
（付記８）
赤、緑、青、シアン、マゼンタ及びイエローのうち少なくとも２色を格子の色として用いたカラー格子パターンを被計測物体に投影した場合における、前記被計測物体についてのカラー画像を取得するカラー画像取得ステップと、
前記カラー格子パターンが投影された前記被計測物体についてのモノクロ画像を取得するモノクロ画像取得ステップと、
前記カラー画像と前記モノクロ画像との差画像を生成する差画像生成ステップと、
前記差画像の画素の色及び前記カラー格子パターンの色の並びのデータに少なくとも基づき、前記カラー格子パターンにおける縞波番号を前記差画像の所定の画素につき特定する特定ステップと、
をコンピュータに実行させるためのプログラム。
【００８６】
（付記９）
使用する色の種類ｍ（ｍは２以上の整数）及び撮影ステージ番号ｎ（ｎは１以上の整数）に基づき最大ｍ^ｎ本の前記使用する色の縞を含むカラー格子パターンを被計測物体に投影した場合における、前記被計測物体についての各前記撮影ステージのカラー画像を取得するステップと、
少なくとも前記カラー画像の画素の色に基づき、第１ステージから最終ステージまでのカラー画像における所定の画素の色系列又は色に対応付けられたコードによるコード系列を特定するステップと、
前記色系列又はコード系列から前記カラー画像における所定の画素の縞波番号を特定するステップと、
を含む格子パターン投影法における画像処理方法。
【００８７】
（付記１０）
前記最終ステージにおけるカラー画像の画素が属する縞の画素値のピーク位置、当該ピーク位置からの縞直交方向における距離及び前記最終ステージのカラー画像における縞の幅に基づき、前記カラー画像の所定の画素について縞内部位相角を計算するステップ
をさらに含む付記９記載のカラー格子パターン投影方法における画像処理方法。
【００８８】
（付記１１）
使用する色の種類ｍ（ｍは２以上の整数）及び撮影ステージ番号ｎ（ｎは１以上の整数）に基づき最大ｍ^ｎ本の前記使用する色の縞を含むカラー格子パターンを被計測物体に投影する手段と、
各前記撮影ステージにおけるカラー格子パターンを前記被計測物体に投影した場合における、前記被計測物体についてのカラー画像を撮影する手段と、
画像処理装置であって、
撮影された前記カラー画像の画素の色に少なくとも基づき、第１ステージから最終ステージまでのカラー画像における所定の画素の色系列又は色に対応付けられたコードによるコード系列を特定する手段と、
前記色系列又はコード系列から前記カラー画像における所定の画素の縞波番号を特定する手段と、
を有する画像処理装置と、
を有する計測装置。
【００８９】
（付記１２）
使用する色の種類ｍ（ｍは２以上の整数）及び撮影ステージ番号ｎ（ｎは１以上の整数）に基づき最大ｍ^ｎ本の前記使用する色の縞を含むカラー格子パターンを被計測物体に投影させる手段と、
各前記撮影ステージにおけるカラー格子パターンを前記被計測物体に投影した場合における、前記被計測物体についてのカラー画像を取得する手段と、
前記カラー画像の画素の色に少なくとも基づき、第１ステージから最終ステージまでのカラー画像における所定の画素の色系列又は色に対応付けられたコードによるコード系列を特定する手段と、
前記色系列又はコード系列から前記カラー画像における所定の画素の縞波番号を特定する手段と、
を有する画像処理装置。
【００９０】
（付記１３）
使用する色の種類ｍ（ｍは２以上の整数）及び撮影ステージ番号ｎ（ｎは１以上の整数）に基づき最大ｍ^ｎ本の前記使用する色の縞を含むカラー格子パターンを被計測物体に投影した場合における、前記被計測物体についての各前記撮影ステージのカラー画像を取得するステップと、
前記カラー画像の画素の色に少なくとも基づき、第１ステージから最終ステージまでのカラー画像における所定の画素の色系列又は色に対応付けられたコードによるコード系列を特定するステップと、
前記色系列又はコード系列から前記カラー画像における所定の画素の縞波番号を特定するステップと、
をコンピュータに実行させるためのプログラム。
【００９１】
【発明の効果】
以上述べたように、本発明によれば、カラー縞格子を使用する際に色識別の失敗を防止することができる。
【００９２】
また、少ない色を使用したカラー縞格子の適用範囲を拡大するための新規な技術を提供することもできる。
【図面の簡単な説明】
【図１】従来技術における計測装置の概要を示す図である。
【図２】縞の不連続部分を説明するための図である。
【図３】本発明の計測装置の機能ブロック図を示す図である。
【図４】本発明の第１の実施の形態に係る処理フローを示す図である。
【図５】（ａ），（ｂ−１），（ｂ−２），（ｃ−２）及び（ｃ−２）は、カラー格子パターンの例を示す図である。
【図６】色判定処理のフローを示す図である。
【図７】陰影を説明するための図である。
【図８】画素についてのデータ・テーブルの一例を示す図である。
【図９】色判定不能とされた画素についての色又は縞波番号推定方法を説明するための図である。
【図１０】（ａ−１），（ａ−２）及び（ａ−３）は、カラー格子パターンの例を示す図である。
【図１１】本発明の第４の実施の形態に係る処理フローを示す図である。
【図１２】（ａ），（ｂ）及び（ｃ）は第４の実施の形態で使用されるカラー格子パターンの一例を示す図である。
【図１３】第４の実施の形態における、画素についてのデータ・テーブルの一例を示す図である。
【符号の説明】
１液晶プロジェクタ２基準平面３被計測物体
４カメラ５画像処理装置
１１投影部１２液晶パネル１３レンズ
４１レンズ４２ＣＣＤ
５１カラー画像取得部５２モノクロ画像取得部
５３差画像生成部５４位相角計算部
５４１縞波番号判定部５５高度計算部
５６投影制御部５７格子パターン画像格納部
５８ワークメモリ領域５９計測データ格納部

Claims

赤、緑、青、シアン、マゼンタ及びイエローのうち少なくとも２色を格子の色として用いたカラー格子パターンを被計測物体に投影した場合における、前記被計測物体についてのカラー画像を取得するカラー画像取得ステップと、
前記カラー格子パターンが投影された前記被計測物体についてのモノクロ画像を取得するモノクロ画像取得ステップと、
前記カラー画像と前記モノクロ画像との差画像を生成する差画像生成ステップと、
前記差画像の画素の色及び前記カラー格子パターンの色の並びのデータに少なくとも基づき、前記カラー格子パターンにおける縞波番号を前記差画像の所定の画素につき特定する特定ステップと、
を含む格子パターン投影法における画像処理方法。
前記カラー格子パターンに、さらに白又は黒を格子の色として使用することを特徴とする請求項１記載の格子パターン投影法における画像処理方法。
赤、緑、青、シアン、マゼンタ及びイエローのうち少なくとも２色を格子の色として用いたカラー格子パターンを被計測物体に投影する手段と、
前記カラー格子パターンを前記被計測物体に投影した場合における、前記被計測物体についてのカラー画像を撮影する手段と、
画像処理手段であって、
前記カラー画像と前記カラー格子パターンが投影された前記被計測物体についてのモノクロ画像とを取得する手段と、
前記カラー画像と前記モノクロ画像との差画像を生成する手段と、
前記差画像の画素の色及び前記カラー格子パターンの色の並びのデータに少なくとも基づき、前記カラー格子パターンにおける縞波番号を前記差画像の所定の画素につき特定する手段と、
を有する画像処理装置と、
を有する計測装置。
使用する色の種類ｍ（ｍは２以上の整数）及び撮影ステージ番号ｎ（ｎは１以上の整数）に基づき最大ｍ^ｎ本の前記使用する色の縞を含むカラー格子パターンを被計測物体に投影した場合における、前記被計測物体についての各前記撮影ステージのカラー画像を取得するステップと、
少なくとも前記カラー画像の画素の色に基づき、第１ステージから最終ステージまでのカラー画像における所定の画素の色系列又は色に対応付けられたコードによるコード系列を特定するステップと、
前記色系列又はコード系列から前記カラー画像における所定の画素の縞波番号を特定するステップと、
を含む格子パターン投影法における画像処理方法。
使用する色の種類ｍ（ｍは２以上の整数）及び撮影ステージ番号ｎ（ｎは１以上の整数）に基づき最大ｍ^ｎ本の前記使用する色の縞を含むカラー格子パターンを被計測物体に投影させる手段と、
各前記撮影ステージにおけるカラー格子パターンを前記被計測物体に投影した場合における、前記被計測物体についてのカラー画像を取得する手段と、
前記カラー画像の画素の色に少なくとも基づき、第１ステージから最終ステージまでのカラー画像における所定の画素の色系列又は色に対応付けられたコードによるコード系列を特定する手段と、
前記色系列又はコード系列から前記カラー画像における所定の画素の縞波番号を特定する手段と、
を有する画像処理装置。