JP2011080965A - ３次元形状計測装置 - Google Patents

Abstract

【課題】外光の存在下においても投影装置からの光出力を増加させることなく対象物の３次元形状を計測することを可能にする。
【解決手段】投影装置１からスリット光が物体Ｏｂに投影され、物体Ｏｂの表面に形成されるパターンが投影装置２により撮像される。制御回路部３は、投影装置１から光パターンを投影する照射期間と投影しない非照射期間とを設ける。撮像装置２は、電荷の集積と保持とが可能な感光部を備え、画像生成部４は、照射期間に対応する感光部からの受光出力と非照射期間に対応する感光部からの受光出力との差分である反射強度値を画素値とする反射強度画像を生成する。目的画素抽出部５は、反射強度画像において光パターンに対応する画素の位置を抽出する。位置演算部６では、目的画素抽出部５で抽出した画素の位置を用いて対象物の３次元位置を算出する。
【選択図】図１

Description

本発明は、対象空間に光パターンを照射し、対象空間に存在する物体の表面に形成されるパターンの位置に基づいて、三角測量法の原理を用いて物体までの距離を計測することにより、物体の３次元形状を計測するアクティブ型の３次元形状計測装置に関するものである。

従来から、投影装置により点状の光パターンを有したスポット光を一直線上で走査しながら対象空間に照射するか、投影装置により線状の光パターンを有したスリット光を対象空間に照射し、対象空間に存在する物体の表面に光パターンを投影することにより形成されるパターンを撮像した画像を用いて、三角測量法の原理により物体までの距離を計測する光切断法と称する技術が知られている（たとえば、特許文献１、２参照）。

パターンの撮像には、ラインイメージセンサやエリアイメージセンサのような撮像素子と、撮像素子の受光面にパターンの像を形成する受光光学系とを備える撮像装置が用いられる。したがって、投影装置からの光パターンの投影方向と、撮像素子におけるパターンに対応する画素位置との関係を用いることにより、物体においてパターンが形成されている位置を特定することができる。このように物体においてパターンが形成されている部位の３次元位置を計測することができるから、光パターンと物体との位置を相対的に変化させることにより、物体の３次元形状の計測が可能になる。

三角測量法の原理を用いたアクティブ型の３次元計測装置には、スポット光やスリット光を用いる光切断法のほか、明度が周期的に変化する縞状の光パターンを物体に投影する位相シフト法（縞パターン投影法）、明度が２値である縞状の光パターンを物体に投影する空間コード化法（空間パターンコード化法）なども知られている。これらの縞状の光パターンを用いる技術では、３種類以上の異なる光パターンを物体に投影し、撮像したパターンの位置変化に基づいて物体の３次元形状を計測する。

特開２０００−２９２１２１号公報 特開２００８−２９２４３４号公報

ところで、上述のような三角測量法の原理を利用したアクティブ型の３次元計測装置では、物体の表面に形成されたパターンのみを撮像すれば物体の３次元形状を計測することができるにもかかわらず、パターンの情報を得るために用いる撮像装置により得られる画像には物体や背景も含まれているから、撮像装置で得られた画像から物体の表面に形成されたパターンを抽出するために、明度が極大になる部位を抽出する処理が必要になる。

とくに、太陽光のような外光の存在下においては、投影装置から物体に投影した光パターンと外光とを判別するのが難しく、判別を容易にするために投影装置の光出力を大きくすると消費電力が大きくなるという問題を有していた。

本発明は上記事由に鑑みて為されたものであり、その目的は、撮像装置で撮像した画像から物体に投影されたパターンを容易に抽出する技術を提供し、外光の存在下においても投影装置からの光出力を増加させることなく物体の３次元形状を計測することを可能にする３次元形状計測装置を提供することにある。

本発明は、上記目的を達成するために、光パターンを対象空間に照射する投影装置と、受光光量に応じた受光出力を発生する複数個の感光部が配列され対象空間を撮像する撮像装置と、投影装置から光パターンを投影する照射期間と投影装置から光パターンを投影しない非照射期間とを設け照射期間と非照射期間とのそれぞれにおいて感光部に受光出力を発生させる制御回路部と、照射期間における各感光部の受光出力と非照射期間における各感光部の受光出力との差分である反射強度値を画素値とする反射強度画像を生成する画像生成部と、画像生成部で生成された反射強度画像に基づいて光パターンに対応する画素の位置を抽出する目的画素抽出部と、目的画素抽出部で抽出した画素の位置を用いて三角測量法の原理により対象空間に存在する物体の３次元位置を算出する位置演算部とを備えることを特徴とする。

制御回路部としては、反射強度画像の１フレームの時間内において照射期間と非照射期間とを少なくとも１期間ずつ設けるとともに照射期間と非照射期間とのそれぞれにおいて感光部から受光出力を発生させる構成を採用し、画像生成部としては、照射期間と非照射期間とのそれぞれにおける感光部の受光出力の差分である反射強度値を感光部ごとに求めた反射強度画像を生成する構成を採用することができる。

また、制御回路部としては、照射期間と非照射期間とのそれぞれにおいて撮像装置に対象空間を撮像させることにより照射期間と非照射期間との２種類の濃淡画像を撮像装置から出力させる構成を採用し、画像生成部としては、両濃淡画像の差分画像を反射強度画像に用いる構成を採用してもよい。

投影装置は、発光源から放射された光を線状の光パターンであるスリット光として対象空間に投影する投光光学系を備える構成を採用することができる。

また、この構成において、目的画素抽出部は、画像生成部が生成した反射強度画像の画素において、スリット光の長手方向に沿って並ぶ各列ごとに明度が最大である画素の位置を抽出する構成を採用することができる。

本発明の構成によれば、光パターンを対象空間に投影する照射期間と投影しない非照射期間とを設け、かつ照射期間と非照射期間とにおける感光部の受光出力の差分である反射強度値を画素値とする反射強度画像を生成しているから、反射強度画像には対象空間に存在する物体が含まれず、光パターンに対応する画素の明度だけが大きくなる。したがって、太陽光のような外光の存在下であっても外光の影響がほとんど除去され、結果的に光パターンに対応する画素を明度の大きさだけで精度よく抽出することが可能になる。すなわち、外光が存在する場合でも投影装置の光出力を増加させることなく、対象空間に存在する物体の３次元形状を容易に計測することができる。

反射強度画像の１フレームの時間内において照射期間と非照射期間とに対応した受光出力を感光部から発生させ、照射期間と非照射期間との各感光部の受光出力の差分を反射強度値とする構成を採用すると、感光部の１回の露光時間が短くなることにより感光部の飽和を防止することができるから、とくに屋外での使用に適したものになる。また、感光部の露光時間が短くなることにより、対象空間に存在する物体が移動している場合でも反射強度画像では物体を除去することが可能になるとともに、物体の位置変化に追従した反射強度画像を得ることが可能になる。

一方、照射期間と非照射期間とのそれぞれにおいて撮像装置で撮像した濃淡画像の差分画像を反射強度画像に用いる構成を採用すると、反射強度画像を得るために少なくとも２フレームの濃淡画像が必要になるが、エリアイメージセンサとして広く提供されているＣＣＤイメージセンサやＭＯＳイメージセンサのような撮像素子を備えるＴＶカメラを撮像装置に用いることが可能になる。すなわち、導入費用の増加を抑制することができる。

投影装置からスリット光を投影する構成を採用すると、スリット光の長手方向においては光パターンを走査する必要がないから、比較的簡単な構成で対象空間に存在する物体の３次元形状を計測することが可能になる。

さらに、スリット光を投影する場合には、スリット光の長手方向に沿って並ぶ各列ごとに明度が最大である画素の位置を抽出すると、スリット光に対応した画素を簡単な処理で抽出することができる。

実施形態を示すブロック図である。 同上に用いる撮像素子を構成する感光部の動作説明図である。 同上において投影装置と撮像装置との配置関係を示す側面図である。 同上において投影装置と撮像装置との配置関係を示す斜視図である。 同上の投影装置と撮像装置との動作タイミングを示す動作説明図である。 同上における画像生成部の動作説明図である。 同上の動作説明図である。 実施形態２の動作説明図である。

（実施形態１）
以下に説明する実施形態では、図１に示すように、線状の光パターンであるスリット光を投影装置１から対象空間に照射するとともに、投影装置１から対象空間に照射したスリット光により対象空間に存在する物体Ｏｂの表面に形成されたパターンを、撮像装置２により撮像する光切断法の技術について本発明の技術を適用する例について説明する。

投影装置１は、レーザダイオードや発光ダイオードのような発光源１１と、発光源１１から放射された光からスリット光を生成する投影光学系１２とを備える。投影光学系１２は、たとえば、発光源１１からの光をビーム状の平行光線束に絞り込むコリメータと、コリメータにより得られた平行光線束を帯状に広げるシリンドリカルレンズとを組み合わせて構成される。投影光学系１２の構成は限定する趣旨ではなく、ミラーとの組み合わせなどの各種形状を採用することができる。

発光源１１から放射する光は赤外線を想定しているが、可視光線あるいは紫外線であってもよい。赤外線を用いれば夜間でも投影装置１の点灯に気付かれることがないから監視カメラなどの目的に適した構成になり、可視光を用いれば人が目で見るときの状態に近い画像を得ることができる。

発光源１１は、制御回路部３から出力される所定の変調周波数の変調信号により駆動される。変調信号には方形波を用い、変調周波数は１０〜１００ｋＨｚから選択し、デューティ比は５０％としてある。したがって、投影装置１は１０〜１００μｓの周期で点灯と消灯とを同じ時間ずつ交互に繰り返すことになる。

発光源１１が点灯と消灯とを繰り返す周期はごく短時間であるから、発光源１１の点灯と消灯とは人の眼では知覚されない。つまり、投影装置１は実際には点灯と消灯とを繰り返しているが、人の目には連続して点灯しているように見えることになる。上述した変調周波数の値は一例であって適宜に設定可能である。

一方、撮像装置２は、図２に示す構造の感光部２３を複数個配列した撮像素子２１を備え、撮像素子２１の受光面の前方には物体Ｏｂの表面に形成されたパターンの像を撮像素子２１の受光面に形成する受光光学系２２が配置される。

撮像素子２１は、１枚の半導体基板に感光部２３を縦横に複数個ずつ配列して構成されている。各感光部２３は、光の照射により電荷を生成するとともに、生成された電荷を集積する領域のサイズを電気信号により変化させることが可能になっている。すなわち、電荷を集積する領域を広くした状態と狭くした状態との選択が可能であり、電荷を集積する領域を狭くしている間には、領域を広くしている間に集積した電荷を保持する機能を有している。各感光部２３に保持された電荷は、後述するように、個々の感光部２３の受光出力として撮像素子２１から取り出される。

このような機能を実現するために、本実施形態の感光部２３は、図２に示すように、不純物を添加したシリコン層からなる半導体層３１と、半導体層３１の主表面の全面に亘って設けたシリコン酸化膜からなる絶縁膜３２と、半導体層３１に絶縁膜３２を介して積層した制御電極３３とを備えている。また、１個の感光部２３について複数個（図示例では５個）の制御電極３３を配列している。以下では、半導体層３１の厚み方向の各表面のうち制御電極３３を配置している側の表面を主表面と呼ぶ。

すなわち、感光部２３の構造は、ＭＩＳ素子として知られた構造に類似しているが、１個の感光部２３に１個の制御電極ではなく複数個の制御電極３３を備えている点で相違する。絶縁膜３２および制御電極３３は投影装置１から対象空間に照射される光と同波長の光が透過するように材料が選択されている。半導体層３１の導電形は、ｎ形、ｐ形を問わないが、本実施形態では、ｎ形を用いるものとする。したがって、感光部２３に集積する電荷は電子ｅになる。

感光部２３では、いずれかの制御電極３３に電気信号として正の制御電圧＋Ｖを印加すると、半導体層３１において制御電圧＋Ｖを印加した制御電極３３に対応する部位に、電子ｅを集積するポテンシャル井戸（空乏層）３４が形成される。

半導体層３１にポテンシャル井戸３４が形成された状態で感光部２３に光が照射されると、光の照射によりポテンシャル井戸３４の近傍で半導体層３１に生成された電荷（電子ｅ）の一部はポテンシャル井戸３４に捕獲されてポテンシャル井戸３４に集積され、残りの電子ｅは半導体層３１の深部での再結合により消滅する。また、ポテンシャル井戸３４から離れた場所で生成された電子ｅも半導体層３１の深部での再結合により消滅する。

ポテンシャル井戸３４は制御電圧を印加した制御電極３３の近傍に形成されるから、制御電圧を印加する制御電極３３の個数を変化させることにより半導体層３１の主表面に沿ったポテンシャル井戸３４の面積を変化させることができる。すなわち、ポテンシャル井戸３４のサイズを変化させることができる。半導体層３１で生成された電荷のうちポテンシャル井戸３４に集積される電荷の割合は、ポテンシャル井戸３４の面積が大きいほど多くなる。

すなわち、受光強度が同じであればポテンシャル井戸３４の面積を大きくするほど集積される電荷量が多くなるから、制御電圧＋Ｖを印加する制御電極３３の個数を変化させることにより、感光部２３の感度を調節することができる。言い換えると、感光部２３の感度をポテンシャル井戸３４の面積により制御することになる。

いま例として、図２（ａ）のように内側の３個の制御電極３３に制御電圧＋Ｖを印加し外側の２個の制御電極３３には電圧を印加しない（０Ｖ）場合と、図２（ｂ）のように中央の１個の制御電極３３に制御電圧＋Ｖを印加し残りの４個の制御電極３３には電圧を印加しない（０Ｖ）場合とを想定する。両者では、図２（ａ）の状態のほうがポテンシャル井戸１４が受光面に占める面積が大きくなる。したがって、同じ受光強度であれば、図２（ａ）の状態のほうが図２（ｂ）の状態に比較してポテンシャル井戸３４に集積される電荷の割合が多くなり、図２（ａ）の状態は図２（ｂ）の状態よりも感光部２３の感度を高めたことになる。

撮像素子２１は、たとえば、１枚の半導体基板の主平面に規定した２次元正方格子の格子点上に、それぞれ感光部２３を配置して構成したイメージセンサであり、たとえば１００個×１００個の感光部２３をマトリクス状に配列した構成を有している。この撮像素子２１において感光部２３に保持された電荷をポテンシャル井戸３４から取り出すには、ＣＣＤイメージセンサと同様の技術を採用する。

すなわち、１個の感光部２３では制御電極３３を垂直方向に配列してあり、垂直方向に並ぶ感光部２３の各列は一体に連続する半導体層３１を共用する。このように、制御電極３３を垂直方向に並設することにより、半導体層３１を垂直方向への電荷の転送経路として用いることが可能になっている。垂直方向に並ぶ感光部２３を形成している半導体層３１の一端には、半導体層３１から電荷を受け取り水平方向に電荷を転送する水平転送レジスタが設けられ、各列の感光部２３から水平転送レジスタに電荷を引き渡し、水平転送レジスタが水平方向に電荷を転送することにより、各感光部２３に保持した電荷を撮像素子２１の外部に取り出すことができる。

要するに、この構成では、制御電極３３は、フレーム転送（ＦＴ）方式のＣＣＤイメージセンサに類似した配列になり、各制御電極３３への制御電圧の印加パターン（制御電極３３の位置と印加する電圧との関係）を、フレーム転送方式のＣＣＤイメージセンサと同様に制御することにより、ポテンシャル井戸３４に保持された電荷を垂直方向（１個の感光部２３における制御電極２３が並ぶ方向）に転送し、水平転送レジスタ（図示せず）に電荷を引き渡した後、電荷を水平転送レジスタで水平方向に転送し、各感光部２３の受光出力として撮像素子２１の外部に取り出すことができる。

上述したように、制御電極３３への制御電圧の印加パターンを制御することによって電荷を転送するから、感光部２３に電荷を集積する集積期間とは異なる取出期間において感光部２３の電荷を取り出すことができるように制御電極３３に印加する制御電圧を制御すればよく、半導体層３１は電荷の生成と集積、電荷の保持、電荷の転送とに兼用されることになる。すなわち、制御電極３３への制御電圧の印加パターンと、印加パターンを変化させるタイミングとを制御することにより、感光部２３に電荷を集積する集積期間と、感光部２３に電荷を蓄積する蓄積期間と、感光部２３に蓄積した電荷を撮像素子２１から取り出す取出期間とを制御することができる。

感光部２３に保持された電荷を撮像素子２１から取り出す技術としては、垂直方向に並ぶ感光部２３の列ごとに垂直転送レジスタを隣接して配置し、各感光部２３の電荷を垂直転送レジスタに引き渡した後に垂直方向に転送し、垂直転送レジスタから水平転送レジスタに引き渡す構成を採用してもよい。この構成では、インターライン転送（ＩＴ）方式のＣＣＤイメージセンサと同様の制御によって各感光部２３の受光出力を撮像素子２１から取り出すことができる。

撮像装置２では、受光光学系２２を通して撮像素子２１で対象空間を撮像するから、撮像素子２１において感光部２３を配列した２次元平面に、対象空間である３次元空間がマッピングされる。したがって、撮像素子２１から受光光学系２２を通して見る視野内に存在する物体Ｏｂは感光部２３に対応付けられる。

図３に示すように、投影装置１と撮像装置２とは、互いの光軸Ａｘ１，Ａｘ２が同一面内で所定の角度φをなすように配置される。図示例では、投影装置１を物体Ｏｂの正面に配置し、物体Ｏｂにスリット光を投影することにより形成されたパターンを撮像装置２によって斜め方向から撮像するように配置してあり、投影装置１の光軸Ａｘ１の方向における距離Ｌを計測する構成を採用している。ただし、撮像装置２を物体Ｏｂの正面に配置し、投影装置２からのスリット光を物体Ｏｂに対して斜め方向から投影する配置としてもよい。この場合は、撮像装置２の光軸Ａｘ２の方向における距離を計測することになる。

いま、図３の配置を採用し、スリット光の長手方向をｘ方向、撮像素子２１の受光面においてｘ方向に直交する方向をｙ方向とし、受光面と光軸Ａｘ２との交点（受光面の中心とする）を原点とする座標系を規定する。この場合、投影装置１の基準点（投影光学系１２の中心）と投光装置２の基準点（受光光学系２２の中心）との距離を基線長ｄとし、投影装置１の光軸Ａｘ１と撮像装置２の光軸Ａｘ２とがなす角度をφ、物体Ｏｂにスリット光を投影することにより撮像素子２１の受光面に形成されたパターンの像のｙ座標（画素単位）をｙ１、受光光学系２１の焦点距離（画素単位）をｆとすると、近似的には以下の関係が成立する。なお、（画素単位）は、画素数を単位として表した長さを意味する。
Ｌ＝ｄ／ｔａｎθ …（１）
ただし、θ＝ｔａｎ^−１（ｙ１／ｆ）＋φ
すなわち、撮像素子２１の受光面上でのｙ座標を求めると、投影装置１から物体Ｏｂの表面までの距離Ｌを算出することができる。

ｘ方向はスリット光の長手方向であるから、物体Ｏｂの表面におけるｘ方向における光軸Ａｘ２からの距離Ｌｘは、撮像素子２１の受光面におけるｘ座標（画素単位）をｘ１とすると、近似的には以下の関係で表される。
Ｌｘ＝（ｘ１／ｆ）・Ｌ …（２）
ここで、座標ｘ１から受光光学系２２の中心を見込む直線が受光光学系２２の光軸Ａｘ２となす角度をψとすれば、ｘ１＝ｆ・ｔａｎψと近似することができる。

角度φと基線長ｄと焦点距離ｆとは既知であるから、撮像素子２１の受光面においてスリット光の像が形成されている画素の座標位置（ｘ１，ｙ１）が決まれば、（１）（２）式を用いて物体Ｏｂの表面においてスリット光が投影されている位置（Ｌ，Ｌｘ）を求めることができる。

いま、図４に示すように、投影光学系１２の中心を原点とし、スリット光の長手方向をＸ方向とし、投影光学系１２の光軸Ａｘ１の方向をＺ方向とする直交座標系を規定するとすれば、Ｘ＝Ｌｘ、Ｙ＝０、Ｚ＝Ｌであるから、この直交座標系における座標位置を撮像素子２１の受光面に形成されたパターンの像の位置から求めることができる。すなわち、物体Ｏｂにスリット光を投影することにより撮像素子２１の受光面に形成されたパターンの座標により、スリット光が投影されている部位の物体Ｏｂの表面の３次元の座標（Ｘ，Ｙ，Ｚ）を算出することができる。

上述のように、物体Ｏｂの表面の３次元の座標（Ｘ，Ｙ，Ｚ）を求めるには、物体Ｏｂにスリット光を投影することにより撮像素子２１の受光面に形成されるパターンの像の位置を抽出必要がある。しかしながら、撮像装置２の受光出力には、背景の成分が含まれているから、外光の条件によってはパターンの像と背景との区別が困難になることがある。すなわち、物体Ｏｂの表面の３次元形状の計測が困難になることがある。

以下では、物体Ｏｂの表面の３次元形状の計測を容易にするための構成について説明する。本実施形態では、投影装置１と撮像装置２とを、制御回路部３から出力されるタイミング信号により同期して動作するように制御している。

投影装置１は、図５（ａ）に示すように、光パターンを照射する照射期間Ｔａと、光パターンを照射しない非照射期間Ｔｂとが生じるように、制御回路部３から出力される変調信号により制御される。投影装置１を駆動する変調信号のデューティ比は上述のように５０％であるから、照射期間Ｔａと非照射期間Ｔｂとは等しくなっている。投影装置１から対象空間に照射され物体Ｏｂで反射された光は、図５（ｂ）のように、物体Ｏｂまでの距離に応じた遅れ時間Ｔｄで感光部２３に入射する。ただし、遅れ時間Ｔｄは点灯期間Ｔａおよび消灯期間Ｔｂに比較すると通常はごく短時間であるから無視することができる。

制御回路部３は、制御電極３３に印加する制御電圧を制御し、投影装置１の照射期間Ｔａに感光部２３に形成するポテンシャル井戸３４の面積を大きくすることによって電荷を集積し、また、非照射期間Ｔｂに感光部２３に形成するポテンシャル井戸３４の面積を大きくすることによって電荷を集積する。制御回路部３は、照射期間Ｔａと非照射期間Ｔｂとに感光部２３で集積した電荷を、それぞれ各受光部２３の受光出力として撮像素子２１から取り出すように、制御電極３３に印加する制御電圧の印加パターンを制御する。

すなわち、照射期間Ｔａに感光部２３を高感度にした状態で感光部２３に集積した電荷を撮像素子２１から受光出力として取り出す状態と、非照射期間Ｔｂに感光部２３を高感度にした状態で感光部２３に集積した電荷を撮像素子２１から受光出力として取り出す状態とを繰り返すように、制御回路部３により制御電極３３への制御電圧の印加パターンを制御する。

撮像素子２１から取り出された受光出力は、画像生成部４に与えられる。画像生成部４は、照射期間Ｔａの受光出力と非照射期間Ｔｂの受光出力との差分（言い換えれば、投影装置１から対象空間へ光パターンを照射していないときの各感光部２３の受光出力と発光源１１から対象空間へ光パターンを照射しているときの各感光部２３の受光出力との差分）である反射強度値を各感光部２３ごとの画素値とする反射強度画像を生成する。

以下では説明を簡単にするために、図５（ｂ）のように、１回の照射期間Ｔａに対する受光出力Ａａと、１回の非照射期間Ｔｂに対する受光出力Ａｂとを用いる。いま、図６に示すように、環境光に対応する受光出力Ｅが時間経過に伴って変化しているものとする。環境光に対応する受光出力Ｅは投影装置１の非照射期間Ｔｂにおける感光部２３の受光出力Ａｂに相当する。一方、照射期間Ｔａにおける受光出力Ａａは光パターンの反射光成分により受光出力Ａｂよりも大きくなる。

このように、投影装置１が対象空間に対して光パターンを照射する状態と照射しない状態とを繰り返すことにより、照射期間Ｔａには撮像素子２１の受光出力Ａａが非照射期間Ｔｂの受光出力Ａｂ（つまり、環境光Ｅに対する受光出力）よりも大きくなる。したがって、各感光部２３について見れば、投影装置１から対象空間に光パターンを照射したときの受光出力Ａａは、光パターンを照射しないときの受光出力Ａｂよりも上の部分であるから、照射期間Ｔａの受光出力Ａａと非照射期間Ｔｂの受光出力Ａｂとの差分（Ａａ−Ａｂ）を求めることにより、環境光の影響を除去して投影装置１から対象空間に照射された光パターンに対応する成分のみを抽出することができる。

各感光部２３ごとに差分（Ａａ−Ａｂ）を求めて、各感光部２３の位置に対応付けることにより、差分（Ａａ−Ａｂ）を画素値とする画像が得られる。この画像の画素値は、外光成分が除去（ないし低減）されており、光パターンの反射強度に相当するから、本実施形態では反射強度値と呼んでおり、反射強度値を画素値に持つ画像を反射強度画像と呼んでいる。このような反射強度画像は、外光成分が除去されているから、一定の照明条件の下での物体Ｏｂの濃淡画像ということができ、たとえば画像に基づく顔認証を行う場合のように、物体Ｏｂの特徴量を画像から抽出する用途において利便性が高くなる。

なお、反射強度値は、隣接した照射期間Ｔａの受光出力Ａａと非照射期間Ｔｂの受光出力Ａｂとから求めており（図示例では照射期間Ｔａとその直後の非照射期間Ｔｂとにおける受光出力Ａａ，Ａｂを用いている）、反射強度値としての差分（Ａａ−Ａｂ）を求める照射期間Ｔａと非照射期間Ｔｂとを合わせた程度の期間では、環境光の受光強度は実質的な変化がないものとして扱っている。

ところで、上述した構成では、感光部２３を電荷の生成と集積と保持と転送とに兼用しているから、ポテンシャル井戸３４の面積を小さくして感光部２３が低感度になるように制御電極３３に制御電圧を印加している期間やポテンシャル井戸３４に保持した電荷を転送している期間であっても、感光部２３に光が入射しているとポテンシャル井戸３４に電荷が集積される。

したがって、感光部２３を高感度に設定することにより生成した電荷には、他の期間に生成された電荷が混入する。ただし、ポテンシャル井戸３４に電荷を保持したり電荷を転送したりしている期間には、感光部２３は低感度であってポテンシャル井戸３４の面積が小さくなっているから不要な電荷の混入量は比較的少ない。なお、照射期間Ｔａの電荷と非照射期間Ｔｂの電荷とをそれぞれポテンシャル井戸３４に保持している期間において混入する不要な電荷に対応する成分は、差分を求める際に環境光に対応する成分とともに除去される。

図２（ｂ）のように、感光部２３を低感度にしている間に形成したポテンシャル井戸３４に保持している電荷への他の電荷の混入を抑制するには、この期間において制御電圧を印加する制御電極３３の近傍を遮光膜で覆う構成を採用してもよい。また、上述したように、照射期間Ｔａと非照射期間Ｔｂとの全期間に亘って感光部２３を高感度に維持しておく必要はなく、照射期間Ｔａと非照射期間Ｔｂとの一部期間において感光部２３を高感度にする期間を設ければよいから、物体Ｏｂまで距離が既知である場合には、物体Ｏｂまでの距離に応じた遅れ時間Ｔｄを考慮し、投影装置１が光パターンの照射を開始するか照射を停止するタイミングから遅れ時間Ｔｄが経過した後に感光部２３を高感度にして感光部２３に電荷を集積してもよい。この場合、感光部２３において集積される電荷の量は、図５に示した制御を行う場合に比較すると、遅れ時間Ｔｄに相当する分だけ少なくなるが、照射期間Ｔａと非照射期間Ｔｂとにおける受光光量を正確に反映した受光出力Ａａ，Ａｂが得られるから、環境光の影響をより確実に除去できる。

また、受光出力は、照射期間Ｔａの全期間と非照射期間Ｔｂの全期間とのそれぞれについて集積した電荷を用いなくてもよく、照射期間Ｔａの一部期間と非照射期間Ｔｂの一部期間とのそれぞれについて集積した電荷を用いるようにしてもよい。この場合、電荷を集積する期間を等しくしておけば、照射期間Ｔａと非照射期間Ｔｂとのデューティを５０％以外とすることができるとともに、受光出力における遅れ時間Ｔｄの影響による誤差を除去することができる。

上述の構成では、照射期間Ｔａと非照射期間Ｔｂとは短時間であって、１回の照射期間Ｔａあるいは非照射期間Ｔｂでは画像生成部４において反射強度画像を生成するのに必要な大きさの受光出力を得ることが難しい場合もある。このような場合には、照射期間Ｔａと非照射期間Ｔｂとをそれぞれ複数回ずつ設け、複数回の照射期間Ｔａないし非照射期間Ｔｂにおいて感光部２３のポテンシャル井戸３４に集積した電荷を、照射期間Ｔａないし非照射期間Ｔｂの受光出力に用いるようにしてもよい。要するに、複数回の照射期間Ｔａあるいは非照射期間Ｔｂにおいて、感光部２３を高感度にする状態と低感度にする状態とを繰り返し、複数回の照射期間Ｔａあるいは非照射期間Ｔｂにおいて電荷を蓄積し、その後、撮像素子２１から受光出力を取り出すようにしてもよい。

ところで、図７（ａ）のように、撮像装置２の視野に物体Ｏｂが存在している場合を想定する。ここで、図７（ｂ）のように、投影装置１から物体Ｏｂに対してスリット光を照射すると、物体Ｏｂの表面にはスリット光によるパターンＰが形成される。非照射期間Ｔｂの受光出力は図７（ａ）のようになり、照射期間Ｔａの受光出力は図７（ｂ）のようになるから、画像生成部４により反射強度画像を生成すると、図５（ｃ）のように、パターンＰのみが抽出される。すなわち、パターンＰに対応しない画素については、反射強度画像では画素値が０（もしくは、ほぼ０）になり、パターンＰに対応する画素についてのみ比較的大きい画素値が得られることになる。

画像生成部４で生成された反射強度画像は目的画素抽出部５に入力される。目的画素抽出部５では、反射強度画像において明度の大きい画素のうちスリット光に対応する画素を抽出する。

ところで、反射強度画像では、スリット光に対応する画素以外の画素値は理想的には０になるが、スリット光に対応する画素ではなくとも外光の変化などにより画素値が０ではない画素が生じることがある。そこで、目的画素抽出部５では、適宜の閾値を用いて反射強度画像の明度に対する２値化を行った後に８近傍の画素（着目画素を囲む８個の画素）について連結成分を抽出し、連結成分に含まれる画素数が規定の範囲内であるときに、スリット光に対応したパターンの像であると判断する。また、他の連結成分は破棄する。

さらに、細線化処理により各連結成分の長手方向に沿った中心線を抽出し、当該中心線上の画素をスリット光の投影により形成されたパターンに対応する画素として用いる。ここに、中心線を抽出することにより、Ｙ方向における面の傾きによるパターンの幅の広がりの影響を受けずに、物体Ｏｂの表面においてスリット光が投影されている部位を特定することが可能になる。

上述した目的画素抽出部５の処理は一例であって、物体Ｏｂの表面においてスリット光が投影されている部位と、撮像素子２１においてパターンの像が形成される部位とを対応付けることができればよい。たとえば、反射強度画像の画素において、スリット光の長手方向（つまり、Ｘ方向）に沿って並ぶ各列（つまり、Ｙ方向の一直線上に並ぶ画素の列）ごとに、明度が最大である画素の位置（ｘ，ｙ）を抽出してもよい。また、微分演算によりｘ方向において明度が極大となる画素をｙ方向の各位置ごとに求めるとともに孤立点を除去し、さらに濃度勾配の方向が所定方向である画素のみを抽出するとともに、抽出した画素を濃度勾配の方向に交差する方向に追跡することにより、パターンの像に対応する画素を抽出するようにしてもよい。

目的画素抽出部５においてパターンの像に対応する画素の座標（ｘ，ｙ）は位置演算部６に入力され、位置演算部６では、上述した（１）（２）式を適用することにより、物体Ｏｂの表面の３次元の座標（Ｘ，Ｙ，Ｚ）を算出する。

上述の動作は、物体Ｏｂの定位置にスリット光を投影している状態であるが、物体Ｏｂの全体について３次元形状を計測するには、スリット光の長手方向に交差する方向において、物体Ｏｂとスリット光との位置を相対的に移動させる必要がある。

たとえば、生産ラインにおいて物体Ｏｂがコンベアにより搬送される場合には、スリット光を定位置に投影しておき、物体Ｏｂがスリット光を通過するときの３次元の座標(Ｘ，Ｙ，Ｚ）を算出する。また、静止している物体Ｏｂに対しては、スリット光の長手方向に直交する方向に、投影装置１と撮像装置２とを物体Ｏｂに対して移動させる構成を採用することができる。また、静止している物体Ｏｂに対して、スリット光の長手方向に直交する方向にスリット光を走査する構成を採用してもよい。

上述したように、物体Ｏｂに対してスリット光を投影する照射期間Ｔａと、物体Ｏｂに対してスリット光を投影しない非照射期間Ｔｂとを設け、照射期間Ｔａに対応した撮像素子２１の受光出力と非照射期間Ｔｂに対応した撮像素子２１の受光出力との差分から反射強度画像を生成し、反射強度画像からスリット光に対応する像の画素の座標（ｘ，ｙ）を抽出するから、スリット光の投影により形成されたパターンを背景から分離することができ、とくに外光の存在下においても、投影装置１の光出力を増加させたりすることなく、パターンのみを容易に抽出することができ、結果的に対象物の３次元形状を精度よくかつ容易に計測することが可能になる。

なお、電荷を集積する領域のサイズを変化させる構成には、上述したように複数個の制御電極３３を設ける構成のほか、１個の制御電極３３からの距離に応じて半導体層３１の不純物濃度に変化を持たせる構成を採用することも可能である。たとえば、制御電極３３の直下の不純物濃度を周囲よりも高くすることにより、制御電極３３に印加する制御電圧が低い状態で電荷を保持できるようにし、制御電圧を高くすると不純物濃度が低い領域にポテンシャル井戸を形成して電荷の集積を可能にする構成を採用することも可能である。

（実施形態２）
実施形態１の構成では、感度調節が可能な感光部２３を用いるとともに、投影装置１に設けた発光源１１の変調周波数を１０〜１００ｋＨｚとし、１フレーム（３０分の１秒ないし６０分の１秒）の時間内において照射期間Ｔａと非照射期間Ｔｂとを複数回設けているが、本実施形態では、撮像装置２において、ＣＣＤイメージセンサやＣＭＯＳイメージセンサのようなエリアイメージセンサからなる撮像素子２１を用いる。撮像素子２１は濃淡画像を出力する構成であれば、モノクロ画像かカラー画像かは問わない。

本実施形態で用いる撮像素子２１は、実施形態１の撮像素子２１と同様に感光部がマトリクス状に配列されているが、各感光部では感度の調節は行わず、各感光部の受光光量に応じた画素値を出力するものであり、１フレームの時間内において、照射期間Ｔａと非照射期間Ｔｂとを設けることはできない。

したがって、撮像装置２１は、撮像毎に画像生成部４に濃淡画像を出力するように制御回路部３により動作が制御される。濃淡画像の撮像は、照射期間Ｔａと非照射期間Ｔｂとに同期させているが、図８に示すように、撮像期間Ｔｃの長さは照射期間Ｔａおよび非照射期間Ｔｂよりも短く設定してある。撮像装置２は、撮像期間Ｔｃに撮像した濃淡画像を、照射期間Ｔａあるいは非照射期間Ｔｂと撮像期間Ｔｃとの差分の期間において画像生成部４に出力する。

したがって、撮像装置２からは、照射期間Ｔａに撮像した濃淡画像と、非照射期間Ｔｂに撮像した濃淡画像との２種類の濃淡画像が出力される。ここで、両濃淡画像を撮像した露光時間は等しく、両濃淡画像を撮像した時間差は十分に短く、両濃淡画像を撮像した時間内では外光が変化していないものとする。

両濃淡画像は画像生成部４に入力され、画像生成部４において、両濃淡画像の反射強度画像（同位置の画素の画素値の差分値を画素値とする画像）が生成される。すなわち、画像生成部４は、照射期間Ｔａに撮像した濃淡画像と非照射期間Ｔｂに撮像した濃淡画像との少なくとも一方を記憶する記憶部（図示せず）と、両濃淡画像の反射強度画像を生成する演算部（図示せず）とを備えている。

反射強度画像から目的画像抽出部５においてパターンを抽出し、さらに位置演算部６において物体Ｏｂの３次元の座標を求める処理は、実施形態１と同様である。

上述したように、本実施形態では、物体Ｏｂに対してスリット光を投影する照射期間Ｔａと、物体Ｏｂに対してスリット光を投影しない非照射期間Ｔｂとを設け、照射期間Ｔａに撮像した濃淡画像と非照射期間Ｔｂに撮像した濃淡画像との差分画像を反射強度画像とし、反射強度画像からスリット光に対応する像の画素の座標（ｘ，ｙ）を抽出するから、実施形態１と同様に、スリット光の投影により形成されたパターンを背景から分離することができる。しかも、実施形態１のように感度調節が可能な感光部２３を用いるのではなく、ＣＣＤイメージセンサやＭＯＳイメージセンサのように、感光部で生成された電荷を転送するだけであって、感度の制御が不要であり制御が容易である。他の構成および動作は実施形態１と同様である。

なお、投影装置１としては、線状の光パターンであるスリット光を投影する構成ではなく、点状の光パターンであるスポット光をポリゴンミラーや振動ミラーにより一直線上で走査する構成を採用することも可能である。また、光切断法ではなく位相シフト法や空間コード化法であっても本発明の技術思想は適用可能である。

１ 投影装置
２ 撮像装置
３ 制御回路部
４ 画像生成部
５ 目的画素抽出部
６ 位置演算部
Ｏｂ 物体
Ｔａ 照射期間
Ｔｂ 非照射期間

Claims (5)

1. 光パターンを対象空間に照射する投影装置と、受光光量に応じた受光出力を発生する複数個の感光部が配列され対象空間を撮像する撮像装置と、投影装置から光パターンを投影する照射期間と投影装置から光パターンを投影しない非照射期間とを設け照射期間と非照射期間とのそれぞれにおいて感光部に受光出力を発生させる制御回路部と、照射期間における各感光部の受光出力と非照射期間における各感光部の受光出力との差分である反射強度値を画素値とする反射強度画像を生成する画像生成部と、画像生成部で生成された反射強度画像に基づいて光パターンに対応する画素の位置を抽出する目的画素抽出部と、目的画素抽出部で抽出した画素の位置を用いて三角測量法の原理により対象空間に存在する物体の３次元位置を算出する位置演算部とを備えることを特徴とする３次元形状計測装置。
2. 前記制御回路部は、反射強度画像の１フレームの時間内において照射期間と非照射期間とを少なくとも１期間ずつ設けるとともに照射期間と非照射期間とのそれぞれにおいて前記感光部から受光出力を発生させ、前記画像生成部は、照射期間と非照射期間とのそれぞれにおける感光部の受光出力の差分である反射強度値を感光部ごとに求めた反射強度画像を生成することを特徴とする請求項１記載の３次元形状計測装置。
3. 前記制御回路部は、照射期間と非照射期間とのそれぞれにおいて前記撮像装置に対象空間を撮像させることにより照射期間と非照射期間との２種類の濃淡画像を撮像装置から出力させ、前記画像生成部は、両濃淡画像の差分画像を反射強度画像に用いることを特徴とする請求項１記載の３次元形状計測装置。
4. 前記投影装置は、発光源から放射された光を線状の光パターンであるスリット光として対象空間に投影する投光光学系を備えることを特徴とする請求項１〜３のいずれか１項に記載の３次元形状計測装置。
5. 前記目的画素抽出部は、前記画像生成部が生成した反射強度画像の画素において、前記スリット光の長手方向に沿って並ぶ各列ごとに明度が最大である画素の位置を抽出することを特徴とする請求項４記載の３次元形状計測装置。

Images