JP2006516729A - 深さ情報を含むイメージを作成する方法及び装置 - Google Patents

Abstract

深さ情報を含む、対象物のイメージを作成する方法であって、照明装置からの光の周期的なパターンを用いて該対象物を照明するステップであって、該照明装置は、該パターンが焦平面内で焦点が合い、かつ前記焦平面から離れるにつれ焦点がぼけるようになっており、対象物は、その異なる部分が、焦平面から異なる距離にあるように配置されているステップと、そのように照明された対象物からイメージデータを取得するステップと、取得したイメージを解析して、該パターンの焦点ぼけの程度に基づいて、深さ情報を抽出するステップと、該パターンを用いることなく、かつ深さ情報を用いて対象物のイメージを表示するステップとを含む、方法。周期的な光のパターンを用いて対象物を照明するように適応された照明装置であって、照明装置は、パターンが焦平面内で焦点が合い、かつこの焦平面から離れるにつれ焦点がぼけるようになっており、対象物は、対象物の異なる部分が、焦平面から異なる距離にあるように、照明装置に対して配置可能になっている照明装置と、そのように照明された対象物からイメージデータを取得するように適応されたイメージデータ取得手段と、取得したイメージデータを解析して、パターンの焦点ぼけの程度に基づいて深さ情報を抽出するように適応されたデータ解析手段と、該パターンを用いることなく、かつ深さ情報を用いて、対象物のイメージを表示するイメージ表示手段とを備える、装置または該方法を実行すること。

Description

本発明は、深さ情報を含むイメージを作成すること、すなわち、主にイメージされる対象物の一部のイメージの観察者からの距離に関する情報を含む対象物のイメージの生成に関する。

深さ情報を含むイメージは、
単一の視点から生成されるマスクイメージと、
単一の軸に対して対象物の角度方向が異なる２つ以上の視点から生成される角度合成イメージと、
少なくとも２つの直交軸に対して対象物の角度方向が異なる３つ以上の視点から生成される完全な３次元イメージとを含む。

これらのイメージのうちの何らか、例えば、人間の頭部の３次元表現は、例えば、像、あるいは、照明の下で輝点として見える、レーザで生成された点緊張による頭の形状のガラスまたは透明プラスチックのレンダリングとすることができる。しかし、それらのイメージのうちのいずれかの２次元表現、例えば、ビデオスクリーン上に表示されたものは、例えば、回転などによりイメージを操作することによって、あるいはインテグラルイメージングの場合でデコーディングスクリーン等の装置により見ることができる場合、あるいは、隣接する視点から得た２つの２次元イメージを分離して、それぞれが各目に入るようにして両眼視をシミュレートすることによって認識することができる、イメージ深さ情報を有することができる。

本願明細書中において使用する「深さイメージング（ｄｅｐｔｈ ｉｍａｇｉｎｇ）」という用語は、実際に表示されているかどうかに関わらず、少なくとも、対象物の２次元または３次元表現として見ることができる何かを生成するために表示されまたは用いられる可能性を有した、深さ情報を有するイメージの生成を意味する。そのため、該対象物に関する深さ情報を含む情報を取得するプロセス、およびイメージを生成するのに用いることができるポイントに関する情報の処理を含む。

米国特許出願公開第４６５７３９４号に開示された深さイメージングのための一つの方法は、回折格子によって生成される、正弦波状に変化する強度パターンを有する光のビームで対象物を照明することを含む。これにより、対象物に対して、並行する明暗の縞からなるパターンを落とす。ずれた位置から見た場合、縞はゆがんで見える。対象物を回転させながら、リニアアレイカメラを使用して一連のイメージが形成される。各イメージは異なり、この異なるイメージから、対象物の表面上の各ポイントの３次元の位置が、コンピュータにプログラムされたアルゴリズムに従って、三角測量により計算される。

多数のイメージから三角測量を用いて深さ判断を行う他の方法は、ドイツ国特許第１９５１５９４９号、ドイツ国特許第４４１６１０８号、日本国特許第４４１６１０８号及び米国特許出願公開第５０８５５０２号に開示されている。

このような方法は、高価な装置を必要とし、実施するのが困難で、長時間、一般に約１時間かかる。

本発明は、より高速で、より安価な装置を使用し、特に、パーソナルコンピュータと共に、デスクトップ深さイメージング設備として使用することが可能である方法を提供する。

本発明は、深さ情報を含む、対象物のイメージを作成する方法であって、
・照明装置からの光の周期的なパターンを用いて対象物を照明するステップであって、
・照明装置は、パターンが、焦平面内で焦点が合い、かつその焦平面から離れるにつれ焦点がぼけるようになっており、
・対象物は、その異なる部分が、焦平面から異なる距離にあるように配置されているステップと、
・そのように照明された対象物からイメージデータを取得するステップと、
・取得したイメージを解析して、パターンの焦点ぼけの程度に基づいて、深さ情報を抽出するステップと、
パターンを用いることなく、かつ深さ情報を用いて対象物のイメージを表示するステップとを含む方法を含む。

上記イメージはマスクイメージであってもよい。上記イメージデータは、単一のイメージで取得してもよい。またイメージは、角度複合イメージであってもよく、また、そのデータは、対象物と照明装置との間のラインに直交する単一の軸に対して、対象物の角度方向が異なる少なくとも２つのマスクイメージで取得してもよい。

上記イメージは３Ｄイメージであってもよい。上記イメージデータは、対象物と照明装置とをつなぐラインに直交する少なくとも２つの軸に対して、対象物の角度方向が異なる少なくとも３つのマスクイメージで取得してもよい。

上記対象物は、上記焦平面と交差しないように配置してもよく、また、上記照明装置からの距離によって焦点ぼけする変化の速度が最大である領域内にあるように、および／または上記照明装置からの距離によって焦点ぼけする変化の速度が適度に一定である領域内にあるように配置されていてもよい。

上記パターンは、上記対象物上のずれた光パターンに対応するイメージデータと、パターンを用いることなく照明された対象物からのイメージデータとを取得することによって、イメージから除去してもよい。

上記パターンは明るいラインと暗いラインとを交互にしてもよく、対象物上のパターンに全く照明されていない領域がないことが好ましい。本質的に、照明されていない領域からは情報を集めることができない。当然、対象物の大部分が、完全に光吸収性でないことが好ましい。

上記パターンは回折格子によって生成してもよく、回折格子は、明暗の並行ラインとが均一に離間していてもよい。

回折格子のイメージを３Ｄ対象物上に投影して、複合イメージを生成するというコンセプトは、構造光を用いた３Ｄ測定の分野で公知である。ここで、３Ｄ対象物の形状は、その形状を三角測量法を用いて計算できるような方法で（例えば、国際公開第００／７０３０３号）、回折格子を変形させる。このような方法は、イメージング装置が、投影装置に対してある角度で位置することを必要とする。このような測定においては、回折格子の変形は、その回折格子の周期的なロスが発生した場合に、回折格子の除去を困難にする。従って、深さは復元されるが、テクスチャマッピングは、回折格子なしのイメージを必要とする。

格子イメージの対象物上への投影も共焦点顕微鏡の分野で公知である。ここで回折格子は、浅い焦点深度のみを有し、回折格子イメージの存在は、回折格子イメージと同じ焦平面に位置する、対象物のそれらの部分の深さを標定するように作用する（例えば、国際公開第９８／４５７４５号）。ここで、格子は位相ステッピング法により除去される。簡単に言えば、この方法は、少なくとも３相ステップ複合イメージを要し、位相ステッピングが、１２０度に設定されている場合には、数学的処理が単純化される。第２の実例（ドイツ国特許第１９９３０８１６号）は、同様の位相ステッピング法を用い、この場合、４相ステップが９０度間隔で用いられる。実際には、２ステップのみを用いた近似位相ステッピング法を実行することが可能である。この場合、複合イメージの一部における回折格子イメージの部分は、完全に除去しなくてもよい。

位相ステッピングに加えて、複合イメージから回折格子イメージを減算するために、相関法を用いてもよい。信号及びイメージの統計的分析における相関関数の利用は、広く行われている。相関分析の実際の本質は、使用可能なイメージデータに依存する。具体的には、
１．回折格子イメージの形態、例えば、正弦波の知識
２．回折格子イメージの周期及び振幅の知識
３．複合イメージにおける関数の位置の知識
４．広い範囲のイメージ、例えば、回折格子がないイメージの知識
回折格子及び広い範囲のイメージが共に分かっている場合、回折格子は完全に除去してもよく、かつ深さ情報を画素レベルで得ることができる。使用可能な情報が少ない場合には、周期レベルで、深さ及びテクスチャ情報を復元する必要がある。

焦点ぼけの程度は、パターンのラインの幅に基づいて、または、パターンの変調鮮明度に基づいて計算することができる。

焦点ぼけした光学系の周波数応答は、Ｈ．Ｈ．Ｈｏｐｋｉｎｓ（Ｐｒｏｃ．Ｒｏｙ．Ｓｏｃ．Ａ２３１，３，１９５５）によって最初に説明されている。そこには、焦点ぼけ関数及びそのイメージ及び光特性に対する依存の説明が示されている。簡単に言えば、イメージ平面における強度の分布は、上記対象物における各ポイントに関連する回折イメージの強度分布を積分することによって分かる。単純な対象物（ライン回折格子）の場合、焦点ぼけ関数（Ｄ）（光伝達関数及びモジュラー伝達関数とも呼ぶ）は解析的に計算することができ、普遍周波数関数（ｓ）の式で表わされる場合もある。定義に関していえば、「ｓ」はレンズの口径に反比例し、かつ回折格子の間隔に比例する。実際には、これは、短い焦点深度のみを呈する繊細な構造としてみられるのに対して、小さな口径は大きな焦点深度を示す。

基本的な光パラメータを知った上で、Ｄ（ｓ）対ｓは個々の光学系に対してプロットすることができる。関数は、０．８〜０．２の値の大きなリニア領域を表示して見られる。これは、深さ距離が、焦点ぼけ関数から計算される場合に有利である。

焦点ぼけ関数のさらなる説明が、Ｐ．Ａ．Ｓｔｏｋｓｅｔｈ（Ｊ．Ｏｐｔ．Ｓｏｃ．Ａｍ．５９＃１０，１３１４ １９６９）によって与えられている。ここで、焦点ぼけ関数は、回折及び幾何学的光理論の両方を用いて分析的に計算される。また、経験的論文も与えられている。焦点ぼけ関数は、より長い焦点深度が、焦平面の後ろに観察される状態で、焦平面（範囲）の両側に非対照的に見られる。

上記イメージは、上記パターンのラインと平行な、またはパターンのラインに対して角度のついた平行走査ラインに対して走査することができ、平行走査ラインは、パターンのラインに対して直角であってもよい。

上記マスクイメージデータは、画素ごとの基準に基づいて分析することができる画素イメージデータを含んでもよい。

イメージ取得は、ライン走査カメラによって、または面走査カメラによってでもよく、また、白黒またはカラーであってもよい。取得したイメージデータは、分析して、イメージの明るい部分からの、すなわち、上記パターンの輝度ピークから色情報を計算することができる。

計算された深さ情報は、計算された深さと、試料対象物に関する実際の深さ測定値とを比較することによって生成することができる校正ルックアップテーブルのような校正を用いて調整することができる。

上記イメージは、例えば、３Ｄイメージをシミュレート及び操作するソフトウェアによって駆動するビデオスクリーン、または、復号スクリーンを用いて見ることができるインテグラルイメージまたはマルチビューイメージ等の好適なディスプレイシステムを用いて、表示のためにフォーマット化することができる。

また、本発明は、深さ情報を含む、対象物のイメージを作成するイメージング装置であって、
・周期的な光のパターンを用いて対象物を照明するように適応された照明装置であって、
・照明装置は、パターンが焦平面内で焦点が合い、かつこの焦平面から離れるにつれ焦点がぼけるようになっており、
・対象物は、その異なる部分が、焦平面から異なる距離にあるように、照明装置に対して配置可能になっている照明装置と、
・そのように照明された対象物からイメージデータを取得するように適応されたイメージデータ取得手段と、
・取得したイメージデータを解析して、上記パターンの焦点ぼけの程度に基づいて、深さ情報を抽出するように適応された深さ解析手段と、
・パターンを用いることなく、かつ深さ情報を用いて、対象物のイメージを表示するイメージ表示手段とを備える、イメージング装置も含む。

上記イメージデータ取得手段は、マスクイメージを取得してもよく、また、検出器からなる１次元または２次元アレイを備えてもよい。このようなイメージデータ手段は、白黒またはカラーのＣＣＤまたはＣＭＯＳカメラを備えてもよい。

上記照明装置は、光源と、焦点合わせ手段と、回折格子とを備えてもよい。

光源は、白熱フィラメントランプ、石英ハロゲンランプ、蛍光灯または発光ダイオード等のインコヒーレント光源を備えてもよい。しかし、光源は、レーザ等のコヒーレント光源であってもよい。

上記焦点合わせ手段は、レンズまたはミラーを備えてもよく、また、円筒形、球形または放物線状の焦点合わせ装置を備えてもよい。

上記イメージング装置は、イメージングされる対象物のための支持体を備えてもよい。この支持体は、上記焦平面が対象物と交差しないように、対象物が支持され、かつ、対象物が、好ましくは、上記照明装置からの距離によって焦点ぼけする変化の速度が適度に一定である領域内にあるような関係で、照明装置を支持してもよい。

また、支持体は、対象物と、照明装置との間の相対的な調整を可能にしてもよく、また、ターンテーブルを備えてもよい。

また、上記装置は、光の周期的なパターンを変化させるように適応された手段を備えてもよく、この手段は、光の周期的なパターンを生成する回折格子の方向を変更するように適応された手段を備えてもよい。

上記イメージ表示手段は、３Ｄイメージをシミュレート及び操作することが可能なソフトウェアによって駆動するビデオスクリーンを備えてもよい。

次に、本発明によるイメージング装置及びイメージングの方法の実施形態を、添付図面を参照して説明する。

図面は、深さ情報を含む対象物Ｏのイメージを作成するイメージング装置であって、
・周期的な光のパターン１２で対象物Ｏを照明するように適応された照明装置１１であって、
・照明装置１１は、パターン１２が、焦平面１３内で焦点が合い、かつこの焦平面１３から離れるにつれ焦点がぼけるようになっており、
・対象物Ｏは、その異なる部分が、焦平面１３から異なる距離にあるように、照明装置１１に対して配置可能になっている、照明装置と、
・そのように照明された対象物１１からイメージデータを取得するように適応されたイメージデータ取得手段１４と、
・取得したイメージデータを解析して、パターン１２の焦点ぼけの程度に基づいて、深さ情報を抽出するように適応された深さ解析手段１５と、
・パターン１３を用いることなく、かつ深さ情報を用いて、対象物Ｏのイメージ１７を表示するイメージ表示手段１６とを備える、イメージング装置を示す。

図１は、対象物Ｏに関する深さ情報をもたらすことができるイメージングの３つの異なる方法を示す。図１（ａ）では対象物は単一の視点から見られている。これは、一般に、深さ情報を取得することに関して実施性はないが、本発明を用いると深さ情報をそのような視点から抽出することができる。このように形成されたイメージは、マスクイメージと呼ばれる。図１（ｂ）では対象物Ｏは１つ以上の視点から見られている。人間の両眼視において、及び両眼視またはマルチビュー写真において、深さ情報はイメージの違いから収集される。インテグラルイメージングにおいては、単一の視点が明らかに用いられるが、広い取得口径及びインテグラル光学系は、取得口径内で多くの異なる視点を提供することができる。このような測定は、イメージを３次元に見せることができる深さ情報を与えるように作用するが、これは対象物の見る位置から認識できる領域に対してのみ当てはまる。対象物の背後に関する情報を取得するためには、少なくとも２つの、好ましくはそれ以上の異なる方向から見る必要がある。対象物が単一の取得位置に対して回転する場合、２つ以上の視点から取得されたそのようなイメージは、角度複合イメージと呼ばれる。

上記対象物の上部及び底部をイメージングする場合には、対象物を、取得位置に対して、各々が、図１（ｃ）に示すように、対象物Ｏと視点位置ＰとをつなぐラインＸと直交する２つの軸Ａ、Ｂ周りに回転させる状態で、さらなる視点を有する必要がある。そのような情報を含むイメージは、完全な３次元イメージと呼ぶことができる。

概して、対象物は、地面またはベース上にあり、そのため下からの観察は不必要であり、人の両眼視に相当する角度複合イメージから十分な情報を収集することができるが、対象物の背後を考慮した場合には、より多くの情報を含むことができる。

本明細書で説明したような方法を用いると、各々が深さの様子を伴う最終的なイメージを生成するのに十分な深さ情報を有する、単純なマスクイメージ、角度複合イメージ及び完全な３次元イメージを作成することができる。

図２は基になる原理を示す。光源Ｌは、レンズＦ１によって、回折格子Ｍ１からの明暗の線のパターンを配列する。パターンは、レンズＦ１からの距離ｄの焦点位置ｆで焦点が合う。スクリーン上に配列されるパターンが距離ｄよりも近くにある場合、パターンは、焦点がぼけて、スクリーンがレンズＦ１に近づいて焦点がぼけた場合のように、概略的に見える。パターンの明暗の線のコントラストは焦点距離ｄで最大であり、レンズＦ１に向かって低下する。測定されたパターンの調整深さは、スクリーンの焦点位置ｆからの距離の暗示を与える。

パターンが、平坦なスクリーンではなく、形づくられた対象物上に投射された場合にはパターンは対象物上の異なる位置で焦点のずれ方が異なる可能性があり、調整深さはそれに応じて異なることになる。対象物の各箇所の焦点位置からの距離は、その箇所における測定された調整深さの関数として測定することができる。このことは、「構造調整イメージング（ｓｔｒｕｃｔｕｒｅｄ ｍｏｄｕｌａｔｉｏｎ ｉｍａｇｉｎｇ（ＳＭＩ））」と呼ぶことにする。

上記方法が三角測量とは異なる点は、イメージング及び観察を単一の位置から行うことができ、パターンは対象物の深さに対して焦点がぼけるのに対して、三角測量においては、対象物全体にわたって鮮明な焦点が好ましいという点である。

レンズ系の焦平面からの距離の関数としての調整深さは、国際公開第９８／４５７４５号及び独国特許第１９９３０８１６号で論じられている。

顕微鏡法に関するそれらの公報においては、格子定数の数分の一ずれている対象物の全域で、パターンが個別位置に移動し、かつ対象物上のパターンの投影のイメージが、回折格子の各位置に対して記録されるように、格子をずらすことができることが教示されている。各イメージの焦点が合っている部分のみが用いられ、それらが単一のイメージに組み立てられる。調整深さ情報は、イメージからパターンを数学的に除去するのに用いられる。

対照的に、本発明による方法は、肉眼的イメージングに関し、格子のそのようなずれに依存しない。

上記方法は、
・照明装置１１からの周期的な光のパターン１２で対象物Ｏを照明するステップであって、
・照明装置１１は、焦平面１３内で焦点が合い、かつ前記焦平面１３から離れるにつれ焦点がぼけるようになっており、
・対象物Ｏは、その異なる部分が、焦平面１３からの異なる距離にあるように配置されているステップと、
・そのように照明された対象物Ｏからイメージデータを取得するステップと、
・取得したイメージデータを解析して、パターン１２の焦点ぼけの程度に基づいて、深さ情報を抽出するステップと、
・パターン１２を用いることなく、かつ深さ情報を用いて、該対象物のイメージ１７を表示するステップとを備える。

上記イメージは、マスクイメージであってもよく、上記取得したイメージデータは、単一のイメージで取得され、またはイメージは、角度複合イメージであってもよく、イメージデータは、対象物Ｏと照明装置１１との間のラインに直交する単一の軸周りで、対象物Ｏの角度方向が異なる少なくとも２つのマスクイメージで取得される。あるいは、イメージは、３Ｄイメージであってもよく、イメージデータは、対象物Ｏと照明装置１１とをつなぐラインに直交する少なくとも２つの軸周りで、対象物の角度方向が異なる少なくとも３つのマスクイメージで取得される。

上記方法を、図６〜１７及び図３、４及び５のフロー図に関して、これら３つの態様で説明する。

図３は、照明装置１１と、その上に対象物Ｏが配置されるターンテーブル３１とを備える、マスクまたは角度複合イメージングを実行する装置を示す。ターンテーブル３１は、電気モータ３２によって軸３３周りに回転し、この軸は、照明装置１１の光軸３４と直交する。モータ３２は、コンピュータ３５によって、選択された角度量で段階的に該ターンテーブルを回転させるように制御される。

図４は、完全な３次元イメージング及び、当然、マスク及び角度複合イメージングを実行する装置を示す。しかし、図３の実施形態と同様に、装置は、上記ターンテーブルが、その周りに、第２の電気モータ４３によって回転する軸４２上に対象物Ｏを支持する支持体４１を、ターンテーブル上に有し、ターンテーブルは、コンピュータ３５によって、また好ましい角度ステップに制御される。

図３及び図４の装置において、イメージ取得装置３６は、面走査またはライン走査ディジタルカメラ装置を備えてもよい。キーボード３７は、命令をコンピュータ３５に入力するのに用いられ、ＶＤＵ３８は、イメージを表示する。

図５は照明装置１１の４つの異なる実施形態を示す。

図５（ａ）は、焦平面Ｐ内に、回折格子の仮想イメージを形成する凸レンズ等の焦点合わせ装置Ｆ１を有する平行ライン回折格子Ｍ１を照明する、白熱フィラメントランプ等の光源Ｌを示す。回折格子Ｍ１は、キャリッジ（図示せず）上に設けることができ、該キャリッジも、図３または図４のコンピュータ３５により、回折格子Ｍ１の罫線と直角な矢印Ａの方向に移動するように制御される。

図５（ｂ）は、図５（ａ）の回折格子Ｍ１と焦点合わせ手段Ｆ１との間に挿入されたスリットＤを示す。回折格子Ｍ１は、図示しないキャリッジにより、スリットＤに対して角度的に、及び回折格子Ｍ１、矢印Ｂ及びＡからなるラインに垂直に移動することができる。これらの動きは、照明パターンの空間的周波数を変更し、固定された焦点合わせ手段Ｆ１に対して、変更された調整コントラスト特性を可能にする。

図５（ｃ）は、らせん形の回折格子Ｍ３と、光源Ｌと焦点合わせ手段Ｆ１との間に配置されたスリットＤとを示す。光源Ｌは、ここでは、蛍光灯とすることができる。らせん形の回折格子のその軸周りの回転は、対象物Ｏ上に投影された上記パターンを移動させる。

図５（ｄ）は、どの位置においても、照明のストリップを対象物Ｏ上に投影する走査ミラー５１上に投影する視準制御強度光源Ｌを示す。光源の強度が走査と同期した場合、どのような好ましい光強度パターンも、対象物Ｏ上に表示することができる。

図６は、深さ情報を伴うイメージを形成して表示する全ての方法に対して一般的なフロー図を示す。

プロセスをステップ１で始めるため、対象物Ｏは、上記装置内のターンテーブル３１上に配置され、問題のイメージに好ましいいずれかのパターンを用いて照明される。

上記対象物は、どのような形状、（上記装置に適合する限り）どのような寸法及び色であってもよく、唯一の限定は、該対象物が、少なくともある程度光を反射しなければならないことであり、そのため対象物は黒とすることはできず、またその全面にわたって完全に光吸収性であることはできない。また好ましくは、完全に透明とすべきではない。黒い領域を有する対象物、あるいはガラスまたは透明プラスチック材からなる対象物は、不十分な深さ解像度を示すことになる。１５０ｍｍ長までの対象物は、デスクトップに有利に適合するＡ４の紙サイズの設置面積を有する装置でイメージングすることができる。

ソフトウェアは、ステップ２において、測定パラメータをカスタマイズし、カメラ３５で該イメージを取得する前に、該カスタマイズされたパラメータを設定するオプションを提供する。このようなカスタマイズ化は、
・カラー、白黒またはセピア
・ターンテーブルの半径または直径に対する格子焦点ぼけ
・格子周波数
・ランプ強度
・カラー及び偏向フィルタ
・カメラレンズ口径の設定
・カメラに対する自動利得制御（ＡＧＣ）
・カメラに対するガンマ設定
・カメラに関する輝度
・カメラに関するコントラスト
・ＲＢＧチャネルの単独のまたは深さ計算と組み合わせた利用
・カメラに使用される水平方向または垂直方向の画素数
・（角度複合イメージ及び３Ｄイメージのための）回転ごとのステップ数
・ターンテーブルの回転数
・周期ごとのステップ数、すなわちどれほどの格子がアルゴリズムに用いられるか
・格子発散補正
・アルゴリズムの平均化、および計算のどの段階で該アルゴリズムを用いるか
・アルゴリズムの平滑化、および計算のどの段階で該アルゴリズムを用いるか
・テクスチャマップアルゴリズム
・幾何学変換アルゴリズム
・３Ｄビューワ
の選択を含むことができる。

イメージがステップ３において取得された後、イメージはステップ５において、例えば平滑化アルゴリズム及びカット及びリアセンブル演算の利用を含む一般的なイメージ処理をうける。

そして、処理されたイメージは、ステップ６において、深さ情報を抽出するためにさらに処理される。このことを、以下に詳細に論じる。

次に、ステップ６で得たイメージ情報は、ステップ７において、以下にさらに論じるように、カラーおよびまたはテクスチャを付加するために、さらに処理される。

ステップ８において、幾何学マッピングが実行され、幾何学マッピングは、座標系をデカルト座標系から変更することを含んでもよく、この場合、初期の測定は、円柱座標に対して実行してもよく、最終的なイメージを表示することができる。

最後に、ステップ９において、イメージは、該イメージを表示するために選択されている表示装置に表示される。これは、コンピュータのモニタスクリーンであってもよく、該スクリーンは、当然２Ｄイメージのみを表示するが、そのようなイメージは、例えば該イメージを異なる方向から見るために、および該イメージングした対象物の背後も見せるために、回転させることによって処理することができる。あるいは、該表示装置は復号スクリーンを有するモニタスクリーンであってもよく、該スクリーン上のイメージは、該復号スクリーンを通して見た時、該イメージが両眼視に適した深さを有するように見えるように、インテグラルイメージのフォーマットに処理される。または、該イメージ情報は、レーザを駆動して、ガラスまたは透明プラスチックブロックに３Ｄイメージを書き込むのに用いられる座標の真の３Ｄセットを生成するのに用いてもよい。

ステップ４において、図６を見てわかるように、上記対象物は、単一のマスクイメージを作成する場合を除いて、移動する。この動きは、角度複合イメージの場合、上記ターンテーブルの軸３３周りの回転になる。この場合、照明及びイメージは、図５（ｄ）を見てわかるように、垂直ストリップ状になり、該ターンテーブルは、該対象物全体（または、イメージングが希望される分だけ）が垂直ストリップにイメージングされるように回転される。このようなストリップは、一般的なイメージ処理ステップ、すなわちステップ５において結合される。完全な３Ｄイメージが必要な場合には、ターンテーブル３１の軸４２周りの回転も実施される。

場合によっては、対象物Ｏは、それが最も効果的である場合には、角度複合イメージとしてまずイメージングされ、その後、軸４２周りに９０°ひっくり返されて、イメージの別のセットが作成される。

図７は、マスクイメージ、すなわち、対象物の回転を伴わない単一の視点によって作成されたイメージを作成する動作のサブフロー図である。イメージング装置に対向する対象物領域の全体が、パターンによって照明される。

このサブフロー図を通る可能なルートは４つある。

ルート１は最も単純である。まず、イメージが取得される。これは、多数のイメージを平均化することからよりよい解像度を得るために、二度以上繰り返してもよい。次に、単一のまたは単一に平均化されたイメージは、一般的なイメージ処理のためにステップ５へ直接送られる。イメージは、当然、調整コントラストとして明白な、該イメージ上の異なる位置におけるパターンの焦点ぼけの程度のかたちをとる深さ情報を含むことになる。後続のイメージ処理においては、この情報が抽出されて、適切なアルゴリズムによって、該パターンが除去される。

ルート２上において、第１のイメージは、格子パターンが存在したままにし、第２のイメージは、格子を除去する。第１及び第２の両イメージは、当然、二度以上作成して平均化されてもよい。両イメージは、さらなる処理のために送られ、深さ情報が該第１のイメージから抽出されて、第２のイメージへ伝達され、第２のイメージは当然該パターンを有していないため、ここでは、パターン除去操作は必要ない。

ルート３上においては格子が、ルート４上においては対象物が（両者は同じことである）、格子周期の既知の量だけ移動されて、第２のイメージが得られる。そして、これら２つのイメージは、処理のために送られて、深さ情報が抽出され、最終的なイメージ処理ステップのために上記パターンが除去される。

図８は、角度複合イメージのためのステップ４のサブフロー図である。第１のイメージが取得され、必要に応じてこれまでのように二度以上の繰り返し取得が実行される。対象物は、既知の角度回転されて、別のイメージが作成される。これは、対象物全体あるいは対象物の必要な部分が、上述したように垂直ストリップにイメージングされるまで繰り返される。複合イメージは、一般的なイメージ処理ステップ、すなわち、ステップ５において、多数のストリップイメージから形成される。この動作においてパターンは、各ストリップイメージに対して、これまでのように該パターンを完全に除去するために、あるいは、該パターンまたは対象物を移動させるために、格子周期の数分の一ずらしてもよい。

図９は、完全な３次元イメージング動作のためのステップ４のサブフロー図である。処理手順は、ステップ４と同様に、角度複合イメージのためのものであり、カメラに対して、対象物を、他の軸、すなわち軸４２周りに動かすという追加ステップを伴う。

図１０は、単一のイメージ、単一格子法、図６のサブフロー図のルート１のためのステップ６のサブフロー図である。単一のイメージが一般的なイメージ処理ステップであるステップ５から得られ、画素輝度値はイメージアレイに読み取られ、該イメージアレイでは、必要に応じて、さらなる信号処理を実行することができる。アレイ寸法が計算されて、上記パターンの周期の長さ及び数が計算される。処理は、周期または画素を基準にして実行してもよい。周期基準に関しては、最大、最少及び平均の画素輝度値は、アレイの各ラインにおける各周期に対して計算される。画素ベースの処理において、画素の位相及び振幅は、該アレイの各ラインに対して計算される。カラーは、周期信号の最大値から得られ、すなわち、この場合、カラーは、上記格子パターンに影響を及ぼされない。各イメージ部分の相対的深さは、上述した計算のどちらかから得られた調整コントラストから計算される。そして、実際の深さは、校正ステップで得られたルックアップテーブルから計算され、該校正ステップは、イメージングレンズからのテスト対象物の様々な部分の距離の実際の測定と比較して、上述したように、単純なイメージング動作である。

１つ以上のイメージの場合、および／または１つ以上の格子位置が含まれる場合、それらの計算は、図１１、図１２及び図１３に示すように、ステップ６のためのサブフロー図を見て分かるように、各イメージ及び格子位置に対して実行される。図１３は、単一格子またはｎ個の格子深さ抽出アルゴリズムを用いるオプションを有する。

図１４、図１５、図１６及び図１７は、先行する図面のより一般化したフローチャートから選択した例示的なイメージング方法のためのフローチャートである。

本発明の文脈の範囲内で、多くの変形が可能である。フィラメントランプ、蛍光灯、レーザ等を含む異なる方法を、上記対象物を照明するのに用いることができる。カラーが必要とされず、適当なイメージング装置が使用される場合には、単一波長光、または赤外光または紫外光も使用することが可能である。機械的な回折格子の代わりに、周波数及び位置に関して制御することができる電子回折格子を使用することができる。また、最終的なイメージを表示及び処理するために、ガラスまたはプラスチックブロックへのレーザ書き込み構成、あるいは、迅速なプロトタイピングのために、放電加工または他の成形技術を含んでもよいコンピュータ支援製造構成を含む、異なる構成を用いてもよい。

単一の視点からの対象物Ｏのマスクイメージ図を示す。 統合したときに、角度複合イメージを生じさせるような周辺図を示す。 対象物が、観察者に対して、２つの直交軸周りに回転する完全な３次元図を示す。 深さを用いた進行的な焦点ぼけの基になる原理を示す。 マスクまたは角度複合イメージングの場合の、装置の第１の実施形態の図である。 完全な３次元イメージングの場合の、装置の第１の実施形態の図である。 照明装置の実施形態を示す。 照明装置の実施形態を示す。 照明装置の実施形態を示す。 照明装置の実施形態を示す。 イメージング方法の全体を示すフロー図である。 図７のフロー図の一つのステップの一実施形態を詳細に示すフロー図である。 図８のステップの別の実施形態を詳細に示すフロー図である。 図８のステップのまた別の実施形態を詳細に示すフロー図である。 図７のフロー図の別のステップの一実施形態を詳細に示すフロー図である。 図１１のステップの別の実施形態を詳細に示すフロー図である。 図１１のステップのまた別の実施形態を詳細に示すフロー図である。 図１３の詳細の一般化を示すフロー図である。 一つの完全な測定法を示すフロー図である。 別の完全な測定法を示すフロー図である。 他の完全な測定法を示すフロー図である。 第４の完全な測定法を示すフロー図である。

Claims (57)

1. 深さ情報を含む、対象物のイメージを作成する方法であって、
   ・照明装置からの光の周期的なパターンを用いて前記対象物を照明するステップであって、
   ・前記照明装置は、前記パターンが、焦平面内で焦点が合い、かつ前記焦平面から離れるにつれ焦点がぼけるようになっており、
   ・前記対象物は、その異なる部分が、前記焦平面から異なる距離にあるように配置されているステップと、
   ・そのように照明された対象物からイメージデータを取得するステップと、
   ・取得したイメージを解析して、前記パターンの焦点ぼけの程度に基づいて、深さ情報を抽出するステップと、
   ・前記パターンを用いることなく、かつ深さ情報を用いて前記対象物のイメージを表示するステップとを含む、方法。
2. 前記イメージが、マスクイメージである、請求項１に記載の方法。
3. 前記取得したイメージデータが、単一のイメージで取得される、請求項２に記載の方法。
4. 前記イメージが、角度複合イメージである、請求項１に記載の方法。
5. 前記イメージデータが、前記対象物と前記照明装置との間のラインに直交する単一の軸に対して、前記対象物の角度方向が異なる少なくとも２つのマスクイメージで取得される、請求項４に記載の方法。
6. 前記イメージが３Ｄイメージである、請求項１に記載の方法。
7. 前記イメージデータは、前記対象物と前記照明装置とをつなぐラインに直交する少なくとも２つの軸に対して、前記対象物の角度方向が異なる少なくとも３つのマスクイメージで取得される、請求項６に記載の方法。
8. 前記対象物が、前記焦平面と交差しないように配置されている、請求項１〜７のいずれか一項に記載の方法。
9. 前記対象物は、前記照明装置からの距離によって焦点ぼけする変化の速度が最大である領域内にあるように配置されている、請求項８に記載の方法。
10. 前記対象物は、前記照明装置からの距離によって焦点ぼけする変化の速度が適度に一定である領域内にあるように配置されている、請求項８または９に記載の方法。
11. 前記パターンは、前記対象物上のずれた光パターンに対応するイメージデータと、前記パターンを用いることなく照明された前記対象物からのイメージデータとを取得することによって、前記イメージから除去される、請求項１〜１０のいずれか一項に記載の方法。
12. 前記パターンは、明るいラインと暗いラインとが交互になっている、請求項１〜１１のいずれか一項に記載の方法。
13. 前記対象物上の前記パターンに全く照明されていない領域はない、請求項１２に記載の方法。
14. 前記パターンが、回折格子によって生成される、請求項１〜１３のいずれか一項に記載の方法。
15. 前記回折格子は、並行した明暗のラインが均一に離間している、請求項１４に記載の方法。
16. 前記焦点ぼけの程度が、前記パターンのラインの幅に基づいて計算される、請求項１〜１５のいずれか一項に記載の方法。
17. 前記焦点ぼけの程度が、前記パターンの変調鮮明度に基づいて計算される、請求項１〜１６のいずれか一項に記載の方法。
18. 前記イメージが、前記パターンのラインに対して角度が付いた並行走査ラインにわたって走査される、請求項１〜１７のいずれか一項に記載の方法。
19. 前記並行走査ラインが、前記パターンの並行ラインと直角になっている、請求項１８に記載の方法。
20. 前記マスクイメージデータが、画素イメージデータを含む、請求項１〜１９のいずれか一項に記載の方法。
21. 前記イメージデータが、画素ごとの基準で解析される、請求項２０に記載の方法。
22. イメージ取得が、ライン走査カメラによるものである、請求項１〜２１のいずれか一項に記載の方法。
23. イメージ取得が、面走査カメラによるものである、請求項１〜２１のいずれか一項に記載の方法。
24. イメージ取得はカラーである、請求項１〜２３のいずれか一項に記載の方法。
25. 前記取得したイメージは、解析されて、前記イメージの最も明るい部分から色が計算される、請求項２４に記載の方法。
26. 計算された深さ情報が、校正を用いて調整される、請求項１〜２５のいずれか一項に記載の方法。
27. 前記調整が、校正ルックアップテーブルを用いて実施される、請求項２６に記載の方法。
28. 前記イメージが、好適な表示システムを用いて、表示のためにフォーマット化される、請求項１〜２７のいずれか一項に記載の方法。
29. 深さ情報を含む、対象物のイメージを作成するイメージング装置であって、
    ・周期的な光のパターンを用いて前記対象物を照明するように適応された照明装置であって、
    ・前記照明装置は、前記パターンが焦平面内で焦点が合い、かつ前記焦平面から離れるにつれ焦点がぼけるようになっており、
    ・前記対象物は、その異なる部分が、前記焦平面から異なる距離にあるように、前記照明装置に対して配置可能になっている照明装置と、
    ・そのように照明された対象物からイメージデータを取得するように適応されたイメージデータ取得手段と、
    ・取得したイメージデータを解析して、前記パターンの焦点ぼけの程度に基づいて深さ情報を抽出するように適応されたデータ解析手段と、
    ・前記パターンを用いることなく、かつ深さ情報を用いて、前記対象物のイメージを表示するイメージ表示手段とを備える、イメージング装置。
30. 前記イメージデータ取得手段が、マスクイメージを取得する、請求項２９に記載の装置。
31. 前記イメージデータ取得手段が、検出器からなる１次元アレイを備える、請求項２９または３０に記載の装置。
32. 前記イメージデータ取得手段が、検出器からなる２次元アレイを備える、請求項２９または３０に記載の装置。
33. 白黒カメラである、請求項３１または３２に記載の装置。
34. カラーカメラである、請求項３１または３２に記載の装置。
35. ＣＣＤカメラである、請求項３３または３４に記載の装置。
36. ＣＭＯＳカメラである、請求項３３または３４に記載の装置。
37. 前記照明装置が、光源と、焦点合わせ手段と、回折格子とを備える、請求項２９〜３６のいずれか一項に記載の装置。
38. 前記光源が、インコヒーレント光源を備える、請求項３７に記載の装置。
39. 前記光源が、白熱フィラメントランプを備える、請求項３８に記載の装置。
40. 前記光源が、石英ハロゲンランプを備える、請求項３８に記載の装置。
41. 前記光源が、蛍光灯を備える、請求項３８に記載の装置。
42. 前記光源が、発光ダイオードを備える、請求項３８に記載の装置。
43. 前記光源が、コヒーレント光源である、請求項３７に記載の装置。
44. 前記光源が、レーザを備える、請求項４３に記載の装置。
45. 前記焦点合わせ手段がレンズを備える、請求項３７から４４のいずれか一項に記載の装置。
46. 前記焦点合わせ手段がミラーを備える、請求項３７〜４５のいずれか一項に記載の装置。
47. 前記焦点合わせ手段が、円筒形状の焦点合わせ装置を備える、請求項４５または４６に記載の装置。
48. 前記焦点合わせ手段が、球状または放物線状の焦点合わせ装置を備える、請求項４５または４６に記載の装置。
49. イメージングされる対象物のための支持体を備える、請求項２９〜４８のいずれか一項に記載の装置。
50. 前記支持体は、前記焦平面が前記対象物と交差しないように前記対象物が支持されるような関係で、前記照明装置も支持する、請求項４９に記載の装置。
51. 前記支持体は、前記対象物が、前記照明装置からの距離によって焦点ぼけする変化の速度が適度に一定である領域内にあるような関係で、前記照明装置も支持する、請求項４９または５０に記載の装置。
52. 前記支持体が、前記対象物と前記照明装置との間の相対的調整を可能にする、請求項４９〜５２のいずれか一項に記載の装置。
    に記載の装置。
53. 前記支持体が、ターンテーブルを備える、請求項４９〜５２のいずれか一項に記載の装置。
54. 光の周期的なパターンを変化させるように適応された手段を備える、請求項２９〜５３のいずれか一項に記載の装置。
55. 光の周期的なパターンを生成する回折格子の方向を変更するように適応された手段を備える、請求項５４に記載の装置。
56. 前記イメージ表示手段が、３Ｄイメージをシミュレート及び操作することが可能なソフトウェアによって駆動するビデオスクリーンを備える、請求項２９〜５５のいずれか一項に記載の装置。
57. 添付図面のどれか１つ以上に関して実質的に前述したような請求項２９〜５６のいずれか一項に記載の装置。

Images