JP2006258465A - 3次元画像情報取得システム - Google Patents

3次元画像情報取得システム Download PDF

Info

Publication number
JP2006258465A
JP2006258465A JP2005073032A JP2005073032A JP2006258465A JP 2006258465 A JP2006258465 A JP 2006258465A JP 2005073032 A JP2005073032 A JP 2005073032A JP 2005073032 A JP2005073032 A JP 2005073032A JP 2006258465 A JP2006258465 A JP 2006258465A
Authority
JP
Japan
Prior art keywords
signal
image information
dimensional image
information
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005073032A
Other languages
English (en)
Other versions
JP4401989B2 (ja
Inventor
Noriaki Kimura
憲明 木村
Kyoji Doi
恭二 土井
Takayoshi Yumii
孝佳 弓井
Takuji Yoshida
卓史 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsui Engineering and Shipbuilding Co Ltd
Original Assignee
Mitsui Engineering and Shipbuilding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsui Engineering and Shipbuilding Co Ltd filed Critical Mitsui Engineering and Shipbuilding Co Ltd
Priority to JP2005073032A priority Critical patent/JP4401989B2/ja
Publication of JP2006258465A publication Critical patent/JP2006258465A/ja
Application granted granted Critical
Publication of JP4401989B2 publication Critical patent/JP4401989B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Input (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】 測定対象物の表面反射率や表面形状によらない、高精度な測定対象物の3次元画像情報を、高速に取得可能な3次元画像情報取得システムを提供する。
【解決手段】 時間変調したレーザ光を測定対象物に向けてそれぞれ同時に照射する、それぞれ異なる位置に配置された複数のレーザ光出射部と、受光した複数のレーザ光の反射光に応じた電気信号をそれぞれ出力する、それぞれ異なる位置に配置された複数の光電変換器と、ON状態のマイクロミラーで反射した複数のレーザ光を、各光電変換器の受光面に導く空間変調素子と、各光電変換器から出力された電気信号それぞれについて、各光電変換器の受光面が受光した複数のレーザ光それぞれに応じた電気信号成分を識別する電気信号成分識別部と、各電器信号成分毎に測定対象物の3次元位置情報を求める位置情報算出部とを有する3次元画像情報取得システムを提供する。
【選択図】図2

Description

本発明は、それぞれ異なる位置から出射した複数のレーザ光を測定対象物に照射し、測定対象物で反射した各レーザ光の反射光を受光することにより測定対象物の3次元画像情報を取得する3次元画像情報取得システムであって、例えばマシンビジョンシステム(産業用画像検査装置)や測定対象物に当たって戻ってきたレーザ光の情報から測定対象物の状態を知るレーザレーダ等の技術分野に好適に用いることのできるシステムに関する。
近年、産業用ロボットや工作機械における作業の自動化において、作業対象とする対象物の3次元位置情報を利用して正確な作業を行うことが望まれている。
対象物の3次元位置情報を取得するには、種々の方法が知られている。
複数のカメラを搭載したシステムでは撮影画像を用いて対象物の位置情報を取得し、また複数の距離センサを用いたシステムでは対象物の距離情報を距離センサから取得する。また、カメラと距離センサを組み合わせたシステムでは対象物の撮影画像と距離情報を取得して対象物の3次元位置情報を取得する。
また、軍事、保安用レーザレーダとして、また火星探査ロボットとして、対象物の3次元位置情報を取得することが望まれている。
例えば、複数のカメラを搭載したシステムでは、複数のカメラで異なる方向から撮影した対象物の撮影画像から、対象物の3次元画像を取得する方法が知られている。(非特許文献1)。
また、レーザ光をポリゴンミラーやガルバノミラーに反射させて対象物上で2次元的に走査し、対象物から反射されてくるレーザ光を受光することによって対象物の位置情報を知り、これと別途三角測量法やパルスエコー法を用いて求めた距離情報とともに対象物の3次元位置情報を取得する方法が知られている(非特許文献2)。
また、レーザ光を対象物上にスリット投影して、対象物に投影されたスリット状のレーザ光の変形状態を用いて対象物の3次元形状を知る方法が知られている(非特許文献3)。
平成10年度補正予算 煽動的コンテンツ市場環境整備事業、「多カメラ同時撮影による非制止物体の3次元モデルデータ採取装置」、2004年5月6日検索、インターネット、<URL:http//www.dcaj.org/bigbang/mmca/works/04/04_050.html> 関本清英他4名、「三次元レーザレーダの開発」、石川島播磨技法第43巻第4号 平成15年7月号、2004年5月6日検索、インターネット、<URL: http://www.ihi.co.jp/ihi/technology/gihou/image/43-4-2.pdf> 「3次元モデリング表示技術」、大阪府立産業技術総合研究所、2004年5月6日検索、インターネット、<http://www.tri.pref.osaka.jp/group/sense/oldfile/3d/3d3.htm>
上記非特許文献1では、必要に応じて複数の撮影画像に基づいて被写体の3次元位置を計測し、被写体の3次元画像を取得して仮想的な3次元画像を作成することができる。また、人の体型を計測対象物として人の体型の3次元画像を作成することができる。しかし、単純にカメラで撮像した撮影画像に基づいて被写体の3次元位置を計測するのみでは、模様のない一様な表面を持つ物体に対しては物体表面の3次元位置を計測できないという問題がある。
また非特許文献2では、3次元位置情報を所望の分解能で取得する際、ポリゴンミラーやガルバノミラーを回転させて反射させレーザ光の光束を絞って対象物上で走査させる際、光束の大きいレーザ光を反射する大型のポリゴンミラーやガルバノミラーを高速に回転させて3次元位置情報を取得するのには限界がある。また、非特許文献2では、1つのレーザ出射器から出射されるレーザ光を、1つのカメラによって受光している。例えば、特に対象物の表面が、出射されるレーザに対して反射率が高い場合など、対象物の表面の角度(対象物の形状)によっては、対象物の表面で反射したレーザ光がカメラに入射しない場合がある。非特許文献2では、このような対象物の表面については、3次元位置情報を取得できないといった問題がある。
また、非特許文献3では、3次元形状を求めることはできるが、対象物の距離情報を得て3次元位置情報を取得するには、対象物上に予め距離情報を得るための参照点を設定しなければならず、自動化するのが困難であるという問題がある。また、対象物に投影されたスリット状のレーザ光を高速に走査して3次元位置情報を取得するのには限界がある。また、非特許文献3では、対象物に投影されたスリット状のレーザ光の変形状態を1つのカメラによって撮影している。非特許文献3においても、非特許文献2同様、対象物の表面の反射率や、対象物の表面の角度(対象物の形状)によって、対象物の表面で反射したレーザ光がカメラに入射しない場合があり、このような対象物の表面については、3次元位置情報を取得できないといった問題があった。
本発明は、上記従来の問題点を解決するためになされたものであり、測定対象物の表面反射率や表面形状によらない、高精度な測定対象物の3次元画像情報を、高速に取得可能な3次元画像情報取得システムを提供する。
上記目的を達成するために、本発明は、それぞれ異なる位置から出射した複数のレーザ光を測定対象物に照射し、測定対象物で反射した各レーザ光の反射光を受光することにより測定対象物の3次元画像情報を取得する3次元画像情報取得システムであって、振幅変調信号に従って時間変調したレーザ光を、測定対象物に向けてそれぞれ同時に照射する、それぞれ異なる位置に配置された複数のレーザ光出射部と、測定対象物で反射した複数のレーザ光を受光して、受光した複数のレーザ光に応じた電気信号をそれぞれ出力する複数の光電変換器と、各光電変換器それぞれに対応して設けられた、平面上に配列された複数のマイクロミラーを有する素子であり、これらのマイクロミラーのうち選択されたマイクロミラーの反射面を所定の向きに制御してON状態にすることにより、このON状態のマイクロミラーで反射した、測定対象物からの複数のレーザ光を、対応する各光電変換器の受光面それぞれに導く、それぞれ異なる位置に配置されたマイクロミラーアレイ空間変調素子と、各光電変換器から出力された電気信号それぞれについて、各光電変換器の受光面が受光した複数のレーザ光それぞれに応じた電気信号成分を識別する電気信号成分識別部と、前記電気信号成分識別部において識別された各電気信号成分それぞれにおける、前記振幅変調信号に対する位相ずれ情報を取得するとともに、各電気信号成分それぞれの位相ずれ情報と、各レーザ光それぞれの出射位置の情報と、各マイクロミラーアレイ空間変調素子の配置位置の情報と、各マイクロミラーアレイ空間変調素子における前記ON状態のマイクロミラーの配列位置の情報とを用いて、各レーザ光に対応する電気信号成分それぞれについて、測定対象物の3次元位置情報を求める位置情報算出部と、各レーザ光に対応する電気信号成分それぞれについて求められた、複数の前記測定対象物の3次元位置情報に基づき、前記測定対象物の3次元画像情報を作成する3次元画像情報作成部とを有する3次元画像情報取得システムを提供する。
また、前記複数のレーザ光出射部から同時に出射される複数のレーザ光それぞれは、前記振幅変調信号により時間変調されるとともに、さらに各レーザ光毎に識別可能な符号化変調信号で時間変調され、前記電気信号成分識別部は、前記電気信号に含まれる符号化変調信号の情報を利用して、複数のレーザ光それぞれに応じた電気信号成分を識別することが好ましい。
また、前記マイクロミラーアレイ空間変調素子は、ON状態のマイクロミラーが全マイクロミラーの50%以上を占める、マイクロミラーの制御パターンが順次切り換えられ、この制御パターンに応じて空間変調されたレーザ光を前記光電変換器の受光面に導くことが好ましい。この際、順次切り換えられる前記制御パターンは、互いに直交性を有する制御パターンであることが好ましい。
本発明の3次元画像情報取得システムによれば、測定対象物の3次元画像情報を、測定対象物の表面反射率や表面形状に関わらず、高精度かつ高速に取得することができる。
以下、本発明の3次元画像情報取得システムについて、添付の図面に示される好適実施形態を基に詳細に説明する。
図1は、本発明の3次元画像情報取得システムの一実施形態である3次元形画像情報取得システム(以降、システムという)10の外観図である。
システム10は、それぞれ異なる位置から出射したレーザ光を測定対象物Sに照射し、測定対象物Sで反射した各レーザ光の反射光を、それぞれ異なる位置に配置した複数の光電変換器それぞれの受光面で受光することにより取得される測定対象物Tの表面の3次元位置情報と、測定対象物Tの表面における反射率とにより3次元画像情報を取得するシステムである。
システム10は、それぞれ異なる所定の配置位置に配置された、3次元画像情報を取得可能な複数(n個)の3次元カメラD(D、D、・・・D)それぞれと、複数の3次元カメラDの動作(レーザ光の出射など)を制御する制御装置14と、複数の3次元カメラDから出力される3次元画像情報を含む電気信号を用いて、測定対象物Sの測定対象領域T表面の3次元画像情報を取得するコンピュータ16と、を有する。各3次元カメラD〜Dは、それぞれ、レーザ光を測定対象物Tに照射するとともに、測定対象物Sからの反射光を受光して、受光した電気信号から測定対象物Sの表面の3次元位置情報および反射率の情報に応じた電気信号を出力する。
各カメラD〜Dは、レーザ光を出射するレーザ光出射ユニット20と、測定対象物Tの表面から反射したレーザ光の反射光を受光して電気信号に変換するための光学ユニット30と、光学ユニット30で受光したレーザ光を信号処理し、電気信号のデジタルデータに変換するデータ処理ユニット50とを有する。各カメラD〜Dは、それぞれ異なる所定の配置位置に配置されており、それぞれのカメラD〜Dから出射されるレーザ光全てが、測定対象物S表面のほぼ同一範囲を照射するよう、各カメラD〜Dそれぞれのレーザ光出射孔11の向きが調整されている。加えて、各カメラD〜Dは、それぞれのカメラD〜Dの光学ユニット30の、後述する光電変換器38の受光面(図4参照)全てが、測定対象物S表面の同一の測定対象領域Tで反射された、各レーザ光の反射光を受光するように、ファインダ12の向きやズームが調整されている。
図2は、各カメラD〜Dが受光するレーザ光について説明する図である。図2を用い、各カメラD〜Dにおける測定対象物Sの測定対象領域T内の点Pからの反射光の受光について説明する。例えば、カメラDは、点PからカメラDへと向かう反射光路Rを進むレーザ光の反射光を受光する。点Pは、測定対象領域T内の点であり、各カメラD〜Dから出射されたレーザ光の全てが照射されている。各レーザ光から出射されたレーザ光は、それぞれ図2に示す出射光路L〜Lを進んで点Pに到達し、点Pにおいて様々な方向に反射する。カメラDは、反射光路Rを進行する各レーザ光の反射光の成分を全て受光する。すなわち、カメラDは、L、L、L・・・Lで表されるn個の経路(パス)のレーザ光(の反射光)を受光する。カメラD〜Dのそれぞれのカメラにおいても、それぞれ同様にn個のパスのレーザ光を受光する。すなわち、測定対象領域中の1つの点に対し、n個のカメラ全体で、合計n×n個のパスのレーザ光を受光する。本発明の3次元画像情報取得システムでは、このように、測定対象領域Tにおける1つの測定単位領域(詳しくは、後述するマイクロミラーアレイ空間変調素子34の、1つのマイクロミラーに対応する領域)毎に、n×n個のレーザ光の反射光の情報を得ることができる。
例えば、カメラDが受光する、n個の経路(パス)のレーザ光の反射光は、それぞれ光強度が異なる。これは、測定対象物S表面の反射率や傾きに起因する。例えば、図2に示す例においては、カメラDから出射されるレーザ光Lは、点P部分の測定対象物表面と略垂直な入射角で点Pに到達し、経路Lの入射角と略対象な反射角の経路R1を通ってカメラDに到達する。このような経路Lを通ってカメラDが受光する反射光の強度は、比較的強い。これに対し、カメラDからのレーザ光Lnは、点P部分の測定対象物表面と略平行な経路Lを通って点Pに到達し、経路Lの入射角と大きく異なる(対称でない)反射角の経路Rを通ってカメラDに到達する。このような経路Lを通ってカメラDが受光する反射光の強度は、比較的弱い。逆に言えば、例えば、カメラDの位置に配置されたレーザ光源のみから測定対象物Sの表面を照射し、カメラDの位置に配置した受光ユニットのみで反射光をするのでは、測定対象物Sの点Pについて、比較的弱いレーザ光の反射光の情報しか得ることはできない。このような、比較的弱いレーザ光の反射光の情報からは、ノイズ成分が強く(S/N比が悪い)、精度の低い3次元位置情報しか取得することができない。本発明の3次元画像情報取得システムでは、不特定な反射率で、かつ不特定な表面形状の測定対象物に対し、それぞれ異なる複数の位置からレーザ光を照射することで、測定対象物における測定対象領域のあらゆる部分に、高強度のレーザ光を照射することを可能としている。そして、それぞれ異なる複数の位置に反射光の受光面を配置することで、測定対象物における測定対象領域のあらゆる部分から、あらゆる角度で反射するレーザ光をそれぞれ受光する。本発明の3次元画像情報取得システムは、このような構成によって、不特定な反射率かつ不特定な表面形状の測定対象物に対し、測定対象領域内のあらゆる部分について、高強度のレーザ光の反射光の情報を取得することを可能としている。
図3は、システム10の制御装置14について説明する概略ブロック図である。制御装置14は、測定データバス49、および制御データバス56を介して各カメラD〜Dとそれぞれ接続されている。制御装置14は、各カメラD〜D(詳しくは、各カメラのレーザ光出射ユニット20、光学ユニット30、およびデータ処理ユニット50)の測定動作を制御する各種信号(発振周波数制御信号、位相制御信号、制御パターン信号、PN符号化変調信号、クロック信号など)を生成し、各カメラの所定のユニットに供給する。制御装置14は、発振器41、パワースプリッタ42、増幅器43、移相器44、増幅器45、パワースプリッタ46、RFスプリッタ48、測定データバス49、システム制御器51、制御データバス56を有する。
発振器41は、発振周波数制御信号によって設定された発振周波数で信号を発振する部分である。発振した信号はレーザ光を時間変調するRF変調信号として用いられる。例えば、50MHz〜10GHzのマイクロ波〜ミリ波帯域の周波数で発振される。
パワースプリッタ42は、発振器41にて発振した信号を分離する部分である。分離された一方の信号は増幅器43を介してパワースプリッタ46に供給される。パワースプリッタ46では、発振器41にて発振した信号を、測定データバス49を介して各カメラD〜Dそれぞれのレーザ光照射ユニット20に分配する。各カメラD〜Dに分配された信号は、RF変調信号として用いられる。他方の信号は移送器44に供給される。
移相器44は、RF変調信号を位相シフトさせることなく通過させ、また位相制御信号に応じて90度位相シフトさせて位相シフト変調信号を生成する。これらの信号(RF変調信号または位相シフト変調信号)は、増幅器45を介してRFスプリッタ48に送られる。RFスプリッタ48は、これらの信号(RF変調信号または位相シフト変調信号)を、測定データバス49を介して、各カメラD〜Dそれぞれのデータ処理ユニット50に分配する。
システム制御器51は、コンピュータ14からの指示に基づいて各種制御信号を生成する部分である。システム制御器51で生成した各種制御信号のうち、制御パターン信号およびPN符号化変調信号は、制御データバス56を介して、各カメラD〜Dへそれぞれ送られる。
図4は、カメラD〜Dについて説明する図である。カメラD〜Dは、それぞれ同様な構成であり、図4は、カメラDについて代表して示している。以降、カメラDについて代表して説明する。
カメラDは、レーザ光出射ユニット20と、光学ユニット30と、データ処理ユニット50とを有する。レーザ光出射ユニット20は、制御装置14の測定データバス49および制御データバス56と接続されている。
レーザ光出射ユニット20は、レーザ光を出射する部分であり、レーザダイオード22と、レーザダイオード22を駆動するレーザドライバ24と、レーザダイオード22から出射するレーザ光を調節する光学レンズ28とを有する。レーザドライバには、制御装置14より、測定データバス49を介して振幅変調信号が送られ、この振幅変調信号に応じてレーザダイオードからレーザ光を出射させる。振幅変調信号(以降、RF変調信号という)は、レーザダイオード24から出射されるレーザ光の光強度を時間変調するために用いられる。
光学ユニット30は、測定対象物Sの測定対象領域Tの表面で反射して到来したレーザ光を受光する部分で、図4に示すようにレーザ光の光路の上流側から順に、バンドパスフィルタ31、光学レンズ32、プリズム33、マイクロミラーアレイ空間変調素子(以降、空間変調素子という)34、光学レンズ36、ミラー37及び光電変換器38が配置されている。空間変調素子34はマイクロミラー制御器35と接続されている。
バンドパスフィルタ31は、レーザ光の波長帯域の光を透過させて、それ以外の波長帯域の光を遮断する狭帯域フィルタで、不必要な外光を遮断し、測定対象物Tからの反射光のSN比を向上させる。
プリズム33は、後述する空間変調素子34とともに用いて、空間変調素子34のマイクロミラーで反射したレーザ光を、斜行面33aで透過あるいは全反射させる部分である。具体的には、プリズム33は、空間変調素子34のマイクロミラーのうち、所定の向きに反射面の向いたマイクロミラー(ON状態のマイクロミラー)にて反射されたレーザ光のみプリズム33の斜行面33aを透過させ、所定の向きに反射面が向かないマイクロミラー(OFF状態のマイクロミラー)にて反射されたレーザ光を斜行面33aで全反射させるように配置される。
空間変調素子34は、平面上に配列された複数のマイクロミラー、例えば一辺が12μmの矩形状のミラーを有する素子であり、これらのマイクロミラーのうち選択されたマイクロミラーの反射面を所定の向きに制御してON状態にすることにより、このON状態のマイクロミラーで反射した測定対象物Tから到来したレーザ光を光電変換器38の受光面に導くように配置されている。
図5は、ON状態及びOFF状態のマイクロミラーにおけるレーザ光の反射を説明する図である。図5では、4個×4個のマイクロミラーアレイを用いて説明している。
ON状態にあるマイクロミラーAの反射面で反射したレーザ光はレンズ36を介して光電変換器38に導かれ、OFF状態にあるマイクロミラーBの反射面で反射したレーザ光は光電変換器38と異なる方向に反射する。このように、ON状態にあるマイクロミラーで反射されたレーザ光は光電変換器38にて受光される。上述のように、カメラDの光電変換器38は、L、L、L・・・Lで表されるn個の経路(パス)のレーザ光(の反射光)を受光する。空間変調素子34の各マイクロミラーは、測定対象領域Tの、各マイクロミラーに対応する各測定単位領域それぞれで反射された、n個のパスを通るレーザ光の反射光の情報それぞれを、この光電変換器38の受光面に送る。システム10ではn個のカメラが配置されており、システム10全体では上述のように、測定対象領域Tの、各マイクロミラーに対応する1つの測定単位領域毎に、n×n個のパスを通るレーザ光の反射光の情報がそれぞれ得られる。
空間変調素子34は、例えばテキサス・インスツルメンツ社製のデジタルマイクロミラーデバイス(商標)が挙げられる。デジタルマイクロミラーデバイスは、例えば1024×768個のマイクロミラーの配列面の下部にSRAM(Static Ram)を設け、このSRAMを利用して生成される静電気引力を用いて、マイクロミラーをそれぞれ所定の向き(+12度又はマイナス12度)に回転させる素子である。
空間変調素子34は、各マイクロミラーの状態をON状態/OFF状態に切り換えるためのマイクロミラー制御器35と接続されている。マイクロミラー制御器35の制御により、全マイクロミラーのうち半数以上がON状態となるマイクロミラーの異なる制御パターンに順次切り換えられる。
なお、空間変調素子34のマイクロミラーの制御パターンが順次異なるパターンに切り換えられてレーザ光は空間変調され、この空間変調されたレーザ光が光電変換器38の受光面に導かれるように構成される。マイクロミラーの制御パターンは、マイクロミラーのON状態を1、OFF状態を−1とすると、制御パターンは互いに直交性を有する制御パターンであるのが好ましい。例えばアダマール行列を用いて生成されるのが好ましい。
具体的に説明すると、制御パターンは、空間変調素子34のON状態とするマイクロミラーの配置のパターンであり、この制御パターンは、アダマール行列の各行同士のテンソル積を利用して作成されたパターンである。
図6(a)は、64個(=8個×8個)のマイクロミラーアレイの空間変調素子34について、マイクロミラーの反射面の側から見た制御パターンの一例を説明する図である。
マイクロミラーは、縦方向に8列、横方向に8列、矩形形状に配列されている。図6(a)中、灰色のマイクロミラーはON状態、白色のマイクロミラーはOFF状態を示している。
このような制御パターンは、ON状態のマイクロミラーが全マイクロミラーの50%以上占める制御パターンである。制御パターンは、後述する制御回路ユニット50にて作成される制御パターン信号で制御される。
図6(b)に示すように行列要素が1又は−1で構成される8行8列のアダマール行列のうち、各行の行列要素の組みを上から順番に0次、1次、2次、.....、7次として横方向の1次元制御パターンとする。一方、図6(c)に示すように8行8列のアダマール行列のうち、各行の行列要素の組みを上から順番に0次、1次、2次、.....、7次とし縦方向の1次元制御パターンとする。そして、図6(b)に示す横方向の1次元制御パターンから所望の次数のパターンを選択し、図6(c)に示す縦方向の1次元制御パターンから所望の次数のパターンを選択する。
図6(a)では、横方向の1次元制御パターンは4次、縦方向の1次元制御パターンは6次が選択されている。
一方、空間変調素子34において制御しようとするマイクロミラーの縦方向及び横方向の位置における、横方向の1次元制御パターン及び縦方向の1次元制御パターンの値(1又は−1)をそれぞれ参照し、縦方向の値と横方向の値の積が1になる場合、制御しようとするマイクロミラーはON状態とし、積が−1となる場合マイクロミラーはOFF状態に設定する。例えば、3行5列の位置にあるマイクロミラーMの、横方向の1次元制御パターンの値は−1であり、縦方向の1次元制御パターンの値は−1であり、積は1である。このことから、マイクロミラーMはON状態に設定される。こうしてON状態のマイクロミラーの数が全マイクロミラーの数の50%以上となる制御パターンの制御パターン信号が作成される。
この場合、マイクロミラーの制御パターンは、横方向の1次元制御パタ−ン及び縦方向の1次元制御パターンを組み合わせて64通り(=8×8)作成でき、この64個の異なる制御パターンを順次切り換えるように制御パターン信号が作成される。
このように制御パターンは、アダマール行列の選択された各行同士のテンソル積によって生成される。
なお、64個のマイクロミラーを1つずつON状態とし、他はOFF状態とすることによって、空間変調素子34にて反射されるレーザ光を順次受光することもできる。しかし、1つのマイクロミラーで反射されて受光されるレーザ光は微弱であるため、後処理として行う増幅や検波等の処理により、微弱なレーザ光により生成された電気信号はノイズに埋もれ易い。しかし、上述したように、ON状態のマイクロミラーが全マイクロミラーの半数以上を占める上記制御パターンを用いることにより、後処理として行う増幅や検波等においてノイズに埋もれることは少なくなる、といった効果を呈する。
このように空間変調素子34は、異なる制御パターンに順次切り替えながら測定対象物Tから到来するレーザ光を反射する。
光学レンズ36は、光電変換器38の受光面にミラー37を介してレーザ光を結像させるように構成される。
光電変換器38は、受光したレーザ光を電気信号に変換する部分であり、光電子倍増管やアバランシェフォトダイオード等のデバイスが設けられ、このデバイスからそれぞれ電気信号が出力される。なお、上記デバイスは用いるレーザ光によって適するデバイスが異なり、例えば近赤外(800〜1200μm)のレーザ光にはアバランシェフォトダイオードが、可視帯域(400μm〜800μm)のレーザ光にはアバランシェフォトダイオード又は光電子倍増管が好適に用いられる。
なお、光電変換器38には、CCD(Charged Coupled Device)撮像素子等の受光面を領域に分けて受光し、領域毎に信号を蓄積し、蓄積された信号を順次出力する撮像素子は用いられない。後述するように、レーザ光の時間変調に用いるRF変調信号は50MHz〜10GHzであるため、順次蓄積された信号を出力するCCD撮像素子では、このような高周波で変調する信号に対応して高速に駆動することができないからである。
光電変換器38から出力された電気信号は、データ処理ユニット50へと送られる。データ処理ユニット50は、光電変換器38から出力された電気信号を、レーザドライバ24に供給されたRF変調信号と同一の信号を参照信号(以降、ローカル信号という)として用いてミキシングし、RF変調信号で時間変調されたレーザ光の信号成分を中間周波数信号(IF信号)として取り出し、中間周波数デジタル信号としてコンピュータ14に送る部分である。データ処理ユニット50は、ミキサ47、ローパスフィルタ52、A/D変換器54、増幅器55、56とを有して構成されている。
ミキサ47には、制御装置14のRFスプリッタ48から分配された、RF変調信号又は位相シフト変調信号が、制御装置14の測定データバス49を介して送信される。ミキサ47は、このRF変調信号又は位相シフト変調信号をローカル信号として用いて、光電変換器38から出力され、増幅器56を経て増幅された電気信号と乗算(ミキシング)し、出射の際にRF変調信号で時間変調されたレーザ光の情報を有する中間周波数信号(IF信号)と高次成分を含んだ信号を出力する部分である。電気信号の検波は、公知の方法で行われる。RF変調信号は周波数が僅かに異なる少なくとも2つの信号が生成され、これらの信号はローカル信号として用いられる。また、各周波数のRF変調信号において、制御装置14の移相器44では、RF変調信号の位相をシフトさせないローカル信号とRF変調信号の位相を90度シフトさせたローカル信号が生成されており、ミキサ47はこれらのローカル信号と合成電気信号のミキシング(乗算)を行う。
ローパスフィルタ52は、ミキサ47から出力された中間周波数信号(IF信号)と高次成分を含んだ信号をフィルタ処理して高次成分を除去し、時間変調されたレーザ光の信号情報のみを含んだ中間周波数信号とする部分である。中間周波数信号は、増幅器53で増幅された後、A/D変換器54で中間周波数デジタル信号とされ、コンピュータ14に供給される。各カメラD〜Dそれぞれから、このような中間周波数デジタル信号が出力される。
コンピュータ14は、図7に示すように、CPU60とメモリ62と、さらに図示されないROMを有し、コンピュータソフトウェアを実行させることによりデータ処理部64が機能的に構成される。コンピュータ14はディスプレイ16に接続されている。
CPU60は、カメラDの各ユニットの駆動(レーザ光の出射や、マイクロミラーの駆動など)を制御する各種信号を、制御装置14の制御回路ユニット50に作成するように指示し、また後述するデータ処理部64の各処理の演算を実質的に行う部分である。
データ処理部64は、各カメラD〜Dから送信された中間周波数デジタル信号それぞれに基づき、各カメラ毎に取得した中間周波数デジタル信号毎に、測定対象物Tの3次元位置情報と測定対象物Tの表面の反射率を算出して、これら各カメラ毎の測定対象物Tの3次元位置情報と測定対象物Tの表面の反射率に基づいて、測定対象物Sの測定対象領域Tの3次元画像情報を作成して出力する部分である。データ処理部64は、信号変換部66と、距離情報算出部68と、3次元位置情報算出部70と、反射率算出部72と、重み付け係数設定部74と、3次元画像情報生成部76とを有する。
信号変換部66は、各カメラD〜Dから送信された中間周波数デジタル信号それぞれについて、中間周波数デジタル信号を、制御パターン信号及びPN符号化変調信号を用いて変換する部分である。これにより、各カメラD〜Dから送信された中間周波数デジタル信号それぞれについて、測定対象領域Tにおける1つの測定単位領域(マイクロミラーアレイ空間変調素子34の、1つのマイクロミラーに対応する領域)毎の測定単位領域信号成分に分割し、さらにこの測定単位領域信号成分毎に、各測定単位領域で反射される、n個のレーザ光反射光毎のレーザ光信号成分に分割する。そして、各レーザ光信号成分における信号強度に応じて、重み付け係数を設定する。制御パターン信号は、コンピュータ14の指示に従って制御装置14のシステム制御器51で作成される信号であるため、制御パターン信号は既知であり、この制御パターン信号を用いて信号変換される。
制御パターン信号は、図6(a)〜(c)に示したようにアダマール行列の各行の成分同士のテンソル積を利用して作成される制御パターンを実現する信号である。このため、信号変換部66では、既知である制御パターン信号を利用して、各制御パターンにて得られる中間周波数デジタル信号から、アダマール逆変換を行って各マイクロミラーにて反射されるレーザ光の情報(測定単位領域信号成分)を求めることができる。なお、アダマール逆変換を利用した信号変換処理については、本願出願人により既に出願されている(特願2001−188301号参照)。
アダマール行列の各行同士は直交性を有する(各行同士の内積は0となる)ことから、アダマール行列の各行の成分同士のテンソル積にて得られる、制御パターンを表す合成行列も合成行列同士で互いに直交性を維持する。上記アダマール逆変換の処理は、上記合成行列の逆行列を用いて逆変換する処理であるが、この逆変換は、合成行列が直交性を有することから、規格化因子を除き上記合成行列を用いて行うアダマール変換と同様の処理内容となる。これにより、アダマール変換の処理を用いて、各カメラ毎の空間変調素子34それぞれの、各マイクロミラー毎に反射されるレーザ光の情報(測定単位領域信号成分)を容易に分解することができる。
上記制御パターンはアダマール行列の行成分同士のテンソル積によって得られる合成行列によって表されるため、互いに直交性を有するものであるが、本発明においては、制御パターンは、上記合成行列によって生成される必要はなく、各マイクロミラー毎に反射されるレーザ光の情報に分解できる限りにおいて特に制限されない。
なお、各カメラ毎にアダマール逆変換にて求められる、各マイクロミラー毎に反射されるレーザ光の情報(測定単位領域信号成分)は、各カメラD〜Dから出射されるレーザ光(n個のレーザ光)が互いに重畳されている。このため、以下に示すようにレーザ光の出射の際に時間変調に用いたPN符号化変調信号の自己相関性及び直交性を利用して各レーザ光に対応した中間周波数デジタル信号(レーザ光信号成分)に分解する。PN符号化変調信号の自己相関性及び直交性については後述する。
上述したように各カメラD〜Dからのレーザ光出射ユニット20からは、測定対象物Sの測定対象領域Sに向けて同時にレーザ光を出射するが、その際、PN符号化変調信号を用いてレーザ光の出射のON/OFFを制御し時間変調している。
図8は、PN符号化変調信号の一例を示す図である。図8では、PN符号化変調信号の1周期分が示されている。
PN符号化変調信号は値が0又は1からなる信号で、一定の時間間隔シフトすることによって相関関数の値が0又は−1/n(nは後述する系列符号の長さ)となる。
PN符号化変調信号は、一例を挙げると以下のように作成される符号化系列データを用いて信号化することができる。
次数k=5、符号系列の長さn=31とし、係数h1=1,h2=1,h3=0,h4=1,h5=1とし、初期値a0=1,a1=1,a2=0,a3=1,a4=0としたとき下記式(1)に示す漸化式で一意的にPN系列符号C={ak}(kは自然数)を求めることができる。
Figure 2006258465

さらに、系列符号C={a,a,a,………,an−1}を用いて基準となる符号化系列信号を生成するとともに、さらにこの系列符号Cをq1ビット、ビット方向にビットシフトさせた系列符号Tq1・c(Tq1は、ビット方向にq1ビット、ビットシフトする作用素である)を用いて符号化系列信号を生成する。ここで、系列符号Tq1・Cは、{aq1,aq1+1,aq1+2,………,aq1+N−1}である。さらに、系列符号Cをq2ビット(例えば、q2=2×q1)、ビット方向にビットシフトさせた系列符号Tq2・Cを用いて符号化系列信号を生成する。
この符号化系列信号を生成するために用いられる系列符号C,Tq1・C,Tq2・Cは、互いに直交する特性を有するので、生成される符号化系列信号も互いに直交する性質を有する。
具体的に説明すると、長さnの系列符号をC={b0,b1,b2,………,bn-1}とし、上記作用素Tを系列符号Cに作用させた系列符号をC’=T・C、すなわちC’={bq,bq+1,bq+2,………,bq+n-1}として、系列符号CとC’との間の相互相関関数Rcc'(q)を下記式(2)のように定義される。ここで、NAは系列符号における項aiと項bq+iの(iは0以上n−1以下の整数)一致する数であり、NDは系列符号における項aiと項bq+iの不一致の数である。また、NAとNDの和は系列符号長さnとなる(NA+ND=n)。ここで、iとq+iはmod(n)で考える。
Figure 2006258465
上記PN系列符号において2つの系列符号を項毎にmod(2)で加算した結果はもとのPN系列符号を巡回シフトしたPN系列符号になる性質があり、PN系列符号の値が0となる個数は値が1となる個数より1つだけ少ないので、NA−ND=−1となる。これより、PN系列符号において下記式(3)および(4)に示す値を示す。
Figure 2006258465

Figure 2006258465
上記式(3)よりビットシフト量が0、すなわちq=0(mod(n))の場合、式(3)に示すようにRcc’(q)の値は1となり自己相関性を有する。一方、ビットシフト量が0でない、すなわちq≠0(mod(n))の場合、式(4)に示すようにRcc’(q)は−(1/n)となる。ここで系列符号長さnを大きくすることにより、Rcc’(q)(q≠0)の値は0に近づく。
すなわち、系列符号CとC’は自己相関性を持ち、かつ直交性を有するといえる。
このようなPN系列符号の値を0,1として時系列信号としたのがPN符号化系列信号である。したがって、PN符号化変調信号も互いに自己相関性及び直交性を有する。このことから、図6におけるC1の信号と、C2〜C5の信号の相関関数を求めると値が0となる。
信号変換部66は、中間周波数デジタル信号に含まれるPN符号化変調信号で時間変調された信号に対して、制御回路ユニット50にて生成されたPN符号化変調信号の相関関数を利用することにより、どのレーザ光の信号情報が含まれているかを識別し、レーザ光毎の信号情報(レーザ光信号成分)に分解して抽出することができる。
このようにして、信号変換部66は、アダマール逆変換及びPN符号化変調信号の自己相関性及び直交性を利用した分解(符号化識別変換)により、中間周波数デジタル信号から各マイクロミラーの反射位置における各レーザ光の時間変調の信号情報を取得することができる。
なお、PN符号化変調信号による時間変調は100KHz〜10MHzの周波数で行われ、RF変調信号によるレーザ光の時間変調の周波数(50MHz〜10GHz)に比べて低周波である。
信号変換部66では、このように、n個のカメラそれぞれについて、各マイクロミラーの反射位置におけるn個のレーザ光それぞれの時間変調の信号情報を取得する。すなわち、測定対象物S表面の1つの測定単位領域(1つのマイクロミラーに対応する)につき、n×n個のレーザ光の時間変調の信号情報(電気信号)が得られる。
距離情報算出部68は、周波数の異なる複数のRF変調信号に対応した各レーザ光の信号の位相ずれ情報を取得し、これより、RF変調信号の周波数に対する上記位相ずれ量の変化(相対位相変化量)を取得し、この相対位相変化量を用いて測定対象物Tの距離情報を求める。
具体的には、本体部12のレーザ光出射ユニット20のレーザダイオード22から測定対象物Tまでの距離と測定対象物Tの表面上の反射点からレンズ32に至るまでの距離をρ、RF変調信号の波長をλ、RF変調信号の周波数をf、光速度をc、各レーザ光の信号の、RF変調信号に対する位相ずれをθとすると、距離ρは、下記式(5)を介して下記式(6)のように表すことができる。
Figure 2006258465

Figure 2006258465
すなわち、各レーザ光の信号の位相ずれ量の、RF変調信号の周波数に関する比を求めることで、測定対象物Tの距離ρを式(6)を用いて算出する。
なお、距離ρはレーザダイオード22から測定対象物Tの表面上の反射点を経由して光学レンズ36までの距離であるが、この距離ρを知れば十分である。光学レンズ32から光電変換器38の受光面までの光路の距離、さらにはミキサ47にいたる伝送線路の距離は既知であるため、予め定められた補正式等を用いて正しい値に修正することができる。
距離情報算出部68は、具体的には、信号変換部66で算出された各マイクロミラーの反射位置における各レーザ光毎の信号情報を取得する。この信号情報は、ミキサ47へ入る参照信号であるRF変調信号の位相シフトを0としたときr・cos(θ)(rは測定対象物の表面における反射率、θは位相ずれ量)となり、RF変調信号を90度位相シフトさせたときr・sin(θ)となることから、距離情報算出部68は、これらの信号を用いて位相ずれ量θを算出する。
3次元位置情報算出部70は、距離情報算出部68で算出された距離ρを用い、さらに、ON状態のマイクロミラーの位置情報とを用いて、レーザ光が反射した測定対象物Tの位置を3次元位置情報として求める部分である。
具体的には、図9(a)に示すように、光学レンズ32の中心を原点OとしてXYZ直交座標系を定め、各レーザ光情報に対応したレーザダイオード22の出射位置を点Q(位置座標(a,b,c)とする)、測定対象物Tの反射位置を点P(位置座標(x,y,z)とする)、点Pで反射したレーザ光が向かう空間変調素子34のON状態にあるマイクロミラーの位置R(位置座標(−x0,−y0,−z0)とする)とする。このとき、図9(b)に示すように、距離POは、レンズ32の倍率mと距離ROとを用いてPO=m×ROと表すことができる。なお、マイクロミラーの位置Rのうちz0は装置固有の寸法として設定されている。
一方、距離ρは下記式(7)で表すことができる。また、点Pの位置x,y,zは、下記式(8)で表すことができることから、式(7)及び式(8)を用いて倍率mは下記式(9)で表すことができる。
Figure 2006258465

Figure 2006258465

Figure 2006258465
3次元位置情報算出部70は、上記式(9)に従って、距離ρ、レーザダイオード22の出射位置(位置座標(a,b,c))、ON状態にあるマイクロミラーの位置(位置座標(−x0,−y0,−z0))を用いて倍率mを算出し、さらに式(8)を用いて測定対象物Tの反射位置の3次元位置情報(位置座標(x,y,z))を求める。このようにして、各測定対象領域毎に、n×n個のレーザ光の時間変調の信号情報それぞれについて、3次元位置情報が取得される。
反射率算出部72は、測定対象物Tの表面における反射率を算出する。
距離情報算出部68において説明したように、信号変換部66では、各マイクロミラーの反射位置における各レーザ光の信号情報が算出され、これが反射率算出部72に供給される。この信号は、ミキサ47へ入る参照信号であるRF変調信号の位相シフトを0としたときに得られる信号情報は上述したようにr・cos(θ)となり、RF変調信号を90度位相シフトさせたときに得られる信号情報はr・sin(θ)となる。これら2つの信号情報の値から反射率算出部72は反射率rを算出する。
このようにレーザ光を測定対象物Tに照射することにより、システム10と測定対象物Tとの間の距離及び測定対象物Tの表面における反射率rを求めることができ、測定対象物体Tの表面の3次元空間内での反射率を画像情報として得ることができる。反射率算出部72では、このように、各測定対象領域毎に、n×n個のレーザ光の時間変調の信号情報それぞれについて、反射率情報が取得される。
重み付け係数設定部74は、1つの測定単位領域につき取得される、n×n個のレーザ光の時間変調の信号情報(電気信号)に応じて、各信号情報毎に重み付け係数を設定する。上述のように、1つのカメラが受光する、測定対象物S表面の同一地点Pからの複数のレーザ光の反射光の強度は、n個のレーザ光毎にそれぞれ異なっている。また、このような同一地点Pからの複数のレーザ光の反射光の強度それぞれは、n個の各カメラでもそれぞれ異なっている。1つの測定単位領域につき取得される、n×n個のレーザ光の時間変調の信号情報(電気信号)は、このような反射光の強度に応じた信号であり、信号の強度もそれぞれ異なる。当然、信号の強度が低いとノイズ成分が高く(S/N比が低く)、このような信号を用いて後述の距離情報や反射率情報を算出しても、低い精度の情報しか得ることはできない。重み付け係数設定部74は、1つの測定単位領域からの反射光の強度に応じた、n×n個のレーザ光の時間変調の信号情報(電気信号)それぞれの強度に応じて、各信号毎に算出される後述の距離情報や反射率情報を重み付けするための、重み付け係数をそれぞれ設定しておく。設定した重み付け係数は、3次元画像情報生成部76に送られ、3次元画像情報の作成に用いられる。
3次元画像情報生成部76では、重み付け係数設定部74で設定した重み付け係数を用い、各測定対象領域毎に、n×n個のレーザ光の時間変調の信号情報それぞれに基づいて算出された、3次元位置情報および反射率情報のそれぞれを重み付けし、それぞれ重み付けしたn×n個の3次元位置情報および反射率情報を用いて平均化した値を算出する。このように重み付けして平均化する(重心値を求める)ことで、各測定単位領域毎に、強い強度の反射光に基づいて算出された値が支配的な、精度の高い3次元位置情報および反射率の情報が得られる。3次元画像情報生成部76では、このようにして得られた高精度の3次元位置情報および反射率の情報を用い、測定対象物Tの高精度の3次元画像情報を生成する。生成された3次元画像情報はディスプレイ16に送られて、画像表示される。なお、本発明の3次元画像情報取得システムでは、このように、各測定単位領域毎に、n×n個のレーザ光の時間変調の信号情報それぞれについて信号強度に応じた重み付け係数を設定し、3次元位置情報および反射率情報のそれぞれを重み付けして平均化して、3次元画像情報の作成に係る高精度の3次元位置情報および反射率の情報を得ることに限定されない。本発明の3次元画像情報取得システムでは、重み付け係数を用いずに、n×n個のレーザ光の時間変調の信号情報を積算した値を用いて、3次元位置情報および反射率情報を求めてもよい。このような場合でも、反射強度が高いレーザ光の時間変調信号の成分が支配的な、S/N比の高い3次元位置情報および反射率の情報が得られる。より高精度な3次元画像情報を取得するには、n×n個のレーザ光の時間変調の信号情報それぞれについて、重み付けして平均化する(重心値を求める)ことが好ましい。
システム10は、以上のように構成される。次に、システム10の作用について説明する。
図10(a)〜(d)は、システム10の駆動の際に生成される各種トリガ信号のタイミングチャートである。
まず、制御装置14のシステム制御器51にて、コンピュータ14の指示に応じて、各カメラにおいて測定対象物Tの3次元画像の取り込みを開始する画像トリガ信号(図10(a)参照)が生成される。
次に、システム制御器51では、各カメラの空間変調素子34を所定の制御パターンでマイクロミラーを制御するようにフレームトリガ信号が生成される。フレームトリガ信号とは、空間変調素子34の制御パターンを切り換えるためのトリガ信号であって、上述したようにマイクロミラーのON状態の配列を所定のパターンに制御した制御パターンを順次切り換えるためのトリガ信号である。
図10(b)に示すように、順次モード1、モード2、………の各モードに切り換えるためのフレームトリガ信号が生成される。各モードでは、予め定められた図示されない制御パターン信号が生成されてマイクロミラー制御器35に供給される。
フレームトリガ信号が生成されると、レーザ光は複数のカメラから、複数同時に出射されるので、光電変換器38における受光において、どのカメラからのレーザ光を受光したのか識別可能としなければならない。このため各レーザ光をPN符号化変調信号によって時間変調(レーザ光の出射のON/OFF)するために、システム制御器51はレーザ光毎に互いに異なるPN符号化変調信号を生成し、各カメラのレーザドライバにそれぞれ供給する。
すなわち、各カメラから出射されるレーザ光の強度は時間変調されるとともに、さらに、PN符号化変調信号によるレーザ光の出射のON/OFFにより時間変調される。周波数fは50MHz〜10GHzであり、PN符号化変調信号による出射のON/OFFの切換周波数は100KHz〜10MHzであり、時間変調の周波数範囲が互いに大きく異なる。
さらに、システム制御器51では、移相器44を駆動させるための位相トリガ信号が生成される(図10(c)参照)。位相トリガ信号の生成により、周波数fのRF変調信号に対して、位相シフト量0(位相シフトしない)及び位相シフト量90度の2つローカル信号を生成するように、位相制御信号が生成される。
このようにして、モード1における周波数fのRF変調信号が生成され、各カメラのレーザ光出射ユニット20から時間変調したレーザ光が出射される。測定対象物Tの表面で反射したレーザ光は、光学ユニット30に入り、プリズム33を経由して空間変調素子34に導かれる。空間変調素子34のマイクロミラーは所定の制御パターンで制御されているので、ON状態のマイクロミラーで反射されたレーザ光のみが光電変換器38に導かれて受光される。時間変調の信号情報を有するレーザ光は、光電変換器38にて電気信号に変換され、増幅器48で増幅されてミキサ47に供給される。
一方、移相器44では、パワースプリッタ42で分離されたRF変調信号が位相シフト量0(位相シフトしない)及び位相シフト量90度に順次制御されてローカル信号が生成され、これらのローカル信号がミキサ47に供給される。
ミキサ47では、増幅器48から供給された電気信号を2つのローカル信号のそれぞれでミキシング(乗算)し、IF信号及び高次成分からなる信号が生成される。IF信号には、周波数fの時間変調の信号情報と、PN符号化変調信号による時間変調の信号情報が含まれる。
さらに、生成された信号からローパスフィルタ52により高次成分が除去され、周波数fの時間変調の信号情報とPN符号化変調信号による時間変調の信号情報とからなるIF信号が生成される。
こうして増幅器53を介してA/D変換器54に取り込まれ、順次サンプリングクロック信号(図10(d)参照)に従ってサンプリングされ、中間周波数デジタル信号とされ、コンピュータ14に供給される。
こうして、モード1におけるレーザ光の出射、受光が終了すると、順次モード2、3……に切り換えられ、制御回路ユニット50にて順次信号処理されてコンピュータ14に供給される。
例えば、i番目(i=1〜nの自然数)のカメラDiのレーザダイオード22から出射される時間変調したレーザ光の強度振幅Ai(t)を下記式(10)のように定め(pi(t)はPN符号化変調信号による時間変調成分)、各カメラのミキサ47に供給されるローカル信号A(t),A90(t)を下記式(11)で定め、さらに、測定対象物Tの表面で反射し、さらにON状態のマイクロミラーで反射されることで、1つのカメラが受光したレーザ光の電気信号の振幅を下記式(12)で定めると、IF信号は下記式(13)のように表される。このIF信号のうち高次成分はローパスフィルタ52を用いて除去され、A/D変換され中間周波数デジタル信号が生成される。
Figure 2006258465

Figure 2006258465

Figure 2006258465

Figure 2006258465
このようにしてコンピュータ14に供給された中間周波数デジタル信号は、各モード毎に順次メモリ62に記録される。
信号変換部66では、各モードの中間周波数デジタル信号を用いて、アダマール逆変換及び符号化識別変換が行われる。
各モード毎に定められるマイクロミラーのON状態の制御パターンは、アダマール行列の各行間のテンソル積を利用したパターンを用いるので、この各モードの制御パターン毎に得られた中間周波数デジタル信号を用いてマイクロミラー毎の中間周波数デジタル信号に分解する。この分解はアダマール逆変換を利用して行われる。
さらに、レーザ光の時間変調に用いたPN符号化系列信号は自己相関性及び直交性を有するので、時間変調に用いたPN符号化系列信号とアダマール逆変換の施された中間周波数デジタル信号との間の相関関数を算出することで、レーザ光毎に中間周波数デジタル信号を分解する符号化識別変換が行われる。すなわち、式(13)における1/2・ri・cos(θi)及び1/2・ri・sin(θi)が得られる。これらの値は、距離情報算出部68及び反射率算出部72に供給される。
距離情報算出部68では、求められた1/2・ri・cos(θi)及び1/2・ri・sin(θi)の値から角度θiを算出する。角度θiは、光電変換器38で出力された電気信号のRF変調信号に対する位相ずれ量である。
この位相ずれ量を上述した式(6)に代入することで、測定対象物Tの距離ρが求められる。この距離ρは、レーザ光毎に、かつ空間変調素子34のマイクロミラー毎に求められる。3次元位置情報算出部70では、距離情報算出部68で求められた距離ρとマイクロミラーの位置情報とを用いてレーザ光の反射した測定対象物Tの表面の3次元位置座標(x,y,z)が上述した式(8)及び(9)を用いて求められる。
さらに、反射率算出部72では、信号変換部66から供給された1/2・ri・cos(θi),1/2・ri・sin(θi)の値を用いて反射率riが求められる。
こうして3次元位置情報算出部70及び反射率算出部72で求められた3次元位置情報及び反射率がディスプレイ16に供給されて、測定対象物Tの3次元画像が表示される。
このように本発明ではレーザ光の空間変調素子34に入射するレーザ光における時間変調の位相ずれ情報及び各マイクロミラーの位置情報を用いて、レーザ光に照射される測定対象物Tの3次元位置情報を高速に取得することができる。さらに、測定対象物Tの表面における反射率を求めることができるので画像情報とすることができ、この画像情報と3次元形状とともに用いて3次元画像情報を高速に取得することができる。
なお、反射率riは測定対象物Tの表面の反射率を表し、例えばレーザ光が赤、緑及び青の3原色の可視レーザ光であれば、3原色における測定対象物Tの表面における反射率を求めることができる。すなわち、測定対象物Tの表面の色情報を取得することができ、測定対象物Tの3次元カラー画像を取得することができる。
このようにシステム10では、それぞれ異なる複数の位置からレーザ光を照射することで、また、それぞれ異なる複数の位置に反射光の受光面を配置することで、不特定な反射率かつ不特定な表面形状の測定対象物に対し、測定対象領域内のあらゆる部分について、高強度のレーザ光の反射光の情報を取得することを可能としている。本発明の3次元画像情報取得システムでは、レーザ光が識別可能な符号化変調信号で時間変調されており、複数の位置から同時にレーザ光を照射しても、この符号化変調信号を用いてレーザ光(の反射光)をそれぞれ識別可能となっている。本発明の3次元画像情報取得システムは、このような構成によって、レーザ光照射ユニット自体を移動することなく、測定対象領域内のあらゆる部分について、高強度のレーザ光の反射光の情報を取得することができ、短時間で(高速に)高精度の3次元画像情報を取得することができる。
以上、本発明の3次元画像情報取得システムについて詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
本発明の3次元画像情報取得システムの一実施形態の3次元形画像情報取得システムの外観図である。 図1に示す3次元画像情報取得システムにおいて、各カメラD〜Dが受光するレーザ光について説明する図である。 図1に示す3次元画像情報取得システムの制御装置について説明する概略ブロック図である。 図1に示す3次元画像情報取得システムのカメラD〜Dについて説明する図で、カメラDについて代表して示す概略ブロック図である。 図1に示す3次元形画像情報取得システムにおいて用いられるマイクロミラーのON状態とOFF状態におけるレーザ光の反射を説明する図である。 (a)〜(c)は、図1に示す3次元形画像情報取得システムにおいて用いられるマイクロミラーの制御パターンを説明する図である。 図1に示す3次元形画像情報取得システムのコンピュータの構成を示すブロック図である。 図1に示す3次元形画像情報取得システムにおいて生成されるPN符号化変調信号の一例を示す図である。 (a)及び(b)は、図1に示す3次元形画像情報取得システムにおいて3次元位置情報を求める方法を説明する説明図である。 (a)〜(d)は、図1に示す3次元形画像情報取得システムにて生成される各種トリガ信号のタイミングチャートである。
符号の説明
10 3次元形画像情報取得システム
14 制御装置
16 コンピュータ
20 レーザ光出射ユニット
22 レーザダイオード
24 レーザドライバ
28 光学レンズ
30 光学ユニット
31 バンドパスフィルタ
32 光学レンズ
33 プリズム
34 マイクロミラーアレイ空間変調素子
35 マイクロミラー制御器
36 光学レンズ
37 ミラー
38 光電変換器
41 発振器
42 パワースプリッタ
43 増幅器
44 移相器
45 増幅器
46 パワースプリッタ
47 ミキサ
48 RFスプリッタ
49 測定データバス
50 データ処理ユニット
51 システム制御器
54 A/D変換器
60 CPU60
62 メモリ
64 データ処理部
66 信号変換部
68 距離情報算出部
70 3次元位置情報算出部
72 反射率算出部
74 重み付け係数設定部
76 3次元画像情報生成部

Claims (4)

  1. それぞれ異なる位置から出射した複数のレーザ光を測定対象物に照射し、測定対象物で反射した各レーザ光の反射光を受光することにより測定対象物の3次元画像情報を取得する3次元画像情報取得システムであって、
    振幅変調信号に従って時間変調したレーザ光を、測定対象物に向けてそれぞれ同時に照射する、それぞれ異なる位置に配置された複数のレーザ光出射部と、
    測定対象物で反射した複数のレーザ光を受光して、受光した複数のレーザ光に応じた電気信号をそれぞれ出力する複数の光電変換器と、
    各光電変換器それぞれに対応して設けられた、平面上に配列された複数のマイクロミラーを有する素子であり、これらのマイクロミラーのうち選択されたマイクロミラーの反射面を所定の向きに制御してON状態にすることにより、このON状態のマイクロミラーで反射した、測定対象物からの複数のレーザ光を、対応する各光電変換器の受光面それぞれに導く、それぞれ異なる位置に配置されたマイクロミラーアレイ空間変調素子と、
    各光電変換器から出力された電気信号それぞれについて、各光電変換器の受光面が受光した複数のレーザ光それぞれに応じた電気信号成分を識別する電気信号成分識別部と、
    前記電気信号成分識別部において識別された各電気信号成分それぞれにおける、前記振幅変調信号に対する位相ずれ情報を取得するとともに、各電気信号成分それぞれの位相ずれ情報と、各レーザ光それぞれの出射位置の情報と、各マイクロミラーアレイ空間変調素子の配置位置の情報と、各マイクロミラーアレイ空間変調素子における前記ON状態のマイクロミラーの配列位置の情報とを用いて、各レーザ光に対応する電気信号成分それぞれについて、測定対象物の3次元位置情報を求める位置情報算出部と、
    各レーザ光に対応する電気信号成分それぞれについて求められた、複数の前記測定対象物の3次元位置情報に基づき、前記測定対象物の3次元画像情報を作成する3次元画像情報作成部とを有する3次元画像情報取得システム。
  2. 前記複数のレーザ光出射部から同時に出射される複数のレーザ光それぞれは、前記振幅変調信号により時間変調されるとともに、さらに各レーザ光毎に識別可能な符号化変調信号で時間変調され、
    前記電気信号成分識別部は、前記電気信号に含まれる符号化変調信号の情報を利用して、複数のレーザ光それぞれに応じた電気信号成分を識別する請求項1に記載の3次元画像情報取得システム。
  3. 前記マイクロミラーアレイ空間変調素子は、ON状態のマイクロミラーが全マイクロミラーの50%以上を占める、マイクロミラーの制御パターンが順次切り換えられ、この制御パターンに応じて空間変調されたレーザ光を前記光電変換器の受光面に導く請求項1または2に記載の3次元画像情報取得システム。
  4. 順次切り換えられる前記制御パターンは、互いに直交性を有する制御パターンである請求項3に記載の3次元画像情報取得システム。
JP2005073032A 2005-03-15 2005-03-15 3次元画像情報取得システム Expired - Fee Related JP4401989B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005073032A JP4401989B2 (ja) 2005-03-15 2005-03-15 3次元画像情報取得システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005073032A JP4401989B2 (ja) 2005-03-15 2005-03-15 3次元画像情報取得システム

Publications (2)

Publication Number Publication Date
JP2006258465A true JP2006258465A (ja) 2006-09-28
JP4401989B2 JP4401989B2 (ja) 2010-01-20

Family

ID=37097911

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005073032A Expired - Fee Related JP4401989B2 (ja) 2005-03-15 2005-03-15 3次元画像情報取得システム

Country Status (1)

Country Link
JP (1) JP4401989B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013148522A1 (en) * 2012-03-24 2013-10-03 Laser Projection Technologies Lasergrammetry system and methods
WO2013175596A1 (ja) * 2012-05-23 2013-11-28 パイオニア株式会社 電力伝送システム及び方法、送電装置並びに受電装置
US9879983B2 (en) 2013-08-06 2018-01-30 Faro Technologies, Inc. Virtual laser projection system and method
WO2020159434A1 (en) * 2019-02-01 2020-08-06 Mit Semiconductor Pte Ltd System and method of object inspection using multispectral 3d laser scanning
JP2021518562A (ja) * 2018-03-15 2021-08-02 メトリオ センサーズ アイエヌシー. 撮像lidarシステムの性能を改善するためのシステム、装置、及び方法
WO2021162815A1 (en) * 2020-02-15 2021-08-19 Hewlett-Packard Development Company, L.P. Scanning of objects
CN116659381A (zh) * 2023-05-29 2023-08-29 惠州市施莱格科技有限公司 一种测量光栅及其该测量光栅的测量控制方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7257751B2 (ja) 2018-07-27 2023-04-14 京セラ株式会社 電磁波検出装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013148522A1 (en) * 2012-03-24 2013-10-03 Laser Projection Technologies Lasergrammetry system and methods
WO2013175596A1 (ja) * 2012-05-23 2013-11-28 パイオニア株式会社 電力伝送システム及び方法、送電装置並びに受電装置
US9620964B2 (en) 2012-05-23 2017-04-11 Pioneer Corporation Power transmission system and method, power transmitting apparatus and power receiving apparatus
US9879983B2 (en) 2013-08-06 2018-01-30 Faro Technologies, Inc. Virtual laser projection system and method
JP2021518562A (ja) * 2018-03-15 2021-08-02 メトリオ センサーズ アイエヌシー. 撮像lidarシステムの性能を改善するためのシステム、装置、及び方法
WO2020159434A1 (en) * 2019-02-01 2020-08-06 Mit Semiconductor Pte Ltd System and method of object inspection using multispectral 3d laser scanning
CN113474618A (zh) * 2019-02-01 2021-10-01 砺铸智能装备私人有限公司 使用多光谱3d激光扫描的对象检查的系统和方法
CN113474618B (zh) * 2019-02-01 2024-03-15 砺铸智能设备(天津)有限公司 使用多光谱3d激光扫描的对象检查的系统和方法
US11953312B2 (en) 2019-02-01 2024-04-09 Mit Semiconductor (Tian Jin) Co., Ltd System and method of object inspection using multispectral 3D laser scanning
WO2021162815A1 (en) * 2020-02-15 2021-08-19 Hewlett-Packard Development Company, L.P. Scanning of objects
CN116659381A (zh) * 2023-05-29 2023-08-29 惠州市施莱格科技有限公司 一种测量光栅及其该测量光栅的测量控制方法
CN116659381B (zh) * 2023-05-29 2024-02-02 惠州市施莱格科技有限公司 一种测量光栅及其该测量光栅的测量控制方法

Also Published As

Publication number Publication date
JP4401989B2 (ja) 2010-01-20

Similar Documents

Publication Publication Date Title
JP4897430B2 (ja) 画像情報取得装置
JP4401989B2 (ja) 3次元画像情報取得システム
US10473768B2 (en) Lidar system
JP6817387B2 (ja) Ladarシステム及び方法
JP4401988B2 (ja) 3次元画像情報取得装置
US9267787B2 (en) Depth scanning with multiple emitters
JP6852416B2 (ja) 距離測定装置、移動体、ロボット、装置及び3次元計測方法
US7701592B2 (en) Method and apparatus for combining a targetless optical measurement function and optical projection of information
US9170097B2 (en) Hybrid system
US6741082B2 (en) Distance information obtaining apparatus and distance information obtaining method
US11054524B2 (en) Optimizing a lidar system using sub-sweep sampling
KR101802894B1 (ko) Tof 및 구조광 방식이 융합된 3차원 영상 획득 시스템
CN111448474A (zh) 全波形多脉冲光学测距仪仪器
JP4392833B2 (ja) 3次元画像情報取得装置
JP4346568B2 (ja) 3次元画像情報取得装置
CN106791781B (zh) 一种连续波相位测量式单像素三维成像系统及方法
JP4488930B2 (ja) レーザ計測装置
JP2006250906A (ja) 3次元ハードコピー装置
KR101866764B1 (ko) 통합픽셀로 구성된 거리영상센서
CN112213730B (zh) 三维测距方法和装置
JP2004053532A (ja) 光学的形状測定装置
JP6653052B2 (ja) レーザー測距装置およびレーザー測距方法
JP3668466B2 (ja) 実時間レンジファインダ
JP3029004B2 (ja) 立体ビジョンカメラ
JPH08178632A (ja) 表面形状測定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070329

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080916

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20081003

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20081003

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090526

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091027

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091028

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131106

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141106

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees