JP2006242801A - ３次元画像情報取得装置 - Google Patents
３次元画像情報取得装置 Download PDFInfo
- Publication number
- JP2006242801A JP2006242801A JP2005060192A JP2005060192A JP2006242801A JP 2006242801 A JP2006242801 A JP 2006242801A JP 2005060192 A JP2005060192 A JP 2005060192A JP 2005060192 A JP2005060192 A JP 2005060192A JP 2006242801 A JP2006242801 A JP 2006242801A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- laser beam
- information
- micromirror
- modulation signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】レーザ光を測定対象物に照射し測定対象物からの反射光を受光することにより測定対象物の３次元画像情報を取得する装置であって、測定対象物までの絶対的な距離とともに３次元画像を高速に取得する。
【解決手段】３次元画像情報取得装置は、時間変調レーザ光を照射するレーザ光出射部と、測定対象物からの反射光を受光する光電変換器と、複数のマイクロミラーを有し、選択されたマイクロミラーの反射面を制御してレーザ光を光電変換器に導く空間変調素子と、光電変換器で受光されたレーザ光の位相ずれ情報を含む信号情報を取得するデータ処理部と、を有し、マイクロミラーのＯＮ状態の制御パターンを固定した状態で、レーザ光の変調周波数を変更して計測することにより、測定対象物までの距離を求める第１の計測モードと、マイクロミラーのＯＮ状態の制御パターンを順次切り換えつつ所定の変調周波数のレーザ光を用いて計測する第２の計測モードと、を備える。
【選択図】図９
【解決手段】３次元画像情報取得装置は、時間変調レーザ光を照射するレーザ光出射部と、測定対象物からの反射光を受光する光電変換器と、複数のマイクロミラーを有し、選択されたマイクロミラーの反射面を制御してレーザ光を光電変換器に導く空間変調素子と、光電変換器で受光されたレーザ光の位相ずれ情報を含む信号情報を取得するデータ処理部と、を有し、マイクロミラーのＯＮ状態の制御パターンを固定した状態で、レーザ光の変調周波数を変更して計測することにより、測定対象物までの距離を求める第１の計測モードと、マイクロミラーのＯＮ状態の制御パターンを順次切り換えつつ所定の変調周波数のレーザ光を用いて計測する第２の計測モードと、を備える。
【選択図】図９
Description
本発明は、レーザ光を測定対象物に照射し測定対象物からの反射光を受光することにより測定対象物の３次元画像情報を取得する３次元画像情報取得装置であって、例えばマシンビジョンシステム（産業用画像検査装置）や測定対象物に当たって戻ってきたレーザ光の情報から測定対象物の状態を知るレーザレーダ等の技術分野に好適に用いることのできる装置に関する。
近年、産業用ロボットや工作機械における作業の自動化において、作業対象とする対象物の３次元位置情報を利用して正確な作業を行うことが望まれている。
対象物の３次元位置情報を取得するには、種々の方法が知られている。
複数のカメラを搭載したシステムでは撮影画像を用いて対象物の位置情報を取得し、また複数の距離センサを用いたシステムでは対象物の距離情報を距離センサから取得する。また、カメラと距離センサを組み合わせたシステムでは対象物の撮影画像と距離情報を取得して対象物の３次元位置情報を取得する。
また、軍事、保安用レーザレーダとして、また火星探査ロボットとして、対象物の３次元位置情報を取得することが望まれている。
対象物の３次元位置情報を取得するには、種々の方法が知られている。
複数のカメラを搭載したシステムでは撮影画像を用いて対象物の位置情報を取得し、また複数の距離センサを用いたシステムでは対象物の距離情報を距離センサから取得する。また、カメラと距離センサを組み合わせたシステムでは対象物の撮影画像と距離情報を取得して対象物の３次元位置情報を取得する。
また、軍事、保安用レーザレーダとして、また火星探査ロボットとして、対象物の３次元位置情報を取得することが望まれている。
例えば、複数のカメラを搭載したシステムでは、複数のカメラで異なる方向から撮影した対象物の撮影画像から対象物の３次元画像を取得する方法が知られている。（非特許文献１）。
また、レーザ光をポリゴンミラーやガルバノミラーに反射させて対象物上で２次元的に走査し、対象物から反射されてくるレーザ光を受光することによって対象物の位置情報を知り、これと別途三角測量法やパルスエコー法を用いて求めた距離情報とともに対象物の３次元位置情報を取得する方法が知られている（非特許文献２）。
また、レーザ光を対象物上にスリット投影して、対象物に投影されたスリット状のレーザ光の変形状態を用いて対象物の３次元形状を知る方法が知られている（非特許文献３）。
また、レーザ光をポリゴンミラーやガルバノミラーに反射させて対象物上で２次元的に走査し、対象物から反射されてくるレーザ光を受光することによって対象物の位置情報を知り、これと別途三角測量法やパルスエコー法を用いて求めた距離情報とともに対象物の３次元位置情報を取得する方法が知られている（非特許文献２）。
また、レーザ光を対象物上にスリット投影して、対象物に投影されたスリット状のレーザ光の変形状態を用いて対象物の３次元形状を知る方法が知られている（非特許文献３）。
平成１０年度補正予算 煽動的コンテンツ市場環境整備事業、「多カメラ同時撮影による非制止物体の３次元モデルデータ採取装置」、２００５年２月１８日検索、インターネット、＜URL:http://www.dcaj.org/bigbang/mmca/works/04/04_050.html＞
関本清英他４名、「三次元レーザレーダの開発」、石川島播磨技法第４３巻第４号 平成１５年７月号、２００５年２月１８日検索、インターネット、＜URL: http://www.ihi.co.jp/ihi/technology/gihou/image/43-4-2.pdf＞
「３次元モデリング表示技術」、大阪府立産業技術総合研究所、２００５年２月１８日検索、インターネット、＜URL:http://www.tri.pref.osaka.jp/group/sense/oldfile/3d/3d3.htm＞
上記非特許文献１では、必要に応じて複数の撮影画像に基づいて３次元画像を取得して仮想的な３次元画像を作成することができる。また、人の体型を計測対象物として人の体型の３次元画像を作成することができる。しかし、３次元画像を取得する際、システム使用者が複数のカメラで撮影された撮影画像を位置合わせするための基準点を別途定める必要があり、自動化するのが困難である。
また非特許文献２では、３次元位置情報を所望の分解能で取得する際、ポリゴンミラーやガルバノミラーを回転させて反射させレーザ光の光束を絞って対象物上で走査させる際、光束の大きいレーザ光を反射する大型のポリゴンミラーやガルバノミラーを高速に回転させて３次元位置情報を取得するのには限界がある。
また、非特許文献３では、３次元形状を求めることはできるが、対象物の距離情報を得て３次元位置情報を取得するには、対象物上に予め距離情報を得るための参照点を設定しなければならず、自動化するのが困難である。
また非特許文献２では、３次元位置情報を所望の分解能で取得する際、ポリゴンミラーやガルバノミラーを回転させて反射させレーザ光の光束を絞って対象物上で走査させる際、光束の大きいレーザ光を反射する大型のポリゴンミラーやガルバノミラーを高速に回転させて３次元位置情報を取得するのには限界がある。
また、非特許文献３では、３次元形状を求めることはできるが、対象物の距離情報を得て３次元位置情報を取得するには、対象物上に予め距離情報を得るための参照点を設定しなければならず、自動化するのが困難である。
そこで、本発明は、レーザ光を測定対象物に照射し測定対象物からの反射光を受光することにより測定対象物の３次元画像情報を自動的に取得する装置であって、従来のシステムとは異なる方法を用いて、測定対象物までの絶対的な距離とともに３次元画像を高速に取得する３次元画像情報取得装置を提供することを目的とする。
上記目的を達成するために、本発明は、レーザ光を測定対象物に照射し測定対象物からの反射光を受光することにより測定対象物の３次元画像情報を取得する３次元画像情報取得装置であって、レーザ光の光強度を振幅変調信号に従って時間変調して測定対象物に照射するレーザ光出射部と、測定対象物で反射したレーザ光を受光して電気信号に変換する光電変換器と、測定対象物と前記光電変換器の受光面との間のレーザ光の光路上に設けられ、平面上に配列された複数のマイクロミラーを有する素子であり、これらのマイクロミラーのうち選択されたマイクロミラーの反射面を所定の向きに制御してＯＮ状態にすることにより、このＯＮ状態のマイクロミラーで反射した測定対象物からのレーザ光の反射光を前記光電変換器の受光面に導くマイクロミラーアレイ空間変調素子と、前記ＯＮ状態のマイクロミラーで反射され前記光電変換器で受光されたレーザ光の電気信号における、前記振幅変調信号に対する位相ずれ情報を含む信号情報を取得するデータ処理部と、を有し、
前記レーザ光出射部と、前記マイクロミラーアレイ空間変調素子と、前記データ処理部とを制御することによって、前記マイクロミラーのＯＮ状態の制御パターンを固定した状態で、前記振幅変調信号の周波数を変更し、前記データ処理部において取得される各周波数毎の前記信号情報を用いて測定対象物上の所定の位置までの距離を求める第１の計測モードと、前記レーザ光出射部と、前記マイクロミラー空間変調素子と、前記データ処理部とを制御することによって、前記マイクロミラーのＯＮ状態の制御パターンを順次切り換え、この切り換えの度に、所定の周波数の前記振幅変調信号を用いてレーザ光の光強度を時間変調し、前記データ処理部において、取得した前記信号情報から前記位相ずれ情報を求め、この位相ずれ情報と前記ＯＮ状態のマイクロミラーの位置情報を、前記第１の計測モードで求められた前記距離とともに用いて測定対象物の３次元位置情報を求める第２の計測モードと、を備えることを特徴とする３次元画像情報取得装置を提供する。
前記レーザ光出射部と、前記マイクロミラーアレイ空間変調素子と、前記データ処理部とを制御することによって、前記マイクロミラーのＯＮ状態の制御パターンを固定した状態で、前記振幅変調信号の周波数を変更し、前記データ処理部において取得される各周波数毎の前記信号情報を用いて測定対象物上の所定の位置までの距離を求める第１の計測モードと、前記レーザ光出射部と、前記マイクロミラー空間変調素子と、前記データ処理部とを制御することによって、前記マイクロミラーのＯＮ状態の制御パターンを順次切り換え、この切り換えの度に、所定の周波数の前記振幅変調信号を用いてレーザ光の光強度を時間変調し、前記データ処理部において、取得した前記信号情報から前記位相ずれ情報を求め、この位相ずれ情報と前記ＯＮ状態のマイクロミラーの位置情報を、前記第１の計測モードで求められた前記距離とともに用いて測定対象物の３次元位置情報を求める第２の計測モードと、を備えることを特徴とする３次元画像情報取得装置を提供する。
その際、前記第１の計測モードでは、前記振幅変調信号の周波数を所定の幅で逐次変更し、この変更のたびに前記マイクロミラーをすべてＯＮ状態として前記信号情報を取得し、前記振幅変調信号の周波数毎の前記信号情報を時間領域の波形に変換してこの波形のピーク位置を求め、このピーク位置から測定対象物までの距離を求めることが好ましい。
又、前記第２の計測モードでは、前記第１の計測モードで用いる前記振幅変調信号の周波数のうち最大周波数を前記振幅変調信号の周波数として用いることが好ましい。
さらに、前記レーザ光出射部は複数のレーザ光を出射し、複数のレーザ光は、前記振幅変調信号により時間変調されるとともに、さらに各レーザ光毎に識別可能な符号化変調信号で時間変調され、前記データ処理部は、前記電気信号に含まれる符号化変調信号の情報を利用して、前記電気信号に変換されたレーザ光を識別することが好ましい。
前記データ処理部は、例えば、前記位相ずれ情報及び前記ＯＮ状態のマイクロミラーの位置情報とともに、前記レーザ光の前記レーザ光出射部における出射位置の情報とを用いて測定対象物の３次元位置情報を求める。
前記データ処理部は、前記第２の計測モードにおいて、前記振幅変調信号及び前記振幅変調信号を所定量位相シフトさせた位相シフト変調信号を参照信号として、前記電気信号から、前記位相ずれ情報とともに測定対象物の表面における反射率の情報を求め、この反射率の情報と前記３次元位置情報とを３次元画像情報とすることが好ましい。
又、前記レーザ光出射部は、波長の異なる複数のレーザ光を出射し、これらのレーザ光毎に前記測定対象物における表面の反射率の情報を求めることにより、測定対象物のカラー画像情報を取得することが好ましい。
なお、前記第２の計測モードにおいて、前記マイクロミラーアレイ空間変調素子は、ＯＮ状態のマイクロミラーが全マイクロミラーの５０％以上を占めるマイクロミラーの制御パターンに順次切り換えられ、この制御パターンに応じて空間変調されたレーザ光を前記光電変換器の受光面に導くことが好ましい。その際、順次切り換えられる前記制御パターンは、互いに直交性を有する制御パターンであることが好ましい。
本発明では、第１の計測モードにおいて複数の周波数を用いてレーザ光を変調して測定対象物までの距離を求め、第２の計測モードにおいてマイクロミラーの各位置における反射位置までの距離を、第１の計測モードで計測された距離を用いて求めることにより、測定対象物の各位置における３次元位置情報を正確に求めることができる。
特に、第１の計測モードでは、マイクロミラーをすべてＯＮ状態に固定して行うので、マイクロミラーの切り換え時間が不要となり短時間に計測を行うことができる。
特に、第１の計測モードでは、マイクロミラーをすべてＯＮ状態に固定して行うので、マイクロミラーの切り換え時間が不要となり短時間に計測を行うことができる。
以下、本発明の３次元画像情報取得装置について、添付の図面に示される好適実施形態を基に詳細に説明する。
図１は、本発明の３次元画像情報取得装置の一実施形態である３次元形画像情報取得装置（以降、装置という）１０の外観図である。
装置１０は、測定対象物Ｔに照射したレーザ光のうち測定対象物Ｔからの反射光を受光することにより取得される測定対象物Ｔの信号情報を用いて、測定対象物Ｔまでの距離と、測定対象物Ｔの３次元位置情報と、測定対象物Ｔの表面における反射率とを求め、これにより３次元画像情報を取得する装置である。３次元画像情報取得装置１０は、複数のレーザ光をそれぞれの出射位置から出射させて測定対象物Ｔの異なる領域に照射し、測定対象物Ｔの表面で反射したレーザ光を受光する。
装置１０は、測定対象物Ｔに照射したレーザ光のうち測定対象物Ｔからの反射光を受光することにより取得される測定対象物Ｔの信号情報を用いて、測定対象物Ｔまでの距離と、測定対象物Ｔの３次元位置情報と、測定対象物Ｔの表面における反射率とを求め、これにより３次元画像情報を取得する装置である。３次元画像情報取得装置１０は、複数のレーザ光をそれぞれの出射位置から出射させて測定対象物Ｔの異なる領域に照射し、測定対象物Ｔの表面で反射したレーザ光を受光する。
装置１０は、第１の計測モードと第２の計測モードで計測を行う。
第１の計測モードは、レーザ光を複数の周波数に逐次切り換えて光強度の時間変調を行い、このときの測定対象物Ｔからの反射光を受光することにより、測定対象物Ｔの信号情報から測定対象物Ｔのレーザ光照射領域の中心位置までの距離を求めるモードである。第２の計測モードは、レーザ光の時間変調に用いる周波数を固定して３次元位置情報を求めるモードである。この３次元位置情報は、第１の計測モードにて求めた距離を用いて求める。
第１の計測モード及び第２の計測モードは後述する。
第１の計測モードは、レーザ光を複数の周波数に逐次切り換えて光強度の時間変調を行い、このときの測定対象物Ｔからの反射光を受光することにより、測定対象物Ｔの信号情報から測定対象物Ｔのレーザ光照射領域の中心位置までの距離を求めるモードである。第２の計測モードは、レーザ光の時間変調に用いる周波数を固定して３次元位置情報を求めるモードである。この３次元位置情報は、第１の計測モードにて求めた距離を用いて求める。
第１の計測モード及び第２の計測モードは後述する。
装置１０は、レーザ光を測定対象物Ｔに照射し測定対象物Ｔからの反射光を受光することにより出力される電気信号から測定対象物Ｔの位相ずれ情報や３次元画像情報を含んだ信号情報を出力する本体部１２と、本体部１２から出力された信号情報を用いて測定対象物Ｔまでの距離や測定対象物Ｔの３次元画像情報を取得するコンピュータ１４と、を有する。
コンピュータ１４は、本体部１２から出力される信号情報を用いてデータ処理を行う他、本体部１２の各ユニットの駆動や駆動のタイミングを制御する制御部分でもある。
コンピュータ１４は、本体部１２から出力される信号情報を用いてデータ処理を行う他、本体部１２の各ユニットの駆動や駆動のタイミングを制御する制御部分でもある。
図２は、本体部１２の装置構成を示したブロック図である。
本体部１２は、レーザ光出射ユニット２０と、光学ユニット３０と、レーダ回路ユニット４０と、制御回路ユニット５０とを有する。制御回路ユニット５０は、コンピュータ１４と接続されている。
本体部１２は、レーザ光出射ユニット２０と、光学ユニット３０と、レーダ回路ユニット４０と、制御回路ユニット５０とを有する。制御回路ユニット５０は、コンピュータ１４と接続されている。
レーザ光出射ユニット２０は、ｎ個(ｎは自然数)のレーザ光を出射する部分であり、図２に示すように、ｎ個のレーザダイオード２２（２２ａ〜２２ｈ）と、レーザダイオード２２ａ〜２２ｈを駆動するレーザドライバ２４（２４ａ〜２４ｈ）と、レーザドライバ２４のそれぞれに振幅変調信号を分配するパワースプリッタ２６と、レーザダイオード２２ａ〜２２ｈのそれぞれに対応して設けられた光学レンズ２８ａ〜２８ｈとを有する。
レーザドライバ２４ａ〜２４ｈには、後述するＰＮ符号化変調信号が供給され、レーザダイオード２４ａ〜２４ｈの出射のＯＮ／ＯＦＦがＰＮ符号化変調信号により制御される。また、パワースプリッタ２６に供給される振幅変調信号（以降、ＲＦ変調信号という）は、所定の周波数（５０ＭＨｚ〜１０ＧＨｚ）の信号で、レーザダイオード２４ａ〜２４ｈから出射されるレーザ光の光強度を時間変調するために用いられる。ここで周波数は、第１の計測モードでは、一定の周波数の幅Δｆで最大の周波数ｆ1から順にｆ2（＝ｆ1−Δf）,ｆ3（＝ｆ1−２・Δf）, ｆ4（＝ｆ1−３・Δf）・・・と低下する一連の周波数を用い、各周波数のＲＦ変調信号が順次パワースプリッタ２６に供給される。例えば、周波数ｆ1＝５００ＭＨｚに対してΔｆ＝２５ＭＨである。一方、第２の計測モードでは、周波数は、上記一連の周波数のうち最大周波数ｆ1が用いられる。最大周波数ｆ1を用いることで、精度の高く３次元位置情報を取得することができる。
レーザ光出射ユニット２０は、ｎ個のレーザダイオードを有するが、本発明においては、レーザダイオードの個数ｎに制限はなく、複数であってもよいし、１であってもよい。
また、本実施形態ではｎ個のレーザダイオードのレーザ光は測定対象物Ｔの異なる領域の表面を照射する、同一波長の照射光であるが、同一の領域を照射する波長の異なるレーザ光であってもよい。この場合、例えばＲ（赤）、Ｇ（緑）及びＢ（青）の３原色の可視レーザ光を同一の領域に照射することによって、後述するように測定対象物Ｔの表面における３原色の反射率を得ることができ、３次元カラー画像情報として取得することができる。
また、本実施形態ではｎ個のレーザダイオードのレーザ光は測定対象物Ｔの異なる領域の表面を照射する、同一波長の照射光であるが、同一の領域を照射する波長の異なるレーザ光であってもよい。この場合、例えばＲ（赤）、Ｇ（緑）及びＢ（青）の３原色の可視レーザ光を同一の領域に照射することによって、後述するように測定対象物Ｔの表面における３原色の反射率を得ることができ、３次元カラー画像情報として取得することができる。
光学ユニット３０は、測定対象物Ｔの表面で反射して到来したレーザ光を受光する部分で、図２に示すようにレーザ光の光路の上流側から順に、バンドパスフィルタ３１、光学レンズ３２、プリズム３３、マイクロミラーアレイ空間変調素子（以降、空間変調素子という）３４、光学レンズ３６、ミラー３７及び光電変換器３８が配置されている。空間変調素子３４は空間変調素子制御器３５と接続されている。
バンドパスフィルタ３１は、レーザ光の波長帯域の光を透過させて、それ以外の波長帯域の光を遮断する狭帯域フィルタで、不必要な外光を遮断し、測定対象物Ｔからの反射光のＳＮ比を向上させる。
プリズム３３は、後述する空間変調素子３４とともに用いて、空間変調素子３４の各マイクロミラーで反射したレーザ光を、斜行面３３ａで透過あるいは全反射させる部分である。
具体的には、プリズム３３は、空間変調素子３４のマイクロミラーのうち、所定の向きに反射面の向いたマイクロミラー（ＯＮ状態のマイクロミラー）にて反射されたレーザ光のみプリズム３３の斜行面３３ａを透過させ、所定の向きに反射面が向かないマイクロミラー（ＯＦＦ状態のマイクロミラー）にて反射されたレーザ光を斜行面３３ａで全反射させるように配置される。
プリズム３３は、後述する空間変調素子３４とともに用いて、空間変調素子３４の各マイクロミラーで反射したレーザ光を、斜行面３３ａで透過あるいは全反射させる部分である。
具体的には、プリズム３３は、空間変調素子３４のマイクロミラーのうち、所定の向きに反射面の向いたマイクロミラー（ＯＮ状態のマイクロミラー）にて反射されたレーザ光のみプリズム３３の斜行面３３ａを透過させ、所定の向きに反射面が向かないマイクロミラー（ＯＦＦ状態のマイクロミラー）にて反射されたレーザ光を斜行面３３ａで全反射させるように配置される。
空間変調素子３４は、平面上に配列された複数のマイクロミラー、例えば一辺が１２μｍの矩形状のミラーを有する素子であり、これらのマイクロミラーのうち選択されたマイクロミラーの反射面を所定の向きに制御してＯＮ状態にすることにより、このＯＮ状態のマイクロミラーで反射した測定対象物Ｔから到来したレーザ光を光電変換器３８の受光面に導くように配置されている。
図３は、ＯＮ状態及びＯＦＦ状態のマイクロミラーにおけるレーザ光の反射を説明する図である。図３では、４個×４個のマイクロミラーアレイを用いて説明している。
ＯＮ状態にあるマイクロミラーＡの反射面で反射したレーザ光はレンズ３６を介して光電変換器３８に導かれ、ＯＦＦ状態にあるマイクロミラーＢの反射面で反射したレーザ光は光電変換器３８と異なる方向に反射する。このように、ＯＮ状態にあるマイクロミラーで反射されたレーザ光は光電変換器３８にて受光される。
ＯＮ状態にあるマイクロミラーＡの反射面で反射したレーザ光はレンズ３６を介して光電変換器３８に導かれ、ＯＦＦ状態にあるマイクロミラーＢの反射面で反射したレーザ光は光電変換器３８と異なる方向に反射する。このように、ＯＮ状態にあるマイクロミラーで反射されたレーザ光は光電変換器３８にて受光される。
空間変調素子３４は、例えばテキサス・インスツルメンツ社製のデジタルマイクロミラーデバイス（商標）が挙げられる。デジタルマイクロミラーデバイスは、例えば１０２４×７６８個のマイクロミラーの配列面の下部にＳＲＡＭ（Static Ram)を設け、このＳＲＡＭを利用して生成される静電気引力を用いて、マイクロミラーをそれぞれ所定の向き（＋１２度又はマイナス１２度）に回転させる素子である。
空間変調素子３４は、各マイクロミラーの状態をＯＮ状態／ＯＦＦ状態に切り換えるためのマイクロミラー制御器３５と接続されている。第２の計測モードでは、マイクロミラー制御器３５の制御により、全マイクロミラーのうち半数以上がＯＮ状態となるマイクロミラーの異なる制御パターンに順次切り換えられる。一方、第１の計測モードでは、全マイクロミラーがＯＮ状態に固定されるように制御される。
空間変調素子３４は、各マイクロミラーの状態をＯＮ状態／ＯＦＦ状態に切り換えるためのマイクロミラー制御器３５と接続されている。第２の計測モードでは、マイクロミラー制御器３５の制御により、全マイクロミラーのうち半数以上がＯＮ状態となるマイクロミラーの異なる制御パターンに順次切り換えられる。一方、第１の計測モードでは、全マイクロミラーがＯＮ状態に固定されるように制御される。
上述したように、第２の計測モードでは、空間変調素子３４のマイクロミラーの制御パターンが順次異なるパターンに切り換えられてレーザ光は空間変調され、この空間変調されたレーザ光が光電変換器３８の受光面に導かれるように構成されるが、このときのマイクロミラーの制御パターンは、マイクロミラーのＯＮ状態を１、ＯＦＦ状態を−１とすると、制御パターンは互いに直交性を有する制御パターンであるのが好ましい。例えばアダマール行列を用いて生成されるのが好ましい。
具体的に説明すると、制御パターンは、空間変調素子３４のＯＮ状態とするマイクロミラーの配置のパターンであり、この制御パターンは、アダマール行列の各行同士のテンソル積を利用して作成されたパターンである。
図４（ａ）は、６４個（＝８個×８個）のマイクロミラーアレイの空間変調素子３４について、マイクロミラーの反射面の側から見た制御パターンの一例を説明する図である。
マイクロミラーは、縦方向に８列、横方向に８列、矩形形状に配列されている。図４（ａ）中、灰色のマイクロミラーはＯＮ状態、白色のマイクロミラーはＯＦＦ状態を示している。
このような制御パターンは、ＯＮ状態のマイクロミラーが全マイクロミラーの５０％以上占める制御パターンである。制御パターンは、後述する制御回路ユニット５０にて作成される制御パターン信号で制御される。
図４（ａ）は、６４個（＝８個×８個）のマイクロミラーアレイの空間変調素子３４について、マイクロミラーの反射面の側から見た制御パターンの一例を説明する図である。
マイクロミラーは、縦方向に８列、横方向に８列、矩形形状に配列されている。図４（ａ）中、灰色のマイクロミラーはＯＮ状態、白色のマイクロミラーはＯＦＦ状態を示している。
このような制御パターンは、ＯＮ状態のマイクロミラーが全マイクロミラーの５０％以上占める制御パターンである。制御パターンは、後述する制御回路ユニット５０にて作成される制御パターン信号で制御される。
図４（ｂ）に示すように行列要素が１又は−１で構成される８行８列のアダマール行列のうち、各行の行列要素の組みを上から順番に０次、１次、２次、．．．．．、７次として横方向の１次元制御パターンとする。一方、図４（ｃ）に示すように８行８列のアダマール行列のうち、各行の行列要素の組みを上から順番に０次、１次、２次、．．．．．、７次とし縦方向の１次元制御パターンとする。そして、図４（ｂ）に示す横方向の１次元制御パターンから所望の次数のパターンを選択し、図４（ｃ）に示す縦方向の１次元制御パターンから所望の次数のパターンを選択する。
図４（ａ）では、横方向の１次元制御パターンは４次、縦方向の１次元制御パターンは６次が選択されている。
一方、空間変調素子３４において制御しようとするマイクロミラーの縦方向及び横方向の位置における、横方向の１次元制御パターン及び縦方向の１次元制御パターンの値（１又は−１）をそれぞれ参照し、縦方向の値と横方向の値の積が１になる場合、制御しようとするマイクロミラーはＯＮ状態とし、積が−１となる場合マイクロミラーはＯＦＦ状態に設定する。例えば、３行５列の位置にあるマイクロミラーＭの、横方向の１次元制御パターンの値は−１であり、縦方向の１次元制御パターンの値は−１であり、積は１である。このことから、マイクロミラーＭはＯＮ状態に設定される。こうしてＯＮ状態のマイクロミラーの数が全マイクロミラーの数の５０％以上となる制御パターンの制御パターン信号が作成される。
この場合、マイクロミラーの制御パターンは、横方向の１次元制御パタ−ン及び縦方向の１次元制御パターンを組み合わせて６４通り（＝８×８）作成でき、この６４個の異なる制御パターンを順次切り換えるように制御パターン信号が作成される。
このように第２の計測モードでは、制御パターンは、アダマール行列の選択された各行同士のテンソル積によって生成される。
一方、空間変調素子３４において制御しようとするマイクロミラーの縦方向及び横方向の位置における、横方向の１次元制御パターン及び縦方向の１次元制御パターンの値（１又は−１）をそれぞれ参照し、縦方向の値と横方向の値の積が１になる場合、制御しようとするマイクロミラーはＯＮ状態とし、積が−１となる場合マイクロミラーはＯＦＦ状態に設定する。例えば、３行５列の位置にあるマイクロミラーＭの、横方向の１次元制御パターンの値は−１であり、縦方向の１次元制御パターンの値は−１であり、積は１である。このことから、マイクロミラーＭはＯＮ状態に設定される。こうしてＯＮ状態のマイクロミラーの数が全マイクロミラーの数の５０％以上となる制御パターンの制御パターン信号が作成される。
この場合、マイクロミラーの制御パターンは、横方向の１次元制御パタ−ン及び縦方向の１次元制御パターンを組み合わせて６４通り（＝８×８）作成でき、この６４個の異なる制御パターンを順次切り換えるように制御パターン信号が作成される。
このように第２の計測モードでは、制御パターンは、アダマール行列の選択された各行同士のテンソル積によって生成される。
なお、６４個のマイクロミラーを１つずつＯＮ状態とし、他はＯＦＦ状態とすることによって、空間変調素子３４にて反射されるレーザ光を順次受光することもできる。しかし、１つのマイクロミラーで反射されて受光されるレーザ光は微弱であるため、後処理として行う増幅や検波等の処理により、微弱なレーザ光により生成された電気信号はノイズに埋もれ易い。しかし、上述したように、ＯＮ状態のマイクロミラーが全マイクロミラーの半数以上を占める上記制御パターンを用いることにより、後処理として行う増幅や検波等においてノイズに埋もれることは少なくなる、といった効果を呈する。
このように空間変調素子３４は、異なる制御パターンに順次切り替えながら測定対象物Ｔから到来するレーザ光を反射する。
このように空間変調素子３４は、異なる制御パターンに順次切り替えながら測定対象物Ｔから到来するレーザ光を反射する。
光学レンズ３６は、光電変換器３８の受光面にミラー３７を介してレーザ光を結像させるように構成される。
光電変換器３８は、受光したレーザ光を電気信号に変換する部分であり、光電子倍増管やアバランシェフォトダイオード等のデバイスが独立してｎ個設けられている部分である。これらのデバイスからそれぞれ電気信号が出力される。なお、光電変換器３８に設けられる上記デバイスの数ｎは特に限定されず、複数でもよく又１であってもよい。これらのデバイスは複数のマイクロミラーの異なる領域で反射されたレーザをそれぞれ別々に受光するようにデバイスを配置してもよい。こうすることによりＯＮ状態のマイクロミラーで反射されるレーザ光を別々に受光し、短時間に３次元画像情報を取得することができる。なお、上記デバイスは用いるレーザ光によって適するデバイスが異なり、例えば近赤外（８００〜１２００μｍ）のレーザ光にはアバランシェフォトダイオードが、可視帯域（４００μｍ〜８００μｍ）のレーザ光にはアバランシェフォトダイオード又は光電子倍増管が好適に用いられる。
光電変換器３８は、受光したレーザ光を電気信号に変換する部分であり、光電子倍増管やアバランシェフォトダイオード等のデバイスが独立してｎ個設けられている部分である。これらのデバイスからそれぞれ電気信号が出力される。なお、光電変換器３８に設けられる上記デバイスの数ｎは特に限定されず、複数でもよく又１であってもよい。これらのデバイスは複数のマイクロミラーの異なる領域で反射されたレーザをそれぞれ別々に受光するようにデバイスを配置してもよい。こうすることによりＯＮ状態のマイクロミラーで反射されるレーザ光を別々に受光し、短時間に３次元画像情報を取得することができる。なお、上記デバイスは用いるレーザ光によって適するデバイスが異なり、例えば近赤外（８００〜１２００μｍ）のレーザ光にはアバランシェフォトダイオードが、可視帯域（４００μｍ〜８００μｍ）のレーザ光にはアバランシェフォトダイオード又は光電子倍増管が好適に用いられる。
なお、光電変換器３８には、ＣＣＤ（Charged Coupled Device）撮像素子等の受光面を領域に分けて受光し、領域毎に信号を蓄積し、蓄積された信号を順次出力する撮像素子は用いられない。後述するように、レーザ光の時間変調に用いるＲＦ変調信号は５０ＭＨｚ〜１０ＧＨｚであるため、順次蓄積された信号を出力するＣＣＤ撮像素子では、このような高周波で変調する信号に対応して高速に駆動することができないからである。
レーダ回路ユニット４０は、レーザ光出射ユニット２０のパワースプリッタ２６にＲＦ変調信号を供給するとともに、光電変換器３８から出力された電気信号を、パワースプリッタ２６に供給されたＲＦ変調信号と同一の信号を参照信号（以降、ローカル信号という）として用いてミキシングし、ＲＦ変調信号で時間変調されたレーザ光の信号成分を中間周波数信号（ＩＦ信号）として取り出す部分である。
具体的には、レーダ回路ユニット４０は、発振器４１、パワースプリッタ４２、増幅器４３、移相器４４、増幅器４５、パワースプリッタ４６、８つのミキサ４７（４７ａ〜４７ｈ）及びミキサ４７ａ〜４７ｈのそれぞれに対応した増幅器４８（４８ａ〜４８ｈ）を有する。
具体的には、レーダ回路ユニット４０は、発振器４１、パワースプリッタ４２、増幅器４３、移相器４４、増幅器４５、パワースプリッタ４６、８つのミキサ４７（４７ａ〜４７ｈ）及びミキサ４７ａ〜４７ｈのそれぞれに対応した増幅器４８（４８ａ〜４８ｈ）を有する。
発振器４１は、発振周波数制御信号によって設定された発振周波数で信号を発振する部分である。発振した信号はレーザ光を時間変調するＲＦ変調信号として用いられる。例えば、５０ＭＨｚ〜１０ＧＨｚのマイクロ波〜ミリ波帯域の周波数で発振される。発振周波数は、第１の計測モードでは、周波数ｆ1，ｆ2，ｆ3，ｆ4・・・であり、第２の計測モードでは、周波数ｆ1である。これらの周波数でレーザ光は時間変調される。第１の計測モードにおいて、複数の周波数でレーザ光を時間変調するのは、異なる周波数でレーザ光を時間変調することにより、後述するように、装置１０から測定対象物Ｔのレーザ光の照射の中心位置までの絶対距離を求めるためである。一方、第２の計測モードにおいて、周波数ｆ1を用いてレーザ光を時間変調するのは、測定対象物Ｔの中心位置までの絶対距離を利用して３次元位置情報を求めるためである。
パワースプリッタ４２は、発振器４１にて発振した信号を分離する部分である。分離された一方の信号は増幅器４３を介してパワースプリッタ２６に供給され、ＲＦ変調信号として用いられる。他方の信号は移相器４４に供給される。
移相器４４は、ＲＦ変調信号を位相シフトさせることなく通過させ、また位相制御信号に応じて９０度位相シフトさせて位相シフト変調信号を生成し、これらの信号を、増幅器４５を介してパワースプリッタ４６に供給する部分である。
パワースプリッタ４６は、光電変換器３８の複数の光電子倍増管等のデバイスに対応して設けられたミキサ４７ａ〜４７ｈにＲＦ変調信号又は位相シフト変調信号を分配する部分である。
移相器４４は、ＲＦ変調信号を位相シフトさせることなく通過させ、また位相制御信号に応じて９０度位相シフトさせて位相シフト変調信号を生成し、これらの信号を、増幅器４５を介してパワースプリッタ４６に供給する部分である。
パワースプリッタ４６は、光電変換器３８の複数の光電子倍増管等のデバイスに対応して設けられたミキサ４７ａ〜４７ｈにＲＦ変調信号又は位相シフト変調信号を分配する部分である。
ミキサ４７は、供給されたＲＦ変調信号又は位相シフト変調信号をローカル信号として用いて、光電変換器３８から出力され増幅された電気信号と乗算（ミキシング）し、出射の際にＲＦ変調信号で時間変調されたレーザ光の情報を有する中間周波数信号（ＩＦ信号）と高次成分を含んだ信号を出力する部分である。電気信号の検波は、公知の方法で行われる。ＲＦ変調信号として周波数が異なる複数の信号が生成され、これらの信号はローカル信号として用いられる。また、各周波数のＲＦ変調信号において、移相器４４によりＲＦ変調信号の位相をシフトさせないローカル信号とＲＦ変調信号の位相を９０度シフトさせたローカル信号が生成され、ミキサ４７はこれらのローカル信号と電気信号のミキシング（乗算）を行う。
制御回路ユニット５０は、レーザ光出射ユニット２０、光学ユニット３０及びレーダ回路ユニット４０の駆動を制御する各種制御信号（発振周波数制御信号、位相制御信号、制御パターン信号、ＰＮ符号化変調信号）を生成し、所定のユニットに供給するとともに、レーダ回路ユニット４０から出力される信号を処理する部分である。
制御回路ユニット５０は、システム制御器５１、ローパスフィルタ５２、増幅器５３及びＡ／Ｄ変換器５４を有する。
制御回路ユニット５０は、システム制御器５１、ローパスフィルタ５２、増幅器５３及びＡ／Ｄ変換器５４を有する。
システム制御器５１は、コンピュータ１４からの指示に基づいて各種制御信号を生成する部分である。
ローパスフィルタ５２は、レーダ回路ユニット４０から出力された中間周波数信号（ＩＦ信号）と高次成分を含んだ信号をフィルタ処理して高次成分を除去し、時間変調されたレーザ光の信号情報のみを含んだ中間周波数信号とする部分である。中間周波数信号は、増幅器５３で増幅された後、Ａ／Ｄ変換器５４で中間周波数デジタル信号とされ、コンピュータ１４に供給される。
なお、レーダ回路ユニット４０から出力される信号は、光電変換器３８のｎ個の光電子倍増管毎に独立に出力され、それぞれ別々にフィルタ処理、増幅、Ａ／Ｄ変換されて、コンピュータ１４にパラレル信号として供給される。
ローパスフィルタ５２は、レーダ回路ユニット４０から出力された中間周波数信号（ＩＦ信号）と高次成分を含んだ信号をフィルタ処理して高次成分を除去し、時間変調されたレーザ光の信号情報のみを含んだ中間周波数信号とする部分である。中間周波数信号は、増幅器５３で増幅された後、Ａ／Ｄ変換器５４で中間周波数デジタル信号とされ、コンピュータ１４に供給される。
なお、レーダ回路ユニット４０から出力される信号は、光電変換器３８のｎ個の光電子倍増管毎に独立に出力され、それぞれ別々にフィルタ処理、増幅、Ａ／Ｄ変換されて、コンピュータ１４にパラレル信号として供給される。
コンピュータ１４は、図５に示すように、ＣＰＵ６０とメモリ６２と、さらに図示されないＲＯＭを有し、コンピュータソフトウェアを実行させることによりデータ処理部６４が機能的に構成される。コンピュータ１４はディスプレイ１６に接続されている。
ＣＰＵ６０は、本体部１２の各ユニットを駆動、制御する各種信号を制御回路ユニット５０に作成するように指示し、また後述するデータ処理部６４の各処理の演算を実質的に行う部分である。
ＣＰＵ６０は、本体部１２の各ユニットを駆動、制御する各種信号を制御回路ユニット５０に作成するように指示し、また後述するデータ処理部６４の各処理の演算を実質的に行う部分である。
データ処理部６４は、中間周波数デジタル信号から、測定対象物Ｔの中心位置の距離と３次元位置情報と測定対象物Ｔの表面の反射率を算出する部分である。データ処理部６４は、信号変換部６６と、距離情報算出部６８と、３次元位置情報算出部７０と、反射率算出部７２とを有する。
信号変換部６６は、中間周波数デジタル信号を、制御パターン信号及びＰＮ符号化変調信号を用いて変換する部分である。
制御パターン信号は、コンピュータ１４の指示に従って制御回路ユニット５０で作成される信号であるため、制御パターン信号は既知であり、この制御パターン信号を用いて信号変換される。
信号変換部６６は、中間周波数デジタル信号を、制御パターン信号及びＰＮ符号化変調信号を用いて変換する部分である。
制御パターン信号は、コンピュータ１４の指示に従って制御回路ユニット５０で作成される信号であるため、制御パターン信号は既知であり、この制御パターン信号を用いて信号変換される。
なお、制御パターン信号は、空間変調素子３４におけるマイクロミラーの制御に用いられ、第１の計測モードでは、全マイクロミラーがＯＮ状態に固定される。一方、第２の計測モードでは、空間変調素子３４において種々の制御パターンが用いられるが、この制御パターンの信号（制御パターン信号）は、図４（ａ）〜（ｃ）に示したようにアダマール行列の各行の成分同士のテンソル積を利用して作成される制御パターンを実現する信号である。このため、信号変換部６６では、既知である制御パターン信号を利用して、各制御パターンにて得られる中間周波数デジタル信号から、アダマール逆変換を行って各マイクロミラーにて反射されるレーザ光の情報を求めることができる。なお、アダマール逆変換を利用した信号変換処理については、本願出願人により既に出願されている（特願２００１−１８８３０１号参照）。
アダマール行列の各行同士は直交性を有する（各行同士の内積は０となる）ことから、アダマール行列の各行の成分同士のテンソル積にて得られる、制御パターンを表す合成行列も合成行列同士で互いに直交性を維持する。上記アダマール逆変換の処理は、上記合成行列の逆行列を用いて逆変換する処理であるが、この逆変換は、合成行列が直交性を有することから、規格化因子を除き上記合成行列を用いて行うアダマール変換と同様の処理内容となる。これにより、アダマール変換の処理を用いて、各マイクロミラー毎に反射されるレーザ光の情報を容易に分解することができる。
上記制御パターンはアダマール行列の行成分同士のテンソル積によって得られる合成行列によって表されるため、互いに直交性を有するものであるが、本発明においては、制御パターンは、上記合成行列によって生成される必要はなく、各マイクロミラー毎に反射されるレーザ光の情報に分解できる限りにおいて特に制限されない。
なお、アダマール逆変換にて求められる受光したレーザ光の情報は、複数のレーザダイオード２４から出射されるレーザ光が互いに重畳されている。このため、以下に示すようにレーザ光の出射の際に時間変調に用いたＰＮ符号化変調信号の自己相関性及び直交性を利用して各レーザ光に対応した中間周波数デジタル信号に分解する。ＰＮ符号化変調信号の自己相関性及び直交性については後述する。
アダマール行列の各行同士は直交性を有する（各行同士の内積は０となる）ことから、アダマール行列の各行の成分同士のテンソル積にて得られる、制御パターンを表す合成行列も合成行列同士で互いに直交性を維持する。上記アダマール逆変換の処理は、上記合成行列の逆行列を用いて逆変換する処理であるが、この逆変換は、合成行列が直交性を有することから、規格化因子を除き上記合成行列を用いて行うアダマール変換と同様の処理内容となる。これにより、アダマール変換の処理を用いて、各マイクロミラー毎に反射されるレーザ光の情報を容易に分解することができる。
上記制御パターンはアダマール行列の行成分同士のテンソル積によって得られる合成行列によって表されるため、互いに直交性を有するものであるが、本発明においては、制御パターンは、上記合成行列によって生成される必要はなく、各マイクロミラー毎に反射されるレーザ光の情報に分解できる限りにおいて特に制限されない。
なお、アダマール逆変換にて求められる受光したレーザ光の情報は、複数のレーザダイオード２４から出射されるレーザ光が互いに重畳されている。このため、以下に示すようにレーザ光の出射の際に時間変調に用いたＰＮ符号化変調信号の自己相関性及び直交性を利用して各レーザ光に対応した中間周波数デジタル信号に分解する。ＰＮ符号化変調信号の自己相関性及び直交性については後述する。
上述したようにレーザ光出射ユニット２０は、レーザダイオード２２ａ〜２２ｈを用いてレーザ光を出射するが、その際、ＰＮ符号化変調信号を用いてレーザ光の出射のＯＮ／ＯＦＦを制御し時間変調している。
図６は、ＰＮ符号化変調信号の一例を示す図である。図６では、ＰＮ符号化変調信号の１周期分が示されている。
ＰＮ符号化変調信号は値が０又は１からなる信号で、一定の時間間隔シフトすることによって相関関数の値が０又は−１／ｎ（ｎは後述する系列符号の長さ）となる。
ＰＮ符号化変調信号は、一例を挙げると以下のように作成される符号化系列データを用いて信号化することができる。
次数ｋ＝５、符号系列の長さｎ＝３１とし、係数ｈ1＝１，ｈ2＝１，ｈ3＝０，ｈ4＝１，ｈ5＝１とし、初期値ａ0＝１，ａ1＝１,ａ2＝０,ａ3＝１，ａ4＝０としたとき下記式（１）に示す漸化式で一意的にＰＮ系列符号Ｃ＝｛ａk｝(kは自然数)を求めることができる。
図６は、ＰＮ符号化変調信号の一例を示す図である。図６では、ＰＮ符号化変調信号の１周期分が示されている。
ＰＮ符号化変調信号は値が０又は１からなる信号で、一定の時間間隔シフトすることによって相関関数の値が０又は−１／ｎ（ｎは後述する系列符号の長さ）となる。
ＰＮ符号化変調信号は、一例を挙げると以下のように作成される符号化系列データを用いて信号化することができる。
次数ｋ＝５、符号系列の長さｎ＝３１とし、係数ｈ1＝１，ｈ2＝１，ｈ3＝０，ｈ4＝１，ｈ5＝１とし、初期値ａ0＝１，ａ1＝１,ａ2＝０,ａ3＝１，ａ4＝０としたとき下記式（１）に示す漸化式で一意的にＰＮ系列符号Ｃ＝｛ａk｝(kは自然数)を求めることができる。
さらに、系列符号Ｃ＝｛ａ０，ａ１，ａ２，………，ａn−１｝を用いて基準となる符号化系列信号を生成するとともに、さらにこの系列符号Ｃをｑ1ビット、ビット方向にビットシフトさせた系列符号Ｔｑ１・ｃ（Ｔｑ１は、ビット方向にｑ1ビット、ビットシフトする作用素である）を用いて符号化系列信号を生成する。ここで、系列符号Ｔｑ１・Ｃは、{ａｑ１，ａｑ１＋１，ａｑ１＋２，………，ａｑ１＋Ｎ−１｝である。さらに、系列符号Ｃをｑ２ビット（例えば、ｑ２＝２×ｑ１）、ビット方向にビットシフトさせた系列符号Ｔｑ２・Ｃを用いて符号化系列信号を生成する。
この符号化系列信号を生成するために用いられる系列符号Ｃ，Ｔｑ１・Ｃ，Ｔｑ２・Ｃは、互いに直交する特性を有するので、生成される符号化系列信号も互いに直交する性質を有する。
この符号化系列信号を生成するために用いられる系列符号Ｃ，Ｔｑ１・Ｃ，Ｔｑ２・Ｃは、互いに直交する特性を有するので、生成される符号化系列信号も互いに直交する性質を有する。
具体的に説明すると、長さｎの系列符号をＣ＝｛ｂ0，ｂ1，ｂ2，………,ｂn-1｝とし、上記作用素Ｔｑを系列符号Ｃに作用させた系列符号をＣ’＝Ｔｑ・Ｃ、すなわちＣ’＝｛ｂq，ｂq+1，ｂq+2，………,ｂq+n-1}として、系列符号ＣとＣ’との間の相互相関関数Ｒcc'(q)を下記式（２）のように定義される。ここで、ＮAは系列符号における項aiと項bq+iの（ｉは０以上ｎ−１以下の整数）一致する数であり、ＮDは系列符号における項aiと項bq+iの不一致の数である。また、ＮAとＮDの和は系列符号長さｎとなる（ＮA＋ＮD＝ｎ）。ここで、iとｑ＋iはｍｏｄ（ｎ）で考える。
上記ＰＮ系列符号において２つの系列符号を項毎にｍｏｄ（２）で加算した結果はもとのＰＮ系列符号を巡回シフトしたＰＮ系列符号になる性質があり、ＰＮ系列符号の値が０となる個数は値が１となる個数より１つだけ少ないので、ＮA−ＮD＝−１となる。これより、ＰＮ系列符号において下記式（３）および（４）に示す値を示す。
上記式（３）よりビットシフト量が０、すなわちｑ＝０(ｍｏｄ（ｎ））の場合、式（３）に示すようにＲｃｃ’（ｑ）の値は１となり自己相関性を有する。一方、ビットシフト量が０でない、すなわちｑ≠０（ｍｏｄ（ｎ））の場合、式（４）に示すようにＲｃｃ’（ｑ）は−（１／ｎ）となる。ここで系列符号長さｎを大きくすることにより、Ｒｃｃ’（ｑ）（ｑ≠０）の値は０に近づく。
すなわち、系列符号ＣとＣ’は自己相関性を持ち、かつ直交性を有するといえる。
このようなＰＮ系列符号の値を０，１として時系列信号としたのがＰＮ符号化系列信号である。したがって、ＰＮ符号化変調信号も互いに自己相関性及び直交性を有する。このことから、図６におけるＣ1の信号と、Ｃ2〜Ｃ5の信号の相関関数を求めると値が０となる。
すなわち、系列符号ＣとＣ’は自己相関性を持ち、かつ直交性を有するといえる。
このようなＰＮ系列符号の値を０，１として時系列信号としたのがＰＮ符号化系列信号である。したがって、ＰＮ符号化変調信号も互いに自己相関性及び直交性を有する。このことから、図６におけるＣ1の信号と、Ｃ2〜Ｃ5の信号の相関関数を求めると値が０となる。
信号変換部６６は、中間周波数デジタル信号に含まれるＰＮ符号化変調信号で時間変調された信号に対して、制御回路ユニット５０にて生成されたＰＮ符号化変調信号の相関関数を利用することにより、どのレーザ光の信号情報が含まれているかを識別し、レーザ光毎の信号情報に分解して抽出することができる。
このようにして、信号変換部６６は、アダマール逆変換及びＰＮ符号化変調信号の自己相関性及び直交性を利用した分解（符号化識別変換）により、中間周波数デジタル信号から各マイクロミラーの反射位置における各レーザ光の時間変調の信号情報を取得することができる。
なお、ＰＮ符号化変調信号による時間変調は１００ＫＨｚ〜１０ＭＨｚの周波数で行われ、ＲＦ変調信号によるレーザ光の時間変調の周波数（５０ＭＨｚ〜１０ＧＨｚ）に比べて低周波である。
このようにして、信号変換部６６は、アダマール逆変換及びＰＮ符号化変調信号の自己相関性及び直交性を利用した分解（符号化識別変換）により、中間周波数デジタル信号から各マイクロミラーの反射位置における各レーザ光の時間変調の信号情報を取得することができる。
なお、ＰＮ符号化変調信号による時間変調は１００ＫＨｚ〜１０ＭＨｚの周波数で行われ、ＲＦ変調信号によるレーザ光の時間変調の周波数（５０ＭＨｚ〜１０ＧＨｚ）に比べて低周波である。
距離情報算出部６８は、第１の計測モードにおいて得られる、周波数ｆ1，ｆ2，ｆ3，ｆ4・・・で時間変調したレーザ光の反射光に含まれる信号情報を用いて測定対象物Ｔのレーザ光照射領域の中心位置における距離を求める。
具体的には、上述したように、第１の計測モードでは、全マイクロミラーをＯＮ状態にするので、光電変換器３８において受光される反射光の信号情報は、レーザ光照射領域における中心位置の情報である。
本体部１２のレーザ光出射ユニット２０のレーザダイオード２２から測定対象物Ｔまでの距離と測定対象物Ｔの表面上の反射点からレンズ３２に至るまでの距離は、
ＲＦ変調信号の波長をλとすると、この波長λの整数倍の長さと波長λの位相ずれθ分の長さに相当する。
この場合、位相ずれθは、図７（ａ）に示すように距離ρに対して周期性を有するので、反射光の信号情報から位相ずれθの情報を知ることができても、図７（ａ）に示すように、どの周期における位相ずれθかを知ることはできず、距離ρを特定することはできない。このため、第１の計測モードでは、周波数ｆ1，ｆ2，ｆ3，ｆ4・・・で光強度を時間変調したレーザ光を測定対象物Ｔに照射して、各周波数における信号情報を取得し、この信号情報を用いて絶対距離を算出する。
なお、第１の計測モードでは、空間変調素子３４の全マイクロミラーをＯＮ状態とするので、測定対象物Ｔにレーザ光が照射され、反射光として受光した全ての信号情報が均等に含まれることから、算出される距離ρは測定対象物Ｔにおけるレーザ光照射領域の中心位置の距離となる。
具体的には、上述したように、第１の計測モードでは、全マイクロミラーをＯＮ状態にするので、光電変換器３８において受光される反射光の信号情報は、レーザ光照射領域における中心位置の情報である。
本体部１２のレーザ光出射ユニット２０のレーザダイオード２２から測定対象物Ｔまでの距離と測定対象物Ｔの表面上の反射点からレンズ３２に至るまでの距離は、
ＲＦ変調信号の波長をλとすると、この波長λの整数倍の長さと波長λの位相ずれθ分の長さに相当する。
この場合、位相ずれθは、図７（ａ）に示すように距離ρに対して周期性を有するので、反射光の信号情報から位相ずれθの情報を知ることができても、図７（ａ）に示すように、どの周期における位相ずれθかを知ることはできず、距離ρを特定することはできない。このため、第１の計測モードでは、周波数ｆ1，ｆ2，ｆ3，ｆ4・・・で光強度を時間変調したレーザ光を測定対象物Ｔに照射して、各周波数における信号情報を取得し、この信号情報を用いて絶対距離を算出する。
なお、第１の計測モードでは、空間変調素子３４の全マイクロミラーをＯＮ状態とするので、測定対象物Ｔにレーザ光が照射され、反射光として受光した全ての信号情報が均等に含まれることから、算出される距離ρは測定対象物Ｔにおけるレーザ光照射領域の中心位置の距離となる。
第１の計測モードでは、具体的には、周波数ｆ1，ｆ2，ｆ3，ｆ4・・・の各周波数における信号情報を取得した後、各周波数の信号情報（周波数帯域の信号情報）から、フーリエ変換（この場合デジタル処理を行うので、ＦＦＴ：Fast Fourier Transformation）により時間領域の信号情報（時間領域の波形）に変換する。この変換により、図７（ｂ）に示すような波形の情報を求めることができる。このときのピーク位置の時間ｔTに光速ｃを乗算することで距離ρ0を求める。なお、この場合、隣接する周波数ｆ1，ｆ2，ｆ3，ｆ4・・・の変化分である幅Δｆが、下記式を満たすように設定することが好ましい。
Δｆ < Ｃ／（２・Ｌmax） (Ｌmaxは装置で規定される測定最大距離)
上記式を満たす幅Δｆを用いることで、ＦＦＴにより時間領域の信号情報に変換したとき、距離ρ0を一意的に求めることができる。
こうして求められた距離ρ0は、メモリ６２に記憶される。
具体的な数値例として、Ｌmax＝３ｍ、最大周波数ｆ1＝５００ＭＨｚ、Δｆ＝２５ＭＨｚとして、ｆ1＝５００ＭＨｚ，ｆ2＝４７５ＭＨｚ，ｆ3＝４５０ＭＨｚ〜ｆ11＝２５０ＭＨｚとする。
Δｆ < Ｃ／（２・Ｌmax） (Ｌmaxは装置で規定される測定最大距離)
上記式を満たす幅Δｆを用いることで、ＦＦＴにより時間領域の信号情報に変換したとき、距離ρ0を一意的に求めることができる。
こうして求められた距離ρ0は、メモリ６２に記憶される。
具体的な数値例として、Ｌmax＝３ｍ、最大周波数ｆ1＝５００ＭＨｚ、Δｆ＝２５ＭＨｚとして、ｆ1＝５００ＭＨｚ，ｆ2＝４７５ＭＨｚ，ｆ3＝４５０ＭＨｚ〜ｆ11＝２５０ＭＨｚとする。
３次元位置情報算出部７０は、距離情報算出部６８で算出された距離ρ0を用い、さらに、ＯＮ状態のマイクロミラーの位置情報（３次元位置座標）とを用いて、測定対象物Ｔ上の各位置における距離ρを求め、さらに、レーザ光が反射した測定対象物Ｔの位置を３次元位置情報として求める部分である。
本体部１２のレーザ光出射ユニット２０のレーザダイオード２２から測定対象物Ｔまでの距離と測定対象物Ｔの表面上の反射点からレンズ３２に至るまでの距離をρ、ＲＦ変調信号の波長をλ、ＲＦ変調信号の周波数をｆ、光速度をｃ、各レーザ光の信号の、ＲＦ変調信号に対する位相ずれをθとすると、距離ρは、下記式（５）を介して下記式（６）のように表すことができる。
本体部１２のレーザ光出射ユニット２０のレーザダイオード２２から測定対象物Ｔまでの距離と測定対象物Ｔの表面上の反射点からレンズ３２に至るまでの距離をρ、ＲＦ変調信号の波長をλ、ＲＦ変調信号の周波数をｆ、光速度をｃ、各レーザ光の信号の、ＲＦ変調信号に対する位相ずれをθとすると、距離ρは、下記式（５）を介して下記式（６）のように表すことができる。
すなわち、周波数ｆにおける各レーザ光の信号の位相ずれθを下記方法により求めることはできても、式（５）における２ｎπ（ｎは整数）の部分が不確定である。この不確定の部分を、距離情報算出部６８で算出された距離ρ0を用いて確定して距離ρを算出することができる。
なお、距離ρはレーザダイオード２２から測定対象物Ｔの表面上の反射点を経由して光学レンズ３６までの距離であるが、この距離ρを知れば十分である。光学レンズ３２から光電変換器３８の受光面までの光路の距離、さらにはミキサ４７にいたる伝送線路の距離は既知であるため、予め定められた補正式等を用いて正しい値に修正することができる。
なお、距離ρはレーザダイオード２２から測定対象物Ｔの表面上の反射点を経由して光学レンズ３６までの距離であるが、この距離ρを知れば十分である。光学レンズ３２から光電変換器３８の受光面までの光路の距離、さらにはミキサ４７にいたる伝送線路の距離は既知であるため、予め定められた補正式等を用いて正しい値に修正することができる。
３次元位置情報算出部７０は、具体的には、信号変換部６６で算出された各マイクロミラーの反射位置における各レーザ光毎の信号情報を取得する。この信号情報は、ミキサ４７へ入る参照信号であるＲＦ変調信号の位相シフトを０としたときｒ・ｃｏｓ（θ）（ｒは測定対象物の表面における反射率、θは位相ずれ）となり、ＲＦ変調信号を９０度位相シフトさせたときｒ・ｓｉｎ（θ）となる。これらの信号を用いて各マイクロミラーにおける位相ずれθを算出し、この位相ずれθと距離ρ0を用いて不確定の２ｎπ（ｎは整数）を求めることにより、各マイクロミラー毎に距離ρを算出する。
３次元位置情報算出部７０は、さらに、この距離ρを用いて、３次元位置情報（３次元位置座標）を求める。
具体的には、図８（ａ）に示すように、光学レンズ３２の中心を原点ＯとしてＸＹＺ直交座標系を定め、レーザダイオード２２の出射位置を点Ｑ（位置座標（ａ，ｂ，ｃ）とする）、測定対象物Ｔの反射位置を点Ｐ（位置座標（ｘ，ｙ，ｚ）とする）、点Ｐで反射したレーザ光が向かう空間変調素子３４のＯＮ状態にあるマイクロミラーの位置Ｒ（位置座標（−ｘ0,−ｙ0,−ｚ0）とする）とする。このとき、図８（ｂ）に示すように、距離ＰＯは、レンズ３２の倍率ｍと距離ＲＯとを用いてＰＯ＝ｍ×ＲＯと表すことができる。なお、マイクロミラーの位置Ｒのうちｚ0は装置固有の寸法として設定されている。
一方、距離ρは下記式（７）で表すことができる。また、点Ｐの位置ｘ，ｙ，ｚは、下記式（８）で表すことができることから、式（７）及び式（８）を用いて倍率ｍは下記式（９）で表すことができる。
具体的には、図８（ａ）に示すように、光学レンズ３２の中心を原点ＯとしてＸＹＺ直交座標系を定め、レーザダイオード２２の出射位置を点Ｑ（位置座標（ａ，ｂ，ｃ）とする）、測定対象物Ｔの反射位置を点Ｐ（位置座標（ｘ，ｙ，ｚ）とする）、点Ｐで反射したレーザ光が向かう空間変調素子３４のＯＮ状態にあるマイクロミラーの位置Ｒ（位置座標（−ｘ0,−ｙ0,−ｚ0）とする）とする。このとき、図８（ｂ）に示すように、距離ＰＯは、レンズ３２の倍率ｍと距離ＲＯとを用いてＰＯ＝ｍ×ＲＯと表すことができる。なお、マイクロミラーの位置Ｒのうちｚ0は装置固有の寸法として設定されている。
一方、距離ρは下記式（７）で表すことができる。また、点Ｐの位置ｘ，ｙ，ｚは、下記式（８）で表すことができることから、式（７）及び式（８）を用いて倍率ｍは下記式（９）で表すことができる。
３次元位置情報算出部７０は、各マイクロミラー毎に算出される距離ρとこの位置座標を用いて、式（９）から倍率ｍを求める。さらに、この倍率ｍと式（８）を用いて測定対象物Ｔの反射位置の３次元位置情報（位置座標（ｘ，ｙ，ｚ））を求める。こうして、測定対象物Ｔの表面の３次元位置情報がディスプレイ１６に供給されて測定対象物Ｔの３次元形状が表示される。
反射率算出部７２は、測定対象物Ｔの表面における反射率を算出する。
距離情報算出部６８において説明したように、信号変換部６６では、各マイクロミラーの反射位置における各レーザ光の信号情報が、ＲＦ変調信号の周波数別に算出され、これが反射率算出部７２に供給される。この信号は、ミキサ４７へ入る参照信号であるＲＦ変調信号の位相シフトを０としたときに得られる信号情報は上述したようにｒ・ｃｏｓ（θ）となり、ＲＦ変調信号を９０度位相シフトさせたときに得られる信号情報はｒ・ｓｉｎ（θ）となる。これら２つの信号情報の値から反射率算出部７２は反射率ｒを算出する。
距離情報算出部６８において説明したように、信号変換部６６では、各マイクロミラーの反射位置における各レーザ光の信号情報が、ＲＦ変調信号の周波数別に算出され、これが反射率算出部７２に供給される。この信号は、ミキサ４７へ入る参照信号であるＲＦ変調信号の位相シフトを０としたときに得られる信号情報は上述したようにｒ・ｃｏｓ（θ）となり、ＲＦ変調信号を９０度位相シフトさせたときに得られる信号情報はｒ・ｓｉｎ（θ）となる。これら２つの信号情報の値から反射率算出部７２は反射率ｒを算出する。
このようにレーザ光を測定対象物Ｔに照射することにより、装置１０と測定対象物Ｔとの間の距離及び測定対象物Ｔの表面における反射率ｒを求めることができ、測定対象物体Ｔの表面の３次元空間内での反射率を画像情報として得ることができる。取得された測定対象物Ｔの画像情報はディスプレイ１６に送られて、先に送られた測定対象物Ｔの３次元形状とともに３次元画像として画像表示される。
装置１０は、以上のように構成される。
装置１０は、以上のように構成される。
次に、装置１０の作用について説明する。
図９は、装置１０において３次元画像情報を取得する流れを示すフローチャートである。
図１０（ａ）〜（ｄ）は、装置１０の駆動の際に生成される第１の計測モードにおける各種トリガ信号のタイミングチャートである。図１１（ａ）〜（ｅ）は、第２の計測モードにおける各種トリガ信号のタイミングチャートである。
図９は、装置１０において３次元画像情報を取得する流れを示すフローチャートである。
図１０（ａ）〜（ｄ）は、装置１０の駆動の際に生成される第１の計測モードにおける各種トリガ信号のタイミングチャートである。図１１（ａ）〜（ｅ）は、第２の計測モードにおける各種トリガ信号のタイミングチャートである。
まず、第１の計測モードによる計測が行われ、測定対象物Ｔのレーザ光照射領域における中心位置の、装置１０からの距離ρ0が求められる（ステップＳ１００）。
まず、制御回路ユニット５０にて、コンピュータ１４の指示に応じて、測定対象物Ｔの３次元画像の取り込みを開始する画像トリガ信号（図１０（ａ）参照）が生成される。
次に、システム制御器５１では、空間変調素子３４の全マイクロミラーをＯＮ状態に制御するように図示されないフレームトリガ信号が生成される。フレームトリガ信号とは、空間変調素子３４の制御パターンを切り換えるためのトリガ信号であって、上述したようにマイクロミラーのＯＮ状態の配列を所定のパターンに制御した制御パターンを切り換えるためのトリガ信号である。フレームトリガ信号は、マイクロミラー制御器３５に供給される。
まず、制御回路ユニット５０にて、コンピュータ１４の指示に応じて、測定対象物Ｔの３次元画像の取り込みを開始する画像トリガ信号（図１０（ａ）参照）が生成される。
次に、システム制御器５１では、空間変調素子３４の全マイクロミラーをＯＮ状態に制御するように図示されないフレームトリガ信号が生成される。フレームトリガ信号とは、空間変調素子３４の制御パターンを切り換えるためのトリガ信号であって、上述したようにマイクロミラーのＯＮ状態の配列を所定のパターンに制御した制御パターンを切り換えるためのトリガ信号である。フレームトリガ信号は、マイクロミラー制御器３５に供給される。
次に、発振器４１の発振周波数を所定の周波数とするための周波数トリガ信号（図１０（ｂ）参照）が生成され、この周波数トリガ信号に従って予め定められた発振周波数制御信号が生成され発振器４１に供給される。周波数トリガ信号によって発信周波数は最大周波数ｆ1から、周波数ｆ2、周波数ｆ3、・・・に順次切り換えられる。従って第１の計測モードでは、複数の発振周波数で順次レーザ光を時間変調するＲＦ変調信号を生成することとなる。レーザ光は複数同時に出射されるので、光電変換器３８における受光においてどのレーザ光を受光したのか識別可能としなければならない。このため各レーザ光をＰＮ符号化変調信号によって時間変調（レーザ光の出射のＯＮ／ＯＦＦ）するために、システム制御器５１はレーザ光毎に互いに異なるＰＮ符号化変調信号を生成しレーザドライバ２４ａ〜２４ｈに供給する。
すなわち、レーザ光の強度は周波数数ｆ1、周波数ｆ2、周波数ｆ3、・・・順次変更されて時間変調されるとともに、さらに、ＰＮ符号化変調信号によるレーザ光の出射のＯＮ／ＯＦＦにより時間変調される。周波数数ｆ1，ｆ2, ｆ3・・・は５０ＭＨｚ〜１０ＧＨｚであり、ＰＮ符号化変調信号による出射のＯＮ／ＯＦＦの切換周波数は１００ＫＨｚ〜１０ＭＨｚであり、時間変調の周波数範囲が互いに大きく異なる。
すなわち、レーザ光の強度は周波数数ｆ1、周波数ｆ2、周波数ｆ3、・・・順次変更されて時間変調されるとともに、さらに、ＰＮ符号化変調信号によるレーザ光の出射のＯＮ／ＯＦＦにより時間変調される。周波数数ｆ1，ｆ2, ｆ3・・・は５０ＭＨｚ〜１０ＧＨｚであり、ＰＮ符号化変調信号による出射のＯＮ／ＯＦＦの切換周波数は１００ＫＨｚ〜１０ＭＨｚであり、時間変調の周波数範囲が互いに大きく異なる。
さらに、システム制御器５１では、移相器４４を駆動させるための位相トリガ信号が生成される（図１０（ｃ）参照）。位相トリガ信号の生成により、周波数ｆ1，ｆ2, ｆ3・・・のそれぞれのＲＦ変調信号に対して、位相シフト量０（位相シフトしない）及び位相シフト量９０度の２つローカル信号を生成するように、位相制御信号が生成される。
まず最初、最大周波数ｆ1のＲＦ変調信号が生成され、レーザ光出射ユニット２０から時間変調したレーザ光が出射される。測定対象物Ｔの表面で反射したレーザ光は、光学ユニット３０に入り、プリズム３３を経由して空間変調素子３４に導かれる。空間変調素子３４のマイクロミラーは全てＯＮ状態に制御されているので、ＯＮ状態の全マイクロミラーで反射されたレーザ光が光電変換器３８に導かれて受光される。時間変調の信号情報を有するレーザ光は、光電変換器３８にて電気信号に変換され、増幅器４８で増幅されてミキサ４７に供給される。
一方、移相器４４では、パワースプリッタ４２で分離されたＲＦ変調信号が位相シフト量０（位相シフトしない）及び位相シフト量９０度に順次制御されてローカル信号が生成され、これらのローカル信号がミキサ４７に供給される。
ミキサ４７では、増幅器４８から供給された電気信号を２つのローカル信号のそれぞれでミキシング（乗算）し、ＩＦ信号及び高次成分からなる信号が生成される。ＩＦ信号には、周波数ｆ1の各周波数による時間変調の信号情報と、ＰＮ符号化変調信号による時間変調の信号情報が含まれる。
さらに、生成された信号からローパスフィルタ５２により高次成分が除去され、周波数ｆ1の時間変調の信号情報とＰＮ符号化変調信号による時間変調の信号情報とからなるＩＦ信号が生成される。
こうして増幅器５３を介してＡ／Ｄ変換器５４に取り込まれ、順次サンプリングクロック信号（図１０（ｄ）参照）に従ってサンプリングされ、中間周波数デジタル信号とされ、コンピュータ１４に供給される。
ミキサ４７では、増幅器４８から供給された電気信号を２つのローカル信号のそれぞれでミキシング（乗算）し、ＩＦ信号及び高次成分からなる信号が生成される。ＩＦ信号には、周波数ｆ1の各周波数による時間変調の信号情報と、ＰＮ符号化変調信号による時間変調の信号情報が含まれる。
さらに、生成された信号からローパスフィルタ５２により高次成分が除去され、周波数ｆ1の時間変調の信号情報とＰＮ符号化変調信号による時間変調の信号情報とからなるＩＦ信号が生成される。
こうして増幅器５３を介してＡ／Ｄ変換器５４に取り込まれ、順次サンプリングクロック信号（図１０（ｄ）参照）に従ってサンプリングされ、中間周波数デジタル信号とされ、コンピュータ１４に供給される。
次に、レーザドライバ２４に供給されるＲＦ変調信号の周波数が周波数ｆ1から周波数f2に切り換えられ、周波数ｆ1で時間変調されたレーザ光と同様の出射、受光、信号処理が施される。同様に、周波数ｆ2から周波数ｆ3に、周波数ｆ3から周波数ｆ4に、・・・に順次切り換えられ、同様の処理が行われる。
信号処理が施された各周波数における信号情報は、信号変換部６６にて、符号化識別変換が施された後、各周波数毎のｒｃｏｓ（θ），ｒｓｉｎ（θ）の値からなる信号情報となる。この信号情報に対して、距離情報算出部６８にてＦＦＴが行われて、時間領域の波形が演算される。この波形のピーク位置の時間と光速ｃを乗算して、装置１０から測定対象物Ｔのレーザ光照射領域における中心位置までの距離ρ0が求められる。求められた距離ρ0はメモリ４に記録される。
次に、第２の計測モードに移り、まず、各マイクロミラーでの測定対象物Ｔまでの距離ρの算出が行われる（ステップＳ１０２）。
第２の計測モードでは、まず、制御回路ユニット５０にて、コンピュータ１４の指示に応じて、測定対象物Ｔの３次元画像の取り込みを開始する画像トリガ信号（図１１（ａ）参照）が生成される。
次に、システム制御器５１では、空間変調素子３４を所定の制御パターンでマイクロミラーを制御するようにフレームトリガ信号が生成される。フレームトリガ信号とは、空間変調素子３４の制御パターンを切り換えるためのトリガ信号であって、上述したようにマイクロミラーのＯＮ状態の配列を所定のパターンに制御した制御パターンを順次切り換えるためのトリガ信号である。
第２の計測モードでは、まず、制御回路ユニット５０にて、コンピュータ１４の指示に応じて、測定対象物Ｔの３次元画像の取り込みを開始する画像トリガ信号（図１１（ａ）参照）が生成される。
次に、システム制御器５１では、空間変調素子３４を所定の制御パターンでマイクロミラーを制御するようにフレームトリガ信号が生成される。フレームトリガ信号とは、空間変調素子３４の制御パターンを切り換えるためのトリガ信号であって、上述したようにマイクロミラーのＯＮ状態の配列を所定のパターンに制御した制御パターンを順次切り換えるためのトリガ信号である。
図１１（ｂ）に示すように、順次パターンモード１、パターンモード２、………の各制御パターンモードに切り換えるためのフレームトリガ信号が生成される。各パターンモードでは、予め定められた図示されない制御パターン信号が生成されてマイクロミラー制御器３５に供給される。
フレームトリガ信号が生成されると、発振器４１の発振周波数を所定の周波数とするための周波数トリガ信号（図１１（ｃ）参照）が生成され、この周波数トリガ信号に従って予め定められた発信周波数制御信号が生成され発振器４１に供給される。周波数トリガ信号によって発信周波数は周波数ｆ1に設定される。従って各パターンモードでは、周波数ｆ1でレーザ光を時間変調するＲＦ変調信号を生成することとなる。レーザ光は複数同時に出射されるので、光電変換器３８における受光においてどのレーザ光を受光したのか識別可能としなければならない。このため各レーザ光をＰＮ符号化変調信号によって時間変調（レーザ光の出射のＯＮ／ＯＦＦ）するために、システム制御器５１はレーザ光毎に互いに異なるＰＮ符号化変調信号を生成しレーザドライバ２４ａ〜２４ｈに供給する。
すなわち、レーザ光の強度は周波数ｆ1で時間変調されるとともに、さらに、ＰＮ符号化変調信号によるレーザ光の出射のＯＮ／ＯＦＦにより時間変調される。周波数数ｆ1は５０ＭＨｚ〜１０ＧＨｚであり、ＰＮ符号化変調信号による出射のＯＮ／ＯＦＦの切換周波数は１００ＫＨｚ〜１０ＭＨｚであり、時間変調の周波数範囲が互いに大きく異なる。
フレームトリガ信号が生成されると、発振器４１の発振周波数を所定の周波数とするための周波数トリガ信号（図１１（ｃ）参照）が生成され、この周波数トリガ信号に従って予め定められた発信周波数制御信号が生成され発振器４１に供給される。周波数トリガ信号によって発信周波数は周波数ｆ1に設定される。従って各パターンモードでは、周波数ｆ1でレーザ光を時間変調するＲＦ変調信号を生成することとなる。レーザ光は複数同時に出射されるので、光電変換器３８における受光においてどのレーザ光を受光したのか識別可能としなければならない。このため各レーザ光をＰＮ符号化変調信号によって時間変調（レーザ光の出射のＯＮ／ＯＦＦ）するために、システム制御器５１はレーザ光毎に互いに異なるＰＮ符号化変調信号を生成しレーザドライバ２４ａ〜２４ｈに供給する。
すなわち、レーザ光の強度は周波数ｆ1で時間変調されるとともに、さらに、ＰＮ符号化変調信号によるレーザ光の出射のＯＮ／ＯＦＦにより時間変調される。周波数数ｆ1は５０ＭＨｚ〜１０ＧＨｚであり、ＰＮ符号化変調信号による出射のＯＮ／ＯＦＦの切換周波数は１００ＫＨｚ〜１０ＭＨｚであり、時間変調の周波数範囲が互いに大きく異なる。
さらに、システム制御器５１では、移相器４４を駆動させるための位相トリガ信号が生成される（図１１（ｄ）参照）。位相トリガ信号の生成により、周波数ｆ1のＲＦ変調信号に対して、位相シフト量０（位相シフトしない）及び位相シフト量９０度の２つローカル信号を生成するように、位相制御信号が生成される。
こうして、パターンモード１におけるレーザ光の出射、受光が終了すると、順次パターンモード２、３……に切り換えられ、制御回路ユニット５０にて順次信号処理されてコンピュータ１４に供給される。
例えば、レーザ光におけるｉ番目（ｉ＝１〜ｎの自然数）のレーザダイオード２２から出射される時間変調したレーザ光の強度振幅Ａi（ｔ）を下記式（１０）のように定め（ｐi（ｔ）はＰＮ符号化変調信号による時間変調成分）、ミキサ４７に供給されるローカル信号Ａ０（ｔ），Ａ９０（ｔ）を下記式（１１）で定め、さらに、測定対象物Ｔの表面で反射し、さらにＯＮ状態のマイクロミラーで反射して受光したレーザ光の電気信号の振幅を下記式（１２）で定めると、ＩＦ信号は下記式（１３）のように表される。このＩＦ信号のうち高次成分はローパスフィルタ５２を用いて除去され、Ａ／Ｄ変換され中間周波数デジタル信号が生成される。
このようにしてコンピュータ１４に供給された中間周波数デジタル信号は、各パターンモード毎に順次メモリ６２に記録される。
信号変換部６６では、各パターンモードの中間周波数デジタル信号を用いて、アダマール逆変換及び符号化識別変換が行われる。
各パターンモード毎に定められるマイクロミラーのＯＮ状態の制御パターンは、アダマール行列の各行間のテンソル積を利用したパターンを用いるので、この各パターンモードの制御パターン毎に得られた中間周波数デジタル信号を用いてマイクロミラー毎の中間周波数デジタル信号に分解する。この分解はアダマール逆変換を利用して行われる。
信号変換部６６では、各パターンモードの中間周波数デジタル信号を用いて、アダマール逆変換及び符号化識別変換が行われる。
各パターンモード毎に定められるマイクロミラーのＯＮ状態の制御パターンは、アダマール行列の各行間のテンソル積を利用したパターンを用いるので、この各パターンモードの制御パターン毎に得られた中間周波数デジタル信号を用いてマイクロミラー毎の中間周波数デジタル信号に分解する。この分解はアダマール逆変換を利用して行われる。
さらに、レーザ光の時間変調に用いたＰＮ符号化系列信号は自己相関性及び直交性を有するので、時間変調に用いたＰＮ符号化系列信号とアダマール逆変換の施された中間周波数デジタル信号との間の相関関数を算出することで、レーザ光毎に中間周波数デジタル信号を分解する符号化識別変換が行われる。すなわち、式（１３）におけるｒi・ｃｏｓ（θi）及びｒi・ｓｉｎ（θi）が得られる。これらの値は、距離情報算出部６８及び反射率算出部７２に供給される。
３次元位置情報算出部７０では、求められたｒi・ｃｏｓ（θi）及びｒi・ｓｉｎ（θi）の値から角度θiを算出する。角度θiは、光電変換器３８で出力された電気信号のＲＦ変調信号に対する位相ずれ量である。この位相ずれθiにおける、式（６）に示されるような不確定分２ｎπは、距離ρ0を用いて特定することができ、各マイクロミラー毎の距離ρが算出される。
こうして、３次元位置情報算出部７０では、算出された距離ρとマイクロミラーの位置情報とを用いて式（９）から倍率ｍが求められ、式（８）を用いて各マイクロミラー毎に測定対象物Ｔの３次元位置座標（３次元位置情報）が求められる（ステップＳ１０４）。
こうして、３次元位置情報算出部７０では、算出された距離ρとマイクロミラーの位置情報とを用いて式（９）から倍率ｍが求められ、式（８）を用いて各マイクロミラー毎に測定対象物Ｔの３次元位置座標（３次元位置情報）が求められる（ステップＳ１０４）。
さらに、反射率算出部７２では、信号変換部６６から供給されたｒi・ｃｏｓ（θi），ｒi・ｓｉｎ（θi）の値を用いて反射率ｒiが求められる。
こうして３次元位置情報算出部７０及び反射率算出部７２で求められた３次元位置情報及び反射率が３次元画像情報として取得され（ステップＳ１０６）、ディスプレイ１６に供給されて、測定対象物Ｔの３次元画像が表示される。
こうして３次元位置情報算出部７０及び反射率算出部７２で求められた３次元位置情報及び反射率が３次元画像情報として取得され（ステップＳ１０６）、ディスプレイ１６に供給されて、測定対象物Ｔの３次元画像が表示される。
なお、３次元位置情報及び反射率を求める際、異なるレーザ光によって測定対象物Ｔの同じ領域が照射されて、同じ領域の３次元位置情報および反射率が同時に求められる場合がある。この場合３次元位置情報の平均値および反射率の平均値を採用したり、反射率が大きな値を持つレーザ光から得られた３次元位置情報を採用してもよい。
このように本発明では第１の計測モードで、測定対象物Ｔのレーザ光照射領域における中心位置の距離ρ0を求め、第２の計測モードで、各マイクロミラーの各位置における距離ρを、距離ρ0を用いて求めることにより、測定対象物Ｔの各位置における位置座標（３次元位置情報）が求められる。
このように、装置１０では、第２の計測モードの計測において、レーザ光の変調波の波長λの整数倍不確定となっている距離を、第１の計測モードで算出された距離ρ0を用いて正確に算出することができ、３次元位置情報を取得することができる。
特に、第１の計測モードでは、切り換える周波数ｆ1〜ｆnに（ｎは整数、例えばｎ＝１１）対してマイクロミラーをすべてＯＮ状態に固定して行うので、マイクロミラーの切り換え時間が不要となり、短時間に計測を行うことができる。
このように、装置１０では、第２の計測モードの計測において、レーザ光の変調波の波長λの整数倍不確定となっている距離を、第１の計測モードで算出された距離ρ0を用いて正確に算出することができ、３次元位置情報を取得することができる。
特に、第１の計測モードでは、切り換える周波数ｆ1〜ｆnに（ｎは整数、例えばｎ＝１１）対してマイクロミラーをすべてＯＮ状態に固定して行うので、マイクロミラーの切り換え時間が不要となり、短時間に計測を行うことができる。
例えば、マイクロミラーの縦方向、横方向の配置の段数をｍとし、第１の計測モードにおいて切り換える周波数の数をｎとした場合、第１の計測モード及び第２の計測モードにおいて、レーザ光の照射による計測の回数及び取得すべき信号情報の数はｍ2＋ｎ−１となる。特に、精度の高い位置情報を取得するには、マイクロミラーの数を多くしなければならず、少なくともｍは数１００以上である。これに対して、ｎは１０〜２０程度に設定することができるため、計測の回数及び信号情報の数は概略ｍ2となる。すなわち、第１の計測モードにおける計測の回数及び処理工数は、第２の計測モードにおける計測の回数及び処理工数に比べて極めて少ないため、計測及び処理に要する時間も短い。すなわち、第２の計測モードに、第２の計測モードに比べて計測時間が短く処理工数の少ない第１の計測モードを加えることで、正確な３次元位置情報を取得することができる。
また、第２の計測モードでは、第１の計測モードで用いた一連の周波数のうち、最大周波数ｆ1を用いてレーザ光を変調するので、精度の高い３次元位置情報を取得することができる。
また、第２の計測モードでは、第１の計測モードで用いた一連の周波数のうち、最大周波数ｆ1を用いてレーザ光を変調するので、精度の高い３次元位置情報を取得することができる。
以上、本発明の３次元画像情報取得装置について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
１０ ３次元画像情報取得装置
１２ 本体部
１４ コンピュータ
１６ ディスプレイ
２０ レーザ光出射ユニット
２２ レーザダイオード
２４ レーザドライバ
２６，４２，４６ パワースプリッタ
２８，３２，３６ 光学レンズ
３０ 光学ユニット
３４ マイクロミラー空間変調素子
３７ ミラー
３８ 光電変換器
４０ レーダ回路ユニット
４１ 発振器
４３，４５，４８，５３ 増幅器
４４ 移相器
４７ ミキサ
５０ 制御回路ユニット
５１ システム制御器
５２ ローパスフィルタ
５４ Ａ／Ｄ変換器
６０ ＣＰＵ
６２ メモリ
６４ データ処理部
６６ 信号変換部
６８ 距離情報算出部
７０ ３次元位置情報算出部
７２ 反射率算出部
１２ 本体部
１４ コンピュータ
１６ ディスプレイ
２０ レーザ光出射ユニット
２２ レーザダイオード
２４ レーザドライバ
２６，４２，４６ パワースプリッタ
２８，３２，３６ 光学レンズ
３０ 光学ユニット
３４ マイクロミラー空間変調素子
３７ ミラー
３８ 光電変換器
４０ レーダ回路ユニット
４１ 発振器
４３，４５，４８，５３ 増幅器
４４ 移相器
４７ ミキサ
５０ 制御回路ユニット
５１ システム制御器
５２ ローパスフィルタ
５４ Ａ／Ｄ変換器
６０ ＣＰＵ
６２ メモリ
６４ データ処理部
６６ 信号変換部
６８ 距離情報算出部
７０ ３次元位置情報算出部
７２ 反射率算出部
Claims (9)
- レーザ光を測定対象物に照射し測定対象物からの反射光を受光することにより測定対象物の３次元画像情報を取得する３次元画像情報取得装置であって、
レーザ光の光強度を振幅変調信号に従って時間変調して測定対象物に照射するレーザ光出射部と、
測定対象物で反射したレーザ光を受光して電気信号に変換する光電変換器と、
測定対象物と前記光電変換器の受光面との間のレーザ光の光路上に設けられ、平面上に配列された複数のマイクロミラーを有する素子であり、これらのマイクロミラーのうち選択されたマイクロミラーの反射面を所定の向きに制御してＯＮ状態にすることにより、このＯＮ状態のマイクロミラーで反射した測定対象物からのレーザ光の反射光を前記光電変換器の受光面に導くマイクロミラーアレイ空間変調素子と、
前記ＯＮ状態のマイクロミラーで反射され前記光電変換器で受光されたレーザ光の電気信号における、前記振幅変調信号に対する位相ずれ情報を含む信号情報を取得するデータ処理部と、を有し、
前記レーザ光出射部と、前記マイクロミラーアレイ空間変調素子と、前記データ処理部とを制御することによって、前記マイクロミラーのＯＮ状態の制御パターンを固定した状態で、前記振幅変調信号の周波数を変更し、前記データ処理部において取得される各周波数毎の前記信号情報を用いて測定対象物上の所定の位置までの距離を求める第１の計測モードと、
前記レーザ光出射部と、前記マイクロミラー空間変調素子と、前記データ処理部とを制御することによって、前記マイクロミラーのＯＮ状態の制御パターンを順次切り換え、この切り換えの度に、所定の周波数の前記振幅変調信号を用いてレーザ光の光強度を時間変調し、前記データ処理部において、取得した前記信号情報から前記位相ずれ情報を求め、この位相ずれ情報と前記ＯＮ状態のマイクロミラーの位置情報を、前記第１の計測モードで求められた前記距離とともに用いて測定対象物の３次元位置情報を求める第２の計測モードと、を備えることを特徴とする３次元画像情報取得装置。 - 前記第１の計測モードでは、前記振幅変調信号の周波数を所定の幅で逐次変更し、この変更のたびに前記マイクロミラーをすべてＯＮ状態として前記信号情報を取得し、前記振幅変調信号の周波数毎の前記信号情報を時間領域の波形に変換してこの波形のピーク位置を求め、このピーク位置から測定対象物までの距離を求める請求項１に記載の３次元画像情報取得装置。
- 前記第２の計測モードでは、前記第１の計測モードで用いる前記振幅変調信号の周波数のうち最大周波数を前記振幅変調信号の周波数として用いる請求項１又は２に記載の３次元画像情報取得装置。
- 前記レーザ光出射部は複数のレーザ光を出射し、
複数のレーザ光は、前記振幅変調信号により時間変調されるとともに、さらに各レーザ光毎に識別可能な符号化変調信号で時間変調され、
前記データ処理部は、前記電気信号に含まれる符号化変調信号の情報を利用して、前記電気信号に変換されたレーザ光を識別する請求項１〜３のいずれか１項に記載の３次元画像情報取得装置。 - 前記データ処理部は、前記位相ずれ情報及び前記ＯＮ状態のマイクロミラーの位置情報とともに、前記レーザ光の前記レーザ光出射部における出射位置の情報とを用いて測定対象物の３次元位置情報を求める請求項１〜４のいずれか１項に記載の３次元画像情報取得装置。
- 前記データ処理部は、前記第２の計測モードにおいて、前記振幅変調信号及び前記振幅変調信号を所定量位相シフトさせた位相シフト変調信号を参照信号として、前記電気信号から、前記位相ずれ情報とともに測定対象物の表面における反射率の情報を求め、この反射率の情報と前記３次元位置情報とを３次元画像情報とする請求項１〜５のいずれか１項に記載の３次元画像情報取得装置。
- 前記レーザ光出射部は、波長の異なる複数のレーザ光を出射し、これらのレーザ光毎に前記測定対象物における表面の反射率の情報を求めることにより、測定対象物のカラー画像情報を取得する請求項６に記載の３次元画像情報取得装置。
- 前記第２の計測モードにおいて、前記マイクロミラーアレイ空間変調素子は、ＯＮ状態のマイクロミラーが全マイクロミラーの５０％以上を占めるマイクロミラーの制御パターンに順次切り換えられ、この制御パターンに応じて空間変調されたレーザ光を前記光電変換器の受光面に導く請求項１〜７のいずれか１項に記載の３次元画像情報取得装置。
- 順次切り換えられる前記制御パターンは、互いに直交性を有する制御パターンである請求項８に記載の３次元画像情報取得装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005060192A JP4346568B2 (ja) | 2005-03-04 | 2005-03-04 | ３次元画像情報取得装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005060192A JP4346568B2 (ja) | 2005-03-04 | 2005-03-04 | ３次元画像情報取得装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006242801A true JP2006242801A (ja) | 2006-09-14 |
| JP4346568B2 JP4346568B2 (ja) | 2009-10-21 |
Family
ID=37049367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005060192A Expired - Fee Related JP4346568B2 (ja) | 2005-03-04 | 2005-03-04 | ３次元画像情報取得装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4346568B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008107286A (ja) * | 2006-10-27 | 2008-05-08 | Mitsui Eng & Shipbuild Co Ltd | 画像情報取得装置 |
| CN103502839A (zh) * | 2011-03-17 | 2014-01-08 | 加泰罗尼亚科技大学 | 用于接收光束的系统、方法和计算机程序 |
| JP2019215320A (ja) * | 2018-04-09 | 2019-12-19 | ジック アーゲー | 光電センサ並びに物体の検出及び距離測定方法 |
| CN111510594A (zh) * | 2020-04-15 | 2020-08-07 | 维沃移动通信有限公司 | 摄像模组以及电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0552957A (ja) * | 1991-08-22 | 1993-03-02 | Olympus Optical Co Ltd | 距離測定装置 |
| JPH07139925A (ja) * | 1993-11-16 | 1995-06-02 | Nippon Telegr & Teleph Corp <Ntt> | ３次元物体計測装置 |
| JPH0961526A (ja) * | 1995-08-24 | 1997-03-07 | Mitsubishi Heavy Ind Ltd | 光波距離計測装置 |
| JP2001145126A (ja) * | 1999-11-17 | 2001-05-25 | Asahi Optical Co Ltd | ３次元画像検出装置 |
| JP2003090712A (ja) * | 2001-09-18 | 2003-03-28 | Fuji Xerox Co Ltd | ３次元画像撮像装置 |
| JP2004212257A (ja) * | 2003-01-06 | 2004-07-29 | Mitsui Eng & Shipbuild Co Ltd | 時間分解二次元微弱光検出方法および装置 |
| JP2004523769A (ja) * | 2001-04-04 | 2004-08-05 | インストロ プレシジョン リミテッド | 表面形状測定 |
-
2005
- 2005-03-04 JP JP2005060192A patent/JP4346568B2/ja not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0552957A (ja) * | 1991-08-22 | 1993-03-02 | Olympus Optical Co Ltd | 距離測定装置 |
| JPH07139925A (ja) * | 1993-11-16 | 1995-06-02 | Nippon Telegr & Teleph Corp <Ntt> | ３次元物体計測装置 |
| JPH0961526A (ja) * | 1995-08-24 | 1997-03-07 | Mitsubishi Heavy Ind Ltd | 光波距離計測装置 |
| JP2001145126A (ja) * | 1999-11-17 | 2001-05-25 | Asahi Optical Co Ltd | ３次元画像検出装置 |
| JP2004523769A (ja) * | 2001-04-04 | 2004-08-05 | インストロ プレシジョン リミテッド | 表面形状測定 |
| JP2003090712A (ja) * | 2001-09-18 | 2003-03-28 | Fuji Xerox Co Ltd | ３次元画像撮像装置 |
| JP2004212257A (ja) * | 2003-01-06 | 2004-07-29 | Mitsui Eng & Shipbuild Co Ltd | 時間分解二次元微弱光検出方法および装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008107286A (ja) * | 2006-10-27 | 2008-05-08 | Mitsui Eng & Shipbuild Co Ltd | 画像情報取得装置 |
| CN103502839A (zh) * | 2011-03-17 | 2014-01-08 | 加泰罗尼亚科技大学 | 用于接收光束的系统、方法和计算机程序 |
| JP2019215320A (ja) * | 2018-04-09 | 2019-12-19 | ジック アーゲー | 光電センサ並びに物体の検出及び距離測定方法 |
| CN111510594A (zh) * | 2020-04-15 | 2020-08-07 | 维沃移动通信有限公司 | 摄像模组以及电子设备 |
| CN111510594B (zh) * | 2020-04-15 | 2022-02-15 | 维沃移动通信有限公司 | 摄像模组以及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4346568B2 (ja) | 2009-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4897430B2 (ja) | 画像情報取得装置 | |
| JP4401988B2 (ja) | ３次元画像情報取得装置 | |
| JP4401989B2 (ja) | ３次元画像情報取得システム | |
| KR102486385B1 (ko) | 깊이 정보 획득 장치 및 방법 | |
| KR101722641B1 (ko) | 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법 | |
| KR102624984B1 (ko) | ToF 센서와 이를 이용한 3차원 영상 장치 및 3차원 영상 장치의 구동 방법 | |
| US9857469B2 (en) | System and method for multi TOF camera operation using phase hopping | |
| KR101955334B1 (ko) | 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법 | |
| EP3163316B1 (en) | Apparatus and method for obtaining a depth image | |
| EP2594959B1 (en) | System and method for multi TOF camera operation using phase hopping | |
| JP6002275B2 (ja) | 計測装置 | |
| EP2913630A1 (en) | Laser metrology system and method | |
| US11054524B2 (en) | Optimizing a lidar system using sub-sweep sampling | |
| CN111448474B (zh) | 全波形多脉冲光学测距仪仪器 | |
| JP4346568B2 (ja) | ３次元画像情報取得装置 | |
| CN111708039A (zh) | 一种深度测量装置、方法及电子设备 | |
| EP3306345B1 (en) | Optical device and depth information generating method | |
| JP4392833B2 (ja) | ３次元画像情報取得装置 | |
| CN106791781B (zh) | 一种连续波相位测量式单像素三维成像系统及方法 | |
| US20230021576A1 (en) | MULTIPLEXED COHERENT OPTICAL PHASED ARRAY IN A LIGHT DETECTION AND RANGING (LiDAR) SYSTEM | |
| CN106556570B (zh) | 用于对表面的三维红外成像的装置和方法 | |
| JP2018155649A (ja) | 電磁波検出装置、プログラム、および電磁波検出システム | |
| KR102466677B1 (ko) | 라이다 및 그 동작방법 | |
| CN106791497B (zh) | 一种脉冲增益调制式单像素三维成像系统及方法 | |
| JP4488930B2 (ja) | レーザ計測装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070329 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080916 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20081003 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20081003 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080916 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090501 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090512 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090617 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090707 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090714 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120724 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130724 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140724 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |