JP2006105887A - Stereoscopic vision device and stereoscopic image display system equipped therewith - Google Patents
Stereoscopic vision device and stereoscopic image display system equipped therewith Download PDFInfo
- Publication number
- JP2006105887A JP2006105887A JP2004295835A JP2004295835A JP2006105887A JP 2006105887 A JP2006105887 A JP 2006105887A JP 2004295835 A JP2004295835 A JP 2004295835A JP 2004295835 A JP2004295835 A JP 2004295835A JP 2006105887 A JP2006105887 A JP 2006105887A
- Authority
- JP
- Japan
- Prior art keywords
- code
- pseudo
- random noise
- stereoscopic
- capacitors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Length Measuring Devices Characterised By Use Of Acoustic Means (AREA)
Abstract
Description
この発明は、立体視装置およびそれを備えた立体画像表示システムに関し、特に、擬似的にランダムな符号列パターンを有する擬似ランダム雑音符号を利用して、対象物の立体的形状を得るための立体視装置およびそれを備えた立体画像表示システムに関する。 The present invention relates to a stereoscopic device and a stereoscopic image display system including the same, and in particular, a stereoscopic for obtaining a stereoscopic shape of an object using a pseudo random noise code having a pseudo random code sequence pattern. The present invention relates to a viewing device and a stereoscopic image display system including the same.
一般的に、CCD(Charge Coupled Devise:電荷結合素子)やCMOS(Complementary-MOS:相補型金属酸化物半導体)イメージセンサで対象物を撮像した場合、二次元的な平面画像が得られる。 In general, when an object is imaged with a CCD (Charge Coupled Devise) or CMOS (Complementary-MOS) image sensor, a two-dimensional planar image is obtained.
三次元的な立体画像を得る方法として、2つのイメージセンサから得られる2つの平面画像を合成する方法がある。しかし、この場合、膨大な計算時間を必要とするため、リアルタイムの立体画像抽出が困難である。さらに、2つのイメージセンサを設置する分、大きなスペースが必要となる。 As a method of obtaining a three-dimensional stereoscopic image, there is a method of synthesizing two planar images obtained from two image sensors. However, in this case, enormous calculation time is required, and real-time stereoscopic image extraction is difficult. Furthermore, a large space is required for installing two image sensors.
また、対象物にレーザ光を照射しながら走査し、その反射光に基づいて対象物までの距離を算出して立体画像を得る方法もある。しかし、この場合、レーザ光を走査するための機械的な機構が必要となる上、対象物の撮像範囲をレーザ光で走査するための時間が必要となる。 There is also a method for obtaining a stereoscopic image by scanning a target while irradiating the target with laser light and calculating a distance to the target based on the reflected light. However, in this case, a mechanical mechanism for scanning the laser beam is required, and a time for scanning the imaging range of the object with the laser beam is required.
下記の特許文献1には、構成が簡単で良好な立体感を有する映像信号が発生できる立体画像撮像装置が開示されている。この場合、左眼用の撮像部と右眼用の撮像部とを一体的に結合して構成する。
また、下記の特許文献2には、簡単安価な回路構成を付加して一般使用の2カメラから立体画像信号を得る立体画像撮像装置が開示されている。この場合、安価な一般に市販されているカメラをそのまま用い、簡単な遅延回路とカメラの映像出力を合成する合成回路とを付加するだけでよい。
以上のように、従来の立体画像撮像装置では、対象物の立体画像をリアルタイムに得るのが困難であった。また、装置の小型化、低消費電力化が十分に実現できなかった。 As described above, it is difficult to obtain a stereoscopic image of an object in real time with a conventional stereoscopic image capturing apparatus. In addition, the size and power consumption of the device cannot be sufficiently realized.
ここで、スペクトル拡散通信に用いられる擬似ランダム雑音符号を利用することによって、耐雑音性に優れた距離計測が可能となる。また、装置のさらなる小型化、低消費電力化を図り、かつリアルタイムで三次元的な立体画像を得るためには、新たな距離計測の手法が必要となる。 Here, by using a pseudo-random noise code used for spread spectrum communication, distance measurement with excellent noise resistance can be performed. Further, in order to further reduce the size and power consumption of the apparatus and obtain a three-dimensional stereoscopic image in real time, a new distance measurement method is required.
それゆえに、この発明の主たる目的は、超小型、かつ低消費電力、かつリアルタイム撮像が可能な立体視装置およびそれを備えた立体画像表示システムを提供することである。 SUMMARY OF THE INVENTION Therefore, a main object of the present invention is to provide a stereoscopic device that is ultra-compact, low power consumption, and capable of real-time imaging, and a stereoscopic image display system including the same.
この発明に係わる立体視装置は、擬似的にランダムな符号列パターンを有する擬似ランダム雑音符号を利用して、対象物の立体的形状を得るための立体視装置であって、所定の符号長を有する第1の擬似ランダム雑音符号、および第1の擬似ランダム雑音符号を所定時間ずつ順次遅延させた複数の第2の擬似ランダム雑音符号を生成する擬似ランダム雑音符号発生器と、第1の擬似ランダム雑音符号に従って振幅変調された超音波を生成して対象物に照射する超音波発生器と、複数行複数列に配置され、各々が対象物で反射された超音波を受け、受けた超音波に応じて電極間距離が変化して超音波を電気信号に変換する複数の第1キャパシタを含むイメージセンサと、複数の第1キャパシタの各々によって生成された電気信号と複数の第2の疑似ランダム雑音符号とに基づいて、複数の第1キャパシタの各々に対応した対象物までの距離データを出力する出力部とを備えたものである。 A stereoscopic device according to the present invention is a stereoscopic device for obtaining a three-dimensional shape of an object using a pseudo random noise code having a pseudo random code string pattern, and has a predetermined code length. A first pseudo-random noise code generator that generates a plurality of second pseudo-random noise codes obtained by sequentially delaying the first pseudo-random noise code and the first pseudo-random noise code by a predetermined time; and a first pseudo-random noise code An ultrasonic generator that generates an amplitude-modulated ultrasonic wave according to a noise code and irradiates the object, and is arranged in multiple rows and multiple columns, each receiving an ultrasonic wave reflected by the object, and receiving the received ultrasonic wave In response, the image sensor includes a plurality of first capacitors that change the distance between the electrodes to convert ultrasonic waves into electric signals, and the electric signals generated by each of the plurality of first capacitors and the plurality of second capacitors. Based on a random noise code similar, in which an output unit for outputting the distance data to the object corresponding to each of a plurality of first capacitor.
好ましくは、出力部は、複数の第2の擬似ランダム雑音符号の遅延情報を出力するカウンタと、複数の第1キャパシタの各々によって生成された電気信号の位相と複数の第2の疑似ランダム雑音符号の各々の位相とを比較し、それらの位相が一致した場合は第1の相関値を出力し、それらの位相が一致しない場合は第2の相関値を出力する相関器と、相関器から第1の相関値が出力されたときのカウンタからの遅延情報に基づいて、複数の第1キャパシタの各々に対応した対象物までの距離データを算出する演算処理部とを含む。 Preferably, the output unit includes a counter that outputs delay information of the plurality of second pseudo random noise codes, a phase of the electric signal generated by each of the plurality of first capacitors, and a plurality of second pseudo random noise codes. And a correlator that outputs a first correlation value when the phases coincide with each other, and outputs a second correlation value when the phases do not coincide with each other. An arithmetic processing unit that calculates distance data to an object corresponding to each of the plurality of first capacitors based on delay information from the counter when one correlation value is output.
また好ましくは、超音波発生器は、複数行複数列に配置され、各々が駆動電圧に応じて電極間距離が変化して超音波を生成する複数の第2キャパシタと、それぞれ第1の擬似ランダム雑音符号に従って振幅変調され、超音波発生器の中心部から外周方向に進むにつれて順次遅延された複数の駆動電圧を複数の第2キャパシタに与え、超音波発生器から放射状の超音波ビームを生成させるための遅延回路とを含む。 Preferably, the ultrasonic generator is arranged in a plurality of rows and a plurality of columns, each of which has a plurality of second capacitors that generate ultrasonic waves by changing the distance between the electrodes according to the driving voltage, and each of the first pseudo-random numbers. A plurality of drive voltages, which are amplitude-modulated according to the noise code and sequentially delayed from the central portion of the ultrasonic generator to the outer peripheral direction, are applied to the plurality of second capacitors, and a radial ultrasonic beam is generated from the ultrasonic generator. A delay circuit.
この発明に係わる立体画像表示システムは、上記立体視装置と、上記立体視装置からの多重化された距離データに基づいて、対象物の立体画像をモニタに表示させる復調装置とを備えたものである。 A stereoscopic image display system according to the present invention includes the stereoscopic device and a demodulator that displays a stereoscopic image of an object on a monitor based on multiplexed distance data from the stereoscopic device. is there.
この発明に係わる他の立体視装置は、擬似的にランダムな符号列パターンを有する擬似ランダム雑音符号を利用して、対象物の立体的形状を得るための立体視装置であって、所定の符号長を有する第1の擬似ランダム雑音符号、および第1の擬似ランダム雑音符号を所定時間ずつ順次遅延させた複数の第2の擬似ランダム雑音符号を生成する擬似ランダム雑音符号発生器と、第1の擬似ランダム雑音符号に従って振幅変調されたレーザ光を生成して対象物に出射する発光ダイオードと、複数行複数列に配置され、各々が対象物で反射されたレーザ光を受け、受けたレーザ光を電気信号に変換する複数の受光素子を含むイメージセンサと、複数の受光素子の各々によって生成された電気信号と複数の第2の疑似ランダム雑音符号とに基づいて、複数の受光素子の各々に対応した対象物までの距離データを算出する出力部とを備えたものである。 Another stereoscopic device according to the present invention is a stereoscopic device for obtaining a three-dimensional shape of an object using a pseudo random noise code having a pseudo random code string pattern. A first pseudo-random noise code having a length and a plurality of second pseudo-random noise codes obtained by sequentially delaying the first pseudo-random noise code by a predetermined time; A light emitting diode that generates laser light that is amplitude-modulated according to a pseudo-random noise code and emits the laser light to an object, and is arranged in multiple rows and multiple columns, each receiving laser light reflected by the object, and receiving the received laser light Based on an image sensor including a plurality of light receiving elements to be converted into an electric signal, an electric signal generated by each of the plurality of light receiving elements, and a plurality of second pseudo random noise codes, Is obtained and an output unit for calculating distance data to an object that corresponds to each of the number of light receiving elements.
この発明に係わる立体視装置では、所定の符号長を有する第1の擬似ランダム雑音符号、および第1の擬似ランダム雑音符号を所定時間ずつ順次遅延させた複数の第2の擬似ランダム雑音符号を生成する擬似ランダム雑音符号発生器と、第1の擬似ランダム雑音符号に従って振幅変調された超音波を生成して対象物に照射する超音波発生器と、複数行複数列に配置され、各々が対象物で反射された超音波を受け、受けた超音波に応じて電極間距離が変化して超音波を電気信号に変換する複数の第1キャパシタを含むイメージセンサと、複数の第1キャパシタの各々によって生成された電気信号と複数の第2の疑似ランダム雑音符号とに基づいて、複数の第1キャパシタの各々に対応した対象物までの距離データを出力する出力部とが設けられる。したがって、擬似ランダム雑音符号および超音波を利用することによって、対象物の三次元的な立体画像をリアルタイムに得ることができる。また、擬似的にランダムな符号列パターンを有する擬似ランダム雑音符号を利用するため、雑音に対しても安定した距離計測が可能である。また、立体視装置内部に記憶回路やプロセッサが不要であるため、超小型で低消費電力の立体視装置が実現できる。 The stereoscopic device according to the present invention generates a first pseudo random noise code having a predetermined code length and a plurality of second pseudo random noise codes obtained by sequentially delaying the first pseudo random noise code by a predetermined time. A pseudo random noise code generator, an ultrasonic generator that generates an ultrasonic wave modulated in accordance with the first pseudo random noise code, and irradiates the object, a plurality of rows and a plurality of columns, each of which is an object An image sensor that includes a plurality of first capacitors that receive the ultrasonic waves reflected by and changes the distance between the electrodes according to the received ultrasonic waves to convert the ultrasonic waves into electrical signals, and each of the plurality of first capacitors. An output unit is provided that outputs distance data to an object corresponding to each of the plurality of first capacitors based on the generated electrical signal and the plurality of second pseudo random noise codes. . Therefore, a three-dimensional stereoscopic image of an object can be obtained in real time by using a pseudo random noise code and ultrasonic waves. Further, since a pseudo-random noise code having a pseudo-random code string pattern is used, stable distance measurement can be performed against noise. In addition, since a storage circuit and a processor are not required inside the stereoscopic device, an ultra-small and low-power stereoscopic device can be realized.
この発明に係わる立体画像表示システムでは、上記立体視装置と、上記立体視装置からの多重化された距離データに基づいて、対象物の立体画像をモニタに表示させる復調装置とが設けられる。したがって、立体視装置から復調装置へ距離データを多重化して転送することによって、人間にとって違和感のない、30(フレーム/秒)の動画表示が可能となる。 The stereoscopic image display system according to the present invention includes the stereoscopic device and a demodulator that displays a stereoscopic image of the target on a monitor based on the multiplexed distance data from the stereoscopic device. Therefore, by multiplexing and transferring the distance data from the stereoscopic device to the demodulating device, it is possible to display 30 (frames / second) moving images that are not uncomfortable for humans.
この発明に係わる他の立体視装置では、所定の符号長を有する第1の擬似ランダム雑音符号、および第1の擬似ランダム雑音符号を所定時間ずつ順次遅延させた複数の第2の擬似ランダム雑音符号を生成する擬似ランダム雑音符号発生器と、第1の擬似ランダム雑音符号に従って振幅変調されたレーザ光を生成して対象物に出射する発光ダイオードと、複数行複数列に配置され、各々が対象物で反射されたレーザ光を受け、受けたレーザ光を電気信号に変換する複数の受光素子を含むイメージセンサと、複数の受光素子の各々によって生成された電気信号と複数の第2の疑似ランダム雑音符号とに基づいて、複数の受光素子の各々に対応した対象物までの距離データを算出する出力部とが設けられる。したがって、擬似ランダム雑音符号およびレーザ光を利用することによって、対象物の三次元的な立体画像をリアルタイムに得ることができる。また、擬似的にランダムな符号列パターンを有する擬似ランダム雑音符号を利用するため、雑音に対しても安定した距離計測が可能である。また、立体視装置内部に記憶回路やプロセッサが不要であるため、超小型で低消費電力の立体視装置が実現できる。 In another stereoscopic device according to the present invention, a first pseudo-random noise code having a predetermined code length and a plurality of second pseudo-random noise codes obtained by sequentially delaying the first pseudo-random noise code by a predetermined time , A light-emitting diode that generates laser light amplitude-modulated according to the first pseudo-random noise code and emits it to an object, and is arranged in a plurality of rows and columns, each of which is an object An image sensor including a plurality of light receiving elements that receive the laser light reflected by the light source and converts the received laser light into an electric signal, an electric signal generated by each of the plurality of light receiving elements, and a plurality of second pseudo random noises And an output unit for calculating distance data to the object corresponding to each of the plurality of light receiving elements based on the code. Therefore, a three-dimensional stereoscopic image of the object can be obtained in real time by using the pseudo random noise code and the laser beam. Further, since a pseudo-random noise code having a pseudo-random code string pattern is used, stable distance measurement can be performed against noise. In addition, since a storage circuit and a processor are not required inside the stereoscopic device, an ultra-small and low-power stereoscopic device can be realized.
[実施の形態1]
図1は、この発明の実施の形態1による立体画像表示システムの概略構成を示すブロック図である。図1において、この立体画像表示システムは、立体視装置1、復調装置2およびモニタ3を備える。
[Embodiment 1]
FIG. 1 is a block diagram showing a schematic configuration of a stereoscopic image display system according to
立体視装置1は、超音波を生成して対象物6に照射する超音波発生器4、および対象物6で反射された超音波を受ける回折レンズ5を含む。この立体視装置1は、表面の外周の4辺の長さがそれぞれ約1cm以下の超小型の立体視装置である。
The
立体視装置1の内部には、回折レンズ5を介して受けた反射波を電気信号に変換するイメージセンサ、およびその電気信号に基づいて立体視装置1から対象物6までの距離データを算出するための回路などが設けられる。算出された距離データは、立体視装置1から復調装置2に与えられる。復調装置2は、距離データを立体画像データに復調し、対象物6の三次元的な立体画像をモニタ3に表示させる。なお、回折レンズ5は、反射型の凹面鏡であってもよい。ただし、その場合は凹面鏡で反射された超音波をイメージセンサで受ける構成にする。
Inside the
図2は、図1に示した立体視装置1の構成を示すブロック図である。図2において、この立体視装置1は、超音波発生器4、回折レンズ5、制御回路10、LFSR(Linear Feedback Shift Register:線形帰還シフトレジスタ)11,12、駆動回路13、イメージセンサ14、相関器15、カウンタ16および演算処理部17を含む。
FIG. 2 is a block diagram showing a configuration of the
制御回路10は、LFSR11,12を起動させるための起動信号を生成する。LFSR11,12は、それぞれ制御回路10からの起動信号を受けて、擬似的にランダムな符号列パターンを有するPN(Pseudorandom Noise:擬似ランダム雑音)符号を生成する。
The
図3は、図2に示したLFSR11の構成を示すブロック図である。図3において、このLFSR11は、フリップフロップ(FF)21〜27および加算器28を含む。LFSR11には、“0”“1”で構成される7ビットの起動信号が制御回路10から与えられる。
FIG. 3 is a block diagram showing a configuration of the LFSR 11 shown in FIG. In FIG. 3, the LFSR 11 includes flip-flops (FF) 21 to 27 and an
7個のフリップフロップ21〜27は直列接続され、それぞれ入力信号を1ビット遅延させて出力する。また、フリップフロップ21〜27は、それぞれ起動信号を1ビットずつ受ける。この起動信号によって、フリップフロップ21〜27の初期値が設定される。フリップフロップ23,27の出力信号は、加算器28で加算された後、フリップフロップ21に帰還される。最終段のフリップフロップ27からは、擬似的にランダムな符号列パターンを有するPN符号が出力される。
Seven flip-
LFSR12は、LFSR11と同じ構成であり、制御回路10からの起動信号を受けてPN符号を生成する。ただし、LFSR11,12が制御回路10から受ける起動信号は異なり、LFSR11,12から出力されるPN符号の符号列パターンは異なる。
The
図4は、図2に示したLFSR11,12によって生成されるPN符号を示す図である。図4を参照して、このPN符号は、符号“0”“1”がほぼ同じ回数ランダムに表れる符号列である。PN符号の符号長は127(=27−1)であり、127個の連続した符号から成る符号列パターンが繰返される。なお、ここではPN符号の符号長を127として説明するが、このPN符号の符号長は、LFSRの構成により任意に設定できる。 FIG. 4 is a diagram showing a PN code generated by the LFSRs 11 and 12 shown in FIG. Referring to FIG. 4, this PN code is a code string in which codes “0” and “1” appear randomly about the same number of times. The code length of the PN code is 127 (= 2 7 −1), and a code string pattern composed of 127 consecutive codes is repeated. Here, although the code length of the PN code is described as 127, the code length of the PN code can be arbitrarily set depending on the configuration of the LFSR.
このように、7個のフリップフロップ21〜27を直列接続し、3段目と7段目のフリップフロップ23,27の出力信号を1段目のフリップフロップ21に帰還させる構成によって符号長127のPN符号が生成されることは、周知の技術である。このようなPN符号は、たとえば、スペクトル拡散通信技術を利用したCDMA(Code Division Multiple Access:符号分割多元接続)システムにおいて、拡散符号として用いられる。擬似的にランダムな符号列パターンを有するPN符号を利用することによって、耐雑音性に優れた通信が可能となる。
In this manner, seven flip-
制御回路10からLFSR11に与えられる7ビットの起動信号は、そのビット情報が切換えられない。このため、LFSR11によって生成されるPN符号は、符号長127の同一の符号列パターンが繰返される。
The bit information of the 7-bit activation signal given from the
一方、制御回路10からLFSR12に与えられる7ビットの起動信号は、そのビット情報が順次切換えられる。これにより、LFSR12によって生成されるPN符号は、符号長127の符号列パターンが1符号分(=ΔT)ずつ順次遅延されていく。より具体的には、LFSR12によって生成されるPN符号の1番目の符号列パターンは、LFSR11によって生成されるPN符号の符号列パターンと同じである。また、n番目(ただし、nは1から125までの整数)の符号列パターンに対して、n+1番目の符号列パターンは1符号分(=ΔT)だけ位相が遅れている。また、n番目の符号列パターンに対して、n+2番目の符号列パターンは2符号分(=2ΔT)だけ位相が遅れている。1番目の符号列パターンと128番目の符号列パターンは同じである。このように、起動信号によってフリップフロップ21〜27の初期値を設定変更することにより、PN符号の符号列パターンを順次ずらしていくことができる。
On the other hand, the bit information of the 7-bit activation signal given from the
図2に戻って、駆動回路13は、LFSR11によって生成されたPN符号を受け、PN符号に従って振幅変調された駆動電圧VDRを出力する。超音波発生器4は、駆動回路13からの駆動電圧VDRによって駆動され、PN符号に従って振幅変調された超音波を生成する。
Returning to FIG. 2, the
図5は、図2に示した超音波発生器4の構成を示す図である。図5において、この超音波発生器4は、集積回路部31およびキャパシタアレイ32を含む。キャパシタアレイ32は、集積回路部31の上部に形成される。
FIG. 5 is a diagram showing the configuration of the
キャパシタアレイ32は、複数行複数列(たとえば、128×64)に配置された複数の単位キャパシタを含む。このキャパシタアレイ32は、微細加工技術MEMS(Micro Electro Mechanical System:微小電子機械システム)を用いて作製される。集積回路部31およびキャパシタアレイ32は、1つの半導体チップで構成される。
図6は、図5に示したキャパシタアレイ32に含まれる単位キャパシタの構成を示す図である。図6において、この単位キャパシタは、シリコン酸化膜41、下部電極42、Si3N4膜43および上部電極44を含む。シリコン酸化膜41の表面に下部電極42が形成され、下部電極42から所定間隔だけ離れた上部にSi3N4膜43が形成される。Si3N4膜43の表面に上部電極44が形成される。
FIG. 6 is a diagram showing a configuration of unit capacitors included in
上部電極44および下部電極42は、ともにアルミ電極である。上部電極44および下部電極42は、外周の4辺の長さがそれぞれ約100μm以下のキャパシタを構成する。Si3N4膜43は、機械的なバネとして機能し、垂直方向に振動する。上部電極44には一定レベルの直流電圧が印加され、下部電極42にはPN符号に従って振幅変調された交流電圧が印加される。これにより、Si3N4膜43および上部電極44で構成されたメンブレン(積層膜)が垂直方向に振動して電極間距離が変化し、PN符号に従って振幅変調された超音波が生成される。Si3N4膜43および上部電極44で構成される超軽量のメンブレンは、空気との音響インピーダンスマッチングが優れているため、メンブレンの機械的振動を空気振動に変換する効率が、PZT(チタン酸ジルコン酸鉛)圧電素子を用いた場合に比べると4桁程度高い。
Both the
図7は、PN符号に従って振幅変調された超音波の信号波形を示す図である。図7を参照して、超音波の信号は、PN符号の符号“1”に対応して所定周波数の正弦波状の交流信号となり、符号“0”に対応して無信号状態となる。 FIG. 7 is a diagram illustrating a signal waveform of an ultrasonic wave that is amplitude-modulated according to the PN code. Referring to FIG. 7, the ultrasonic signal becomes a sinusoidal AC signal having a predetermined frequency corresponding to the code “1” of the PN code, and becomes a no-signal state corresponding to the code “0”.
再び図5を参照して、キャパシタアレイ32の中心部から外周方向に進むにつれて、各単位キャパシタによって生成される超音波の位相が順次遅延される。この超音波の位相制御は、下部電極42に印加する交流電圧の位相を制御することによって行なわれる。
Referring to FIG. 5 again, the phase of the ultrasonic wave generated by each unit capacitor is sequentially delayed from the center of
図8は、超音波発生器4によって生成される超音波の位相制御について説明するためのブロック図である。図8を参照して、遅延回路45は、図5に示した集積回路部31に含まれる。また、キャパシタブロックBL1,BL2,BL3,…は、図5に示したキャパシタアレイ32が所定数の単位キャパシタごとに区分けされたブロックである。
FIG. 8 is a block diagram for explaining phase control of ultrasonic waves generated by the
遅延回路45は、駆動回路13からの駆動電圧VDRを受け、所定時間ΔDT単位で順次遅延された駆動電圧DV1,DV2,DV3,…を出力する。より具体的には、キャパシタアレイの中央部のキャパシタブロックBL4には、駆動回路13からの駆動電圧VDRがそのまま駆動電圧DV1として与えられる。キャパシタブロックBL4の隣のキャパシタブロックBL3,BL5には、駆動回路13からの駆動電圧VDRが時間ΔDTだけ遅延された駆動電圧DV2が与えられる。さらにキャパシタブロックBL3,BL5の隣のキャパシタブロックBL2,BL6には、駆動回路13からの駆動電圧VDRが時間2ΔDTだけ遅延された駆動電圧DV3が与えられる。このようにして、キャパシタブロックごとに位相制御された超音波が、各単位キャパシタから生成される。
図5に戻って、各単位キャパシタによって生成された超音波が合成されることによって、放射状の超音波ビームが仮想点発振源から放射されたようになる。なお、超音波ビームのスポット中心線(垂直軸)からの広がり角度θは、60度以下とする。これにより、超音波ビームの強度は、最大強度に対して50%以上が確保される。 Returning to FIG. 5, the ultrasonic waves generated by the unit capacitors are synthesized, so that a radial ultrasonic beam is emitted from the virtual point oscillation source. The spread angle θ of the ultrasonic beam from the spot center line (vertical axis) is 60 degrees or less. Thereby, the intensity | strength of an ultrasonic beam is ensured 50% or more with respect to the maximum intensity | strength.
ここで、超音波を生成する方式として、狭帯域共振方式またはオイル浸漬方式を用いる。狭帯域共振方式の場合、Si3N4膜43および上部電極44で構成されるメンブレンの質量とSi3N4膜43の剛性とによって定まる共振周波数で共振が起こり、メンブレンが垂直方向に振動することによって超音波が生成される。
Here, a narrow-band resonance method or an oil immersion method is used as a method for generating ultrasonic waves. In the case of the narrow-band resonance method, resonance occurs at a resonance frequency determined by the mass of the membrane composed of the Si 3 N 4 film 43 and the
オイル浸漬方式の場合、半導体チップで構成される集積回路部31およびキャパシタアレイ32の全体をオイルで浸漬させる。この場合、オイルがメンブレンの振動に対して抵抗として作用するため共振が起こらず、上部電極44と下部電極42との間のクーロン力とSi3N4膜43の剛性とによってメンブレンの振幅が定まる。また、生成される超音波の周波数は、下部電極42に印加される交流電圧の周波数と同じになる。
In the case of the oil immersion method, the integrated circuit portion 31 and the
狭帯域共振方式の場合、減衰の比較的小さな0.2〜2MHzの超音波が生成される。一方、オイル浸漬方式の場合、2〜20MHzの超音波が生成される。 In the case of the narrow-band resonance method, an ultrasonic wave with a relatively low attenuation of 0.2 to 2 MHz is generated. On the other hand, in the case of the oil immersion method, ultrasonic waves of 2 to 20 MHz are generated.
図2に戻って、対象物6からの反射波は、回折レンズ5を介してイメージセンサ14に与えられる。図9は、回折レンズ5の構成を示す概念図である。図9において、この回折レンズ5は、フレネルレンズを応用したバイナリサブ波長回折レンズ(Binary Subwavelength diffractive lens)である。
Returning to FIG. 2, the reflected wave from the
回折レンズ5は、フレネルレンズ(点線部分参照)の厚さを量子化してスリットを設けたものである。この回折レンズ5は、スリット幅よりも長い波長の信号を回折させることによって、対象物6からの反射波の信号をイメージセンサ14上に収束させる。回折レンズ5の直径は、超音波の回折を考慮して、超音波の波長の30倍以上とする。
The
図10は、図2に示したイメージセンサ14および相関器15の構成を示す図である。図10において、このイメージセンサ14は、複数行複数列(たとえば、128×64)に配置された複数の単位キャパシタCU11,CU12,CU13,…を含む。相関器15は、イメージセンサ14の各行に対応して設けられた複数のマッチドフィルタMF1,MF2,…を含む。イメージセンサ14および相関器15は、1つの半導体チップで構成される。
FIG. 10 is a diagram showing the configuration of the
単位キャパシタCU11,CU12,CU13,…は、図5に示した超音波発生器4のキャパシタアレイ32と同様のキャパシタアレイを構成する。すなわち、単位キャパシタCU11,CU12,CU13,…の各々は、図6に示した単位キャパシタと同様の構成である。単位キャパシタCU11,CU12,CU13,…はそれぞれ画像の1画素に対応する。イメージセンサ14は、超音波発生器4と同様に微細加工技術MEMSによって作製される。このように、微細加工技術MEMSを用いて超音波発生器4およびイメージセンサ14のキャパシタアレイを作製することによって、双方の特性を一致させることができるため、高精度な距離計測が可能となる。
Unit capacitors CU11, CU12, CU13,... Constitute a capacitor array similar to the
単位キャパシタCU11,CU21,CU31…は、それぞれ対象物6からの反射波に応じてその電極間距離が変化し、超音波の信号を電気信号に変換して、対応するマッチドフィルタMF1,MF2,MF3…に与える。マッチドフィルタMF1,MF2,MF3…は、それぞれLFSR12からのPN符号の位相と、対応する単位キャパシタCU11,CU21,CU31…からの電気信号の位相とを比較し、比較結果に基づいて相関値DATA1,DATA2,DATA3…を出力する。マッチドフィルタMF1,MF2,MF3…は、外部からのリード信号、プリチャージ信号および列アドレス信号に応答して動作する。
The unit capacitors CU11, CU21, CU31,... Change in distance between the electrodes according to the reflected wave from the
図11は、図10に示した単位キャパシタCU11およびマッチドフィルタMF1の構成を示す回路図である。図11を参照して、単位キャパシタCU11はキャパシタ51およびコイル52を含み、マッチドフィルタMF1はダイオード61、スイッチ回路62,63、キャパシタ64、トランジスタ65、電流源66およびコンパレータ67を含む。
FIG. 11 is a circuit diagram showing a configuration of unit capacitor CU11 and matched filter MF1 shown in FIG. Referring to FIG. 11, unit capacitor CU11 includes a
キャパシタ51およびコイル52は、ノードN1と接地電位GNDのラインとの間に並列接続される。キャパシタ51は、図6に示した上部電極44および下部電極42に対応する。コイル52は、図6に示したSi3N4膜43に対応する。
スイッチ回路62およびダイオード61は、ノードN2とノードN1との間に直列接続される。スイッチ回路63は、電源電位VDDのラインとノードN2との間に接続される。キャパシタ64は、ノードN2と接地電位GNDのラインとの間に接続される。トランジスタ65は、そのゲートがノードN2に接続され、そのドレインが電源電位VDDのラインに接続され、そのソースが電流源66を介して接地電位GNDのラインに接続される。
ここで、スイッチ回路62は、LFSR12からのPN符号の符号“1”に応答して導通し、符号“0”に応答して非導通になる。スイッチ回路63は、外部からのプリチャージ信号が活性化レベルの「H」レベルにされたことに応じて導通し、非活性化レベルの「L」レベルにされたことに応じて非導通になる。電流源66は、外部からのリード信号が活性化レベルの「H」レベルにされたことに応じて電流供給動作を行ない、非活性化レベルの「L」レベルにされたことに応じて動作を停止する。また、コンパレータ67は、トランジスタ65のソースと電流源66との間の出力ノードN3の電位V_N3と参照電位VREFとを比較し、比較結果に応じた相関値DATA1を出力する。
Here, the
図12は、図11に示したキャパシタ51が受ける反射波とスイッチ回路62に与えられるPN符号の信号波形を示す図である。図12を参照して、LFSR12からスイッチ回路62に与えられるPN符号は、図4に示したように127個の連続した符号から成る符号列パターンが1符号分(=ΔT)ずつ順次遅延されていく。また、反射波の信号は、図7に示した超音波の信号と同様に、符号“1”に対応して所定周波数の正弦波状の交流信号となり、符号“0”に対応して無信号状態となる。
FIG. 12 is a diagram showing the reflected wave received by the
図4で説明したように、LFSR12からスイッチ回路62に与えられるPN符号のn番目(ただし、nは1から125までの整数)の符号列パターンに対して、n+1番目の符号列パターンは1符号分(=ΔT)だけ位相が遅れている。また、n番目の符号列パターンに対して、n+2番目の符号列パターンは2符号分(=2ΔT)だけ位相が遅れている。ここで、PN符号の1番目から127番目の符号列パターンのうち、n+2番目の符号列パターンの位相と反射波の位相とが一致するものとする。
As described with reference to FIG. 4, the (n + 1) th code string pattern is one code with respect to the nth code string pattern (where n is an integer from 1 to 125) of the PN code provided from the
図13は、図11に示した単位キャパシタCU11およびマッチドフィルタMF1の動作を示すタイムチャートである。図13を参照して、時刻t1において、PN符号のn番目の符号列パターンに対応して、プリチャージ信号が「L」レベルから「H」レベルに立上げられる。これに応じて、スイッチ回路63が導通し、キャパシタ64に電荷が蓄積される。時刻t1から所定期間経過後、プリチャージ信号が「L」レベルに立下げられ、スイッチ回路63が非導通になる。
FIG. 13 is a time chart showing operations of the unit capacitor CU11 and the matched filter MF1 shown in FIG. Referring to FIG. 13, at time t1, the precharge signal is raised from the “L” level to the “H” level corresponding to the nth code string pattern of the PN code. In response to this, the
その後、PN符号のn番目の符号列パターンに応答してスイッチ回路62がスイッチング動作を繰返す。また、キャパシタ51は、対象物6からの反射波の信号が符号“1”に対応する場合に電流を通過させ、対象物6からの反射波の信号が符号“0”に対応する場合は電流を通過させない。したがって、PN符号が符号“1”で、かつ反射波の信号が符号“1”に対応する場合に、キャパシタ64に蓄積された電荷が流出する。すなわち、ノードN2からスイッチ回路62、ダイオード61およびキャパシタ51を介して接地電位GNDのラインへ電流が流れる。一方、PN符号が符号“0”である場合、および/または反射波の信号が符号“0”に対応する場合は、キャパシタ64に蓄積された電荷は流出しない。
Thereafter, the
ここで、対象物6からの反射波の位相とPN符号のn番目の符号列パターンの位相は異なるため、127個の符号のうちほぼ半分が一致して半分が異なる。このため、キャパシタ64に蓄積された電荷が所定量αだけ流出する。すなわち、ノードN2の電位は、電源電位VDDよりも所定レベルV_αだけ低い電位V1にされる。このとき、リード信号が「L」レベルにされているので電流源66は動作を停止しており、出力ノードN3の電位V_N3は電源電位VDDにされる。
Here, since the phase of the reflected wave from the
次に、時刻t2において、リード信号が「H」レベルに立上げられる。これに応じて、電流源66が電流供給動作を開始するため、出力ノードN3の電位V_N3はノードN2の電位V1よりも所定レベルVthだけ低い電位(V1−Vth)にされる。コンパレータ67は、出力ノードN3の電位V_N3(=V1−Vth)が参照電位VREFよりも高いことに応じて、出力相関値DATA1を「L」レベルに維持する。
Next, at time t2, the read signal is raised to “H” level. In response to this, the
次いで、時刻t3において、リード信号が「L」レベルに立下げられたことに応じて、電流源66が動作を停止して、出力ノードN3の電位V_N3は電源電位VDDにされる。また、PN符号のn+1番目の符号列パターンに対応して、プリチャージ信号が「H」レベルに立上げられる。これに応じて、スイッチ回路63が導通し、キャパシタ64に再び電荷が蓄積される。時刻t3から所定期間経過後、プリチャージ信号が「L」レベルに立下げられ、スイッチ回路63が非導通になる。
Next, at time t3, in response to the read signal falling to the “L” level, the
その後、PN符号のn+1番目の符号列パターンに応答してスイッチ回路62がスイッチング動作を繰返す。ここで、対象物6からの反射波の位相とPN符号のn+1番目の符号列パターンの位相は異なるため、127個の符号のうちほぼ半分が一致して半分が異なる。このため、PN符号のn番目の符号列パターンの場合と同様に動作する。すなわち、時刻t4において、リード信号が「H」レベルに立上げられたことに応じて、出力ノードN3の電位V_N3はノードN2の電位V1よりも所定レベルVthだけ低い電位(V1−Vth)にされる。コンパレータ67は、出力ノードN3の電位V_N3(=V1−Vth)が参照電位VREFよりも高いことに応じて、出力相関値DATA1を「L」レベルに維持する。
Thereafter, the
次に、時刻t5において、リード信号が「L」レベルに立下げられたことに応じて、電流源66が動作を停止して、出力ノードN3の電位V_N3は電源電位VDDにされる。また、PN符号のn+2番目の符号列パターンに対応して、プリチャージ信号が「H」レベルに立上げられる。これに応じて、スイッチ回路63が導通し、キャパシタ64に再び電荷が蓄積される。時刻t5から所定期間経過後、プリチャージ信号が「L」レベルに立下げられ、スイッチ回路63が非導通になる。
Next, at time t5, in response to the read signal falling to the “L” level, the
その後、PN符号のn+2番目の符号列パターンに応答してスイッチ回路62がスイッチング動作を繰返す。ここで、対象物6からの反射波の位相とPN符号のn+2番目の符号列パターンの位相が同じであるため、127個の符号すべてが一致する。このため、キャパシタ64に蓄積された電荷が2αだけ流出する。すなわち、ノードN2の電位は、電源電位VDDよりも2V_αだけ低い電位V2にされる。
Thereafter, the
次に、時刻t6において、リード信号が「H」レベルに立上げられる。これに応じて、電流源66が電流供給動作を開始するため、出力ノードN3の電位V_N3はノードN2の電位V2よりも所定レベルVthだけ低い電位(V2−Vth)にされる。コンパレータ67は、出力ノードN3の電位V_N3(=V2−Vth)が参照電位VREFよりも低くなったことに応じて、出力相関値DATA1を「H」レベルに立上げる。
Next, at time t6, the read signal is raised to the “H” level. In response to this, the
次いで、時刻t7において、リード信号が「L」レベルに立下げられたことに応じて、電流源66が動作を停止して、出力ノードN3の電位V_N3は電源電位VDDにされる。マッチドフィルタMF1は、単位キャパシタCU11に対してこのような動作を127回繰返して行なう。この127回のうちの1回だけ、対象物6からの反射波の位相とPN符号の符号列パターンの位相とが一致して、出力相関値DATA1が「H」レベルにされる。
Next, at time t7, in response to the read signal falling to the “L” level, the
図10に戻って、マッチドフィルタMF1,MF2,MF3…は、それぞれ外部からの列アドレス信号に応答して、まず1列目の単位キャパシタCU11,CU21,CU31…に対する相関値DATA1,DATA2,DATA3…を出力する。次いで、列アドレス信号に応答して、2列目の単位キャパシタCU12,CU22,CU32…に対する相関値DATA1,DATA2,DATA3…を出力する。同様の動作がすべての列に対して繰返し行なわれ、イメージセンサ14のすべての単位キャパシタ(たとえば、128×64)の各々に対応する相関値DATAが得られる。
Referring back to FIG. 10, the matched filters MF1, MF2, MF3,... First respond to the column address signal from the outside, respectively, and first correlate values DATA1, DATA2, DATA3,... For the unit capacitors CU11, CU21, CU31,. Is output. Then, in response to the column address signal, correlation values DATA1, DATA2, DATA3,... For the unit capacitors CU12, CU22, CU32,. A similar operation is repeated for all the columns, and a correlation value DATA corresponding to each of all the unit capacitors (for example, 128 × 64) of the
再び図2に戻って、カウンタ16は、制御回路10からLFSR12に与えられる起動信号に基づいて、LFSR12に含まれるフリップフロップの初期値が設定変更された回数をカウントする。すなわち、LFSR12によって生成されるPN符号の符号列パターンが何番目であるかを示すカウント値を出力する。
Returning to FIG. 2 again, the
演算処理部17は、相関値14からの相関値DATAとカウンタ16からのカウント値に基づいて、対象物6までの距離データを算出する。より具体的には、相関値DATAが「H」レベルにされたときのカウント値より、超音波発生器4からの超音波が対象物6で反射されてイメージセンサ14に到達するまでの往復に要した時間が求まる。この時間と超音波の速度から、イメージセンサ14の各単位キャパシタに対応した距離データが算出される。
The
図14は、イメージセンサ14の各単位キャパシタに対応した距離データが算出される動作について説明するための図である。図14を参照して、イメージセンサ14の複数行複数列(たとえば、128×64)に配置された複数の単位キャパシタのうち、各列の単位キャパシタに対応する距離データが順に算出される。
FIG. 14 is a diagram for explaining an operation of calculating distance data corresponding to each unit capacitor of the
まず、1列目の単位キャパシタCU11,CU21,CU31…に対する相関値DATA1,DATA2,DATA3…とカウント値に基づいて、単位キャパシタCU11,CU21,CU31…の各々に対応する距離データL_CU11,L_CU21,L_CU31,…が得られる。次いで、2列目の単位キャパシタCU12,CU22,CU23…に対する相関値DATA1,DATA2,DATA3…とカウント値に基づいて、単位キャパシタCU12,CU22,CU23…の各々に対応する距離データL_CU12,L_CU22,L_CU32,…が得られる。 First, the distance data L_CU11, L_CU21, L_CU31 corresponding to each of the unit capacitors CU11, CU21, CU31,... Based on the correlation values DATA1, DATA2, DATA3,. , ... are obtained. Next, based on the correlation values DATA1, DATA2, DATA3,... And the count values for the unit capacitors CU12, CU22, CU23,. , ... are obtained.
この動作がイメージセンサ14のすべての列に対して順次行なわれることによって、イメージセンサ14のすべての単位キャパシタ(たとえば、128×64)に対応する距離データが算出される。
By sequentially performing this operation on all the columns of the
ここで、距離計測の分解能は、たとえば周波数5MHzの超音波を用いた場合、対象物の凹凸1mm以下まで保証できる。また、イメージセンサ14の単位キャパシタにPZT圧電素子を用いると40dB程度のダイナミックレンジしか実現できないが、本発明では、60dB以上のダイナミックレンジが実現可能である。
Here, the resolution of the distance measurement can be guaranteed up to 1 mm or less of the unevenness of the object when, for example, an ultrasonic wave having a frequency of 5 MHz is used. In addition, when a PZT piezoelectric element is used for the unit capacitor of the
なお、ここではイメージセンサ14の各行に対応してマッチドフィルタMF1,MF2,MF3,…を設けた場合について説明したが(図7参照)、マッチドフィルタMFを各単位キャパシタ(たとえば、128×64)に対応して設けてもよい。この場合は、マッチドフィルタMFの数が増えるため(たとえば、128×64個)、半導体チップの面積が大きくなるが、各単位キャパシタに対応する距離データの算出を並列に行なうことができるため、演算処理時間が短縮される。
Although the case where the matched filters MF1, MF2, MF3,... Are provided corresponding to each row of the
また、イメージセンサ14全体に対してマッチドフィルタMFを1つだけ設けてもよい。この場合は、イメージセンサ14の各単位キャパシタ(たとえば、128×64)に対応する距離データの算出を順に行なっていくため(たとえば、128×64回)、演算に要する時間が長くなるが、マッチドフィルタMFの数が1つでよいため半導体チップの面積が小さくなる。
Further, only one matched filter MF may be provided for the
図1に戻って、立体視装置1から復調装置2へ多重化(たとえば、64ビット多重)された距離データの転送が行なわれる。復調装置2は、多重化された距離データを立体画像データに復調して、対象物6の三次元的な立体画像をモニタ3に表示させる。立体視装置1から復調装置2へ距離データを多重化して転送することによって、人間にとって違和感のない、30(フレーム/秒)の動画表示が可能となる。
Returning to FIG. 1, the distance data multiplexed (for example, 64-bit multiplexed) from the
ここで、超音波インピーダンスの不整合などにより超音波の多重反射が起きると、ゴースト(画像が重なって見える現象)が発生する可能性がある。このため、復調装置2は、ゴースト除去の画像処理を行なうためのDSPを含む。
Here, when multiple reflections of ultrasonic waves occur due to mismatching of ultrasonic impedance, a ghost (a phenomenon in which images appear to overlap) may occur. For this reason, the
なお、ここでは、同一の符号列パターンが繰返されるPN符号を生成するLFSR11と、符号列パターンが1符号分(=ΔT)ずつ順次遅延されていくPN符号を生成するLFSR12とを設ける場合について説明したが、LFSR12の代わりに、LFSR11からのPN符号を受け、1符号分(=ΔT)の時間単位で遅延制御される遅延回路を設けてもよい。
Here, a case will be described in which a
以上のように、この実施の形態1では、PN符号および超音波を利用することによって、対象物の三次元的な立体画像をリアルタイムに得ることができる。また、立体視装置内部に記憶回路やプロセッサが不要であるため、超小型で低消費電力の立体視装置が実現できる。また、PN符号は擬似的にランダムな符号列パターンを有するため、雑音(外乱)に対しても安定した距離計測が可能である。さらに、キャパシタアレイにPZT圧電素子を用いた場合に比べて、大幅なコストダウンが図れる。また、機械的な機構が不要であるため、距離計測の信頼性が向上する。 As described above, in the first embodiment, a three-dimensional stereoscopic image of an object can be obtained in real time by using a PN code and ultrasonic waves. In addition, since a storage circuit and a processor are not required inside the stereoscopic device, an ultra-small and low-power stereoscopic device can be realized. Further, since the PN code has a pseudo random code string pattern, it is possible to stably measure the distance against noise (disturbance). Furthermore, the cost can be greatly reduced as compared with the case where a PZT piezoelectric element is used for the capacitor array. Further, since no mechanical mechanism is required, the reliability of distance measurement is improved.
なお、この立体視装置は、たとえば、ロボットの目として応用することができる。平坦でない場所においては、ロボットの歩行制御が困難である。しかし、ロボットの足の裏に立体視装置を装着することによって、体重移動の制御能力を向上させることができる。また、自動車の衝突を回避するために立体視装置を応用することもできる。前方の車両との車間距離が所定の距離よりも短くなったことを検知して、自動的にブレーキ動作を行なうように制御すれば、衝突を回避させることができる。また、視覚障害者の歩行補助装置として応用することもできる。さらに、胃カメラや内視鏡などに応用することも可能である。 Note that this stereoscopic device can be applied as, for example, the eyes of a robot. It is difficult to control the walking of the robot in an uneven place. However, the ability to control weight shift can be improved by mounting the stereoscopic device on the sole of the robot. In addition, a stereoscopic device can be applied in order to avoid a car collision. A collision can be avoided by detecting that the inter-vehicle distance from the vehicle ahead is shorter than a predetermined distance and controlling to automatically perform the braking operation. Moreover, it can also be applied as a walking assist device for visually impaired persons. Furthermore, it can be applied to a stomach camera, an endoscope, and the like.
[実施の形態2]
図15は、この発明の実施の形態2による立体視装置71の構成を示すブロック図であって、図2と対比される図である。図15の立体視装置71を参照して、図1の立体視装置1と異なる点は、超音波発生器4、回折レンズ5およびイメージセンサ14がそれぞれLED(発光ダイオード)72、光学レンズ73およびイメージセンサ74で置換されている点である。なお、図15において、図2と対応する部分においては同一符号を付し、その詳細説明を省略する。
[Embodiment 2]
FIG. 15 is a block diagram showing a configuration of the
LED72は、駆動回路13からの駆動電圧VDRによって駆動され、LFSR11からのPN符号に従って振幅変調された放射状のレーザ光を対象物6に出射する。LED72からのレーザ光は、対象物6で反射されて戻ってくる。対象物6からの反射光は、光学レンズ73を介してイメージセンサ74に与えられる。ここで、光学レンズ73は凸レンズである。このように、超音波の場合とレーザ光の場合とで異なるレンズを用いるのは、超音波とレーザ光の特性の違いによる。
The
イメージセンサ74は、光学レンズ73を介して受けた反射光を電気信号に変換して、相関器15に与える。このイメージセンサ74は、複数行複数列(たとえば、128×64)に配置された複数の受光素子PD11,PD12,PD13…を含む。受光素子PD11,PD12,PD13…の配置構成は、図10に示した単位キャパシタCU11,CU12,CU13…の配置構成と同様である。相関器15は、イメージセンサ74の各行に対応して設けられた複数のマッチドフィルタMF1,MF2,…を含む。イメージセンサ74および相関器15は、1つの半導体チップで構成される。
The
受光素子PD11,PD21,PD31…は、それぞれ対象物6からの反射光の信号を電気信号に変換して、対応するマッチドフィルタMF1,MF2,MF3…に与える。マッチドフィルタMF1,MF2,MF3…は、それぞれLFSR12からのPN符号の位相と、対応する受光素子PD11,PD21,PD31…の電気信号の位相とを比較し、比較結果に基づいて相関値DATA1,DATA2,DATA3…を出力する。マッチドフィルタMF1,MF2,MF3…は、外部からのリード信号、プリチャージ信号および列アドレス信号に応答して動作する。
Each of the light receiving elements PD11, PD21, PD31... Converts the signal of the reflected light from the
図16は、実施の形態2による受光素子PD11およびマッチドフィルタMF1の構成を示す回路図であって、図11と対比される図である。図16の回路図を参照して、図11の回路図と異なる点は、キャパシタ51およびコイル52がフォトダイオード81で置換されている点である。受光素子PD11はフォトダイオード81で構成される。フォトダイオード81は、接地電位GNDのラインとノードN1との間に接続される。
FIG. 16 is a circuit diagram showing a configuration of the light receiving element PD11 and the matched filter MF1 according to the second embodiment, and is a diagram compared with FIG. Referring to the circuit diagram of FIG. 16, the difference from the circuit diagram of FIG. 11 is that a
フォトダイオード81は、対象物6からの反射波の信号が符号“1”に対応する場合に電流を通過させ、対象物6からの反射波の信号が符号“0”に対応する場合は電流を通過させない。したがって、PN符号が符号“1”で、かつ反射光の信号が符号“1”に対応する場合に、キャパシタ64に蓄積された電荷が流出する。すなわち、ノードN2からスイッチ回路62、ダイオード61およびフォトダイオード81を介して接地電位GNDのラインへ電流が流れる。一方、PN符号が符号“0”である場合、および/または反射光の信号が符号“0”に対応する場合は、キャパシタ64に蓄積された電荷は流出しない。
The
この受光素子PD11およびマッチドフィルタMF1の動作を示すタイムチャートは、図13に示した単位キャパシタCU11およびマッチドフィルタMF1の動作を示すタイムチャートと同じである。 The time chart showing the operations of the light receiving element PD11 and the matched filter MF1 is the same as the time chart showing the operations of the unit capacitor CU11 and the matched filter MF1 shown in FIG.
ただし、距離計測の分解能は、たとえば周波数1GHzのレーザ光を用いた場合、対象物の凹凸15cm程度である。すなわち、超音波を用いた場合に比べると分解能は劣る。これは、空気中での超音波の速度が約340(m/s)であるのに対して、光の速度は約3×108(m/s)であり、超音波の波長に比べて光の波長が非常に短いためである。したがって、レーザ光を用いた場合は高速処理が必要となり、現在の技術レベルでは高分解能を実現するのは難しい。ただし、分解能を重視しない場合はレーザ光を利用した方法も有効である。 However, the resolution of distance measurement is, for example, about 15 cm of unevenness of the object when laser light having a frequency of 1 GHz is used. That is, the resolution is inferior compared to the case where ultrasonic waves are used. This is because the speed of ultrasonic waves in air is about 340 (m / s), whereas the speed of light is about 3 × 10 8 (m / s), compared to the wavelength of ultrasonic waves. This is because the wavelength of light is very short. Therefore, when laser light is used, high-speed processing is required, and it is difficult to achieve high resolution at the current technical level. However, a method using laser light is also effective when the resolution is not important.
以上のように、この実施の形態2では、PN符号およびレーザ光を利用することによって、対象物の三次元的な立体画像をリアルタイムに得ることができる。また、立体視装置内部に記憶回路やプロセッサが不要であるため、超小型で低消費電力の立体視装置が実現できる。また、PN符号は擬似的にランダムな符号列パターンを有するため、雑音に対しても安定した距離計測が可能である。 As described above, in the second embodiment, a three-dimensional stereoscopic image of an object can be obtained in real time by using a PN code and laser light. In addition, since a storage circuit and a processor are not required inside the stereoscopic device, an ultra-small and low-power stereoscopic device can be realized. In addition, since the PN code has a pseudo random code string pattern, stable distance measurement can be performed even against noise.
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
1 立体視装置、2 復調装置、3 モニタ、4 超音波発生器、5 回折レンズ、10 制御回路、11,12 LFSR、13 駆動回路、14,74 イメージセンサ、15 相関器、16 カウンタ、17 演算処理部、21〜27 フリップフロップ、28 加算器、31 集積回路部、32 キャパシタアレイ、41 シリコン酸化膜、42 下部電極、43 Si3N4膜、44 上部電極、45 遅延回路、51,64 キャパシタ、52 コイル、61 ダイオード、62,63 スイッチ回路、65 トランジスタ、66 電流源、67 コンパレータ、72 LED、73 光学レンズ、81 フォトダイオード。
DESCRIPTION OF
Claims (5)
所定の符号長を有する第1の擬似ランダム雑音符号、および前記第1の擬似ランダム雑音符号を所定時間ずつ順次遅延させた複数の第2の擬似ランダム雑音符号を生成する擬似ランダム雑音符号発生器、
前記第1の擬似ランダム雑音符号に従って振幅変調された超音波を生成して対象物に照射する超音波発生器、
複数行複数列に配置され、各々が対象物で反射された超音波を受け、受けた超音波に応じて電極間距離が変化して超音波を電気信号に変換する複数の第1キャパシタを含むイメージセンサ、および
前記複数の第1キャパシタの各々によって生成された電気信号と前記複数の第2の疑似ランダム雑音符号とに基づいて、前記複数の第1キャパシタの各々に対応した対象物までの距離データを出力する出力部を備える立体視装置。 A stereoscopic device for obtaining a three-dimensional shape of an object using a pseudo-random noise code having a pseudo-random code string pattern,
A pseudo-random noise code generator for generating a first pseudo-random noise code having a predetermined code length and a plurality of second pseudo-random noise codes obtained by sequentially delaying the first pseudo-random noise code by a predetermined time;
An ultrasonic generator for generating an ultrasonic wave amplitude-modulated according to the first pseudo-random noise code and irradiating an object;
A plurality of first capacitors are arranged in a plurality of rows and a plurality of columns, each receiving an ultrasonic wave reflected by an object, and a plurality of first capacitors for converting the ultrasonic wave into an electric signal by changing a distance between electrodes according to the received ultrasonic wave Based on an image sensor and an electrical signal generated by each of the plurality of first capacitors and the plurality of second pseudorandom noise codes, the distance to the object corresponding to each of the plurality of first capacitors A stereoscopic device including an output unit that outputs data.
前記複数の第2の擬似ランダム雑音符号の遅延情報を出力するカウンタ、
前記複数の第1キャパシタの各々によって生成された電気信号の位相と前記複数の第2の疑似ランダム雑音符号の各々の位相とを比較し、それらの位相が一致した場合は第1の相関値を出力し、それらの位相が一致しない場合は第2の相関値を出力する相関器、および
前記相関器から前記第1の相関値が出力されたときの前記カウンタからの遅延情報に基づいて、前記複数の第1キャパシタの各々に対応した対象物までの距離データを算出する演算処理部を含む、請求項1に記載の立体視装置。 The output unit is
A counter that outputs delay information of the plurality of second pseudo-random noise codes;
The phase of the electrical signal generated by each of the plurality of first capacitors is compared with the phase of each of the plurality of second pseudorandom noise codes, and if the phases match, a first correlation value is obtained. Based on the delay information from the counter when the first correlation value is output from the correlator that outputs the first correlation value when the first correlation value is output from the correlator. The stereoscopic device according to claim 1, further comprising an arithmetic processing unit that calculates distance data to an object corresponding to each of the plurality of first capacitors.
複数行複数列に配置され、各々が駆動電圧に応じて電極間距離が変化して超音波を生成する複数の第2キャパシタ、および
それぞれ前記第1の擬似ランダム雑音符号に従って振幅変調され、前記超音波発生器の中心部から外周方向に進むにつれて順次遅延された複数の駆動電圧を前記複数の第2キャパシタに与え、前記超音波発生器から放射状の超音波ビームを生成させるための遅延回路を含む、請求項1または請求項2に記載の立体視装置。 The ultrasonic generator is
A plurality of second capacitors arranged in a plurality of rows and a plurality of columns, each of which changes the distance between electrodes according to a driving voltage to generate an ultrasonic wave, and each of which is amplitude-modulated according to the first pseudo-random noise code, A delay circuit for applying a plurality of drive voltages sequentially delayed from the central portion of the sound wave generator to the outer peripheral direction to the plurality of second capacitors and generating a radial ultrasonic beam from the ultrasonic wave generator; The stereoscopic device according to claim 1 or 2.
前記立体視装置からの多重化された前記距離データに基づいて、対象物の立体画像をモニタに表示させる復調装置を備える立体画像表示システム。 The stereoscopic device according to any one of claims 1 to 3, and a demodulator that displays a stereoscopic image of an object on a monitor based on the multiplexed distance data from the stereoscopic device. A stereoscopic image display system comprising:
所定の符号長を有する第1の擬似ランダム雑音符号、および前記第1の擬似ランダム雑音符号を所定時間ずつ順次遅延させた複数の第2の擬似ランダム雑音符号を生成する擬似ランダム雑音符号発生器、
前記第1の擬似ランダム雑音符号に従って振幅変調されたレーザ光を生成して対象物に出射する発光ダイオード、
複数行複数列に配置され、各々が対象物で反射されたレーザ光を受け、受けたレーザ光を電気信号に変換する複数の受光素子を含むイメージセンサ、および
前記複数の受光素子の各々によって生成された電気信号と前記複数の第2の疑似ランダム雑音符号とに基づいて、前記複数の受光素子の各々に対応した対象物までの距離データを算出する出力部を備える立体視装置。 A stereoscopic device for obtaining a three-dimensional shape of an object using a pseudo-random noise code having a pseudo-random code string pattern,
A pseudo-random noise code generator for generating a first pseudo-random noise code having a predetermined code length and a plurality of second pseudo-random noise codes obtained by sequentially delaying the first pseudo-random noise code by a predetermined time;
A light-emitting diode that generates laser light that is amplitude-modulated according to the first pseudo-random noise code and emits the laser light to an object;
An image sensor including a plurality of light receiving elements arranged in a plurality of rows and a plurality of columns, each receiving laser light reflected by an object and converting the received laser light into an electrical signal, and generated by each of the plurality of light receiving elements A stereoscopic device comprising: an output unit that calculates distance data to an object corresponding to each of the plurality of light receiving elements based on the electrical signal that has been output and the plurality of second pseudo random noise codes.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004295835A JP2006105887A (en) | 2004-10-08 | 2004-10-08 | Stereoscopic vision device and stereoscopic image display system equipped therewith |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004295835A JP2006105887A (en) | 2004-10-08 | 2004-10-08 | Stereoscopic vision device and stereoscopic image display system equipped therewith |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006105887A true JP2006105887A (en) | 2006-04-20 |
Family
ID=36375795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004295835A Pending JP2006105887A (en) | 2004-10-08 | 2004-10-08 | Stereoscopic vision device and stereoscopic image display system equipped therewith |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006105887A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101334472B (en) * | 2008-05-12 | 2011-05-04 | 北京理工大学 | Ultrasonic ranging system suitable for special type robot |
US11181636B2 (en) | 2016-10-20 | 2021-11-23 | Samsung Electronics Co., Ltd. | Electronic apparatus and method of detecting information about target object by using ultrasound waves |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62284600A (en) * | 1986-06-03 | 1987-12-10 | Agency Of Ind Science & Technol | Ultrasonic transducer |
JPH05256933A (en) * | 1992-03-16 | 1993-10-08 | Hitachi Ltd | Wave-receiving phasing circuit for two-dimensional array |
JPH0650774A (en) * | 1992-07-31 | 1994-02-25 | Nippon Seiki Co Ltd | Moving magnet meter |
JPH10504480A (en) * | 1994-07-22 | 1998-05-06 | ロッキード マーティン アイアール イメージング システムズ,インク. | Ultrasound imaging array |
JP2000517427A (en) * | 1996-09-05 | 2000-12-26 | ルドルフ シュヴァルト | Method and apparatus for examining phase and / or amplitude information of an electromagnetic wave |
JP2001511250A (en) * | 1997-02-03 | 2001-08-07 | テラテク・コーポレーシヨン | Multidimensional beam forming equipment |
JP2002131427A (en) * | 2000-10-26 | 2002-05-09 | Mitsubishi Heavy Ind Ltd | Ultrasonic searching method and device, and ultrasonic analyzing device |
JP2002156451A (en) * | 2000-11-20 | 2002-05-31 | Osaka Prefecture | Sound wave sensor, semiconductor device equipped with delay circuit, stick for visually handicapped person, and three-dimensional measuring method |
JP2002521890A (en) * | 1998-07-23 | 2002-07-16 | イギリス国 | Method of manufacturing a capacitive ultrasonic transducer |
JP2003284182A (en) * | 2002-03-25 | 2003-10-03 | Osaka Industrial Promotion Organization | Ultrasonic wave sensor element, ultrasonic wave array sensor system, and adjustment method of resonance frequency therefor |
JP2004105257A (en) * | 2002-09-13 | 2004-04-08 | Fuji Photo Film Co Ltd | Ultrasonic wave transmitting/receiving system |
-
2004
- 2004-10-08 JP JP2004295835A patent/JP2006105887A/en active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62284600A (en) * | 1986-06-03 | 1987-12-10 | Agency Of Ind Science & Technol | Ultrasonic transducer |
JPH05256933A (en) * | 1992-03-16 | 1993-10-08 | Hitachi Ltd | Wave-receiving phasing circuit for two-dimensional array |
JPH0650774A (en) * | 1992-07-31 | 1994-02-25 | Nippon Seiki Co Ltd | Moving magnet meter |
JPH10504480A (en) * | 1994-07-22 | 1998-05-06 | ロッキード マーティン アイアール イメージング システムズ,インク. | Ultrasound imaging array |
JP2000517427A (en) * | 1996-09-05 | 2000-12-26 | ルドルフ シュヴァルト | Method and apparatus for examining phase and / or amplitude information of an electromagnetic wave |
JP2001511250A (en) * | 1997-02-03 | 2001-08-07 | テラテク・コーポレーシヨン | Multidimensional beam forming equipment |
JP2002521890A (en) * | 1998-07-23 | 2002-07-16 | イギリス国 | Method of manufacturing a capacitive ultrasonic transducer |
JP2002131427A (en) * | 2000-10-26 | 2002-05-09 | Mitsubishi Heavy Ind Ltd | Ultrasonic searching method and device, and ultrasonic analyzing device |
JP2002156451A (en) * | 2000-11-20 | 2002-05-31 | Osaka Prefecture | Sound wave sensor, semiconductor device equipped with delay circuit, stick for visually handicapped person, and three-dimensional measuring method |
JP2003284182A (en) * | 2002-03-25 | 2003-10-03 | Osaka Industrial Promotion Organization | Ultrasonic wave sensor element, ultrasonic wave array sensor system, and adjustment method of resonance frequency therefor |
JP2004105257A (en) * | 2002-09-13 | 2004-04-08 | Fuji Photo Film Co Ltd | Ultrasonic wave transmitting/receiving system |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101334472B (en) * | 2008-05-12 | 2011-05-04 | 北京理工大学 | Ultrasonic ranging system suitable for special type robot |
US11181636B2 (en) | 2016-10-20 | 2021-11-23 | Samsung Electronics Co., Ltd. | Electronic apparatus and method of detecting information about target object by using ultrasound waves |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110998365B (en) | Optical distance measuring device with electronic scanning emitter array and synchronous sensor array | |
JP4405154B2 (en) | Imaging system and method for acquiring an image of an object | |
JP7028878B2 (en) | A system for measuring the distance to an object | |
CN108885263B (en) | LIDAR-based 3D imaging with variable pulse repetition | |
US11060851B2 (en) | Projectors of structured light | |
US10154235B2 (en) | Device for displaying an image sequence and system for displaying a scene | |
US7283213B2 (en) | Method and system to correct motion blur and reduce signal transients in time-of-flight sensor systems | |
US9621876B2 (en) | Scanning 3D imager | |
JP2019529958A (en) | System and method for determining distance to an object | |
JP6580578B2 (en) | Camera device | |
US11399139B2 (en) | High dynamic range camera assembly with augmented pixels | |
JP6424581B2 (en) | Optical flight type distance measuring device | |
JP6539990B2 (en) | Optical flight type distance measuring device | |
US10791286B2 (en) | Differentiated imaging using camera assembly with augmented pixels | |
JP2019184545A (en) | Image processing device, image processing method, distance measuring device, and distance measuring system | |
US11509803B1 (en) | Depth determination using time-of-flight and camera assembly with augmented pixels | |
JP2013096941A (en) | Imaging device, imaging method, and program | |
JP2022501583A (en) | Methods and systems for dithering active sensor pulse emissions | |
JP2018019044A (en) | Light source driving device and distance measuring device | |
CN105556650A (en) | Method and system for high speed height control of a substrate surface within a wafer inspection system | |
JP2006105887A (en) | Stereoscopic vision device and stereoscopic image display system equipped therewith | |
JP7433819B2 (en) | Distance measuring device and distance measuring method | |
CN109975975A (en) | Light scanning apparatus and device for image | |
US10139217B1 (en) | Array based patterned illumination projector | |
KR101832960B1 (en) | Method for creating structured light, apparatus thereof and aparatus for motion detection by using apparatus thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070820 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101019 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110301 |