JP2017129383A - Three-dimensional distance sensor device - Google Patents
Three-dimensional distance sensor device Download PDFInfo
- Publication number
- JP2017129383A JP2017129383A JP2016007238A JP2016007238A JP2017129383A JP 2017129383 A JP2017129383 A JP 2017129383A JP 2016007238 A JP2016007238 A JP 2016007238A JP 2016007238 A JP2016007238 A JP 2016007238A JP 2017129383 A JP2017129383 A JP 2017129383A
- Authority
- JP
- Japan
- Prior art keywords
- light
- image sensor
- sensor device
- dimensional distance
- distance sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
Abstract
Description
本発明は、ステレオ視方式の三次元距離センサー装置に関する。 The present invention relates to a stereoscopic vision type three-dimensional distance sensor device.
三次元距離センサーは、自動車の衝突回避システム、ロボットビジョン、ゲーム機又は電子機器の空間センシング等、様々な応用が期待されている。実用化されている三次元距離センサーは、TOF(Time Of Flight)レンジセンサーやミリ波レーダ、ステレオ視カメラシステムなどがある。
TOFレンジセンサーで採用されているTOF方式は、レーザー光を照射してから反射光を検出するまでの時間を基に距離を検出する。また、屋内ゲーム機器で採用されているパターン照射(三角測量)方式は、特定のパターンの光を照射して反射パターンのズレから距離を計測する。
The three-dimensional distance sensor is expected to be used in various applications such as automobile collision avoidance systems, robot vision, game machines or electronic devices. Three-dimensional distance sensors that have been put into practical use include TOF (Time Of Flight) range sensors, millimeter wave radars, and stereo vision camera systems.
The TOF method employed in the TOF range sensor detects the distance based on the time from when the laser light is irradiated until the reflected light is detected. In addition, the pattern irradiation (triangulation) method employed in indoor game machines irradiates a specific pattern of light and measures the distance from the deviation of the reflection pattern.
しかしながら、以上のような変調光やパターン光の照射を必要とする方式は、照射光の反射光量が距離の二乗に反比例して減衰することから、広範囲な距離検知に不向きであると共に、照射光以外の光や対象物の反射率の違いなど、様々な検知精度劣化の要因を取り除くことが原理的に難しい。従って、TOF方式やパターン照射方式は、照射光が検知し易い屋内における狭い空間での用途に限定される。 However, such a method that requires irradiation of modulated light or pattern light is not suitable for wide-range distance detection because the amount of reflected light of the irradiated light attenuates in inverse proportion to the square of the distance. In principle, it is difficult to remove various factors of deterioration in detection accuracy such as differences in the reflectance of light and objects. Therefore, the TOF method and the pattern irradiation method are limited to applications in a small indoor space where irradiation light is easy to detect.
屋外での使用を前提とした車載用のレーダは、指向性の高い電波(ミリ波)やレーザー光などをビーム照射して、その反射信号の時間遅れで距離を測定するアクティブ測距方式の距離センサーとして、自動車の前方衝突防止用等で実用化されている。
しかしながら、アクティブ測距方式は、視野角が狭い上に分解能が低く、更に雨粒などによる反射雑音が大きいなど、天候に左右されるという問題がある。
In-vehicle radar, which is intended for outdoor use, is an active distance measuring system that measures the distance by delaying the reflected signal by irradiating a highly directional radio wave (millimeter wave) or laser beam. As a sensor, it has been put to practical use for preventing a frontal collision of an automobile.
However, the active ranging method has a problem that it is influenced by the weather, such as a narrow viewing angle, a low resolution, and a large reflection noise due to raindrops.
この点、ステレオ視カメラシステムで採用されているステレオ視方式は、照射光等を必要としないパッシブ測距方式なので、耐環境性能に優れており、屋外や広範囲の三次元距離検知が可能である。ステレオ視カメラシステムは、車載用三次元距離センサーとして実用化されている。
しかしながら、ステレオ視カメラシステムでは、2台のカメラ(イメージセンサー)と、2台のカメラが取得した2画像間の視差検知に必要な大量の相関演算処理を担う極めて高速な専用LSIが必要であり、製造コストが高くなる。
In this regard, the stereo vision method adopted in the stereo vision camera system is a passive distance measurement method that does not require illumination light, etc., so it has excellent environmental resistance, and can detect three-dimensional distances outdoors and over a wide range. . Stereo vision camera systems have been put to practical use as in-vehicle three-dimensional distance sensors.
However, a stereo camera system requires two cameras (image sensors) and an extremely high-speed dedicated LSI that handles a large amount of correlation calculation processing necessary for parallax detection between two images acquired by the two cameras. , Manufacturing costs are high.
更に、数100m程度の長距離検知を行う場合、2台のカメラの間に少なくとも30cm程度の距離を設けることが必要で、装置全体の大型化が、車載用途以外の普及を阻む理由となっている。
本発明者らは、これまでに、ステレオ画像の相関検知処理を高速に実行する為の極めてコンパクトな独自の回路構成を考え出し、二つのイメージセンサーとそれらの相関検知処理回路を一つのLSIチップ(大規模集積回路チップ)に集積することを可能にした(特許文献1参照)。そして、シングルチップのステレオ視方式の三次元距離センサーLSIを開発し、リアルタイム(100fps以上)三次元距離計測に成功している(非特許文献1、2参照)。この三次元距離計測によって、装置の低コスト化と低消費電力化の課題を解決した。
Furthermore, when long distance detection of about several hundred meters is performed, it is necessary to provide a distance of at least about 30 cm between the two cameras, and the increase in the size of the entire apparatus is a reason for hindering the spread of applications other than in-vehicle applications. Yes.
The inventors of the present invention have come up with an extremely compact unique circuit configuration for performing stereo image correlation detection processing at high speed, and two image sensors and their correlation detection processing circuits are combined into one LSI chip ( It is possible to integrate it in a large-scale integrated circuit chip) (see Patent Document 1). A single-chip stereo vision type three-dimensional distance sensor LSI has been developed, and real-time (100 fps or more) three-dimensional distance measurement has succeeded (see Non-Patent
しかしながら、ステレオ視方式の三次元距離センサーにおいては、距離検知精度がイメージセンサーの画素数に依存するため、チップサイズを維持したまま距離検知精度を向上させることが困難であるという課題があった。
この課題の解決については、チップサイズを変えずに距離検知精度を4倍高める手法が、非特許文献3に開示されているが、汎用性の高い三次元距離センサーLSIを実現するには、シングルチップの三次元距離センサーLSIによる長距離検知を実現する必要がある。
However, in the stereo vision type three-dimensional distance sensor, there is a problem that it is difficult to improve the distance detection accuracy while maintaining the chip size because the distance detection accuracy depends on the number of pixels of the image sensor.
As a solution to this problem, Non-Patent
この点、ステレオ視方式によるシングルチップの三次元距離センサーLSIにおいて、イメージセンサーから遠い位置を検知するためには、2つのイメージセンサー間の間隔を長くすることを要する。
一方、シングルチップのLSIの大きさを考慮すると、2つのイメージセンサーをシングルチップのLSIに集積するには、イメージセンサー間の距離の上限が10mm程度となる。イメージセンサー間の距離が10mmであると、例えば、イメージセンサーの画素ピッチが6μm、2つのイメージセンサーを並べた方向(X方向)における画素数が640、画角90度の場合、図16に示すように、正確な距離検知が可能なイメージセンサーからの距離は、最長で2m程度である。画角が45度であったとしても、その距離は4m程度である。
よって、シングルチップの三次元距離センサーLSIの使用用途は制限される。
本発明は、かかる事情に鑑みてなされるもので、イメージセンサー間の距離を変えることなく検出可能な距離を長くすることが可能なステレオ視方式の三次元距離センサー装置を提供することを目的とする。
In this regard, in the single-chip three-dimensional distance sensor LSI using the stereo vision method, in order to detect a position far from the image sensor, it is necessary to lengthen the interval between the two image sensors.
On the other hand, considering the size of a single-chip LSI, in order to integrate two image sensors in a single-chip LSI, the upper limit of the distance between image sensors is about 10 mm. When the distance between the image sensors is 10 mm, for example, when the pixel pitch of the image sensor is 6 μm, the number of pixels in the direction in which the two image sensors are arranged (X direction) is 640, and the angle of view is 90 degrees, FIG. As described above, the distance from the image sensor capable of accurate distance detection is about 2 m at the longest. Even if the angle of view is 45 degrees, the distance is about 4 m.
Therefore, the usage application of the single-chip three-dimensional distance sensor LSI is limited.
The present invention has been made in view of such circumstances, and an object of the present invention is to provide a stereo vision type three-dimensional distance sensor device capable of increasing the detectable distance without changing the distance between image sensors. To do.
前記目的に沿う本発明に係る三次元距離センサー装置は、外部から光が入射する複数の第1画素が所定方向に並べられた第1のイメージセンサーと、外部から光が入射する複数の第2画素が前記所定方向に並べられ、前記第1のイメージセンサーから前記所定方向に間隔を空けて配された第2のイメージセンサーと、前記第1、第2のイメージセンサーの撮像画像の相関を検出する相関検知回路と、外部から前記第1のイメージセンサーの第1位置に入射していた光を、屈折又は反射させて、該第1位置まで前記所定方向に距離のある第1シフト位置に入射させる第1光路変更手段とを備える。 The three-dimensional distance sensor device according to the present invention that meets the above-described object includes a first image sensor in which a plurality of first pixels that receive light from the outside are arranged in a predetermined direction, and a plurality of second that receives light from the outside. A second image sensor in which pixels are arranged in the predetermined direction and spaced from the first image sensor in the predetermined direction is detected, and a correlation between images captured by the first and second image sensors is detected. And a correlation detection circuit that refracts or reflects light incident on the first position of the first image sensor from the outside and enters the first shift position having a distance in the predetermined direction to the first position. First optical path changing means.
本発明に係る三次元距離センサー装置において、前記第1、第2のイメージセンサー及び前記相関検知回路を1つの集積回路チップに集積するのが好ましい。 In the three-dimensional distance sensor device according to the present invention, it is preferable that the first and second image sensors and the correlation detection circuit are integrated in one integrated circuit chip.
本発明に係る三次元距離センサー装置において、前記第1光路変更手段は、前記光を屈折させる第1透光板及び該第1透光板の前記第1のイメージセンサーに対する角度を変える第1角度調整機構を有するのが好ましい。 In the three-dimensional distance sensor device according to the present invention, the first optical path changing unit includes a first light transmitting plate that refracts the light and a first angle that changes an angle of the first light transmitting plate with respect to the first image sensor. It is preferable to have an adjustment mechanism.
本発明に係る三次元距離センサー装置において、前記第1透光板は、アクリル樹脂、ポリカーボネート又はガラスによって形成されているのが好ましい。 In the three-dimensional distance sensor device according to the present invention, it is preferable that the first light-transmitting plate is made of acrylic resin, polycarbonate, or glass.
本発明に係る三次元距離センサー装置において、前記第1透光板の厚さは、50〜1000μmであるのが好ましい。 In the three-dimensional distance sensor device according to the present invention, it is preferable that the thickness of the first light transmission plate is 50 to 1000 μm.
本発明に係る三次元距離センサー装置において、前記第1角度調整機構は、前記第1透光板の角度を0度を超え10度以下の範囲で変えられるのが好ましい。 In the three-dimensional distance sensor device according to the present invention, it is preferable that the first angle adjusting mechanism can change the angle of the first light transmitting plate in a range of more than 0 degree and not more than 10 degrees.
本発明に係る三次元距離センサー装置において、前記第1角度調整機構は、アクチュエータを有するのが好ましい。 In the three-dimensional distance sensor device according to the present invention, it is preferable that the first angle adjustment mechanism has an actuator.
本発明に係る三次元距離センサー装置において、外部から前記第2のイメージセンサーの第2位置に入射していた光を、進行方向を変えて、該第2位置まで前記所定方向に距離のある第2シフト位置に入射させる第2光路変更手段を、更に備えるのが好ましい。 In the three-dimensional distance sensor device according to the present invention, the light incident on the second position of the second image sensor from the outside is changed in the traveling direction, and the second distance to the second position is the predetermined direction. It is preferable to further include a second optical path changing unit that makes the light incident at the 2 shift position.
本発明に係る三次元距離センサー装置において、前記第2光路変更手段は、前記光を屈折させる第2透光板及び該第2透光板の前記第2のイメージセンサーに対する角度を変える第2角度調整機構を有するのが好ましい。 In the three-dimensional distance sensor device according to the present invention, the second optical path changing means includes a second light transmissive plate that refracts the light and a second angle that changes an angle of the second light transmissive plate with respect to the second image sensor. It is preferable to have an adjustment mechanism.
本発明に係る三次元距離センサー装置は、外部から第1のイメージセンサーの第1位置に入射していた光を、進行方向を変えて、第1位置まで所定方向に距離のある第1シフト位置に入射させる第1光路変更手段を備えるので、イメージセンサー間の距離を変えることなく検出可能な距離を長くすることが可能である。 In the three-dimensional distance sensor device according to the present invention, the first shift position having a distance in the predetermined direction to the first position by changing the traveling direction of the light incident on the first position of the first image sensor from the outside. Since the first optical path changing means for making the light incident is provided, the detectable distance can be increased without changing the distance between the image sensors.
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
図1〜図3に示すように、本発明の第1の実施の形態に係る三次元距離センサー装置10は、外部から光が入射する複数の画素11a(第1画素)がX方向(所定方向)に並べられたイメージセンサー11(第1のイメージセンサー)と、外部から光が入射する複数の画素12a(第2画素)がX方向に並べられ、イメージセンサー11からX方向に間隔を空けて配されたイメージセンサー12(第2のイメージセンサー)と、イメージセンサー11、12の撮像画像の相関を検出する相関検知回路13を備えている。以下、詳細に説明する。
Next, embodiments of the present invention will be described with reference to the accompanying drawings for understanding of the present invention.
As shown in FIGS. 1 to 3, in the three-dimensional
イメージセンサー11、12は、図1に示すように、それぞれ信号配線14、15を介して相関検知回路13に接続されている。複数の画素11aから出力される電気信号は、信号配線14を経由して相関検知回路13に送られ、複数の画素12aから出力される電気信号は、信号配線15を経由して相関検知回路13に送られる。本実施の形態では、イメージセンサー12がイメージセンサー11のX方向正側に配されている。
As shown in FIG. 1, the
イメージセンサー11には、図1、図2に示すように、X方向に配列されたn個(複数)の画素11aの行が、X方向に垂直なY方向に並べられ、イメージセンサー12には、X方向に配列されたn個(複数)の画素12aの行が、Y方向に並べられている。なお、図2において、画素11a、12aに記された1、2、3、・・・、k−1、k、k+1、・・・n−2、n−1、nの番号は、X方向一側(負側)から何番目に配された画素11a、12aであるかを示すものである。
As shown in FIGS. 1 and 2, the
相関検知回路13は、複数の画素11aからの電気信号及び複数の画素12aからの電気信号を基に、特定の対象物が、イメージセンサー11、12のどの画素11a、12aに撮像されていたかを検知し、三次元距離センサー装置10からイメージセンサー11、12に撮像された対象物までの距離を算出する。即ち、三次元距離センサー装置10においては、ステレオ視方式によって、対象物までの距離を検出する。
The
イメージセンサー11、12の前方(X方向及びY方向に直交する方向において光が入射する側)には、レンズ17及びレンズ17からX方向に離れたレンズ18がそれぞれ配されている。レンズ17、18は、共に画像を結像させるものであり、外部からイメージセンサー11に進行する光は、レンズ17を通過した後、イメージセンサー11に入射し、外部からイメージセンサー12に進行する光は、レンズ18を通過した後、イメージセンサー12に入射する。
本実施の形態では、レンズ17、18が、それぞれ1枚の透光体で形成されているが、その必要はなく、それぞれを複数枚の透光体で形成してもよい。
A
In the present embodiment, the
イメージセンサー11とレンズ17の間には、図1に示すように、光を屈折可能な透光板19(第1透光板)が配置され、イメージセンサー12とレンズ18の間には、光を屈折可能な透光板20(第2透光板)が配置されている。透光板19、20はそれぞれ、イメージセンサー11、12を覆う大きさで、厚みが50〜1000μmであり、透光性を有している。透光板19、20は、屈折率が空気の屈折率とは異なる素材によって形成可能で、例えば、アクリル樹脂、ポリカーボネート又はガラスによって形成できる。なお、図2においては、透光板19、20の記載を省略している。
As shown in FIG. 1, a light transmissive plate 19 (first light transmissive plate) capable of refracting light is disposed between the
透光板19(透光板20についても同じ)は、図3に示すように、X方向両側端部が支持部材21及びアクチュエータ22にそれぞれ傾動可能に連結されている。アクチュエータ22は、モータ23を有し、モータ23の駆動により、透光板19に連結されているコネクタ部24が進退して、透光板19のイメージセンサー11に対する角度を変える。
本実施の形態では、主として支持部材21及びアクチュエータ22によって、第1、第2角度調整機構が構成され、主として第1角度調整機構と透光板19及び第2角度調整機構と透光板20によって、第1、第2光路変更手段がそれぞれ構成されている。
As shown in FIG. 3, the translucent plate 19 (same for translucent plate 20) has both end portions in the X direction coupled to a
In the present embodiment, the first and second angle adjustment mechanisms are mainly configured by the
また、本実施の形態では、図1に示すイメージセンサー11と平行な透光板19の配置を基準配置(0度)として、アクチュエータ22は、イメージセンサー11に対する透光板19の角度を0度を超え10度以下の範囲で変えることができる。この点、透光板20とイメージセンサー12の関係も同様であり、イメージセンサー12に対する透光板20の角度は、0度を超え10度以下の範囲で変えられる。
In the present embodiment, the arrangement of the
透光板19(透光板20についても同じ)が、図1に示すように、イメージセンサー11(透光板20に対してはイメージセンサー12)に平行な状態においては、透光板19及びイメージセンサー11に対し垂直な方向に進行する光L1は、透光板19で屈折することなく直進して通過し、イメージセンサー11に入射する。
一方、透光板19が、図4に示すように、イメージセンサー11に非平行な状態では、イメージセンサー11に垂直な方向に進行する光L1は、図5に示すように、透光板19に対し斜めに入射し、透光板19を通過の際に屈折して進行経路がX方向に変位する。
As shown in FIG. 1, the
On the other hand, when the
光L1の進行経路の変位量をΔX、透光板19の厚みをT、イメージセンサー11に対する透光板19の傾き角度をθ、空気と透光板19の相対屈折率をn12とすると、以下の式1が成立する。
ΔX displacement amount of traveling path of the light L1, T the thickness of the
式1より、イメージセンサー11に対する透光板19の傾き角度が0度以上10度以下の範囲においては、光L1の進行経路の変位量が、透光板19のイメージセンサー11に対する傾きが大きくなるほど大きくなると言える。従って、第1光路変更手段は、透光板19のイメージセンサー11に対する角度を変えることによって、外部から透光板19を通過してイメージセンサー11の第1位置(所定位置)に入射していた光を、屈折させて、第1位置までX方向に距離のある第1シフト位置(所定位置とは異なる位置)に入射させることができる。
From
なお、空気の絶対屈折率をn1、透光板19の絶対屈折率をn2、空気と透光板19の相対屈折率をn12、入射角をi、屈折角をr、空気における光波の速度をv1、透光板19における光波の速度をv2とすると、以下の式2が成り立つ。
Note that the absolute refractive index of air is n 1 , the absolute refractive index of the
また、図6に、収光する光L2の経路を示す。透光板19が非存在である場合にO点に位置する光L2の収光点は、図6に示すように、透光板19を設けることによって、P点に変位する。収光点のX方向の変位量をΔX、前後方向の変位量をΔZとすると、以下の式3が成立し、ΔX及びΔZは、透光板19の厚み及びイメージセンサー11に対する透光板19の傾き角度で近似して表わすことができる。
FIG. 6 shows a path of the light L2 that collects light. When the
よって、イメージセンサー11に対する透光板19の傾き角度が0度を超え10度以下の範囲においては、光L2の進行経路のX方向における変位量が、透光板19のイメージセンサー11に対する傾き角度に比例する。なお、透光板19の有無による光L2の光軸のずれ量△Sは、透光板19に対する光L2の入射角が大きくなるほど大きくなるが、距離の検出においては実用上問題にならない大きさである。
Therefore, in the range where the tilt angle of the
上述した第1角度調整機構とイメージセンサー11とイメージセンサー11に入射する光の関係は、第2角度調整機構とイメージセンサー12とイメージセンサー12に入射する光の関係でも同様であり、第2角度調整機構は、外部から透光板20を通過してイメージセンサー12の第2位置(所定位置)に入射していた光を、屈折させて、第2位置までX方向に距離のある第2シフト位置(所定位置とは異なる位置)に入射させることができる。なお、透光板19の傾動方向と透光板20の傾動方向は、図7に示すように、反対向きである。
The relationship between the light incident on the first angle adjustment mechanism, the
ここで、透光板19、20が基準配置(即ち、透光板19、20がイメージセンサー11、12にそれぞれ平行)に配されている際の各画素11aの視線及び各画素12aの視線は、図2に示すように、各画素11aのX方向中心を始点としレンズ17を経由して前方に延びる実線及び各画素12aのX方向中心を始点としてレンズ18を経由して前方に延びる実線で表わすことができる。
画素11aの視線と画素12aの視線の交点(以下、単に「交点」とも言う)は、レンズ17、18(即ち、三次元距離センサー装置10)からの距離を検出可能な地点であり、交点の前後に存在する対象物は、その対象物に最も近くの交点に位置するものと見なされて、レンズ17、18からの距離が求められる。
Here, the line of sight of each
The intersection of the line of sight of the
前後方向の位置が同じ複数の交点を線(以下、「交点結線」とも言う)で結ぶと、各交点結線間の間隔は、レンズ17、18(即ち、イメージセンサー11、12)から遠ざかるほど広くなる。例えば、画素11a、12aの視差がそれぞれ4画素、3画素、2画素の交点結線D1、D2、D3は、交点結線D3、D2の間隔が交点結線D2、D1の間隔に比べて広い。よって、三次元距離センサー装置10による距離の検出精度は、イメージセンサー11、12から遠ざかるほど低下することが分かる。
When a plurality of intersections having the same position in the front-rear direction are connected by a line (hereinafter also referred to as “intersection connection”), the distance between each intersection connection becomes wider as the distance from the
次に、透光板19をイメージセンサー11に対して傾けた状態について検討する。透光板19をイメージセンサー11に対して傾けて、図8に示すように、各画素11aに入射していた光の入射位置を、X方向負側に画素11aのX方向長さの3分の1及び3分の2それぞれ移動させた際、画素11aの視線は2点鎖線で示すようになる。よって、透光板19をイメージセンサー11に平行配置していた際の各交点結線の間に、2本の交点結線が出現する。例えば、交点結線D2、D3間に交点結線D2a、D2bが出現する。
このため、透光板19のイメージセンサー11に対する角度が複数段階に調整できる場合、角度調整できない場合に比べ、距離の検出精度が向上するのが分かる。
Next, the state in which the
For this reason, when the angle with respect to the
また、本実施の形態では、イメージセンサー11、12、相関検知回路13及び信号配線14、15が1つの大規模集積回路チップ(集積回路チップの一例)16に集積されているが、これに限定されない。例えば、図9に示す本発明の第2の実施の形態に係る三次元距離センサー装置30は、イメージセンサー11を集積した大規模集積回路チップ31、イメージセンサー12を集積した大規模集積回路チップ32及び相関検知回路機能を具備する大規模集積回路チップ33がそれぞれ別個に設けられ、大規模集積回路チップ31、32は、大規模集積回路チップ33にそれぞれ信号配線34、35を介して接続されている。
In this embodiment, the
そして、第1、第2の実施の形態では、透光板19、20が、レンズ17とイメージセンサー11の間、及び、レンズ18とイメージセンサー12の間に配されているが、これに限定されない。図10、図11、図12に示す本発明の第3の実施の形態に係る三次元距離センサー装置40及び図13に示す本発明の第4の実施の形態に係る3次元距離センサー装置50は、それぞれ、レンズ17、18が、透光板19とイメージセンサー11の間、及び、透光板20とイメージセンサー12の間に配されている。なお、透光板19、20及びレンズ17、18の配置を除き、三次元距離センサー装置40は三次元距離センサー装置10と同じ構成であり、三次元距離センサー装置50は三次元距離センサー装置30と同じ構成である。
In the first and second embodiments, the
次に、本発明の作用効果を確認するために行った実験(シミュレーション)について説明する。
まず、第1のイメージセンサーへの光の入射位置をX方向に変位させることによって、検出可能な距離に生じる変化をシミュレーションにより求めた。このシミュレーションでは、第1、第2のイメージセンサー間の間隔が10mmであり、第1、第2のイメージセンサーそれぞれの画角が90度であり、第1、第2のイメージセンサーの画素のX方向における配置ピッチが6μmであり、第1、第2のイメージセンサーにX方向に640個の画素が配列されているサンプルを採用し、第1のイメージセンサーに入射する光の入射位置をX方向に0.0〜4.0μmの範囲で変位させて、検出可能な距離を求めた。
そのシミュレーションの結果を図14に示す。図14より、第1のイメージセンサーへの光の入射位置を変位できる場合、第1のイメージセンサーへの光の入射位置が固定の場合に比べ、検出可能な距離数が増加し、距離の検出精度が向上することが確認できた。
Next, an experiment (simulation) performed for confirming the function and effect of the present invention will be described.
First, by changing the incident position of light on the first image sensor in the X direction, a change occurring in the detectable distance was obtained by simulation. In this simulation, the distance between the first and second image sensors is 10 mm, the angle of view of each of the first and second image sensors is 90 degrees, and the pixel X of the first and second image sensors is X. The arrangement pitch in the direction is 6 μm, a sample in which 640 pixels are arranged in the X direction in the first and second image sensors is adopted, and the incident position of the light incident on the first image sensor is determined in the X direction. The distance was detected in the range of 0.0 to 4.0 μm, and the detectable distance was determined.
The result of the simulation is shown in FIG. As shown in FIG. 14, when the incident position of the light to the first image sensor can be displaced, the number of detectable distances is increased and the distance is detected as compared with the case where the incident position of the light to the first image sensor is fixed. It was confirmed that the accuracy was improved.
次に、板厚が300μmでX方向長さが4mmのアクリル板を透光板として採用し、アクリル板を第1のイメージセンサーに対して傾けた際の第1のイメージセンサーに入射する光の入射位置のX方向における変位を求めた。その結果を図15に示す。図15より、光の入射位置をX方向に4μm変位させるためには、透光板の角度を略2.35度変えればよく、そのためには、透光板のX方向一側をアクチュエータで略165μm移動させればよいことが確認できた。 Next, an acrylic plate having a thickness of 300 μm and a length in the X direction of 4 mm is employed as a light-transmitting plate, and light incident on the first image sensor when the acrylic plate is tilted with respect to the first image sensor. The displacement in the X direction of the incident position was determined. The result is shown in FIG. From FIG. 15, in order to displace the incident position of light by 4 μm in the X direction, the angle of the translucent plate may be changed by approximately 2.35 degrees. It has been confirmed that it is only necessary to move 165 μm.
以上、本発明の実施の形態を説明したが、本発明は、上記した形態に限定されるものでなく、要旨を逸脱しない条件の変更等は全て本発明の適用範囲である。
例えば、2つの光路変更手段を設ける必要はなく、光路変更手段を1つのみ設けるようにしてもよい。
また、透光板の代わりに、三角プリズムや光を反射するミラー部材を採用して、外部からイメージセンサーに向かう光の経路を変えるようにしてもよい。なお、ミラー部材を採用する場合、第1光路変更手段は、外部から第1のイメージセンサーの第1位置に入射していた光を、反射させて、第1シフト位置に入射させることとなり、第2光路変更手段は、外部から第2のイメージセンサーの第2位置に入射していた光を、反射させて、第2シフト位置に入射させることとなる。
Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and all changes in conditions and the like that do not depart from the gist are within the scope of the present invention.
For example, it is not necessary to provide two optical path changing means, and only one optical path changing means may be provided.
Further, instead of the translucent plate, a triangular prism or a mirror member that reflects light may be employed to change the light path from the outside toward the image sensor. When the mirror member is employed, the first optical path changing unit reflects the light incident on the first position of the first image sensor from the outside and enters the first shift position. The two-light path changing means reflects the light that has been incident on the second position of the second image sensor from the outside to be incident on the second shift position.
そして、透光板(ミラー部材についても同じ)の角度を変える代わりに、イメージセンサーの視野外に配されていた透光板をイメージセンサーの視野内を配することで、イメージセンサーに向かう光の経路を変えるようにすることもできる。
更に、透光板を採用する場合、透光板は、アクリル樹脂、ポリカーボネート又はガラス以外の素材によって形成されていてもよい。
Then, instead of changing the angle of the translucent plate (the same applies to the mirror member), the translucent plate placed outside the field of view of the image sensor is placed inside the field of view of the image sensor, so that It is also possible to change the route.
Furthermore, when employ | adopting a translucent board, the translucent board may be formed with raw materials other than an acrylic resin, a polycarbonate, or glass.
10:三次元距離センサー装置、11:イメージセンサー、11a:画素、12:イメージセンサー、12a:画素、13:相関検知回路、14、15:信号配線、16:大規模集積回路チップ、17、18:レンズ、19、20:透光板、21:支持部材、22:アクチュエータ、23:モータ、24:コネクタ部、30:三次元距離センサー装置、31、32、33:大規模集積回路チップ、34、35:信号配線、40、50:三次元距離センサー装置、L1、L2:光 10: three-dimensional distance sensor device, 11: image sensor, 11a: pixel, 12: image sensor, 12a: pixel, 13: correlation detection circuit, 14, 15: signal wiring, 16: large scale integrated circuit chip, 17, 18 : Lens, 19, 20: Translucent plate, 21: Support member, 22: Actuator, 23: Motor, 24: Connector part, 30: Three-dimensional distance sensor device, 31, 32, 33: Large scale integrated circuit chip, 34 , 35: signal wiring, 40, 50: three-dimensional distance sensor device, L1, L2: light
Claims (9)
外部から光が入射する複数の第2画素が前記所定方向に並べられ、前記第1のイメージセンサーから前記所定方向に間隔を空けて配された第2のイメージセンサーと、
前記第1、第2のイメージセンサーの撮像画像の相関を検出する相関検知回路と、
外部から前記第1のイメージセンサーの第1位置に入射していた光を、屈折又は反射させて、該第1位置まで前記所定方向に距離のある第1シフト位置に入射させる第1光路変更手段とを備えることを特徴とする三次元距離センサー装置。 A first image sensor in which a plurality of first pixels into which light is incident from the outside are arranged in a predetermined direction;
A plurality of second pixels to which light is incident from the outside are arranged in the predetermined direction, and a second image sensor arranged at an interval from the first image sensor in the predetermined direction;
A correlation detection circuit for detecting a correlation between the captured images of the first and second image sensors;
First light path changing means that refracts or reflects light incident on the first position of the first image sensor from the outside and enters the first shift position having a distance in the predetermined direction to the first position. A three-dimensional distance sensor device comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016007238A JP6635590B2 (en) | 2016-01-18 | 2016-01-18 | 3D distance sensor device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016007238A JP6635590B2 (en) | 2016-01-18 | 2016-01-18 | 3D distance sensor device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017129383A true JP2017129383A (en) | 2017-07-27 |
JP6635590B2 JP6635590B2 (en) | 2020-01-29 |
Family
ID=59394650
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016007238A Active JP6635590B2 (en) | 2016-01-18 | 2016-01-18 | 3D distance sensor device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6635590B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109031329A (en) * | 2018-07-02 | 2018-12-18 | 昆山丘钛微电子科技有限公司 | A kind of flight time ranging mould group and electronic equipment |
CN112262028A (en) * | 2018-06-11 | 2021-01-22 | 松下知识产权经营株式会社 | Distance measuring system and distance measuring method |
-
2016
- 2016-01-18 JP JP2016007238A patent/JP6635590B2/en active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112262028A (en) * | 2018-06-11 | 2021-01-22 | 松下知识产权经营株式会社 | Distance measuring system and distance measuring method |
CN112262028B (en) * | 2018-06-11 | 2024-03-15 | 松下知识产权经营株式会社 | Ranging system and ranging method |
CN109031329A (en) * | 2018-07-02 | 2018-12-18 | 昆山丘钛微电子科技有限公司 | A kind of flight time ranging mould group and electronic equipment |
CN109031329B (en) * | 2018-07-02 | 2024-01-16 | 昆山丘钛微电子科技有限公司 | Flight time ranging module and electronic equipment |
Also Published As
Publication number | Publication date |
---|---|
JP6635590B2 (en) | 2020-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10578724B2 (en) | LIDAR optics alignment systems and methods | |
JP6447055B2 (en) | Calibration method, calibration device, measuring tool and program | |
US10893197B2 (en) | Passive and active stereo vision 3D sensors with variable focal length lenses | |
CN107272021A (en) | The object detection of the image detection region defined using radar and vision | |
US20110043808A1 (en) | Measuring apparatus | |
US10652475B2 (en) | Structured light 3D sensors with variable focal length lenses and illuminators | |
CN102538679B (en) | Image correlation displacement sensor | |
CN110784694B (en) | Structured light projector and three-dimensional image sensing module | |
JP2021089288A (en) | Optical device for lidar system, lidar system, and work device | |
CN105473999A (en) | Optical-characteristics measurement device and optical-characteristics measurement method | |
JP2019074535A (en) | Calibration method, calibration device and program | |
JP6635590B2 (en) | 3D distance sensor device | |
CN205720668U (en) | Structure light measurement device | |
CN106092069B (en) | A kind of device of guiding and displacement monitoring in underground engineering construction | |
US20180160101A1 (en) | Variable focal length lenses and illuminators on time of flight 3d sensing systems | |
CN114111626B (en) | Light field camera three-dimensional measurement device and system based on coaxial projection | |
CN114641702B (en) | Multilayer optical device and system | |
US20230084212A1 (en) | Three-dimensional space camera and photographing method therefor | |
CN102607428A (en) | Two-dimensional displacement measurement device based on micro-optics array elements | |
CN114729992A (en) | Optical signal routing device and system | |
CN109470145A (en) | Polarization Modulation high resolution Stereo Vision Measurement System and method | |
CN109470146B (en) | High-resolution stereo vision system and measuring method | |
CN102445187B (en) | Level measuring equipment | |
WO2021205787A1 (en) | Ranging device and program | |
JP2001033236A (en) | Stereoscopic image measuring device and stereoscopic image measuring method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190930 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191216 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6635590 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |