JP2021032762A - 測距システム及び電子機器 - Google Patents
測距システム及び電子機器 Download PDFInfo
- Publication number
- JP2021032762A JP2021032762A JP2019154498A JP2019154498A JP2021032762A JP 2021032762 A JP2021032762 A JP 2021032762A JP 2019154498 A JP2019154498 A JP 2019154498A JP 2019154498 A JP2019154498 A JP 2019154498A JP 2021032762 A JP2021032762 A JP 2021032762A
- Authority
- JP
- Japan
- Prior art keywords
- light sources
- light
- control unit
- event
- detection sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
- G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
【課題】光源(ドット)のアレイドット配置において、光源の数を増やすことなく、被写体までの距離情報を得るための距離画像の解像度を上げることができる測距システムを提供する。【解決手段】本開示の測距システムは、被写体に所定のパターンの光を投影する面発光半導体レーザ、被写体で反射された光を受光し、画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出センサ、及び、面発光半導体レーザ及びイベント検出センサの制御を行う制御部を備えている。面発光半導体レーザの光源の配置は、光源をアレイ状に2次元配置したアレイドット配置である。制御部は、アレイドット配置において隣接する2つの光源を駆動の単位とし、2つの光源をそれぞれ独立に点灯駆動する間の期間において、2つの光源を同時に点灯駆動する。【選択図】 図3
Description
本開示は、測距システム及び電子機器に関する。
三次元(3D)画像(物体表面の奥行き情報/深度情報)を取得したり、被写体までの距離を測定したりするシステムとして、動的プロジェクタ及び動的視覚カメラを用いるストラクチャード・ライト方式の技術が提案されている(例えば、特許文献1参照)。ストラクチャード・ライト方式では、あらかじめ定められたパターンの光を、動的プロジェクタから測定対象物/被写体に投影し、動的視覚カメラによる撮像結果を基に、パターンのひずみ具合を解析して奥行き情報/距離情報を取得することになる。
特許文献1には、光源である動的プロジェクタとして、垂直共振器型面発光レーザ(VCSEL:Vertical Cavity Surface Emitting Laser)を用い、受光部である動的視覚カメラとして、DVS(Dynamic Vision Sensor)と呼ばれるイベント検出センサを用いる技術が開示されている。イベント検出センサは、入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出するセンサである。
ところで、垂直共振器型面発光レーザの光源(所謂、点光源)の配置としては、光源(ドット)を繰り返しのない特異な配置にし、空間方向に特徴を持たせたランダムドット配置が知られている。しかし、ランダムドット配置の場合、光源同定のための光源の配置パターンの特異性を維持したまま、光源の数を増やすことが困難であるため、光源の数で決まる距離画像の解像度を上げることができない。解像度の観点からすると、垂直共振器型面発光レーザの光源の配置としては、ランダムドット配置よりも、光源を一定のピッチでアレイ状(行列状)に2次元配置したアレイドット配置の方が優れている。しかし、アレイドット配置の場合であっても、距離画像の解像度については、光源の数で決まることになるため、解像度を上げるにも限界がある。
そこで、本開示は、光源(ドット)のアレイドット配置において、光源の数を増やすことなく、被写体までの距離情報を得るための距離画像の解像度を上げることができる測距システム、及び、当該測距システムを有する電子機器を提供することを目的とする。
上記の目的を達成するための本開示の測距システムは、
被写体に所定のパターンの光を投影する面発光半導体レーザ、
被写体で反射された光を受光し、画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出センサ、及び、
面発光半導体レーザ及びイベント検出センサの制御を行う制御部を備えている。
面発光半導体レーザの光源の配置は、光源をアレイ状に2次元配置したアレイドット配置である。
制御部は、アレイドット配置において隣接する2つの光源を駆動の単位とし、2つの光源をそれぞれ独立に点灯駆動する間の期間において、2つの光源を同時に点灯駆動する。
また、上記の目的を達成するための本開示の電子機器は、上記の構成の測距システムを有する。
被写体に所定のパターンの光を投影する面発光半導体レーザ、
被写体で反射された光を受光し、画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出センサ、及び、
面発光半導体レーザ及びイベント検出センサの制御を行う制御部を備えている。
面発光半導体レーザの光源の配置は、光源をアレイ状に2次元配置したアレイドット配置である。
制御部は、アレイドット配置において隣接する2つの光源を駆動の単位とし、2つの光源をそれぞれ独立に点灯駆動する間の期間において、2つの光源を同時に点灯駆動する。
また、上記の目的を達成するための本開示の電子機器は、上記の構成の測距システムを有する。
以下、本開示の技術を実施するための形態(以下、「実施形態」と記述する)について図面を用いて詳細に説明する。本開示の技術は実施形態に限定されるものではない。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
1.本開示の測距システム及び電子機器、全般に関する説明
2.実施形態に係る測距システム
2−1.システム構成
2−2.垂直共振器型面発光レーザ(VCSEL)
2−2−1.ランダムドット配置
2−2−2.アレイドット配置
2−3.実施例1(2つの光源の中間位置に強度ピークを作る例)
2−4.実施例2(イベント検出センサの感度調整を併用する例)
2−5.実施例3(2つの光源を同時駆動する際に、強度ピークが一定になるように双方の発光強度を異ならせつつ、ピーク位置を移動させる例)
2−6.イベント検出センサ(DVS)
2−6−1.イベント検出センサの構成例
2−6−2.画素の回路構成例
2−6−2−1.回路構成例1(コンパレータを1つ用いて、オンイベント及びオフイベントの検出を時分割で行う例)
2−6−2−2.回路構成例2(コンパレータを2つ用いて、オンイベント及びオフイベントの検出を並行して行う例)
2−6−2−3.回路構成例3(コンパレータを1つ用いて、オンイベントのみについて検出を行う例)
2−6−2−4.回路構成例4(コンパレータを1つ用いて、オフイベントのみについて検出を行う例)
3.変形例
4.応用例
5.本開示の電子機器(スマートフォンの例)
6.本開示がとることができる構成
1.本開示の測距システム及び電子機器、全般に関する説明
2.実施形態に係る測距システム
2−1.システム構成
2−2.垂直共振器型面発光レーザ(VCSEL)
2−2−1.ランダムドット配置
2−2−2.アレイドット配置
2−3.実施例1(2つの光源の中間位置に強度ピークを作る例)
2−4.実施例2(イベント検出センサの感度調整を併用する例)
2−5.実施例3(2つの光源を同時駆動する際に、強度ピークが一定になるように双方の発光強度を異ならせつつ、ピーク位置を移動させる例)
2−6.イベント検出センサ(DVS)
2−6−1.イベント検出センサの構成例
2−6−2.画素の回路構成例
2−6−2−1.回路構成例1(コンパレータを1つ用いて、オンイベント及びオフイベントの検出を時分割で行う例)
2−6−2−2.回路構成例2(コンパレータを2つ用いて、オンイベント及びオフイベントの検出を並行して行う例)
2−6−2−3.回路構成例3(コンパレータを1つ用いて、オンイベントのみについて検出を行う例)
2−6−2−4.回路構成例4(コンパレータを1つ用いて、オフイベントのみについて検出を行う例)
3.変形例
4.応用例
5.本開示の電子機器(スマートフォンの例)
6.本開示がとることができる構成
<本開示の測距システム及び電子機器、全般に関する説明>
本開示の測距システム及び電子機器にあっては、制御部について、2つの光源を同じ発光強度で駆動する制御を行う構成とすることができる。このとき、制御部について、2つの光源の間の区間における中間位置で2つの光源を同時に点灯駆動する制御を行う構成とすることが好ましい。
本開示の測距システム及び電子機器にあっては、制御部について、2つの光源を同じ発光強度で駆動する制御を行う構成とすることができる。このとき、制御部について、2つの光源の間の区間における中間位置で2つの光源を同時に点灯駆動する制御を行う構成とすることが好ましい。
上述した好ましい構成を含む本開示の測距システム及び電子機器にあっては、制御部について、2つの光源を同時に点灯駆動する期間では、イベント検出センサの感度を、光源の単独点灯のときの感度よりも下げる制御を行う構成とすることができる。また、制御部について、2つの光源を同時に点灯駆動した後、光源を単独で点灯駆動するとき、イベント検出センサの感度を上げる制御を行う構成とすることができる。このとき、制御部について、2つの光源を同時に点灯駆動した後、光源を単独で点灯駆動するとき、イベント検出センサの感度を、2つの光源を同時に点灯駆動する前の感度と同じ感度に上げる制御を行う構成とすることが好ましい。
また、上述した好ましい構成を含む本開示の測距システム及び電子機器にあっては、制御部について、2つの光源を異なる発光強度で駆動する制御を行う構成とすることができる。このとき、制御部について、強度ピークが一定になるように2つの光源の制御を行う構成とすることが好ましい。
また、上述した好ましい構成を含む本開示の測距システム及び電子機器にあっては、制御部について、2つの光源の間の区間において、強度ピークが所定量ずつ移動するように2つの光源の制御を行う構成とすることができる。このとき、制御部について、2つの光源の一方の発光強度を徐々に下げ、これに同期して、他方の発光強度を徐々に上げる制御を行う構成とすることが好ましい。
また、上述した好ましい構成を含む本開示の測距システム及び電子機器にあっては、2つの光源について、アレイドット配置において、行方向、列方向、又は、斜め方向で隣接する光源である構成とすることができる。また、面発光半導体レーザについては、垂直共振器型面発光レーザであることが好ましい。そして、垂直共振器型面発光レーザについては、被写体に所定のパターンの光を投影する構成とすることができる。
<実施形態に係る測距システム>
本開示の実施形態に係る測距システムは、ストラクチャード・ライト方式の技術を用いて、被写体までの距離を測定するためのシステムである。また、本開示の実施形態に係る測距システムは、三次元(3D)画像を取得するシステムとして用いることもでき、この場合には、三次元画像取得システムということができる。ストラクチャード・ライト方式では、点像の座標とその点像がどの光源(点光源)から投影されたものであるかをパターンマッチングで同定することによって測距が行われる。
本開示の実施形態に係る測距システムは、ストラクチャード・ライト方式の技術を用いて、被写体までの距離を測定するためのシステムである。また、本開示の実施形態に係る測距システムは、三次元(3D)画像を取得するシステムとして用いることもでき、この場合には、三次元画像取得システムということができる。ストラクチャード・ライト方式では、点像の座標とその点像がどの光源(点光源)から投影されたものであるかをパターンマッチングで同定することによって測距が行われる。
[システム構成]
図1Aは、本開示の実施形態に係る測距システムの構成の一例を示す概略図であり、図1Bは、回路構成の一例を示すブロック図である。
図1Aは、本開示の実施形態に係る測距システムの構成の一例を示す概略図であり、図1Bは、回路構成の一例を示すブロック図である。
本実施形態に係る測距システム1は、光源部として面発光半導体レーザ、例えば垂直共振器型面発光レーザ(VCSEL)10を用い、受光部として、DVSと呼ばれるイベント検出センサ20を用いている。垂直共振器型面発光レーザ(VCSEL)10は、被写体に対して所定のパターンの光を投影する。本実施形態に係る測距システム1は、垂直共振器型面発光レーザ10及びイベント検出センサ20の他に、システム制御部30、光源駆動部40、センサ制御部50、光源側光学系60、及び、カメラ側光学系70を備えている。
垂直共振器型面発光レーザ(VCSEL)10及びイベント検出センサ(DVS)20の詳細については後述する。システム制御部30は、例えばプロセッサ(CPU)によって構成されており、光源駆動部40を介して垂直共振器型面発光レーザ10を駆動し、センサ制御部50を介してイベント検出センサ20を駆動する。より具体的には、システム制御部30は、垂直共振器型面発光レーザ10とイベント検出センサ20とを、例えば同期させて制御する。但し、垂直共振器型面発光レーザ10とイベント検出センサ20とを同期させて制御することは必須ではない。
上記の構成の本実施形態に係る測距システム1において、垂直共振器型面発光レーザ10から出射される、あらかじめ定められたパターンの光は、光源側光学系40を透して被写体(測定対象物)100に対して投影される。この投影された光は、被写体100で反射される。そして、被写体100で反射された光は、カメラ側光学系70を透してイベント検出センサ20に入射する。イベント検出センサ20は、被写体100で反射される光を受光し、画素の輝度変化が所定の閾値を超えたことをイベントとして検出する。イベント検出センサ20が検出したイベント情報は、測距システム1の外部のアプリケーションプロセッサ200に供給される。アプリケーションプロセッサ200は、イベント検出センサ20が検出したイベント情報に対して所定の処理を行う。
[垂直共振器型面発光レーザ(VCSEL)]
(ランダムドット配置)
ストラクチャード・ライト方式では、点像の座標とその点像がどの光源(点光源)から投影されたものであるかを同定するために、アフィン変換を考慮したパターンマッチングが必要である。アフィン変換を考慮したパターンマッチングを可能にするために、垂直共振器型面発光レーザ10の光源11の配置について、図2Aに示すように、光源11を繰り返しのない特異な配置にし、空間方向に特徴を持たせた、所謂、ランダムドット配置としている。
(ランダムドット配置)
ストラクチャード・ライト方式では、点像の座標とその点像がどの光源(点光源)から投影されたものであるかを同定するために、アフィン変換を考慮したパターンマッチングが必要である。アフィン変換を考慮したパターンマッチングを可能にするために、垂直共振器型面発光レーザ10の光源11の配置について、図2Aに示すように、光源11を繰り返しのない特異な配置にし、空間方向に特徴を持たせた、所謂、ランダムドット配置としている。
但し、ランダムドット配置の場合、光源同定のための光源11の配置パターンの特異性を維持したまま、光源11の数を増やすことが困難である。そのため、光源11の数で決まる距離画像の解像度を上げることができない。ここで、「距離画像」とは、被写体までの距離情報を得るための画像である。
(アレイドット配置)
そこで、本実施形態に係る測距システム1では、垂直共振器型面発光レーザ10の光源11の配置を、図2Bに示すように、光源11を一定のピッチでアレイ状(行列状)に2次元配置した、所謂、アレイドット配置としている。垂直共振器型面発光レーザ10及びイベント検出センサ20の組み合わせから成る本実施形態に係る測距システム1では、光源11をランダムに配置しなくても、垂直共振器型面発光レーザ10の光源11を順次点灯させてイベント検出センサ20で記録したイベントのタイムスタンプ(時間情報)を見れば、どの光源11から投影された像であるかを容易に同定できる。
そこで、本実施形態に係る測距システム1では、垂直共振器型面発光レーザ10の光源11の配置を、図2Bに示すように、光源11を一定のピッチでアレイ状(行列状)に2次元配置した、所謂、アレイドット配置としている。垂直共振器型面発光レーザ10及びイベント検出センサ20の組み合わせから成る本実施形態に係る測距システム1では、光源11をランダムに配置しなくても、垂直共振器型面発光レーザ10の光源11を順次点灯させてイベント検出センサ20で記録したイベントのタイムスタンプ(時間情報)を見れば、どの光源11から投影された像であるかを容易に同定できる。
アレイドット配置の場合、ランダムドット配置の場合よりも、光源11の数を増やすことができるため、光源(ドット)11の数で決まる距離画像の解像度を上げることができる。本実施形態に係る測距システム1では、アレイドット配置の垂直共振器型面発光レーザ10の光源11の駆動を工夫し、時間軸方向にも特徴を持たせることで、距離画像の解像度を、光源11の数で決まる解像度から更に上げることができる。
以下に、光源のアレイドット配置において、光源の数を増やすことなく、距離画像の解像度を上げるための光源11の駆動の具体的な実施例について説明する。
[実施例1]
垂直共振器型面発光レーザ10のアレイドット配置における光源11の駆動に当たっては、アレイドット配置において隣接する2つの光源11,11を駆動の単位とする。隣接する2つの光源11,11の組み合わせとしては、図3Aに示すように、行方向(X方向)において隣接する2つの光源11,11の組み合わせA、列方向(Y方向)において隣接する2つの光源11,11の組み合わせB、あるいは、斜め方向において隣接する2つの光源11,11の組み合わせCを例示することができる。
垂直共振器型面発光レーザ10のアレイドット配置における光源11の駆動に当たっては、アレイドット配置において隣接する2つの光源11,11を駆動の単位とする。隣接する2つの光源11,11の組み合わせとしては、図3Aに示すように、行方向(X方向)において隣接する2つの光源11,11の組み合わせA、列方向(Y方向)において隣接する2つの光源11,11の組み合わせB、あるいは、斜め方向において隣接する2つの光源11,11の組み合わせCを例示することができる。
実施例1では、行方向において隣接する2つの光源11,11の組み合わせAにおける光源11の駆動の場合を例に挙げて説明する。図3Bは、実施例1に係る光源の駆動について説明する図である。光源11の駆動は、システム制御部30による制御の下に、光源駆動部40によって行われる。この点については、後述する各実施例においても同じである。
実施例1は、隣接する2つの光源11,11を同時に点灯駆動し、それぞれ独立に点灯駆動する間の区間の中間位置に強度ピークを作る例である。ここで、「中間位置」とは、厳密に中間位置である場合の他、実質的に中間位置である場合も含む意味であり、設計上あるいは製造上生ずる種々のばらつきの存在は許容される。また、実施例1では、2つの光源11,11の発光強度を同じとする。ここで、「同じ」とは、厳密に同じである場合の他、実質的に同じである場合も含む意味であり、設計上あるいは製造上生ずる種々のばらつきの存在は許容される。
行方向(X方向)において隣接する2つの光源11,11において、時刻t1で1つ目(図3Aでは、左側)の光源11を点灯(発光)駆動し、次に、時刻t2で2つの光源11,11を同時に点灯駆動し(2ドット点灯駆動)、次に、時刻t3で2つ目(図3Aでは、右側)の光源11を点灯駆動する。すなわち、システム制御部30による制御の下に、2つの光源11,11をそれぞれ独立に点灯駆動する時刻t1と時刻t3との間の期間、換言すれば、2つの光源11,11の間の区間において、好ましくは、当該区間における中間位置で2つの光源11,11を同時に点灯駆動する(時刻t2)。
ここで、2つの光源11,11を同時に点灯駆動する時刻t2は、時刻t1と時刻t2との中間の時刻、換言すれば、行方向(X座標)において、1つ目の光源11の強度ピークの位置と2つ目の光源11の強度ピークの位置の中間位置になる時刻に設定される。これにより、1つ目の光源11の点灯駆動時のピーク位置と2ドット点灯駆動時のピーク位置との間の間隔、及び、2ドット点灯駆動時のピーク位置と2つ目の光源11の点灯駆動時のピーク位置との間の間隔が同じ間隔dとなる。
上述したように、実施例1では、隣接する2つの光源11,11を駆動の単位とし、2つの光源11,11をそれぞれ独立に点灯駆動する動作に加えて、2つの光源を同時に点灯駆動する動作(本例では、それぞれ独立に点灯駆動する間の期間において、2つの光源11,11を同時に点灯駆動する動作)を行う。これにより、2つの光源11,11をそれぞれ独立に点灯駆動する場合とは異なる位置(本例では、2つの光源11,11の間の区間の中間位置)に強度ピークを作ることができる。この駆動により、空間方向の他に、時間軸方向にも特徴を持たせることができるため、光源同定のための光源11の配置パターンの特異性を維持したまま、光源11の数を増やすことなく、被写体までの距離情報を得るための距離画像の解像度を上げることができる。
尚、実施例1では、駆動の単位となる2つの光源11,11の発光強度を同じに設定するとしたが、2つの光源11,11の一方、又は、両方の発光強度を調整可能とすることもできる。
また、実施例1では、2つの光源11,11の組み合わせAの場合を例に挙げて説明したが、組み合わせB又は組み合わせCの場合についても、基本的に、実施例1の場合と同様の駆動を行うことで、光源同定のための光源11の配置パターンの特異性を維持したまま、光源11の数を増やすことなく、距離画像の解像度を上げることができる。この点については、後述する各実施例においても同様である。
[実施例2]
実施例2は、2つの光源11,11の組み合わせAの場合において、イベント検出センサ(DVS)20の感度調整を併用する例である。ここでは、説明の都合上、行方向(X方向)において隣接する2つの光源11,11のうち、1つ目(図3Aでは、左側)の光源11を光源1と記述し、2つ目(図3Aでは、左側)の光源11を光源2と記述することとする。
実施例2は、2つの光源11,11の組み合わせAの場合において、イベント検出センサ(DVS)20の感度調整を併用する例である。ここでは、説明の都合上、行方向(X方向)において隣接する2つの光源11,11のうち、1つ目(図3Aでは、左側)の光源11を光源1と記述し、2つ目(図3Aでは、左側)の光源11を光源2と記述することとする。
図4は、実施例2に係る光源の駆動について説明する図である。図4では、光源1の電流を破線で図示し、光源2の電流を点線で図示している。また、イベント検出センサ(DVS)20の感度を実線で図示している。実施例2でも実施例1と同様に、2つの光源1及び光源2の発光強度を同じとするが、2つの光源1及び光源2の一方、又は、両方の発光強度を調整可能とすることもできる。
実施例2では、期間T1で光源1を点灯駆動し、次いで、期間T2で光源2を点灯駆動する。これにより、期間T2では、光源1及び光源2の同時点灯となる。光源1及び光源2の同時点灯により、期間T2での強度ピークは、光源1の単独点灯の場合よりも上がる(この点については、駆動例1の場合と同じである)。
そして、期間T2では、イベント検出センサ(DVS)20の感度を、光源1の単独点灯のとき(期間T1)の感度よりも下げる制御を行う。イベント検出センサ20の感度を調整する制御は、システム制御部30(図1参照)による制御の下に行われる。ここで、イベント検出センサ20の感度を下げるということは、より多くの光が入射したときにイベント検出センサ20が反応するということである。
次に、期間T3では、光源1を消灯駆動し、イベント検出センサ20の感度を上げる。このとき、イベント検出センサ20の感度を、光源1及び光源2を同時に点灯駆動する前の感度、即ち、光源1の単独点灯のとき(期間T1)の感度と同じ感度に戻すことが好ましい。ここで、「同じ感度」とは、厳密に同じ感度である場合の他、実質的に同じ感度である場合も含む意味であり、設計上あるいは製造上生ずる種々のばらつきの存在は許容される。
上述したように、実施例2によれば、2つの光源1及び光源2を同時に点灯駆動する期間T2では、イベント検出センサ20の感度を、光源1の単独点灯のときよりも下げることにより、2つの光源1及び光源2の点灯駆動で、イベント検出センサ20について3つの反応位置を作ることができる。この駆動により、空間方向の他に、時間軸方向にも特徴を持たせることができるため、光源同定のための光源11の配置パターンの特異性を維持したまま、光源11の数を増やすことなく、距離画像の解像度を上げることができる。
[実施例3]
実施例3は、2つの光源11,11の組み合わせAの場合において、2つの光源11,11を同時駆動する際に、強度ピークが一定になるように双方の発光強度を異ならせつつ、ピーク位置を移動させる(ずらす)例である。ここで、「強度ピークが一定」とは、厳密に強度ピークが一定である場合の他、実質的に強度ピークが一定である場合も含む意味であり、設計上あるいは製造上生ずる種々のばらつきの存在は許容される。
実施例3は、2つの光源11,11の組み合わせAの場合において、2つの光源11,11を同時駆動する際に、強度ピークが一定になるように双方の発光強度を異ならせつつ、ピーク位置を移動させる(ずらす)例である。ここで、「強度ピークが一定」とは、厳密に強度ピークが一定である場合の他、実質的に強度ピークが一定である場合も含む意味であり、設計上あるいは製造上生ずる種々のばらつきの存在は許容される。
実施例3においても、説明の都合上、行方向において隣接する2つの光源11,11のうち、1つ目(図3Aでは、左側)の光源11を光源1と記述し、2つ目(図3Aでは、左側)の光源11を光源2と記述することとする。
図5は、実施例3に係る光源の駆動について説明する図である。図5では、光源1の電流を破線で図示し、光源2の電流を点線で図示している。また、光源1及び光源2の単独点灯時、並びに、同時点灯時の強度波形を実線で図示している。実施例3の場合は、イベント検出センサ(DVS)20の感度については一定とする。
実施例3では、光源1の単独点灯後(消灯後)から光源2の単独点灯前までの期間において、光源1及び光源2を同時点灯したときの強度ピークが一定になるように、例えば、光源1の発光強度を徐々に下げ、これに同期して、光源2の発光強度を徐々に上げる駆動を行う。この駆動を行うことにより、強度ピークが一定のまま、ピーク位置を所定量ずつ(僅かずつ)移動させる(ずらす)ことができる。
上述したように、実施例3によれば、光源1及び光源2を同時点灯したときの強度ピークが一定になるように双方の発光強度を調整しつつ、ピーク位置が所定量ずつ移動するように制御を行うことにより、2つの光源1及び光源2の点灯駆動で、イベント検出センサ20についてより多くの反応位置を作ることができる。この駆動により、空間方向の他に、時間軸方向にも特徴を持たせることができるため、光源同定のための光源11の配置パターンの特異性を維持したまま、光源11の数を増やすことなく、距離画像の解像度を上げることができる。
尚、実施例1乃至実施例3では、2つの光源11,11の組み合わせAの場合において、光源1の単独点灯→光源1及び光源2の同時点灯→光源2の単独点灯の駆動の場合を例に挙げたが、それ以降も同様の繰り返しとなる。すなわち、光源2の単独点灯→光源2及び光源3の同時点灯→光源3の単独点灯→光源4及び光源4の同時点灯→光源4→・・・という具合に、点灯駆動が繰り返されることになる。
また、隣接する2つの光源11,11の組み合わせA、組み合わせB、及び、組み合わせCのいずれを採用するかは任意であり、又、それらを組み合わせることも考えられる。組み合わせAを採用することで、行方向(水平方向)の解像度を上げることができるし、組み合わせBを採用することで、列方向(垂直方向)の解像度を上げることができるし、組み合わせCを採用することで、斜め方向の解像度を上げることができる。
[イベント検出センサ(DVS)]
続いて、イベント検出センサ20について説明する。
続いて、イベント検出センサ20について説明する。
(イベント検出センサの構成例)
図6は、上記の構成の本開示の実施形態に係る測距システム1におけるイベント検出センサ20の構成の一例を示すブロック図である。
図6は、上記の構成の本開示の実施形態に係る測距システム1におけるイベント検出センサ20の構成の一例を示すブロック図である。
本例に係るイベント検出センサ20は、複数の画素21が行列状(アレイ状)に2次元配列されて成る画素アレイ部22を有する。複数の画素21のそれぞれは、光電変換によって生成される電気信号としての光電流に応じた電圧のアナログ信号を画素信号として生成し、出力する。また、複数の画素21のそれぞれは、入射光の輝度に応じた光電流に、所定の閾値を超える変化が生じたか否かによって、イベントの有無を検出する。換言すれば、複数の画素21のそれぞれは、輝度変化が所定の閾値を超えたことをイベントとして検出する。
イベント検出センサ20は、画素アレイ部22の他に、画素アレイ部22の周辺回路部として、駆動部23、アービタ部(調停部)24、カラム処理部25、及び、信号処理部26を備えている。
複数の画素21のそれぞれは、イベントを検出した際に、イベントの発生を表すイベントデータの出力を要求するリクエストをアービタ部24に出力する。そして、複数の画素21のそれぞれは、イベントデータの出力の許可を表す応答をアービタ部24から受け取った場合、駆動部23及び信号処理部26に対してイベントデータを出力する。また、イベントを検出した画素21は、光電変換によって生成されるアナログの画素信号をカラム処理部25に対して出力する。
駆動部23は、画素アレイ部22の各画素21を駆動する。例えば、駆動部23は、イベントを検出し、イベントデータを出力した画素21を駆動し、当該画素21のアナログの画素信号を、カラム処理部25へ出力させる。
アービタ部24は、複数の画素21のそれぞれから供給されるイベントデータの出力を要求するリクエストを調停し、その調停結果(イベントデータの出力の許可/不許可)に基づく応答、及び、イベント検出をリセットするリセット信号を画素21に送信する。
カラム処理部25は、例えば、画素アレイ部22の画素列毎に設けられたアナログ−デジタル変換器の集合から成るアナログ−デジタル変換部を有する。アナログ−デジタル変換器としては、例えば、シングルスロープ型アナログ−デジタル変換器、逐次比較型アナログ−デジタル変換器、デルタ−シグマ変調型(ΔΣ変調型)アナログ−デジタル変換器などを例示することができる。
カラム処理部25では、画素アレイ部22の画素列毎に、その列の画素21から出力されるアナログの画素信号をデジタル信号に変換する処理が行われる。カラム処理部25では、デジタル化した画素信号に対して、CDS(Correlated Double Sampling)処理を行うこともできる。
信号処理部26は、カラム処理部25から供給されるデジタル化された画素信号や、画素アレイ部22から出力されるイベントデータに対して所定の信号処理を実行し、信号処理後のイベントデータ及び画素信号を出力する。
上述したように、画素21で生成される光電流の変化は、画素21に入射する光の光量変化(輝度変化)とも捉えることができる。従って、イベントは、所定の閾値を超える画素21の光量変化(輝度変化)であるとも言うことができる。イベントの発生を表すイベントデータには、少なくとも、イベントとしての光量変化が発生した画素21の位置を表す座標等の位置情報が含まれる。イベントデータには、位置情報の他、光量変化の極性を含ませることができる。
画素21からイベントが発生したタイミングで出力されるイベントデータの系列については、イベントデータどうしの間隔がイベントの発生時のまま維持されている限り、イベントデータは、イベントが発生した相対的な時刻を表す時刻情報を暗示的に含んでいるということができる。
但し、イベントデータがメモリに記憶されること等により、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなると、イベントデータに暗示的に含まれる時刻情報が失われる。そのため、信号処理部26は、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなる前に、イベントデータに、タイムスタンプ等の、イベントが発生した相対的な時刻を表す時刻情報を含める。
(画素の回路構成例)
続いて、画素21の具体的な回路構成例について説明する。画素21は、輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出機能を有する。
続いて、画素21の具体的な回路構成例について説明する。画素21は、輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出機能を有する。
画素21は、光電流の変化量が所定の閾値を超えたか否かにより、イベントの発生の有無を検出する。イベントは、例えば、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、その変化量が下限の閾値を下回った旨を示すオフイベントから成る。また、イベントの発生を表すイベントデータ(イベント情報)は、例えば、オンイベントの検出結果を示す1ビット、及び、オフイベントの検出結果を示す1ビットから成る。尚、画素21については、オンイベントのみについて検出する機能を有する構成とすることもできるし、オフイベントのみについて検出する機能を有する構成とすることもできる。
≪回路構成例1≫
回路構成例1は、コンパレータを1つ用いて、オンイベントの検出、及び、オフイベントの検出を時分割で行う例である。回路構成例1に係る画素21の回路図を図7に示す。回路構成例1に係る画素21は、受光素子(光電変換素子)211、受光回路212、メモリ容量213、コンパレータ214、リセット回路215、インバータ216、及び、出力回路217を有する回路構成となっている。画素21は、センサ制御部50による制御の下に、オンイベント及びオフイベントの検出を行う。
回路構成例1は、コンパレータを1つ用いて、オンイベントの検出、及び、オフイベントの検出を時分割で行う例である。回路構成例1に係る画素21の回路図を図7に示す。回路構成例1に係る画素21は、受光素子(光電変換素子)211、受光回路212、メモリ容量213、コンパレータ214、リセット回路215、インバータ216、及び、出力回路217を有する回路構成となっている。画素21は、センサ制御部50による制御の下に、オンイベント及びオフイベントの検出を行う。
受光素子211は、第1電極(アノード電極)が受光回路212の入力端に接続され、第2電極(カソード電極)が基準電位ノードであるグランドノードに接続されており、入射光を光電変換して光の強度(光量)に応じた電荷量の電荷を生成する。また、受光素子211は、生成した電荷を光電流Iphotoに変換する。
受光回路212は、受光素子211が検出した、光の強度(光量)に応じた光電流Iphotoを電圧Vprに変換する。ここで、光の強度に対する電圧Vprの関係は、通常、対数の関係である。すなわち、受光回路212は、受光素子211の受光面に照射される光の強度に対応する光電流Iphotoを、対数関数である電圧Vprに変換する。但し、光電流Iphotoと電圧Vprとの関係は、対数の関係に限られるものではない。
受光回路212から出力される、光電流Iphotoに応じた電圧Vprは、メモリ容量213を経た後、電圧Vdiffとしてコンパレータ214の第1入力である反転(−)入力となる。コンパレータ214は、通常、差動対トランジスタによって構成される。コンパレータ214は、センサ制御部50から与えられる閾値電圧Vbを第2入力である非反転(+)入力とし、オンイベントの検出、及び、オフイベントの検出を時分割で行う。また、オンイベント/オフイベントの検出後は、リセット回路215によって、画素21のリセットが行われる。
センサ制御部50は、閾値電圧Vbとして、時分割で、オンイベントを検出する段階では電圧Vonを出力し、オフイベントを検出する段階では電圧Voffを出力し、リセットを行う段階では電圧Vresetを出力する。電圧Vresetは、電圧Vonと電圧Voffとの間の値、好ましくは、電圧Vonと電圧Voffとの中間の値に設定される。ここで、「中間の値」とは、厳密に中間の値である場合の他、実質的に中間の値である場合も含む意味であり、設計上あるいは製造上生ずる種々のばらつきの存在は許容される。
また、センサ制御部50は、画素21に対して、オンイベントを検出する段階ではOn選択信号を出力し、オフイベントを検出する段階ではOff選択信号を出力し、リセットを行う段階ではグローバルリセット信号を出力する。On選択信号は、インバータ216と出力回路217との間に設けられた選択スイッチSWonに対してその制御信号として与えられる。Off選択信号は、コンパレータ214と出力回路217との間に設けられた選択スイッチSWoffに対してその制御信号として与えられる。
コンパレータ214は、オンイベントを検出する段階では、電圧Vonと電圧Vdiffとを比較し、電圧Vdiffが電圧Vonを超えたとき、光電流Iphotoの変化量が上限の閾値を超えた旨を示すオンイベント情報Onを比較結果として出力する。オンイベント情報Onは、インバータ216で反転された後、選択スイッチSWonを通して出力回路217に供給される。
コンパレータ214は、オフイベントを検出する段階では、電圧Voffと電圧Vdiffとを比較し、電圧Vdiffが電圧Voffを下回ったとき、光電流Iphotoの変化量が下限の閾値を下回った旨を示すオフイベント情報Offを比較結果として出力する。オフイベント情報Offは、選択スイッチSWoffを通して出力回路217に供給される。
リセット回路215は、リセットスイッチSWRS、2入力OR回路2151、及び、2入力AND回路2152を有する構成となっている。リセットスイッチSWRSは、コンパレータ214の反転(−)入力端子と出力端子との間に接続されており、オン(閉)状態となることで、反転入力端子と出力端子との間を選択的に短絡する。
OR回路2151は、選択スイッチSWonを経たオンイベント情報On、及び、選択スイッチSWoffを経たオフイベント情報Offを2入力とする。AND回路2152は、OR回路2151の出力信号を一方の入力とし、センサ制御部50から与えられるグローバルリセット信号を他方の入力とし、オンイベント情報On又はオフイベント情報Offのいずれかが検出され、グローバルリセット信号がアクティブ状態のときに、リセットスイッチSWRSをオン(閉)状態とする。
このように、AND回路2152の出力信号がアクティブ状態となることで、リセットスイッチSWRSは、コンパレータ214の反転入力端子と出力端子との間を短絡し、画素21に対して、グローバルリセットを行う。これにより、イベントが検出された画素21だけについてリセット動作が行われる。
出力回路217は、オフイベント出力トランジスタNM1、オンイベント出力トランジスタNM2、及び、電流源トランジスタNM3を有する構成となっている。オフイベント出力トランジスタNM1は、そのゲート部に、オフイベント情報Offを保持するためのメモリ(図示せず)を有している。このメモリは、オフイベント出力トランジスタNM1のゲート寄生容量から成る。
オフイベント出力トランジスタNM1と同様に、オンイベント出力トランジスタNM2は、そのゲート部に、オンイベント情報Onを保持するためのメモリ(図示せず)を有している。このメモリは、オンイベント出力トランジスタNM2のゲート寄生容量から成る。
読出し段階において、オフイベント出力トランジスタNM1のメモリに保持されたオフイベント情報Off、及び、オンイベント出力トランジスタNM2のメモリに保持されたオンイベント情報Onは、センサ制御部50から電流源トランジスタNM3のゲート電極に行選択信号が与えられることで、画素アレイ部22の画素行毎に、出力ラインnRxOff及び出力ラインnRxOnを通して読出し回路80に転送される。読出し回路80は、例えば、信号処理部26(図6参照)内に設けられる回路である。
上述したように、回路構成例1に係る画素21は、1つのコンパレータ214を用いて、センサ制御部50による制御の下に、オンイベントの検出、及び、オフイベントの検出を時分割で行うイベント検出機能を有する構成となっている。
≪回路構成例2≫
回路構成例2は、コンパレータを2つ用いて、オンイベントの検出、及び、オフイベントの検出を並行して(同時に)行う例である。回路構成例2に係る画素21の回路図を図8に示す。
回路構成例2は、コンパレータを2つ用いて、オンイベントの検出、及び、オフイベントの検出を並行して(同時に)行う例である。回路構成例2に係る画素21の回路図を図8に示す。
図8に示すように、回路構成例2に係る画素21は、オンイベントを検出するためのコンパレータ214A、及び、オフイベントを検出するためのコンパレータ214Bを有する構成となっている。このように、2つのコンパレータ214A及びコンパレータ214Bを用いてイベント検出を行うことで、オンイベントの検出動作とオフイベントの検出動作とを並行して実行することができる。その結果、オンイベント及びオフイベントの検出動作について、より速い動作を実現できる。
オンイベント検出用のコンパレータ214Aは、通常、差動対トランジスタによって構成される。コンパレータ214Aは、光電流Iphotoに応じた電圧Vdiffを第1入力である非反転(+)入力とし、閾値電圧Vbとしての電圧Vonを第2入力である反転(−)入力とし、両者の比較結果としてオンイベント情報Onを出力する。オフイベント検出用のコンパレータ214Bも、通常、差動対トランジスタによって構成される。コンパレータ214Bは、光電流Iphotoに応じた電圧Vdiffを第1入力である反転入力とし、閾値電圧Vbとしての電圧Voffを第2入力である非反転入力とし、両者の比較結果としてオフイベント情報Offを出力する。
コンパレータ214Aの出力端子と出力回路217のオンイベント出力トランジスタNM2のゲート電極との間には、選択スイッチSWonが接続されている。コンパレータ214Bの出力端子と出力回路217のオフイベント出力トランジスタNM1のゲート電極との間には、選択スイッチSWoffが接続されている。選択スイッチSWon及び選択スイッチSWoffは、センサ制御部50から出力されるサンプル信号によりオン(閉)/オフ(開)制御が行われる。
コンパレータ214Aの比較結果であるオンイベント情報Onは、選択スイッチSWonを介して、オンイベント出力トランジスタNM2のゲート部のメモリに保持される。オンイベント情報Onを保持するためのメモリは、オンイベント出力トランジスタNM2のゲート寄生容量から成る。コンパレータ214Bの比較結果であるオンイベントOffは、選択スイッチSWoffを介して、オフイベント出力トランジスタNM1のゲート部のメモリに保持される。オンイベントOffを保持するためのメモリは、オフイベント出力トランジスタNM1のゲート寄生容量から成る。
オンイベント出力トランジスタNM2のメモリに保持されたオンイベント情報On、及び、オフイベント出力トランジスタNM1のメモリに保持されたオフイベント情報Offは、センサ制御部50から電流源トランジスタNM3のゲート電極に行選択信号が与えられることで、画素アレイ部22の画素行毎に、出力ラインnRxOn及び出力ラインnRxOffを通して読出し回路80に転送される。
上述したように、回路構成例2に係る画素21は、2つのコンパレータ214A及びコンパレータ214Bを用いて、センサ制御部50による制御の下に、オンイベントの検出と、オフイベントの検出とを並行して(同時に)行うイベント検出機能を有する構成となっている。
≪回路構成例3≫
回路構成例3は、オンイベントのみについて検出を行う例である。回路構成例3に係る画素21の回路図を図9に示す。
回路構成例3は、オンイベントのみについて検出を行う例である。回路構成例3に係る画素21の回路図を図9に示す。
回路構成例3に係る画素21は、1つのコンパレータ214を有している。コンパレータ214は、光電流Iphotoに応じた電圧Vdiffを第1入力である反転(−)入力とし、センサ制御部50から閾値電圧Vbとして与えられる電圧Vonを第2入力である非反転(+)入力とし、両者を比較することによってオンイベント情報Onを比較結果として出力する。ここで、コンパレータ214を構成する差動対トランジスタとしてN型トランジスタを用いることで、回路構成例1(図7参照)で用いていたインバータ216を不要とすることができる。
コンパレータ214の比較結果であるオンイベント情報Onは、オンイベント出力トランジスタNM2のゲート部のメモリに保持される。オンイベント情報Onを保持するためのメモリは、オンイベント出力トランジスタNM2のゲート寄生容量から成る。オンイベント出力トランジスタNM2のメモリに保持されたオンイベント情報Onは、センサ制御部50から電流源トランジスタNM3のゲート電極に行選択信号が与えられることで、画素アレイ部22の画素行毎に、出力ラインnRxOnを通して読出し回路80に転送される。
上述したように、回路構成例3に係る画素21は、1つのコンパレータ214を用いて、センサ制御部50による制御の下に、オンイベント情報Onのみについて検出を行うイベント検出機能を有する構成となっている。
≪回路構成例4≫
回路構成例4は、オフイベントのみの検出を行う例である。回路構成例4に係る画素21の回路図を図10に示す。
回路構成例4は、オフイベントのみの検出を行う例である。回路構成例4に係る画素21の回路図を図10に示す。
回路構成例4に係る画素21は、1つのコンパレータ214を有している。コンパレータ214は、光電流Iphotoに応じた電圧Vdiffを第1入力である反転(−)入力とし、センサ制御部50から閾値電圧Vbとして与えられる電圧Voffを第2入力である非反転(+)入力とし、両者を比較することによってオフイベント情報Offを比較結果として出力する。コンパレータ214を構成する差動対トランジスタとしては、P型トランジスタを用いることができる。
コンパレータ214の比較結果であるオフイベント情報Offは、オフイベント出力トランジスタNM1のゲート部のメモリに保持される。オフイベント情報Offを保持するメモリは、オフイベント出力トランジスタNM1のゲート寄生容量から成る。オフイベント出力トランジスタNM1のメモリに保持されたオフイベント情報Offは、センサ制御部50から電流源トランジスタNM3のゲート電極に行選択信号が与えられることで、画素アレイ部22の画素行毎に、出力ラインnRxOffを通して読出し回路80に転送される。
上述したように、回路構成例4に係る画素21は、1つのコンパレータ214を用いて、センサ制御部50による制御の下に、オフイベント情報Offのみについて検出を行うイベント検出機能を有する構成となっている。尚、図10の回路構成では、AND回路2152の出力信号でリセットスイッチSWrsを制御するしているが、グローバルリセット信号で直接リセットスイッチSWrsを制御する構成とすることもできる。
<変形例>
以上、本開示の技術について、好ましい実施形態に基づき説明したが、本開示の技術は当該実施形態に限定されるものではない。上記の実施形態において説明した測距システムの構成、構造は例示であり、適宜、変更することができる。
以上、本開示の技術について、好ましい実施形態に基づき説明したが、本開示の技術は当該実施形態に限定されるものではない。上記の実施形態において説明した測距システムの構成、構造は例示であり、適宜、変更することができる。
<応用例>
以上説明した本開示の測距システムは、様々な用途に用いることができる。様々な用途としては、以下に列挙する装置等を例示することができる。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
以上説明した本開示の測距システムは、様々な用途に用いることができる。様々な用途としては、以下に列挙する装置等を例示することができる。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
<本開示の電子機器>
以上説明した本開示の測距システムは、例えば、顔認証機能を備える種々の電子機器に搭載される三次元画像取得システム(顔認証システム)として用いることができる。顔認証機能を備える電子機器として、例えば、スマートフォン、タブレット、パーソナルコンピュータ等のモバイル機器を例示することができる。但し、本開示の測距システムを用いることができる電子機器としては、モバイル機器に限定されるものではない。
以上説明した本開示の測距システムは、例えば、顔認証機能を備える種々の電子機器に搭載される三次元画像取得システム(顔認証システム)として用いることができる。顔認証機能を備える電子機器として、例えば、スマートフォン、タブレット、パーソナルコンピュータ等のモバイル機器を例示することができる。但し、本開示の測距システムを用いることができる電子機器としては、モバイル機器に限定されるものではない。
[スマートフォン]
ここでは、本開示の測距システムを用いることができる本開示の電子機器の具体例として、スマートフォンを例示する。本開示の電子機器の具体例に係るスマートフォンの正面側から見た外観図を図11に示す。
ここでは、本開示の測距システムを用いることができる本開示の電子機器の具体例として、スマートフォンを例示する。本開示の電子機器の具体例に係るスマートフォンの正面側から見た外観図を図11に示す。
本具体例に係るスマートフォン300は、筐体310の正面側に表示部320を備えている。また、スマートフォン300は、筐体310の正面側の上方部に、発光部330及び受光部340を備えている。尚、図11に示す発光部330及び受光部340の配置例は、一例であって、この配置例に限られるものではない。
上記の構成のモバイル機器の一例であるスマートフォン300において、発光部330として、先述した実施形態に係る測距システム1における光源(垂直共振器型面発光レーザ10)を用い、受光部340としてイベント検出センサ20を用いるこができる。すなわち、本具体例に係るスマートフォン300は、三次元画像取得システムとして、先述した実施形態に係る測距システム1を用いることによって作製される。
先述した実施形態に係る測距システム1は、光源のアレイドット配置において、光源の数を増やすことなく、距離画像の解像度を上げることができる。従って、本具体例に係るスマートフォン300は、三次元画像取得システム(顔認証システム)として、先述した実施形態に係る測距システム1を用いることにより、精度の高い顔認識機能を持つことができる。
<本開示がとることができる構成>
尚、本開示は、以下のような構成をとることもできる。
尚、本開示は、以下のような構成をとることもできる。
≪A.測距システム≫
[A−1]被写体に所定のパターンの光を投影する面発光半導体レーザ、
被写体で反射された光を受光し、画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出センサ、及び、
面発光半導体レーザ及びイベント検出センサの制御を行う制御部を備え、
面発光半導体レーザの光源の配置は、光源をアレイ状に2次元配置したアレイドット配置であり、
制御部は、アレイドット配置において隣接する2つの光源を駆動の単位とし、2つの光源をそれぞれ独立に点灯駆動する間の期間において、2つの光源を同時に点灯駆動する、
測距システム。
[A−2]制御部は、2つの光源を同じ発光強度で駆動する制御を行う、
上記[A−1]に記載の測距システム。
[A−3]制御部は、2つの光源の間の区間における中間位置で2つの光源を同時に点灯駆動する制御を行う、
上記[A−2]に記載の測距システム。
[A−4]制御部は、2つの光源を同時に点灯駆動する期間では、イベント検出センサの感度を、光源の単独点灯のときの感度よりも下げる制御を行う、
上記[A−2]又は上記[A−3]に記載の測距システム。
[A−5]制御部は、2つの光源を同時に点灯駆動した後、光源を単独で点灯駆動するとき、イベント検出センサの感度を上げる制御を行う、
上記[A−4]に記載の測距システム。
[A−6]制御部は、2つの光源を同時に点灯駆動した後、光源を単独で点灯駆動するとき、イベント検出センサの感度を、2つの光源を同時に点灯駆動する前の感度と同じ感度に上げる制御を行う、
上記[A−5]に記載の測距システム。
[A−7]制御部は、2つの光源を異なる発光強度で駆動する制御を行う、
上記[A−1]に記載の測距システム。
[A−8]制御部は、強度ピークが一定になるように2つの光源の制御を行う、
上記[A−7]に記載の測距システム。
[A−9]制御部は、2つの光源の間の区間において、強度ピークが所定量ずつ移動するように2つの光源の制御を行う、
上記[A−8]に記載の測距システム。
[A−10]制御部は、2つの光源の一方の発光強度を徐々に下げ、これに同期して、他方の発光強度を徐々に上げる制御を行う、
上記[A−9]に記載の測距システム。
[A−11]2つの光源は、アレイドット配置において、行方向、列方向、又は、斜め方向で隣接する光源である、
上記[A−1]乃至上記[A−10]のいずれかに記載の測距システム。
[A−12]面発光半導体レーザは、垂直共振器型面発光レーザである、
上記[A−1]乃至上記[A−11]のいずれかに記載の測距システム。
[A−1]被写体に所定のパターンの光を投影する面発光半導体レーザ、
被写体で反射された光を受光し、画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出センサ、及び、
面発光半導体レーザ及びイベント検出センサの制御を行う制御部を備え、
面発光半導体レーザの光源の配置は、光源をアレイ状に2次元配置したアレイドット配置であり、
制御部は、アレイドット配置において隣接する2つの光源を駆動の単位とし、2つの光源をそれぞれ独立に点灯駆動する間の期間において、2つの光源を同時に点灯駆動する、
測距システム。
[A−2]制御部は、2つの光源を同じ発光強度で駆動する制御を行う、
上記[A−1]に記載の測距システム。
[A−3]制御部は、2つの光源の間の区間における中間位置で2つの光源を同時に点灯駆動する制御を行う、
上記[A−2]に記載の測距システム。
[A−4]制御部は、2つの光源を同時に点灯駆動する期間では、イベント検出センサの感度を、光源の単独点灯のときの感度よりも下げる制御を行う、
上記[A−2]又は上記[A−3]に記載の測距システム。
[A−5]制御部は、2つの光源を同時に点灯駆動した後、光源を単独で点灯駆動するとき、イベント検出センサの感度を上げる制御を行う、
上記[A−4]に記載の測距システム。
[A−6]制御部は、2つの光源を同時に点灯駆動した後、光源を単独で点灯駆動するとき、イベント検出センサの感度を、2つの光源を同時に点灯駆動する前の感度と同じ感度に上げる制御を行う、
上記[A−5]に記載の測距システム。
[A−7]制御部は、2つの光源を異なる発光強度で駆動する制御を行う、
上記[A−1]に記載の測距システム。
[A−8]制御部は、強度ピークが一定になるように2つの光源の制御を行う、
上記[A−7]に記載の測距システム。
[A−9]制御部は、2つの光源の間の区間において、強度ピークが所定量ずつ移動するように2つの光源の制御を行う、
上記[A−8]に記載の測距システム。
[A−10]制御部は、2つの光源の一方の発光強度を徐々に下げ、これに同期して、他方の発光強度を徐々に上げる制御を行う、
上記[A−9]に記載の測距システム。
[A−11]2つの光源は、アレイドット配置において、行方向、列方向、又は、斜め方向で隣接する光源である、
上記[A−1]乃至上記[A−10]のいずれかに記載の測距システム。
[A−12]面発光半導体レーザは、垂直共振器型面発光レーザである、
上記[A−1]乃至上記[A−11]のいずれかに記載の測距システム。
≪B.電子機器≫
[B−1]被写体に所定のパターンの光を投影する面発光半導体レーザ、
被写体で反射された光を受光し、画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出センサ、及び、
面発光半導体レーザ及びイベント検出センサの制御を行う制御部を備え、
面発光半導体レーザの光源の配置は、光源をアレイ状に2次元配置したアレイドット配置であり、
制御部は、アレイドット配置において隣接する2つの光源を駆動の単位とし、2つの光源をそれぞれ独立に点灯駆動する間の期間において、2つの光源を同時に点灯駆動する、
測距システムを有する電子機器。
[B−2]制御部は、2つの光源を同じ発光強度で駆動する制御を行う、
上記[B−1]に記載の電子機器。
[B−3]制御部は、2つの光源の間の区間における中間位置で2つの光源を同時に点灯駆動する制御を行う、
上記[B−2]に記載の電子機器。
[B−4]制御部は、2つの光源を同時に点灯駆動する期間では、イベント検出センサの感度を、光源の単独点灯のときの感度よりも下げる制御を行う、
上記[B−2]又は上記[B−3]に記載の電子機器。
[B−5]制御部は、2つの光源を同時に点灯駆動した後、光源を単独で点灯駆動するとき、イベント検出センサの感度を上げる制御を行う、
上記[B−4]に記載の電子機器。
[B−6]制御部は、2つの光源を同時に点灯駆動した後、光源を単独で点灯駆動するとき、イベント検出センサの感度を、2つの光源を同時に点灯駆動する前の感度と同じ感度に上げる制御を行う、
上記[B−5]に記載の電子機器。
[B−7]制御部は、2つの光源を異なる発光強度で駆動する制御を行う、
上記[B−1]に記載の電子機器。
[B−8]制御部は、強度ピークが一定になるように2つの光源の制御を行う、
上記[B−7]に記載の電子機器。
[B−9]制御部は、2つの光源の間の区間において、強度ピークが所定量ずつ移動するように2つの光源の制御を行う、
上記[B−8]に記載の電子機器。
[B−10]制御部は、2つの光源の一方の発光強度を徐々に下げ、これに同期して、他方の発光強度を徐々に上げる制御を行う、
上記[B−9]に記載の電子機器。
[B−11]2つの光源は、アレイドット配置において、行方向、列方向、又は、斜め方向で隣接する光源である、
上記[B−1]乃至上記[B−10]のいずれかに記載の電子機器。
[B−12]面発光半導体レーザは、垂直共振器型面発光レーザである、
上記[B−1]乃至上記[B−11]のいずれかに記載の電子機器。
[B−1]被写体に所定のパターンの光を投影する面発光半導体レーザ、
被写体で反射された光を受光し、画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出センサ、及び、
面発光半導体レーザ及びイベント検出センサの制御を行う制御部を備え、
面発光半導体レーザの光源の配置は、光源をアレイ状に2次元配置したアレイドット配置であり、
制御部は、アレイドット配置において隣接する2つの光源を駆動の単位とし、2つの光源をそれぞれ独立に点灯駆動する間の期間において、2つの光源を同時に点灯駆動する、
測距システムを有する電子機器。
[B−2]制御部は、2つの光源を同じ発光強度で駆動する制御を行う、
上記[B−1]に記載の電子機器。
[B−3]制御部は、2つの光源の間の区間における中間位置で2つの光源を同時に点灯駆動する制御を行う、
上記[B−2]に記載の電子機器。
[B−4]制御部は、2つの光源を同時に点灯駆動する期間では、イベント検出センサの感度を、光源の単独点灯のときの感度よりも下げる制御を行う、
上記[B−2]又は上記[B−3]に記載の電子機器。
[B−5]制御部は、2つの光源を同時に点灯駆動した後、光源を単独で点灯駆動するとき、イベント検出センサの感度を上げる制御を行う、
上記[B−4]に記載の電子機器。
[B−6]制御部は、2つの光源を同時に点灯駆動した後、光源を単独で点灯駆動するとき、イベント検出センサの感度を、2つの光源を同時に点灯駆動する前の感度と同じ感度に上げる制御を行う、
上記[B−5]に記載の電子機器。
[B−7]制御部は、2つの光源を異なる発光強度で駆動する制御を行う、
上記[B−1]に記載の電子機器。
[B−8]制御部は、強度ピークが一定になるように2つの光源の制御を行う、
上記[B−7]に記載の電子機器。
[B−9]制御部は、2つの光源の間の区間において、強度ピークが所定量ずつ移動するように2つの光源の制御を行う、
上記[B−8]に記載の電子機器。
[B−10]制御部は、2つの光源の一方の発光強度を徐々に下げ、これに同期して、他方の発光強度を徐々に上げる制御を行う、
上記[B−9]に記載の電子機器。
[B−11]2つの光源は、アレイドット配置において、行方向、列方向、又は、斜め方向で隣接する光源である、
上記[B−1]乃至上記[B−10]のいずれかに記載の電子機器。
[B−12]面発光半導体レーザは、垂直共振器型面発光レーザである、
上記[B−1]乃至上記[B−11]のいずれかに記載の電子機器。
1・・・測距システム、10・・・垂直共振器型面発光レーザ(VCSEL)、11・・・光源(点光源)、20・・・イベント検出センサ(DVS)、21・・・画素、22・・・画素アレイ部、23・・・駆動部、24・・・アービタ部、25・・・カラム処理部、26・・・信号処理部、30・・・システム制御部、40・・・光源駆動部、50・・・センサ制御部、60・・・光源側光学系、70・・・カメラ側光学系、100・・・被写体、200・・・アプリケーションプロセッサ
Claims (14)
- 被写体に光を照射する面発光半導体レーザ、
被写体で反射された光を受光し、画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出センサ、及び、
面発光半導体レーザ及びイベント検出センサの制御を行う制御部を備え、
面発光半導体レーザの光源の配置は、光源をアレイ状に2次元配置したアレイドット配置であり、
制御部は、アレイドット配置において隣接する2つの光源を駆動の単位とし、2つの光源をそれぞれ独立に点灯駆動する動作に加えて、2つの光源を同時に点灯駆動する動作を行う、
測距システム。 - 制御部は、2つの光源を同じ発光強度で駆動する制御を行う、
請求項1に記載の測距システム。 - 制御部は、2つの光源の間の区間における中間位置で2つの光源を同時に点灯駆動する制御を行う、
請求項2に記載の測距システム。 - 制御部は、2つの光源を同時に点灯駆動する期間では、イベント検出センサの感度を、光源の単独点灯のときの感度よりも下げる制御を行う、
請求項2に記載の測距システム。 - 制御部は、2つの光源を同時に点灯駆動した後、光源を単独で点灯駆動するとき、イベント検出センサの感度を上げる制御を行う、
請求項4に記載の測距システム。 - 制御部は、2つの光源を同時に点灯駆動した後、光源を単独で点灯駆動するとき、イベント検出センサの感度を、2つの光源を同時に点灯駆動する前の感度と同じ感度に上げる制御を行う、
請求項5に記載の測距システム。 - 制御部は、2つの光源を異なる発光強度で駆動する制御を行う、
請求項1に記載の測距システム。 - 制御部は、強度ピークが一定になるように2つの光源の制御を行う、
請求項7に記載の測距システム。 - 制御部は、2つの光源の間の区間において、強度ピークが所定量ずつ移動するように2つの光源の制御を行う、
請求項8に記載の測距システム。 - 制御部は、2つの光源の一方の発光強度を徐々に下げ、これに同期して、他方の発光強度を徐々に上げる制御を行う、
請求項9に記載の測距システム。 - 2つの光源は、アレイドット配置において、行方向、列方向、又は、斜め方向で隣接する光源である、
請求項1に記載の測距システム。 - 面発光半導体レーザは、垂直共振器型面発光レーザである、
請求項1に記載の測距システム。 - 垂直共振器型面発光レーザは、被写体に所定のパターンの光を投影する、
請求項12に記載の測距システム。 - 被写体に光を照射する面発光半導体レーザ、
被写体で反射された光を受光し、画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出センサ、及び、
面発光半導体レーザ及びイベント検出センサの制御を行う制御部を備え、
面発光半導体レーザの光源の配置は、光源をアレイ状に2次元配置したアレイドット配置であり、
制御部は、アレイドット配置において隣接する2つの光源を駆動の単位とし、2つの光源をそれぞれ独立に点灯駆動する動作に加えて、2つの光源を同時に点灯駆動する動作を行う、
測距システムを有する電子機器。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019154498A JP2021032762A (ja) | 2019-08-27 | 2019-08-27 | 測距システム及び電子機器 |
PCT/JP2020/026887 WO2021039146A1 (ja) | 2019-08-27 | 2020-07-09 | 測距システム及び電子機器 |
US17/636,134 US20220291385A1 (en) | 2019-08-27 | 2020-07-09 | Distance measurement system and electronic apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019154498A JP2021032762A (ja) | 2019-08-27 | 2019-08-27 | 測距システム及び電子機器 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021032762A true JP2021032762A (ja) | 2021-03-01 |
Family
ID=74678204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019154498A Pending JP2021032762A (ja) | 2019-08-27 | 2019-08-27 | 測距システム及び電子機器 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220291385A1 (ja) |
JP (1) | JP2021032762A (ja) |
WO (1) | WO2021039146A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022209156A1 (ja) * | 2021-03-30 | 2022-10-06 | ソニーグループ株式会社 | 医療用観察装置、情報処理装置、医療用観察方法及び内視鏡手術システム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11606540B2 (en) * | 2019-07-22 | 2023-03-14 | Maradin Ltd. | System, method and computer program product for laser projection |
WO2023149242A1 (ja) * | 2022-02-03 | 2023-08-10 | 株式会社小糸製作所 | 測定装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3415070B2 (ja) * | 1998-05-25 | 2003-06-09 | 松下電器産業株式会社 | レンジファインダ装置 |
JP6292533B2 (ja) * | 2013-12-06 | 2018-03-14 | 株式会社リコー | 物体検出装置及びセンシング装置 |
JP6848302B2 (ja) * | 2015-11-13 | 2021-03-24 | 株式会社リコー | 面発光レーザアレイ及びレーザ装置 |
JP6857496B2 (ja) * | 2016-12-26 | 2021-04-14 | 日亜化学工業株式会社 | 発光装置 |
US10516876B2 (en) * | 2017-12-19 | 2019-12-24 | Intel Corporation | Dynamic vision sensor and projector for depth imaging |
-
2019
- 2019-08-27 JP JP2019154498A patent/JP2021032762A/ja active Pending
-
2020
- 2020-07-09 WO PCT/JP2020/026887 patent/WO2021039146A1/ja active Application Filing
- 2020-07-09 US US17/636,134 patent/US20220291385A1/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022209156A1 (ja) * | 2021-03-30 | 2022-10-06 | ソニーグループ株式会社 | 医療用観察装置、情報処理装置、医療用観察方法及び内視鏡手術システム |
Also Published As
Publication number | Publication date |
---|---|
WO2021039146A1 (ja) | 2021-03-04 |
US20220291385A1 (en) | 2022-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7451110B2 (ja) | 測距システム及び電子機器 | |
WO2021084833A1 (ja) | 物体認識システム及び物体認識システムの信号処理方法、並びに、電子機器 | |
WO2021039146A1 (ja) | 測距システム及び電子機器 | |
US11652983B2 (en) | Solid-state imaging device, imaging system, and movable object | |
WO2020195966A1 (ja) | 撮像システム及び撮像システムの制御方法、並びに、物体認識システム | |
US11662443B2 (en) | Method and apparatus for determining malfunction, and sensor system | |
WO2021070445A1 (ja) | 顔認証システム及び電子機器 | |
WO2021210389A1 (ja) | 物体認識システム及び電子機器 | |
CN104620260B (zh) | 用于识别用于车辆的至少一个脉冲光源的方法和设备 | |
US20210218923A1 (en) | Solid-state imaging device and electronic device | |
WO2021084832A1 (ja) | 物体認識システム及び物体認識システムの信号処理方法、並びに、電子機器 | |
CN113785560A (zh) | 成像系统 | |
US11089243B2 (en) | Image sensor element for outputting an image signal, and method for manufacturing an image sensor element for outputting an image signal | |
JP7513829B1 (ja) | 深度センサおよび深度センサの動作方法 | |
WO2024116745A1 (ja) | 画像生成装置、画像生成方法および画像生成プログラム | |
US11546538B2 (en) | Photoelectric conversion apparatus, photoelectric conversion system, moving body, and method for checking photoelectric conversion apparatus | |
WO2024135083A1 (en) | Light detecting device and processing device | |
WO2024022682A1 (en) | Depth sensor device and method for operating a depth sensor device |