JP2021139836A - Distance measuring sensor and method for measuring distance - Google Patents
Distance measuring sensor and method for measuring distance Download PDFInfo
- Publication number
- JP2021139836A JP2021139836A JP2020039697A JP2020039697A JP2021139836A JP 2021139836 A JP2021139836 A JP 2021139836A JP 2020039697 A JP2020039697 A JP 2020039697A JP 2020039697 A JP2020039697 A JP 2020039697A JP 2021139836 A JP2021139836 A JP 2021139836A
- Authority
- JP
- Japan
- Prior art keywords
- region
- unit
- distance measuring
- pixel
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 55
- 238000012545 processing Methods 0.000 claims abstract description 94
- 239000011159 matrix material Substances 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims description 122
- 238000005259 measurement Methods 0.000 claims description 64
- 238000003384 imaging method Methods 0.000 claims description 54
- 238000006243 chemical reaction Methods 0.000 claims description 50
- 230000004044 response Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 238000000691 measurement method Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 41
- 238000010586 diagram Methods 0.000 description 40
- 230000008569 process Effects 0.000 description 24
- 238000004891 communication Methods 0.000 description 23
- 230000000694 effects Effects 0.000 description 17
- 230000009471 action Effects 0.000 description 14
- 230000004048 modification Effects 0.000 description 14
- 238000012986 modification Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000003672 processing method Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000010791 quenching Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/484—Transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
- H01L31/08—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
- H01L31/10—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by potential barriers, e.g. phototransistors
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
- H01L31/08—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
- H01L31/10—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by potential barriers, e.g. phototransistors
- H01L31/101—Devices sensitive to infrared, visible or ultraviolet radiation
- H01L31/102—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier
- H01L31/107—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier the potential barrier working in avalanche mode, e.g. avalanche photodiodes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Power Engineering (AREA)
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Light Receiving Elements (AREA)
Abstract
Description
本開示に係る技術(本技術)は、測距センサ及び距離測定方法に関する。 The technology according to the present disclosure (the present technology) relates to a distance measuring sensor and a distance measuring method.
光飛行時間に基づいて物体(対象物)までの距離を測定するTime of Flight(ToF)方式として、パルス波を利用して直接的に計測される光飛行時間から距離を測定する直接ToF(dToF)方式の測距センサと、変調光の位相を利用して間接的に算出される光飛行時間から距離を測定する間接ToF(iToF)方式の測距センサが知られている。 As a Time of Flight (ToF) method that measures the distance to an object (object) based on the light flight time, the direct ToF (dToF) that measures the distance from the light flight time that is directly measured using a pulse wave. ) Method distance measurement sensor and indirect ToF (iToF) type distance measurement sensor that measures the distance from the optical flight time indirectly calculated by using the phase of the modulated light are known.
ところで、上記dToF方式の測距センサでは、単一のパルス光の発光に対する反射光(フォトン)を受光素子で受けて受光素子により反射光を検出するため、物体までの距離や環境光(外乱光)の影響により、フォトンが到来するかしないかは確率的な事象である。従って、受光素子を用いた測距センサは、所定単位時間内における複数回の発光による受光素子の反応を時間ごとに累積したヒストグラムを作成することで、測距精度を高めている。このような測距センサは、ライン状に配置された画素列ごとにフォトンを読み出すことにより、画素ごとに距離情報を持った撮像フレーム(距離画像)をリアルタイムに得ることができる。 By the way, in the above-mentioned dToF type ranging sensor, since the light receiving element receives the reflected light (photons) for the emission of a single pulsed light and the light receiving element detects the reflected light, the distance to the object and the ambient light (turbulent light). ), It is a probabilistic event whether or not photons arrive. Therefore, the distance measuring sensor using the light receiving element improves the distance measuring accuracy by creating a histogram in which the reactions of the light receiving element due to a plurality of times of light emission within a predetermined unit time are accumulated for each time. Such a distance measuring sensor can obtain an imaging frame (distance image) having distance information for each pixel in real time by reading out photons for each pixel array arranged in a line.
なお、外乱光が多くかつ変動する環境であっても、測距精度を高めるために、複数の受光素子の中から、フォトンの測定に用いる受光領域を形成する受光素子を選択可能な測距センサも提案されている(例えば、特許文献1参照)。 A distance measuring sensor that can select a light receiving element that forms a light receiving region used for photon measurement from a plurality of light receiving elements in order to improve distance measurement accuracy even in an environment where there is a lot of ambient light and fluctuates. Has also been proposed (see, for example, Patent Document 1).
ところで、上記測距センサにあっても、高解像度化が強く望まれている。この高解像度化に伴い1度で読み出すデータが増加することになる。 By the way, even in the above-mentioned ranging sensor, it is strongly desired to increase the resolution. As the resolution increases, the amount of data read at one time increases.
また、測距を行う時間内(短時間)でデータを処理するために、ロジック回路の並列処理化が必要なための回路規模、消費電力が大きくなる。 Further, in order to process data within the time (short time) for distance measurement, the circuit scale and power consumption are increased because parallel processing of logic circuits is required.
さらに、データの出力帯域が増加し、出力帯域律速で測距の間隔が空いてしまう。 Furthermore, the output band of data increases, and the distance measurement interval becomes longer due to the output band rate-determining.
本開示はこのような事情に鑑みてなされたもので、高解像度化しても消費電力を削減し、データ出力帯域律速の緩和を図ることが可能な測距センサ及び距離測定方法を提供することを目的とする。 The present disclosure has been made in view of such circumstances, and provides a distance measuring sensor and a distance measuring method capable of reducing power consumption and relaxing the rate-determining of the data output band even if the resolution is increased. The purpose.
本開示の一態様は、行列状に配置され、受光した対象領域からの反射光を電気信号に変換する受光素子をそれぞれ有する複数の画素を備える受光部と、前記画素ごとに出力される電気信号に基づいて信号処理を行い前記対象領域までの距離を算出し、それぞれ独立に電源供給の制御が可能な複数の信号処理モジュールを有する測距処理部と、入力信号に応じて、前記複数の信号処理モジュールの電源供給制御を実行する制御部とを備える測距センサである。 One aspect of the present disclosure is a light receiving unit arranged in a matrix and having a plurality of pixels each having a light receiving element that converts the reflected light from the received target region into an electric signal, and an electric signal output for each of the pixels. The distance measuring unit having a plurality of signal processing modules capable of performing signal processing based on the above, calculating the distance to the target area, and independently controlling the power supply, and the plurality of signals according to the input signal It is a distance measuring sensor including a control unit that executes power supply control of the processing module.
本開示の他の態様は、行列状に配置され受光素子をそれぞれ有する複数の画素を備える受光部により対象領域からの反射光を受光し、電気信号に変換して出力することと、前記複数の画素によって形成される撮像フレームにおいて、測距処理部により前記画素ごとに出力される前記電気信号に基づいて、前記撮像フレーム中の関心領域までの距離を算出するための測距処理を実行することと、前記撮像フレームに対する前記画素ごとの前記距離に関するデータを出力することと、前記関心領域の判定結果に基づいて、前記関心領域以外の領域に属する電源部をオフ制御すること、及び前記関心領域に対応する前記電気信号を入力するように前記測距処理部を制御することの少なくとも一方を実行することと、を含む、距離測定方法である。 Another aspect of the present disclosure is to receive the reflected light from the target region by a light receiving unit including a plurality of pixels arranged in a matrix and each having a light receiving element, convert it into an electric signal, and output the plurality of light signals. In an image pickup frame formed by pixels, performing distance measurement processing for calculating the distance to a region of interest in the image pickup frame based on the electric signal output for each pixel by the distance measurement processing unit. To output data related to the distance for each pixel with respect to the imaging frame, to control off the power supply unit belonging to a region other than the region of interest based on the determination result of the region of interest, and to control the region of interest to be off. It is a distance measuring method including performing at least one of controlling the distance measuring processing unit so as to input the electric signal corresponding to.
以下において、図面を参照して本開示の実施形態を説明する。以下の説明で参照する図面の記載において、同一又は類似の部分には同一又は類似の符号を付し、重複する説明を省略する。但し、図面は模式的なものであり、厚みと平面寸法との関係、各装置や各部材の厚みの比率等は現実のものと異なることに留意すべきである。したがって、具体的な厚みや寸法は以下の説明を参酌して判定すべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. In the description of the drawings referred to in the following description, the same or similar parts are designated by the same or similar reference numerals, and duplicate description will be omitted. However, it should be noted that the drawings are schematic, and the relationship between the thickness and the plane dimensions, the ratio of the thickness of each device and each member, etc. are different from the actual ones. Therefore, the specific thickness and dimensions should be determined in consideration of the following explanation. In addition, it goes without saying that the drawings include parts having different dimensional relationships and ratios from each other.
なお、本明細書中に記載される効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。 It should be noted that the effects described in the present specification are merely examples and are not limited, and other effects may be obtained.
<第1の実施形態>
<距離測定装置の構成>
図1は、本技術の第1の実施形態における距離測定装置1Aの構成の一例を示すブロック図である。距離測定装置1Aは、発光素子からパルス光を発射し、パルス光が照射された物体OBJ(対象物または被写体)からの反射光を受光素子で受けることにより得られる電気信号に基づいて、物体OBJまでの距離を測定する測距センサである。
<First Embodiment>
<Structure of distance measuring device>
FIG. 1 is a block diagram showing an example of the configuration of the
同図に示すように、距離測定装置1Aは、例えば、システム制御部10と、発光部20と、発光タイミング調整部30と、受光部40と、測距処理部50といったコンポーネントを備える。これらのコンポーネントは、例えば、CMOS LSIのようなシステム・オン・チップ(SoC)として一体的に構成され得るが、例えば、発光部20や受光部40といったいくつかのコンポーネントが別体のLSIとして構成されてもよい。距離測定装置1Aは、図示しない動作クロックに従って動作する。また、距離測定装置1Aは、測距処理部50により算出された距離に係るデータ(測距データ)を外部に出力するための通信インタフェース部60を含む。図示されていないが、距離測定装置1Aは、通信インタフェース部60を介して、外部に配置されたホストICとの通信可能に構成されている。
As shown in the figure, the
システム制御部10は、距離測定装置1Aの動作を統括的に制御するコンポーネントである。典型的には、システム制御部10は、マイクロプロセッサを含み構成される。
The
発光部20は、対象エリアに向けて赤外光(IR)等のパルス光を発光する。発光タイミング調整部30は、発光部20の発光タイミングを調整する回路である。例えば、発光タイミング調整部30は、後述する受光部40からのラインごとの読み出しタイミングに同期するようにトリガパルスを出力し、発光部20を駆動する。
The
受光部40は、対象エリアから入射する光に反応して、電気信号を出力するセンサである。入射光は、物体OBJからの反射光を含む。本開示において、受光部40は、2次元の行列状に配置された複数の受光素子を含む複数の画素により構成されたCMOSイメージセンサである。本開示では、例えば、システム制御部10の制御の下、特定の画素群(例えば撮像フレームにおける1ライン方向の画素群)が有効化され、これによって、電気信号が読み出される。また、1フレーム時間において順次に各ラインの画素群が有効化され、有効化された画素群のそれぞれから出力される電気信号によって、対象エリアに対する1撮像フレームが形成される。
The
測距処理部50は、発光部20により出射したパルス光と受光部40により受光した反射光とに基づいて、物体OBJまでの距離を算出するコンポーネントである。測距処理部50は、典型的には、信号処理プロセッサにより構成される。本開示では、測距処理部50は、サンプリング回路51と、ヒストグラム生成回路52と、距離演算回路53とを含み構成されている。
The distance
サンプリング回路51は、パルス光の出射に応答して特定の画素群から出力される電気信号を所定のサンプリング周波数でサンプリングするコンポーネントである。サンプリング回路51は、例えば、有効化された画素群のそれぞれから出力される電気信号の値に従って、High又はLowの値(サンプリング値)を出力する。
The
ヒストグラム生成回路52は、サンプリング回路51により出力される、サンプリング時間ごとのサンプリング値の合計値に基づいて、時間ごとの反射光の強さを示すヒストグラムを生成するコンポーネントである。ヒストグラムは、例えば、図示しないメモリ上に、ある種のデータ構造ないしはテーブルとして保持される。ヒストグラムは、撮像フレームにおける読み出しラインごとに発光されるパルス光に基づいて、画素の数に対応する数だけ生成される。ヒストグラム生成回路52により生成されたヒストグラムは、距離演算回路53により参照される。
The
距離演算回路53は、生成されたヒストグラムを参照して、ヒストグラム中のピーク値を検出し、ピーク値に対応する時間(すなわち到来時間)から距離を算出するコンポーネントである。すなわち、出射されたパルス光が物体OBJに照射したときの反射光が受光されたとすれば、該時間は、物体OBJまでの往復時間であるから、これにc/2(cは光速)を乗算することにより、画素ごとに物体OBJまでの距離を算出することができる。したがって、撮像フレームを構成する全ての画素に対して算出された距離により、距離画像を得ることができる。距離演算回路53は、各撮像フレームにおける画素ごとに算出した距離に係るデータ(測距データ)を、通信インタフェース部60及び関心(ROI(Region of Interest))領域判定部80に順次に出力する。
The
通信インタフェース部60は、算出された測距データを外部のホストICに出力するためのインタフェース回路である。例えば、通信インタフェース部60は、MIPI(Mobile Industry Processor Interface)に準拠したインタフェース回路であるが、これに限らない。例えば、SPI(Serial Peripheral Interface)やLVDS、SLVS−EC等であってもよいし、これらのインタフェース回路のうちのいくつかを実装していてもよい。
The
ROI領域判定部80は、算出された測距データに基づいて、例えば物体OBJを含むROI領域を判定する。この判定結果は、システム制御部10に出力される。システム制御部10は、ROI領域判定部80によるROI領域の判定結果に基づいて、ROI領域に対応する画素からの電気信号を処理するように、測距処理部50及び受光部40に設けられる画素駆動部70を制御する。
The ROI
<受光部の構成>
図2は、受光部40において、2次元の行列状に配置された複数の画素のうちの1つの画素41、及び画素41に電力を供給する電源42を例示している。画素41は、受光した光を光電変換し、光量に応じた電荷を生成する光電変換素子を有する。
<Structure of light receiving part>
FIG. 2 illustrates a
受光部40には、画素駆動線43を介して画素駆動部70が接続されている。画素駆動部70は、受光部40の各画素を、全画素同時あるいは行単位等で駆動する。画素駆動部70によって選択走査された画素ライン(画素行)の各画素から出力される画素信号は、垂直信号線44の各々を通してサンプリング回路51に供給される。
The
サンプリング回路51は、受光部40の画素列ごとに、選択ライン(選択行)の各画素単位から垂直信号線44を通して出力される画素信号に対して、所定のサンプリング周波数でサンプリングする。
The
<測距処理方法>
図3は、本技術の第1の実施形態における距離測定装置1Aによる測距処理方法を説明するためのフローチャートである。
<Distance measurement processing method>
FIG. 3 is a flowchart for explaining a distance measuring processing method by the
すなわち、距離測定装置1Aは、測距処理を開始すると、まず、撮像フレーム中の読み出しラインを選択する(ステップST1a)。例えば、測距処理の開始直後であれば、撮像フレーム中の最上行のラインが選択される。
That is, when the
続いて、距離測定装置1Aは、選択中の読み出しラインにおける画素41に対する測距を行う(ステップST1b)。これにより、受光部40は、画素41から画素信号を測距処理部50に出力する。
Subsequently, the
測距処理部50は、各画素41の画素信号を、所定のサンプリング周波数に従ってサンプリングしながらサンプリング値を決定し、サンプリング時間ごとのサンプリング値の合計値に基づいて、ヒストグラムを生成する(ステップST1c)。
The distance
続いて、測距処理部50は、生成されたヒストグラムにおけるピーク値を検出し、該ピーク値に対応する時間から距離を算出する(ステップST1d)。そして、距離測定装置1Aは、ROI領域判定部80により、算出された測距データから物体OBJがあるか否かの判定を行い(ステップST1e)、物体OBJがある場合に(Yes)、画素駆動部70を制御してROI領域のみ電源42をオンンし、またはサンプリング回路51を制御してROI領域のみ画素信号のサンプリングを実行する(ステップST1f)。なお、上記ステップST1fの処理については、ROI領域判定部80による判定結果以外に、例えば外部カメラ画像を用いて画像認識であっても、外部から物体OBJがある旨の信号を受信するようにしてもよい。さらに、物体OBJがある旨の信号を用いなくても、予めエリアの切り分けとエリアごとの電源オンを決めて、インプットさせておいてもよい。
Subsequently, the distance measuring
以後、距離測定装置1Aは、選択したラインが終了したか否かの判定を行い(ステップST1g)、ライン終了でない場合(No)、上記ステップST1bの処理に移行するが、ライン終了の場合(Yes)、上記ステップST1aの処理に移行して次の読み出しラインを選択する。
After that, the
このようにして、距離測定装置1Aは、図4に示すように、例えば、車両前方のシーンにおいて、近くの障害物(例えば他の車両)については、より高い測距精度での測距により、衝突等の回避をより正確に行えるようになる。一方、測距の結果、近くに障害物(例えば他の車両)がない場合、画素41に電力を供給する電源42のオフ、もしくは画素41から出力される画素信号のマスクを行うことで、画素の駆動電圧やプロセッサによる演算負荷を下げ、消費電力を抑えることができるようになる。
In this way, as shown in FIG. 4, the
<サンプリング回路の削減>
図5は、本技術の第1の実施形態において、ROI領域のみデータを出力するために、サンプリング回路51の個数を減らす場合の一例を示すブロック図である。高解像度のデータを高いフレームレートで処理するために、サンプリング回路51は、複数の画素41から出力される画素信号を同時にサンプリングする必要がある。図5の例では、サンプリング回路51は、撮像フレーム中の1ライン上でROI領域に対応する複数の画素41から出力される電気信号を同時に処理可能な個数(図5では、例えば3個)のモジュールが備えられる(以下、サンプリング回路(2,3,4)51と称する)。なお、1ライン上の全ての画素41から出力される電気信号を同時に処理する場合、図5の例では、例えば5個のサンプリング回路51が必要となる。また、1つの画素41には、複数の受光素子が含まれる。また、サンプリング回路51の複数のモジュールは、それぞれ独立に電源供給の制御が可能である。
<Reduction of sampling circuit>
FIG. 5 is a block diagram showing an example in which the number of
受光部40とサンプリング回路(2,3,4)51との間には、セレクタ54が介在される。セレクタ54は、システム制御部10からの切替指示に従って、受光部40とサンプリング回路(2,3,4)51との間を選択的に接続する。
システム制御部10は、例えばROI領域判定部80による判定結果に基づいて、ROI領域に対応する複数の画素41と複数のサンプリング回路51とを接続するようにセレクタ54を切替制御する。
A
The
図5中の太枠で示すラインにおいて、ROI領域に対応し右端から3番目から6番目の画素41から出力される画素信号はセレクタ54を介してサンプリング回路(4)51に入力され、右端から7番目の画素41から出力される画素信号はセレクタ54を介してサンプリング回路(3)51に入力される。
In the line shown by the thick frame in FIG. 5, the pixel signal output from the third to
図6及び図7は、本技術の第1の実施形態において、領域全面のデータを出力するために、サンプリング回路51を切り替える場合の一例を示すブロック図である。
6 and 7 are block diagrams showing an example of switching the
まず、図6中の太枠で示すラインにおいて、左端から1番目から10番目の画素41から出力される画素信号は、セレクタ54を介してサンプリング回路(2,3,4)51に入力される。そして、システム制御部10は、セレクタ54を切り替えて、図7に示すように、残りの画素41(左端から11番目から20番目の画素41)から出力される画素信号をサンプリング回路(2,3,4)51に入力する。
First, in the line shown by the thick frame in FIG. 6, the pixel signal output from the first to
<第1の実施形態の作用効果>
以上のように上記第1の実施形態によれば、サンプリング回路51の回路規模を撮像フレームのライン(行)方向の画素41の数に対して減らして、セレクタ54で測距する領域をサンプリング回路51に割り振ることで、1ライン(行)方向において、少数のサンプリング回路51をそれよりも多数の画素41で共用する場合に、サンプリング回路51の回路規模を減らせる分、消費電力を削減できる。
<Action and effect of the first embodiment>
As described above, according to the first embodiment, the circuit scale of the
従って、必要な箇所だけ活性化することにより、高解像度化しても消費電力を削減し、データ出力帯域律速の緩和を図ることができる。 Therefore, by activating only the necessary parts, it is possible to reduce the power consumption and relax the rate-determining of the data output band even if the resolution is increased.
また、上記第1の実施形態によれば、距離測定装置1A内に、ROI領域判定部80を設けているので、リアルタイムで撮像フレーム中のROIに関する処理が可能となる。
Further, according to the first embodiment, since the ROI
<第2の実施形態>
次に、第2の実施形態について説明する。第2の実施形態は、第1の実施形態の変形であり、ROI領域以外の画素41の電源42をオフにする場合について説明する。
<Second embodiment>
Next, the second embodiment will be described. The second embodiment is a modification of the first embodiment, and describes a case where the
図8は、本技術の第2の実施形態におけるROI領域以外の画素41の電源42をオフにする場合の一例を示すブロック図である。図8の例では、上端から3番目のライン(行)において、システム制御部10は、同じタイミングで読み出す領域のうち、ROI領域以外(図8中では、灰色の領域)の画素41の電源42をオフにする。すると、左端から8番目から12番目の画素41から出力される画素信号が、サンプリング回路51に入力される。
FIG. 8 is a block diagram showing an example of a case where the
また、上端から10番目のライン(行)において、システム制御部10は、ROI領域以外の画素41の電源42をオフにする。すると、左端から5番目から7番目、12番目から15番目の画素41から出力される画素信号が、サンプリング回路51に入力される。
Further, in the tenth line (row) from the upper end, the
<第2の実施形態の作用効果>
以上のように上記第2の実施形態によれば、ROI領域以外の画素41の電源42をオフにすることで、サンプリング回路51及びヒストグラム生成回路52の回路規模を変更することなく、消費電力を削減できる。
<Action and effect of the second embodiment>
As described above, according to the second embodiment, by turning off the
<第3の実施形態>
次に、第3の実施形態について説明する。第3の実施形態は、第1の実施形態の変形であり、ROI領域のみデータを出力するために、ヒストグラム生成回路52のモジュールの個数を減らす場合について説明する。
<Third embodiment>
Next, a third embodiment will be described. The third embodiment is a modification of the first embodiment, and a case where the number of modules of the
図9は、本技術の第3の実施形態におけるヒストグラム生成回路52のモジュールの個数を減らす場合の一例を示すブロック図である。図9の例では、サンプリング回路(1,2,3,4,5)51とヒストグラム生成回路(2,3,4)52との間には、セレクタ54が介在される。セレクタ54は、システム制御部10からの切替指示に従って、サンプリング回路(1,2,3,4,5)51とヒストグラム生成回路(2,3,4)52との間を選択的に接続する。ヒストグラム生成回路52の複数のモジュールは、それぞれ独立に電源供給の制御が可能である。
FIG. 9 is a block diagram showing an example in which the number of modules of the
システム制御部10は、例えばROI領域判定部80による判定結果に基づいて、サンプリング回路(1,2,3,4,5)51とヒストグラム生成回路(2,3,4)52とを接続するようにセレクタ54を切替制御する。
The
<第3の実施形態の作用効果>
以上のように上記第3の実施形態によれば、ヒストグラム生成回路52の回路規模を撮像フレームのライン(行)方向の画素41の数に対して減らして、セレクタ54で測距する領域をヒストグラム生成回路52に割り振ることで、1ライン(行)方向において、少数のヒストグラム生成回路52をそれよりも多数のサンプリング回路51で共用する場合に、ヒストグラム生成回路52の回路規模を減らせる分、消費電力を削減できる。
<Action and effect of the third embodiment>
As described above, according to the third embodiment, the circuit scale of the
また、上記第3の実施形態では、撮像フレーム中の1ライン(1行)において、複数の画素41から出力される画素信号を同時に処理できるように複数個のサンプリング回路(1,2,3,4,5)51が固定的に用意されるので、精度良くサンプリング処理を行うことができる。
Further, in the third embodiment, a plurality of sampling circuits (1, 2, 3, 3) can simultaneously process pixel signals output from the plurality of
<第4の実施形態>
次に、第4の実施形態について説明する。第4の実施形態は、第1の実施形態の変形であり、アレイ型でROIデータを読み出す場合、走査方向(V方向)に重ならない領域を同時に読み出す例について説明する。
<Fourth Embodiment>
Next, a fourth embodiment will be described. A fourth embodiment is a modification of the first embodiment, and when reading ROI data in an array type, an example of simultaneously reading regions that do not overlap in the scanning direction (V direction) will be described.
図10は、本技術の第4の実施形態において、走査方向に重ならない領域を同時に読み出す場合の一例を示すブロック図である。 FIG. 10 is a block diagram showing an example of a case where regions that do not overlap in the scanning direction are simultaneously read out in the fourth embodiment of the present technology.
受光部40はアレイ型であり、図11に示すように、複数の受光素子の出力端子を画素41ごとに共通化する。図10に示す画素41aには、図11に示すように、例えば12個の受光素子45が備えられる。画素41bには、例えば12個の受光素子46が備えられる。画素41cには、例えば12個の受光素子46が備えられる。なお、受光素子45は同時に読みださない受光素子であり、受光素子46は同時に読み出す受光素子である。
The
受光素子45の出力端子は、垂直信号線44のうち垂直信号線444,445,446に接続される。画素41bに属する受光素子46の出力端子は、垂直信号線44のうち垂直信号線441,442,443に接続される。画素41cに属する受光素子46の出力端子は、垂直信号線44のうち垂直信号線444,445,446に接続される。垂直信号線444,445,446は、受光素子45,46で共通化される。
The output terminal of the
ここで、ROIデータのみをサンプリング回路51に出力する場合、システム制御部10は画素41aに属する受光素子45の電源42をオフし、画素駆動線43を介して画素41b,41cに属する受光素子46を駆動し、垂直信号線441,442,443,444,445,446それぞれを介して受光素子46から出力される画素信号をサンプリング回路51に同時に入力する。
Here, when only the ROI data is output to the
<第4の実施形態の作用効果>
以上のように第4の実施形態によれば、配線数削減のために、複数の受光素子45,46の出力端子を画素41ごとに共通化することで、読み出したい受光素子46以外の受光素子45を電源オフあるいは出力マスクを行うことで、同時に異なるV方向に重ならない領域を読み出し可能となる。
<Action and effect of the fourth embodiment>
As described above, according to the fourth embodiment, in order to reduce the number of wires, the output terminals of the plurality of light receiving
<第5の実施形態>
次に、第5の実施形態について説明する。第5の実施形態は、第1の実施形態の変形であり、ROI領域以外の領域に属するサンプリング回路51及びヒストグラム生成回路52の電源をオフにする場合について説明する。
<Fifth Embodiment>
Next, a fifth embodiment will be described. A fifth embodiment is a modification of the first embodiment, and describes a case where the power of the
図12は、本技術の第5の実施形態におけるROI領域以外の領域に属するサンプリング回路51及びヒストグラム生成回路52の電源をオフにする場合の一例を示すブロック図である。
FIG. 12 is a block diagram showing an example of a case where the power of the
図12の例では、サンプリング回路51及びヒストグラム生成回路52は、撮像フレーム中の1ライン上の複数の画素41から出力される電気信号を同時に処理可能な個数のモジュールが備えられる。サンプリング回路51及びヒストグラム生成回路52は、モジュール化され、モジュールごとに電源55との間にパワーゲート(登録商標)セル56が介在される。なお、1つの電源55に限らず、複数の電源と複数のモジュールとの間が、パワーゲートセル56が介して接続される構成であってもよい。
In the example of FIG. 12, the
システム制御部10は、ライン(行)において、ROI領域以外の画素41に属するモジュール(図12では、モジュール1)の電源55へのパワーゲートセル56をオフにする。そして、ROI領域の画素41に属するモジュール(図12では、モジュール2,3)の電源55へのパワーゲートセル56をオンにし、画素41から出力される画素信号を、サンプリング回路51に入力する。なお、パワーゲートセル56以外に、クロックゲーティングセルを用いてもよい。
The
<第5の実施形態の作用効果>
第5の実施形態によれば、ROI領域以外の領域に属するサンプリング回路51及びヒストグラム生成回路52の電源55をオフ制御することで、回路規模を変更することなく、消費電力を削減できる。
<Action and effect of the fifth embodiment>
According to the fifth embodiment, by controlling the
<第6の実施形態>
次に、第6の実施形態について説明する。第6の実施形態は、第5の実施形態の変形であり、電源遮断、クロックゲーティング領域が等間隔でない場合について説明する。
<Sixth Embodiment>
Next, the sixth embodiment will be described. The sixth embodiment is a modification of the fifth embodiment, and the case where the power supply cutoff and the clock gating regions are not evenly spaced will be described.
図13は、本技術の第6の実施形態におけるROI領域以外の領域に属するサンプリング回路51及びヒストグラム生成回路52の電源をオフにする場合の一例を示すブロック図である。
FIG. 13 is a block diagram showing an example of a case where the power of the
図13の例では、中央の粒度を細かくするため、サンプリング回路51及びヒストグラム生成回路52は、撮像フレーム中の1ライン上でROI領域に対応する複数の画素41から出力される電気信号を同時に処理可能な個数(図13では、例えば7個)備えられる(以下、サンプリング回路(2,3,4,5,6,7,8)51及びヒストグラム生成回路(2,3,4,5,6,7,8)52と称する)。サンプリング回路51及びヒストグラム生成回路52は、ROI領域以外では、2個備えられる(以下、サンプリング回路(1,9)51及びヒストグラム生成回路(1,9)52と称する)。
In the example of FIG. 13, in order to make the central particle size finer, the
1ライン上のROI領域の画素41から出力される画素信号をサンプリング回路(2,3,4,5,6,7,8)51に入力する場合、システム制御部10は、サンプリング回路(1,9)51及びヒストグラム生成回路(1,9)52に属するモジュールの電源55へのパワーゲートセル56をオフにする。
When the pixel signal output from the
また、1ライン上のROI領域の顔の箇所の画素41から出力される画素信号をサンプリング回路(3,4,5,6,7)51に入力する場合、システム制御部10は、サンプリング回路(1,2,8,9)51及びヒストグラム生成回路(1,2,8,9)52に属するモジュールの電源55へのパワーゲートセル56をオフにする。
Further, when the pixel signal output from the
また、1ライン上のROI領域の右手の箇所の画素41から出力される画素信号をサンプリング回路(2,3)51に入力する場合、システム制御部10は、サンプリング回路(1,4,5,6,7,8,9)51及びヒストグラム生成回路(1,4,5,6,7,8,9)52に属するモジュールの電源55へのパワーゲートセル56をオフにする。
Further, when the pixel signal output from the
さらに、1ライン上のROI領域の右手の箇所の画素41から出力される画素信号をサンプリング回路(6,7,8)51に入力する場合、システム制御部10は、サンプリング回路(1,2,3,4,5,9)51及びヒストグラム生成回路(1,2,3,4,5,9)52に属するモジュールの電源55へのパワーゲートセル56をオフにする。
Further, when the pixel signal output from the
これにより、撮像フレーム中の1ライン上の両端を一般的な画角に合わせて遮断可能となる。 As a result, both ends on one line in the imaging frame can be blocked according to a general angle of view.
なお、図14に示すように、ROIの他に、セットや全画素41の読み出しのuse case時の必要に応じて電源遮断をできるように構成してもよい。図14の例では、ROI以外の領域の粒度を細かくするため、サンプリング回路51及びヒストグラム生成回路52は、4個備えられる(以下、サンプリング回路(1−1,1−2,2−1,1−2)51及びヒストグラム生成回路(1−1,1−2,2−1,1−2)52と称する)。
As shown in FIG. 14, in addition to the ROI, the power may be cut off as needed during a set or read-out use case of all
1ライン上のROI領域の画素41から出力される画素信号をサンプリング回路(3,4,5)51に入力する場合、システム制御部10は、サンプリング回路(1−1,1−2,2−1,1−2)51及びヒストグラム生成回路(1−1,1−2,2−1,1−2)52に属するモジュールの電源55へのパワーゲートセル56をオフにする。また、VGAの画角を、HVGAやQVGAの画角にするときに、システム制御部10は、サンプリング回路(1−1,1−2)51及びヒストグラム生成回路(1−1,1−2)52に属するモジュールの電源55へのパワーゲートセル56をオフにすることもできる。
When the pixel signal output from the
<第7の実施形態>
次に、第7の実施形態について説明する。第7の実施形態は、第1の実施形態の変形であり、例えば積層構造で画素41に対して面でサンプリング回路51及びヒストグラム生成回路52による処理を行う場合について説明する。
<7th Embodiment>
Next, a seventh embodiment will be described. A seventh embodiment is a modification of the first embodiment, and a case will be described in which, for example, in a laminated structure, the
図15は、本技術の第7の実施形態における3層構造で画素41に対して面でサンプリング回路51及びヒストグラム生成回路52による処理を行う場合の一例を示す図である。
FIG. 15 is a diagram showing an example of a case where the
図15の例では、受光部40の面と測距処理部50の面との間に、パルス変化回路200の面が介在される。パルス変化回路200は、受光部40の面内に配置される画素41ごと、またはいくつかの画素41により構成される画素群ごとに設けられ受光素子に電力を供給する複数の電源部を備える。また、パルス変化回路200は、任意の画素41に対し、LowレベルからHighレベルに変化する画素出力パルスを供給して、画素41内に蓄積された電荷を画素信号として出力させる。画素41内の受光素子は、パルス変化回路200から供給される画素出力パルスがLowレベルからHighレベルに変化すると、クエンチ電圧が下がり、これにより蓄積していた電荷を放電する。
In the example of FIG. 15, the surface of the
システム制御部10は、パルス変化回路200を制御して、ROI領域以外のロジックの電源遮断またはクロック停止を行うことができる。
The
なお、3層構造以外に2層構造であってもよい。図16は、本技術の第7の実施形態における2層構造で画素41に対して面でサンプリング回路51及びヒストグラム生成回路52による処理を行う場合の一例を示す図である。
In addition to the three-layer structure, a two-layer structure may be used. FIG. 16 is a diagram showing an example of a case where the
図16の例では、パルス変化回路200は、測距処理部50の面に設けられる。なお、パルス変化回路200は、受光部40の面に設けられてもよい。
In the example of FIG. 16, the
<第7の実施形態の作用効果>
以上のように第7の実施形態によれば、積層構造で画素41に対して面で測距処理を行う場合に、受光部40の面内でROI領域以外の領域に属する電源42をオフ制御することができる。
<Action and effect of the seventh embodiment>
As described above, according to the seventh embodiment, when the
<第8の実施形態>
次に、第8の実施形態について説明する。第8の実施形態は、第1の実施形態の変形であり、1撮像フレーム中に全ての領域を出力するのではなく、1領域づつ出力する場合について説明する。
<8th Embodiment>
Next, the eighth embodiment will be described. The eighth embodiment is a modification of the first embodiment, and a case where not all areas are output in one imaging frame but one area at a time will be described.
図17は、本技術の第8の実施形態における1領域づつ出力する場合の一例を示す図である。 FIG. 17 is a diagram showing an example in the case of outputting one region at a time according to the eighth embodiment of the present technology.
図17の例では、システム制御部10は、ROI領域を、例えば「顔」と「右手」と「左手」に分割し、撮像フレームごとに分割した領域を読み出すように受光部40を制御する。なお、「右手」と「左手」は、読み出し時に重なる領域であるとする。
In the example of FIG. 17, the
システム制御部10は、1フレーム目で「右手」を読み出すように受光部40を制御する。続いて、システム制御部10は、2フレーム目で「顔」を読み出すように受光部40を制御する。3フレーム目で、システム制御部10は、「左手」を読み出すように受光部40を制御する。
なお、上記読み出し処理は、指定してもシーン変化まで複数回測距してもよい。
The
The reading process may be specified or the distance may be measured a plurality of times until the scene changes.
<第8の実施形態の作用効果>
以上のように第8の実施形態によれば、1撮像フレーム中に全ての領域を出力するのではなく分割した1領域づつ出力することで、領域が重なる場合、同時に読み出すサイズを削減することで温度上昇を制限したり、領域内のみ光を照射することで測距精度を上げることができる。
<Action and effect of the eighth embodiment>
As described above, according to the eighth embodiment, by outputting not all the areas in one imaging frame but one divided area at a time, when the areas overlap, the size to be read at the same time is reduced. Distance measurement accuracy can be improved by limiting the temperature rise or irradiating light only within the area.
<第9の実施形態>
次に、第9の実施形態について説明する。第9の実施形態は、第1の実施形態の変形であり、光を充てる領域をROI領域に絞る場合について説明する。
<9th embodiment>
Next, a ninth embodiment will be described. A ninth embodiment is a modification of the first embodiment, and a case where a region to which light is applied is narrowed down to an ROI region will be described.
図18は、本技術の第9の実施形態において、ライン単位で測距する場合に、光を充てる領域をROI領域に絞る一例を示す図である。 FIG. 18 is a diagram showing an example in which, in the ninth embodiment of the present technology, the area to which light is applied is narrowed down to the ROI area when the distance is measured in line units.
図18(a)の例では、システム制御部10は、ROI領域判定部80による判定結果に基づいて、撮像フレームの1ライン上で、ROI領域に絞って発光するように、発光タイミング調整部30に指示信号を送って発光タイミング調整部30により発光部20を制御する。
In the example of FIG. 18A, the
また、図18(b)の例では、システム制御部10は、ROI領域判定部80による判定結果に基づいて、ROI領域に絞って発光強度を上げて発光するように、発光タイミング調整部30により発光部20を制御する。
Further, in the example of FIG. 18B, the
図19は、本技術の第9の実施形態において、面で測距する場合に、光を充てる領域をROI領域に絞る一例を示す図である。 FIG. 19 is a diagram showing an example in which a region to which light is applied is narrowed down to an ROI region when measuring a distance on a surface in a ninth embodiment of the present technology.
図19の例では、システム制御部10は、ROI領域判定部80による判定結果に基づいて、ROI領域を、例えば「顔」と「右手」と「左手」に分割し、分割した領域に絞って発光するように、発光タイミング調整部30に指示信号を送って発光タイミング調整部30により発光部20を制御する。
In the example of FIG. 19, the
例えば、図19(a)に示すように、システム制御部10は、「顔」に絞って発光するように、発光タイミング調整部30に指示信号を送って発光タイミング調整部30により発光部20を制御する。また、図19(b)に示すように、システム制御部10は、「右手」に絞って発光するように、発光タイミング調整部30に指示信号を送って発光タイミング調整部30により発光部20を制御する。さらに、図19(c)に示すように、システム制御部10は、「左手」に絞って発光するように、発光タイミング調整部30に指示信号を送って発光タイミング調整部30により発光部20を制御する。
For example, as shown in FIG. 19A, the
なお、ROI領域を、例えば「顔」と「右手」と「左手」に分割し、分割した領域に絞って発光する以外にも、ROI領域全体に絞って発光するようにしてもよい。 The ROI region may be divided into, for example, a "face", a "right hand", and a "left hand", and the light may be focused on the entire ROI region in addition to the divided regions to emit light.
<第9の実施形態の作用効果>
以上のように第9の実施形態によれば、光を充てる領域をROI領域に絞ることで、光量の強化、発光部20の低消費、無駄な領域に光を照射しないことによるセーフティ機能の向上が期待できる。
<Action and effect of the ninth embodiment>
As described above, according to the ninth embodiment, by narrowing the area to which the light is applied to the ROI area, the amount of light is strengthened, the consumption of the
<第10の実施形態>
次に、第10の実施形態について説明する。第10の実施形態は、第1の実施形態の変形であり、MIPI規格に従って、ラインごとにデータにパケットヘッダ(PH)及びパケットフッタ(PF)を付加する場合について説明する。dToFの場合、1画素あたりのデータ情報が多いため、複数画素単位でPH及びPFを付加したり、ヒストグラムデータを出力する場合に、画素ごとにPH及びPFを付加する場合もある。PH及びPFは、ラインごとに異なる値を示す。
<10th Embodiment>
Next, a tenth embodiment will be described. A tenth embodiment is a modification of the first embodiment, and a case where a packet header (PH) and a packet footer (PF) are added to data for each line according to the MIPI standard will be described. In the case of dToF, since there is a lot of data information per pixel, PH and PF may be added in units of a plurality of pixels, or PH and PF may be added for each pixel when outputting histogram data. PH and PF show different values for each line.
図20は、本技術の第10の実施形態における1領域づつ出力する場合の一例を示す図である。 FIG. 20 is a diagram showing an example in the case of outputting one region at a time according to the tenth embodiment of the present technology.
図20の例では、システム制御部10は、ROI領域を、例えば枠1(顔)と枠2(右手)と枠3(左手)に分割し、枠1、枠2、枠3のデータを読み出すように受光部40を制御する。
In the example of FIG. 20, the
通信インタフェース部60は、図21に示すように、測距処理部50から出力される枠1の測距データに対しラインごとに識別されたPH及びPFを付加し、続いて、枠2及び枠3の測距データに対しラインごとに識別されたPH及びPFを付加する。
As shown in FIG. 21, the
また、通信インタフェース部60は、図22に示すように、異なるV方向の領域を同時に読み出す場合、枠1、枠2、枠3の測距データを1ライン上に並べるとともに、それぞれの枠1、枠2、枠3の測距データにPH及びPFを付加する。
Further, as shown in FIG. 22, when reading different regions in the V direction at the same time, the
<第10の実施形態の作用効果>
以上のように第10の実施形態によれば、ROI領域について撮像フレームの1ラインごとにPH及びPFを付加することで、例えばホストICといった外部装置側でラインごとに識別されたPH及びPFに基づいて、ROI領域の測距データを管理することが可能となる。
<Action and effect of the tenth embodiment>
As described above, according to the tenth embodiment, by adding PH and PF for each line of the imaging frame in the ROI region, the PH and PF identified for each line on the external device side such as the host IC can be obtained. Based on this, it becomes possible to manage the distance measurement data in the ROI area.
<第11の実施形態>
次に、第11の実施形態について説明する。第11の実施形態では、上記測距処理部50から上記距離演算回路53を削除した測距処理部57とし、測距処理部57により算出された測距データを受信した外部のホストICを用いて、ROI領域を判定することを可能とする距離測定装置1Bが開示される。ここで、外部のホストICとは、上記第1の実施形態で説明したSoCとしての距離測定装置1Bの外部に設けられるという意味で用いられている。
<11th Embodiment>
Next, the eleventh embodiment will be described. In the eleventh embodiment, the distance measurement processing unit 57 is obtained by deleting the
図23は、本技術の第11の実施形態における距離測定装置1Bの構成の一例を示すブロック図である。同図に示すように、ホストIC2が、測距処理部57から通信インタフェース部60を介して受信した測距データに基づいて、上記距離演算回路53による処理を実行し、ROI領域を判定するように構成されている点で、上記第1の実施形態において図示したものと異なっている。なお、図23中、既に図示したコンポーネントと同一の機能ないし構成のコンポーネントについては、同一の符号を付し、適宜、その説明を省略する。
FIG. 23 is a block diagram showing an example of the configuration of the distance measuring device 1B according to the eleventh embodiment of the present technology. As shown in the figure, the
同図に示すように、本例では、図1に示した距離演算回路53及び図1に示したROI領域判定部80が、距離測定装置1A内に設けられる代わりに、ホストIC2に設けられている。図示していないが、ホストIC2は、対応する通信インタフェース部を含み構成される。ホストIC2の測距演算回路は、上記第1の実施形態と同様、測距処理部50から通信インタフェース部60を介して測距データを受信すると、物体OBJまでの距離を算出する。そして、ホストIC2のROI領域判定部は、該測距データに基づいて、ROI領域を判定する。ホストIC2のROI領域判定部は、該判定結果を、通信インタフェース部60を介して、システム制御部10に送信する。
As shown in the figure, in this example, the
一例として、ホストIC2は、1撮像フレーム分の測距データを保持し得るフレームバッファ(図示せず)を備え得る。ホストIC2のROI領域判定部は、フレームバッファを参照し、次の撮像フレームにおける読み出しラインごとにROI領域を判定する。
As an example, the
<第11の実施形態の作用効果>
このようにして、上記第11の実施形態によっても、上記第1の実施形態と同様の作用効果ないしは利点を奏し得る。また、上記第11の実施形態によれば、距離測定装置1B内で測距演算回路による処理及びROI領域の判定処理を省略できる分、高度な処理が可能となる。特に、現在の撮像フレームの形成中に、該ROI領域の判定結果に基づいて、ROI領域以外の領域に属する電源42をオフ制御すること、ROI領域に対応する画素信号を入力するように測距処理部50を制御することの少なくとも一方を実行できる。
<Action and effect of the eleventh embodiment>
In this way, the eleventh embodiment can also exhibit the same effects or advantages as those of the first embodiment. Further, according to the eleventh embodiment, the processing by the distance measuring calculation circuit and the determination processing of the ROI region can be omitted in the distance measuring device 1B, so that advanced processing becomes possible. In particular, during the formation of the current imaging frame, the
<第1から第11の実施形態で使用されるSPADの説明>
本開示の第1から第11の実施形態において、受光部40は、2次元アレイ状に配置された複数の受光素子(SPAD)を含み構成されたCMOSイメージセンサである。すなわち、各SPADは、飛来した光(フォトン)を検出し、これにより発生したキャリアをアバランシェ増倍を用いて電気信号パルスに変換する。本開示の第1から第11の実施形態では、例えば、システム制御部10の制御の下、特定のSPAD群(例えば撮像フレームにおける1ライン方向のSPAD群)が有効化され、これによって、電気信号パルスが読み出される。また、1フレーム時間において順次に各ラインのSPAD群が有効化され、有効化されたSPAD群のそれぞれから出力される電気信号パルスによって、対象エリアに対する1撮像フレームが形成される。
<Explanation of SPAD used in the first to eleventh embodiments>
In the first to eleventh embodiments of the present disclosure, the
<第12の実施形態>
<距離測定装置の構成>
図24は、本技術の第12の実施形態における距離測定装置1Cの構成の一例を示すブロック図である。距離測定装置1Cは、発光素子から光を発射し、物体OBJ(対象物または被写体)からの反射光が光電変換部により光電変換され、光電変換部により生成された電荷は、複数の転送トランジスタにより複数の電荷蓄積部へ振り分けられ、複数の電荷蓄積部に蓄積された電荷量に基づいて、物体OBJまでの距離を測定する測距センサである。
<12th Embodiment>
<Structure of distance measuring device>
FIG. 24 is a block diagram showing an example of the configuration of the distance measuring device 1C according to the twelfth embodiment of the present technology. The distance measuring device 1C emits light from a light emitting element, the reflected light from an object OBJ (object or subject) is photoelectrically converted by a photoelectric conversion unit, and the electric charge generated by the photoelectric conversion unit is generated by a plurality of transfer transistors. It is a distance measuring sensor that is distributed to a plurality of charge storage units and measures the distance to the object OBJ based on the amount of charges accumulated in the plurality of charge storage units.
同図に示すように、距離測定装置1Cは、測距処理部90に、AD(アナログ・デジタル)変換部91及び距離演算回路92を備えて構成されている点で、上記第1の実施形態において図示したものと異なっている。なお、図24中、既に図示したコンポーネントと同一の機能ないし構成のコンポーネントについては、同一の符号を付し、適宜、その説明を省略する。
As shown in the figure, the distance measuring device 1C is configured to include an AD (analog / digital)
AD変換部91は、画素41ごとに出力され蓄積された電荷量に応じた画素信号を、アナログ信号からデジタル信号に変換する。画素41ごとの画素信号は、距離演算回路92に出力される。距離演算回路92は、画素41ごとの画素信号に基づき、物体OBJまでの距離を算出する。距離演算回路92では、撮像フレームを構成する全ての画素に対して算出された距離により、距離画像を得ることができる。距離演算回路92は、各撮像フレームにおける画素ごとに算出した距離に係るデータ(測距データ)を、通信インタフェース部60及びROI領域判定部80に順次に出力する。
The
ROI領域判定部80は、算出された測距データに基づいて、例えば物体OBJを含むROI領域を判定する。この判定結果は、システム制御部10に出力される。システム制御部10は、ROI領域判定部80によるROI領域の判定結果に基づいて、受光部40に設けられる画素駆動部70を制御する。なお、画素駆動部70を制御する際、システム制御部10は、読み出し領域のスキップ等を判定するV(垂直)制御判定部100を用いてもよい。
The ROI
<受光部の構成>
図25は、受光部40において、2次元の行列状に配置された複数の画素のうちの1つの画素41を例示している。画素41は、受光した光を光電変換し、光量に応じた電荷を生成する光電変換素子を有する。
<Structure of light receiving part>
FIG. 25 illustrates one
受光部40には、画素駆動線43を介して画素駆動部70が接続されている。画素駆動部70は、受光部40の各画素を、全画素同時あるいは行単位等で駆動する。画素駆動部70によって選択走査された画素ライン(画素行)の各画素から出力される画素信号は、垂直信号線44の各々を通してAD変換部91に供給される。
The
AD変換部91は、受光部40の画素列ごとに、選択ライン(選択行)の各画素単位から垂直信号線44を通して出力される画素信号に対して、アナログ信号からデジタル信号に変換する。
The
<AD変換部の削減>
図26は、本技術の第12の実施形態において、ROI領域のみデータを出力するために、AD変換部91の個数を減らす場合の一例を示すブロック図である。高解像度のデータを高いフレームレートで処理するために、AD変換部91は、複数の画素41から出力される画素信号を同時にアナログ信号からデジタル信号に変換する必要がある。図26の例では、AD変換部91は、撮像フレーム中の1ライン上でROI領域に対応する複数の画素41から出力される画素信号を同時に処理可能な個数(図26では、例えば3個)備えられる(以下、AD変換部(2,3,4)91と称する)。なお、1ライン上の全ての画素41から出力される電気信号を同時に処理する場合、図26の例では、例えば5個のAD変換部(1,2,3,4,5)91が必要となる。また、1つの画素41には、複数の受光素子が含まれる。
<Reduction of AD conversion unit>
FIG. 26 is a block diagram showing an example in which the number of
受光部40とAD変換部(1,2,3,4,5)91との間には、セレクタ93が介在される。セレクタ93は、システム制御部10からの切替指示に従って、例えば受光部40とAD変換部(2,3,4)91との間を選択的に接続する。
A
システム制御部10は、例えばROI領域判定部80による判定結果に基づいて、ROI領域に対応する複数の画素41とAD変換部(2,3,4)91とを接続するようにセレクタ93を切替制御する。
The
図26中の太枠で示すラインにおいて、ROI領域に対応し左端から4番目から6番目の画素41から出力される画素信号はセレクタ93を介してAD変換部(2)91に入力され、左端から11番目から14番目の画素41から出力される画素信号はセレクタ93を介してAD変換部(4)91に入力される。
In the line shown by the thick frame in FIG. 26, the pixel signal output from the fourth to
<第12の実施形態の作用効果>
以上のように第12の実施形態によれば、AD変換部91の個数を撮像フレームのライン方向の受光素子数や画素数に対して減らして、セレクタ93で測距する領域をAD変換部91に割り振ることで、1ライン(行)方向において、少数のAD変換部91をそれよりも多数の画素41で共用でき、AD変換部91の個数を減らせる分、消費電力を削減できる。
<Action and effect of the twelfth embodiment>
As described above, according to the twelfth embodiment, the number of
<第13の実施形態>
次に、第13の実施形態について説明する。第13の実施形態は、第12の実施形態の変形であり、Vスキャン(読み出しラインの指定)を領域ごとに行えるようにする場合の構成について説明する。
<13th Embodiment>
Next, the thirteenth embodiment will be described. The thirteenth embodiment is a modification of the twelfth embodiment, and describes a configuration in which a V scan (designation of a read line) can be performed for each area.
図27は、本技術の第13の実施形態において、Vスキャン(読み出しラインの指定)を領域ごとに行えるようにする場合の一例を示す図である。 FIG. 27 is a diagram showing an example of a case where V scan (designation of a read line) can be performed for each area in the thirteenth embodiment of the present technology.
図27の例では、上端から3ライン目のROI領域(図27では、1行目を図示)の画素41から画素信号を出力する場合、図28に示す画素駆動線43(1)により3ライン目の全画素41から画素信号は同じタイミングで出力されることになる。また、上端から4ライン目のROI領域(図27では、2行目を図示)の画素41から画素信号を出力する場合、図28に示す画素駆動線43(2)により4ライン目の全画素41から画素信号は同じタイミングで出力されることになる。
In the example of FIG. 27, when the pixel signal is output from the
そこで、本技術の第13の実施形態では、図29に示すように、1ライン中の領域を分けて異なるタイミングで読み出し可能にする。 Therefore, in the thirteenth embodiment of the present technology, as shown in FIG. 29, the regions in one line are divided so that they can be read out at different timings.
図27に戻って、本技術の第13の実施形態では、画素41のうち、上端から3ライン目の左端から1番目から8番目の画素411を画素駆動線431により接続し、左端から9番目から12番目の画素412を画素駆動線432により接続する。そして、左端から13番目から16番目の画素413を画素駆動線433により接続し、左端から17番目から20番目の画素414を画素駆動線434により接続する。
Returning to FIG. 27, in the thirteenth embodiment of the present technology, among the
また、本技術の第13の実施形態では、画素41のうち、上端から4ライン目の左端から1番目から8番目の画素415を画素駆動線435により接続し、左端から9番目から12番目の画素416を画素駆動線436により接続する。そして、左端から13番目から16番目の画素417を画素駆動線437により接続し、左端から17番目から20番目の画素418を画素駆動線438により接続する。
Further, in the thirteenth embodiment of the present technology, among the
3ライン目のROI領域の画素412(図27では、顔部分の1行目)を読み出す場合、画素駆動部70は、画素駆動線432を介して画素412を駆動し、画素412から出力される画素信号をAD変換部91に入力させる。
When reading out the
4ライン目のROI領域の画素416(図27では、顔部分の2行目)を読み出す場合、画素駆動部70は、画素駆動線436を介して画素416を駆動し、画素416から出力される画素信号をAD変換部91に入力させる。
When reading out the
<第13の実施形態の作用効果>
以上のように上記第13の実施形態によれば、読み出しラインの指定を領域ごとに行えるように構成することで、撮像フレームのV(走査)方向に重なっていない領域の複数の画素41から出力される画素信号を同時に読み出してAD変換部91に入力することで、AD変換部91の処理時間を短縮でき、その分消費電力を削減できる。
<Action and effect of the thirteenth embodiment>
As described above, according to the thirteenth embodiment, by configuring so that the read line can be specified for each area, output is output from a plurality of
<第14の実施形態>
次に、第14の実施形態について説明する。第14の実施形態は、第12の実施形態の変形であり、AD変換部91に対して垂直信号線44を多く持つ場合の構成について説明する。
<14th Embodiment>
Next, the fourteenth embodiment will be described. The fourteenth embodiment is a modification of the twelfth embodiment, and the configuration in the case where a large number of
図30は、本技術の第14の実施形態において、ROI領域が枠1、枠2、枠3に分けられる一例を示す図である。図31は、枠1、枠2、枠3それぞれが異なる垂直信号線44により接続される一例を示す図である。
FIG. 30 is a diagram showing an example in which the ROI region is divided into a
図31の例では、画素41のうち、例えば、枠1の1行目の画素4111は、画素駆動線4311により接続され、垂直信号線4411により接続される。枠1の2行目の画素4112は、画素駆動線4312により接続され、垂直信号線4412により接続される。
In the example of FIG. 31, among the
枠2の1行目の画素4121は、画素駆動線4321により接続され、垂直信号線4421により接続される。枠2の2行目の画素4122は、画素駆動線4322により接続され、垂直信号線4422により接続される。
The
枠3の1行目の画素4131は、画素駆動線4331により接続され、垂直信号線4431により接続される。枠3の2行目の画素4132は、画素駆動線4332により接続され、垂直信号線4432により接続される。
The
枠1(図30では、顔部分の1行目及び2行目)を読み出す場合、画素駆動部70は、画素駆動線4311,4312を介して画素4111,4112を駆動し、画素4111,4112から出力される画素信号を垂直信号線4411,4412を介してAD変換部91に入力させる。
When reading the frame 1 (first and second rows of the face portion in FIG. 30), the
枠2(図30では、右手部分の1行目及び2行目)を読み出す場合、画素駆動部70は、画素駆動線4321,4322を介して画素4121,4122を駆動し、画素4121,4122から出力される画素信号を垂直信号線4421,4422を介してAD変換部91に入力させる。
When reading the frame 2 (the first and second rows of the right-hand portion in FIG. 30), the
枠3(図30では、左手部分の1行目及び2行目)を読み出す場合、画素駆動部70は、画素駆動線4331,4332を介して画素4131,4132を駆動し、画素4131,4132から出力される画素信号を垂直信号線4431,4432を介してAD変換部91に入力させる。
When reading the frame 3 (the first and second rows of the left-hand portion in FIG. 30), the
<第14の実施形態の作用効果>
以上のように第14の実施形態によれば、AD変換部91に対して垂直信号線44を多く持つことで、ROI領域を例えば枠1,枠2,枠3に分割して設定し、V方向重ならない場合に、枠1,枠2,枠3ごとに異なる垂直信号線44を用いて複数の画素信号を同時にAD変換部91に入力することが可能になり、これにより処理時間を短縮でき、その分消費電力を削減できる。
<Action and effect of the 14th embodiment>
As described above, according to the fourteenth embodiment, by having a large number of
<第14の実施形態の変形例>
なお、本技術の第14の実施形態の変形例として、垂直信号線44と、AD変換部91との間に、スイッチを介在させることができる。このようにすれば、システム制御部10は、ROI領域に合わせてスイッチをオン・オフ制御することができる。
<Modified example of the 14th embodiment>
As a modification of the 14th embodiment of the present technology, a switch can be interposed between the
<第15の実施形態>
次に、第15の実施形態について説明する。第15の実施形態は、第12の実施形態の変形であり、異なるラインにあるデータを同時に連続して出力する場合について説明する。
<Fifteenth Embodiment>
Next, the fifteenth embodiment will be described. A fifteenth embodiment is a modification of the twelfth embodiment, and a case where data on different lines are continuously output at the same time will be described.
図32は、本技術の第15の実施形態における1領域づつ出力する場合の一例を示す図である。 FIG. 32 is a diagram showing an example in the case of outputting one region at a time according to the fifteenth embodiment of the present technology.
図32の例では、システム制御部10は、ROI領域を、例えば枠1(顔)と枠2(右手)と枠3(左手)に分割し、枠1、枠2、枠3のデータを読み出すように受光部40を制御する。
In the example of FIG. 32, the
通信インタフェース部60は、図33に示すように、測距処理部50から出力される枠1及び枠2及び枠3の測距データに対しラインごとに並べて出力する。
As shown in FIG. 33, the
また、通信インタフェース部60は、図34に示すように、異なるV方向の領域を同時に読み出す場合、枠1、枠2、枠3の測距データを1ライン上に並べて出力する。
Further, as shown in FIG. 34, when reading different regions in the V direction at the same time, the
<第16の実施形態>
次に、第16の実施形態について説明する。第16の実施形態では、測距処理部90により算出された測距データを受信した外部のホストICを用いて、ROI領域を判定することを可能とする距離測定装置1Dが開示される。ここで、外部のホストICとは、上記第12の実施形態で説明したSoCとしての距離測定装置1Dの外部に設けられるという意味で用いられている。
<16th Embodiment>
Next, the sixteenth embodiment will be described. In the sixteenth embodiment, a distance measuring device 1D that makes it possible to determine the ROI region by using an external host IC that has received the distance measuring data calculated by the distance measuring
図35は、本技術の第16の実施形態における距離測定装置1Dの構成の一例を示すブロック図である。同図に示すように、距離測定装置1Dは、上記測距処理部90から上記距離演算回路92を削除した測距処理部94とし、ホストIC2が、測距処理部94から通信インタフェース部60を介して受信した測距データに基づいて、ROI領域を判定するように構成されている点で、上記第12の実施形態において図示したものと異なっている。なお、図35中、既に図示したコンポーネントと同一の機能ないし構成のコンポーネントについては、同一の符号を付し、適宜、その説明を省略する。
FIG. 35 is a block diagram showing an example of the configuration of the distance measuring device 1D according to the 16th embodiment of the present technology. As shown in the figure, the distance measuring device 1D is a distance measuring
同図に示すように、本例では、図24に示した距離演算回路92及び図24に示したROI領域判定部80が、距離測定装置1C内に設けられる代わりに、ホストIC2に設けられている。図示していないが、ホストIC2は、対応する通信インタフェース部を含み構成される。ホストIC2の測距演算回路は、上記第1の実施形態と同様、測距処理部94から通信インタフェース部60を介して測距データを受信すると、物体OBJまでの距離を算出する。そして、ホストIC2のROI領域判定部は、該測距データに基づいて、ROI領域を判定する。ホストIC2のROI領域判定部は、該判定結果を、通信インタフェース部60を介して、システム制御部10に送信する。
As shown in the figure, in this example, the
一例として、ホストIC2は、1撮像フレーム分の測距データを保持し得るフレームバッファ(図示せず)を備え得る。ホストIC2のROI領域判定部は、フレームバッファを参照し、次の撮像フレームにおける読み出しラインごとにROI領域を判定する。
As an example, the
<第16の実施形態の作用効果>
このようにして、上記第16の実施形態によっても、上記第11の実施形態及び上記第12の実施形態と同様の作用効果ないしは利点を奏し得る。また、上記第16の実施形態によれば、距離測定装置1D内で測距演算回路による処理及びROI領域の判定処理を省略できる分、高度な処理が可能となる。
<Action and effect of the 16th embodiment>
In this way, the sixteenth embodiment can also exhibit the same effects or advantages as those of the eleventh embodiment and the twelfth embodiment. Further, according to the 16th embodiment, the processing by the distance measuring calculation circuit and the determination processing of the ROI region can be omitted in the distance measuring device 1D, so that advanced processing becomes possible.
<その他の実施形態>
上記のように、本技術は第1から第16の実施形態によって記載したが、この開示の一部をなす論述及び図面は本技術を限定するものであると理解すべきではない。上記の実施形態が開示する技術内容の趣旨を理解すれば、当業者には様々な代替実施形態、実施例及び運用技術が本技術に含まれ得ることが明らかとなろう。また、第1から第16の実施形態及び第1から第16の実施形態の変形例がそれぞれ開示する構成を、矛盾の生じない範囲で適宜組み合わせることができる。例えば、複数の異なる実施形態がそれぞれ開示する構成を組み合わせてもよく、同一の実施形態の複数の異なる変形例がそれぞれ開示する構成を組み合わせてもよい。
<Other Embodiments>
As mentioned above, the present technology has been described in accordance with the first to sixteenth embodiments, but the statements and drawings that form part of this disclosure should not be understood as limiting the present technology. Understanding the gist of the technical content disclosed in the above embodiments will make it clear to those skilled in the art that various alternative embodiments, examples and operational techniques may be included in the present technology. In addition, the configurations disclosed by the first to sixteenth embodiments and the modifications of the first to sixteenth embodiments can be appropriately combined within a range that does not cause a contradiction. For example, configurations disclosed by a plurality of different embodiments may be combined, or configurations disclosed by a plurality of different variations of the same embodiment may be combined.
なお、本開示は以下のような構成も取ることができる。
(1)
行列状に配置され、受光した対象領域からの反射光を電気信号に変換する受光素子をそれぞれ有する複数の画素を備える受光部と、
画素ごとまたはいくつかの画素により構成される画素群ごとに設けられ前記受光素子に電力を供給する複数の電源部と、
前記複数の画素によって形成される撮像フレームにおいて、前記画素ごとに出力される前記電気信号に基づいて、前記撮像フレーム中の関心領域までの距離を算出するための測距処理を実行する測距処理部と、
前記測距処理部により出力され、前記撮像フレームに対する前記画素ごとの前記距離に関するデータを出力する出力インタフェース部と、
前記複数の電源部のオン・オフ制御、前記受光素子の出力マスク及び前記測距処理部による測距処理の制御の少なくとも1つを実行する制御部と、
を備え、
前記制御部は、前記関心領域の判定結果に基づいて、前記関心領域以外の領域に属する電源部をオフ制御すること、及び前記関心領域に対応する前記電気信号を入力するように前記測距処理部を制御することの少なくとも一方を実行する、
測距センサ。
(2)
前記測距処理部は、
前記画素ごとに出力される前記電気信号を、所定のサンプリング周波数でサンプリングして、サンプリング値を出力するサンプリング回路と、
前記受光が行われることにより得られる複数の前記サンプリング値に基づいて、時間ごとの前記反射光の強さを示すヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラムにおけるピーク値を検出し、前記ピーク値から前記関心領域までの距離を算出する距離算出部と、
を備える前記(1)に記載の測距センサ。
(3)
前記受光部と前記サンプリング回路との間に接続される選択回路を備え、
前記サンプリング回路は、撮像フレーム中の1ライン上で前記関心領域に対応する複数の画素から出力される電気信号を同時に処理可能な複数個備えられ、
前記制御部は、前記関心領域に対応する複数の画素と複数の前記サンプリング回路とを接続するように前記選択回路を切替制御する前記(2)に記載の測距センサ。
(4)
前記サンプリング回路と前記ヒストグラム生成部との間に接続される選択回路を備え、
前記サンプリング回路は、前記撮像フレーム中の1ラインを構成する複数の画素から出力される電気信号を同時に処理可能な複数個備えられ、
前記ヒストグラム生成部は、前記撮像フレーム中の1ライン上で前記関心領域に対応する複数のサンプリング回路の出力を同時に処理可能な複数個備えられ、
前記制御部は、前記関心領域に対応する複数の画素からの電気信号を処理するべく、複数の前記サンプリング回路と複数の前記ヒストグラム生成部とを接続するように前記選択回路を切替制御する前記(2)に記載の測距センサ。
(5)
前記受光部はアレイ型であり、
複数の前記受光素子の出力端子を前記画素ごとに共通化する、前記(1)に記載の測距センサ。
(6)
前記サンプリング回路及び前記ヒストグラム生成部は、前記撮像フレーム中の1ラインを構成する複数の画素から出力される電気信号を同時に処理可能な複数個備えられ、
前記制御部は、前記関心領域以外の領域に属する前記サンプリング回路及び前記ヒストグラム生成部の電源をオフ制御する、前記(2)に記載の測距センサ。
(7)
前記受光部と、前記測距処理部とが互いに異なる層に属する積層構造であり、
前記制御部は、前記複数の画素から構成する面における前記関心領域以外の領域に属する電源部をオフ制御する、前記(1)に記載の測距センサ。
(8)
前記制御部は、前記関心領域を複数の領域に分割し、前記撮像フレームごとに分割した領域を読み出すように前記受光部を制御する、前記(1)に記載の測距センサ。
(9)
前記対象領域に対して光を照射する発光部を備え、
前記制御部は、前記関心領域の判定結果に基づいて、前記光を前記関心領域のみに照射するように前記発光部を制御する、前記(1)に記載の測距センサ。
(10)
前記測距処理部は、
前記画素ごとに出力される前記電気信号を、アナログ信号からデジタル信号に変換するアナログ/デジタル変換部と、
前記デジタル信号に基づいて、前記関心領域までの距離を算出する距離算出部と、
を備える前記(1)に記載の測距センサ。
(11)
前記受光部と前記アナログ/デジタル変換部との間に接続される選択回路を備え、
前記アナログ/デジタル変換部は、前記撮像フレーム中の1ライン上で前記関心領域に対応する複数の画素から出力される電気信号を同時に処理可能な複数個備えられ、
前記制御部は、前記関心領域に対応する複数の画素と複数の前記アナログ/デジタル変換部とを接続するように前記選択回路を切替制御する前記(10)に記載の測距センサ。
(12)
前記制御部は、前記関心領域において読み出しラインを指定し、かつ前記撮像フレームの走査方向に重なっていない領域の複数の画素から出力される電気信号を同時に前記アナログ/デジタル変換部に入力する、前記(10)に記載の測距センサ。
(13)
前記画素と前記アナログ/デジタル変換部との間は、前記撮像フレームのラインごとに異なる複数の信号線により接続され、
前記制御部は、前記関心領域を複数の枠に分割して設定し、枠ごとに異なる信号線を用いて前記電気信号を前記アナログ/デジタル変換部に転送する、前記(10)に記載の測距センサ。
(14)
前記複数の信号線と前記アナログ/デジタル変換部との間に接続されるスイッチを備え、
前記制御部は、前記関心領域に合わせて前記スイッチをオン・オフ制御する、前記(13)に記載の測距センサ。
(15)
測距処理部からの出力から前記関心領域を判定する関心領域判定部を備え、
前記制御部は、前記関心領域判定部による前記関心領域の判定結果に基づいて、前記関心領域以外の領域に属する電源部をオフ制御すること、及び前記関心領域に対応する前記電気信号を入力するように前記測距処理部を制御することの少なくとも一方を実行する、前記(1)から前記(14)のいずれか1項に記載の測距センサ。
(16)
前記制御部は、外部装置から提供される前記関心領域の判定結果に基づいて、前記関心領域以外の領域に属する電源部をオフ制御すること、及び前記関心領域に対応する前記電気信号を入力するように前記測距処理部を制御することの少なくとも一方を実行する、前記(1)から前記(14)のいずれか1に記載の測距センサ。
(17)
出力インタフェース部は、前記関心領域について前記撮像フレームの1ラインごとにヘッダ情報及びフッタ情報を付加する、前記(1)から前記(10)のいずれか1に記載の測距センサ。
(18)
行列状に配置され受光素子をそれぞれ有する複数の画素を備える受光部により対象領域からの反射光を受光し、電気信号に変換して出力することと、
前記複数の画素によって形成される撮像フレームにおいて、測距処理部により前記画素ごとに出力される前記電気信号に基づいて、前記撮像フレーム中の関心領域までの距離を算出するための測距処理を実行することと、
前記撮像フレームに対する前記画素ごとの前記距離に関するデータを出力することと、
前記関心領域の判定結果に基づいて、前記関心領域以外の領域に属する電源部をオフ制御すること、及び前記関心領域に対応する前記電気信号を入力するように前記測距処理部を制御することの少なくとも一方を実行することと、を含む、
距離測定方法。
(19)
行列状に配置され、受光した対象領域からの反射光を電気信号に変換する受光素子をそれぞれ有する複数の画素を備える受光部と、
前記画素ごとに出力される電気信号に基づいて信号処理を行い前記対象領域までの距離を算出し、それぞれ独立に電源供給の制御が可能な複数の信号処理モジュールを有する測距処理部と、
入力信号に応じて、前記複数の信号処理モジュールの電源供給制御を実行する制御部と
を備える測距センサ。
(20)
前記測距処理部は、前記複数の画素によって形成される撮像フレームにおいて、前記画素ごとに出力される前記電気信号に基づいて、撮像フレーム中の関心領域までの距離を算出するための測距処理を実行し、
前記制御部は、前記関心領域に対応する複数の画素に対応した前記信号処理モジュールに電源を供給する
前記(19)に記載の測距センサ。
(21)
前記受光部と前記複数の信号処理モジュールとの間に接続される選択回路を備え、
前記制御部は、前記関心領域に対応する複数の画素と、前記関心領域に対応する複数の画素に対応した信号処理モジュールとを接続するように前記選択回路を切替制御する
前記(20)に記載の測距センサ。
(22)
前記受光素子は、アバランシェフォトダイオードである前記(21)に記載の測距センサ。
(23)
前記測距処理部は、前記画素ごとに出力される前記電気信号を、所定のサンプリング周波数でサンプリングして、サンプリング値を出力するサンプリング回路を備え、
前記選択回路は、前記受光部と前記サンプリング回路との間に配置される
前記(22)に記載の測距センサ。
(24)
前記測距処理部は、
前記画素ごとに出力される前記電気信号を、所定のサンプリング周波数でサンプリングして、サンプリング値を出力するサンプリング回路と、
前記受光が行われることにより得られる複数の前記サンプリング値に基づいて、時間ごとの前記反射光の強さを示すヒストグラムを生成するヒストグラム生成部と、を備え、
前記選択回路は、前記サンプリング回路と前記ヒストグラム生成部との間に配置される
前記(22)に記載の測距センサ。
The present disclosure may also have the following structure.
(1)
A light receiving unit arranged in a matrix and having a plurality of pixels each having a light receiving element that converts the reflected light from the received target region into an electric signal, and a light receiving unit.
A plurality of power supply units provided for each pixel or each pixel group composed of several pixels to supply electric power to the light receiving element, and
In an image pickup frame formed by the plurality of pixels, a distance measurement process for executing a distance measurement process for calculating a distance to a region of interest in the image pickup frame based on the electric signal output for each pixel. Department and
An output interface unit that is output by the distance measuring processing unit and outputs data related to the distance for each pixel with respect to the imaging frame.
A control unit that executes at least one of on / off control of the plurality of power supply units, an output mask of the light receiving element, and control of distance measurement processing by the distance measurement processing unit.
With
Based on the determination result of the region of interest, the control unit turns off the power supply unit belonging to the region other than the region of interest, and performs the distance measuring process so as to input the electric signal corresponding to the region of interest. Perform at least one of controlling the parts,
Distance measurement sensor.
(2)
The distance measuring processing unit
A sampling circuit that samples the electrical signal output for each pixel at a predetermined sampling frequency and outputs a sampling value.
A histogram generation unit that generates a histogram showing the intensity of the reflected light for each time based on a plurality of the sampling values obtained by performing the light reception.
A distance calculation unit that detects the peak value in the histogram and calculates the distance from the peak value to the region of interest.
The distance measuring sensor according to (1) above.
(3)
A selection circuit connected between the light receiving unit and the sampling circuit is provided.
The sampling circuit is provided with a plurality of sampling circuits capable of simultaneously processing electrical signals output from a plurality of pixels corresponding to the region of interest on one line in the imaging frame.
The distance measuring sensor according to (2), wherein the control unit switches and controls the selection circuit so as to connect the plurality of pixels corresponding to the region of interest and the plurality of sampling circuits.
(4)
A selection circuit connected between the sampling circuit and the histogram generator is provided.
The sampling circuit is provided with a plurality of sampling circuits capable of simultaneously processing electrical signals output from a plurality of pixels constituting one line in the imaging frame.
A plurality of the histogram generation units are provided, which can simultaneously process the outputs of a plurality of sampling circuits corresponding to the region of interest on one line in the imaging frame.
The control unit switches and controls the selection circuit so as to connect the plurality of sampling circuits and the plurality of histogram generation units in order to process electrical signals from the plurality of pixels corresponding to the region of interest. The ranging sensor according to 2).
(5)
The light receiving unit is an array type.
The distance measuring sensor according to (1), wherein the output terminals of the plurality of light receiving elements are shared for each pixel.
(6)
The sampling circuit and the histogram generator are provided with a plurality of electrical signals that can simultaneously process electrical signals output from a plurality of pixels constituting one line in the imaging frame.
The distance measuring sensor according to (2), wherein the control unit controls off the power of the sampling circuit and the histogram generation unit that belong to a region other than the region of interest.
(7)
The light receiving unit and the distance measuring processing unit have a laminated structure in which they belong to different layers.
The distance measuring sensor according to (1), wherein the control unit turns off a power supply unit that belongs to a region other than the region of interest on a surface composed of the plurality of pixels.
(8)
The distance measuring sensor according to (1), wherein the control unit controls the light receiving unit so as to divide the region of interest into a plurality of regions and read out the divided regions for each imaging frame.
(9)
A light emitting unit that irradiates the target area with light is provided.
The distance measuring sensor according to (1), wherein the control unit controls the light emitting unit so as to irradiate only the area of interest with the light based on the determination result of the area of interest.
(10)
The distance measuring processing unit
An analog / digital converter that converts the electrical signal output for each pixel from an analog signal to a digital signal.
A distance calculation unit that calculates the distance to the region of interest based on the digital signal,
The distance measuring sensor according to (1) above.
(11)
A selection circuit connected between the light receiving unit and the analog / digital conversion unit is provided.
The analog / digital conversion unit is provided with a plurality of analog / digital conversion units capable of simultaneously processing electrical signals output from a plurality of pixels corresponding to the region of interest on one line in the imaging frame.
The distance measuring sensor according to (10), wherein the control unit switches and controls the selection circuit so as to connect a plurality of pixels corresponding to the region of interest and the plurality of analog / digital conversion units.
(12)
The control unit specifies a readout line in the region of interest, and simultaneously inputs electrical signals output from a plurality of pixels in a region that does not overlap in the scanning direction of the imaging frame to the analog / digital conversion unit. The distance measuring sensor according to (10).
(13)
The pixel and the analog / digital conversion unit are connected by a plurality of signal lines that are different for each line of the imaging frame.
The measurement according to (10) above, wherein the control unit divides and sets the region of interest into a plurality of frames, and transfers the electric signal to the analog / digital conversion unit using different signal lines for each frame. Distance sensor.
(14)
A switch connected between the plurality of signal lines and the analog / digital converter is provided.
The distance measuring sensor according to (13), wherein the control unit controls on / off of the switch according to the region of interest.
(15)
It is provided with an area of interest determination unit that determines the area of interest from the output from the distance measurement processing unit.
The control unit turns off the power supply unit belonging to a region other than the region of interest based on the determination result of the region of interest by the region of interest determination unit, and inputs the electric signal corresponding to the region of interest. The distance measuring sensor according to any one of (1) to (14) above, which executes at least one of controlling the distance measuring processing unit as described above.
(16)
Based on the determination result of the region of interest provided by the external device, the control unit turns off the power supply unit belonging to the region other than the region of interest, and inputs the electric signal corresponding to the region of interest. The distance measuring sensor according to any one of (1) to (14) above, which executes at least one of controlling the distance measuring processing unit as described above.
(17)
The distance measuring sensor according to any one of (1) to (10), wherein the output interface unit adds header information and footer information to each line of the imaging frame for the region of interest.
(18)
The light receiving unit provided with a plurality of pixels arranged in a matrix and each having a light receiving element receives the reflected light from the target area, converts it into an electric signal, and outputs it.
In an image pickup frame formed by the plurality of pixels, distance measurement processing for calculating the distance to a region of interest in the image pickup frame is performed based on the electric signal output for each pixel by the distance measurement processing unit. To do and
To output data regarding the distance for each pixel with respect to the imaging frame,
Based on the determination result of the region of interest, the power supply unit belonging to the region other than the region of interest is controlled to be turned off, and the distance measuring processing unit is controlled so as to input the electric signal corresponding to the region of interest. To perform at least one of the, including,
Distance measurement method.
(19)
A light receiving unit arranged in a matrix and having a plurality of pixels each having a light receiving element that converts the reflected light from the received target region into an electric signal, and a light receiving unit.
A distance measuring processing unit having a plurality of signal processing modules capable of performing signal processing based on the electric signal output for each pixel, calculating the distance to the target area, and independently controlling the power supply.
A distance measuring sensor including a control unit that executes power supply control of the plurality of signal processing modules in response to an input signal.
(20)
The distance measuring processing unit calculates the distance to the region of interest in the imaging frame based on the electric signal output for each pixel in the imaging frame formed by the plurality of pixels. And run
The distance measuring sensor according to (19), wherein the control unit supplies power to the signal processing module corresponding to a plurality of pixels corresponding to the region of interest.
(21)
A selection circuit connected between the light receiving unit and the plurality of signal processing modules is provided.
The control unit switches and controls the selection circuit so as to connect a plurality of pixels corresponding to the region of interest and a signal processing module corresponding to the plurality of pixels corresponding to the region of interest. Distance measurement sensor.
(22)
The distance measuring sensor according to (21) above, wherein the light receiving element is an avalanche photodiode.
(23)
The distance measuring processing unit includes a sampling circuit that samples the electric signal output for each pixel at a predetermined sampling frequency and outputs a sampling value.
The distance measuring sensor according to (22), wherein the selection circuit is arranged between the light receiving unit and the sampling circuit.
(24)
The distance measuring processing unit
A sampling circuit that samples the electrical signal output for each pixel at a predetermined sampling frequency and outputs a sampling value.
A histogram generation unit that generates a histogram showing the intensity of the reflected light for each time based on a plurality of the sampling values obtained by performing the light reception is provided.
The distance measuring sensor according to (22), wherein the selection circuit is arranged between the sampling circuit and the histogram generation unit.
1A,1B,1C,1D…距離測定装置、2…ホストIC、10…システム制御部、20…発光部、30…発光タイミング調整部、40…受光部、41,41a,41b,41c,411,412,413,414,415,416,417,418,4111,4112,4121,4122,4131,4132…画素、42…電源部、43,431,432,433,434,435,436,437,438,4311,4312,4321,4322,4331,4332…画素駆動線、44,441,442,443,444,445,446,4411,4412,4421,4422,4431、4432…垂直信号線、45,46…受光素子、50,90…測距処理部、51…サンプリング回路、52…ヒストグラム生成回路、53,63,92…距離演算回路、54,93…セレクタ、55…電源、56…パワーゲートセル、60…通信インタフェース部、70…画素駆動部、80…ROI領域判定部、91…AD変換部、100…V(垂直)制御判定部、200…パルス変化回路 1A, 1B, 1C, 1D ... Distance measuring device, 2 ... Host IC, 10 ... System control unit, 20 ... Light emitting unit, 30 ... Light emitting timing adjustment unit, 40 ... Light receiving unit, 41, 41a, 41b, 41c, 411, 421, 413, 414, 415, 416,417, 418, 4111, 4112, 4121, 4122, 4131, 4132 ... Pixels, 42 ... Power supply unit, 43,431,432,433,434,435,436,437,438 , 4311, 4312, 4321, 4322, 4331, 4332 ... Pixel drive line, 44,441,442,443,444,445,446,441,4412,4421,4422,4431,4432 ... Vertical signal line, 45,46 ... light receiving element, 50, 90 ... distance measurement processing unit, 51 ... sampling circuit, 52 ... histogram generation circuit, 53, 63, 92 ... distance calculation circuit, 54, 93 ... selector, 55 ... power supply, 56 ... power gate cell, 60 ... communication interface unit, 70 ... pixel drive unit, 80 ... ROI area determination unit, 91 ... AD conversion unit, 100 ... V (vertical) control determination unit, 200 ... pulse change circuit
Claims (20)
前記画素ごとに出力される電気信号に基づいて信号処理を行い前記対象領域までの距離を算出し、それぞれ独立に電源供給の制御が可能な複数の信号処理モジュールを有する測距処理部と、
入力信号に応じて、前記複数の信号処理モジュールの電源供給制御を実行する制御部と
を備える測距センサ。 A light receiving unit arranged in a matrix and having a plurality of pixels each having a light receiving element that converts the reflected light from the received target region into an electric signal, and a light receiving unit.
A distance measuring processing unit having a plurality of signal processing modules capable of performing signal processing based on the electric signal output for each pixel, calculating the distance to the target area, and independently controlling the power supply.
A distance measuring sensor including a control unit that executes power supply control of the plurality of signal processing modules in response to an input signal.
前記制御部は、前記関心領域に対応する複数の画素に対応した前記信号処理モジュールに電源を供給する
請求項1に記載の測距センサ。 The distance measuring processing unit calculates the distance to the region of interest in the imaging frame based on the electric signal output for each pixel in the imaging frame formed by the plurality of pixels. And run
The distance measuring sensor according to claim 1, wherein the control unit supplies power to the signal processing module corresponding to a plurality of pixels corresponding to the region of interest.
前記制御部は、前記関心領域に対応する複数の画素と、前記関心領域に対応する複数の画素に対応した信号処理モジュールとを接続するように前記選択回路を切替制御する
請求項2に記載の測距センサ。 A selection circuit connected between the light receiving unit and the plurality of signal processing modules is provided.
The second aspect of claim 2, wherein the control unit switches and controls the selection circuit so as to connect a plurality of pixels corresponding to the region of interest and a signal processing module corresponding to the plurality of pixels corresponding to the region of interest. Distance measurement sensor.
前記選択回路は、前記受光部と前記サンプリング回路との間に配置される
請求項4に記載の測距センサ。 The distance measuring processing unit includes a sampling circuit that samples the electric signal output for each pixel at a predetermined sampling frequency and outputs a sampling value.
The distance measuring sensor according to claim 4, wherein the selection circuit is arranged between the light receiving unit and the sampling circuit.
前記画素ごとに出力される前記電気信号を、所定のサンプリング周波数でサンプリングして、サンプリング値を出力するサンプリング回路と、
前記受光が行われることにより得られる複数の前記サンプリング値に基づいて、時間ごとの前記反射光の強さを示すヒストグラムを生成するヒストグラム生成部と、を備え、
前記選択回路は、前記サンプリング回路と前記ヒストグラム生成部との間に配置される
請求項4に記載の測距センサ。 The distance measuring processing unit
A sampling circuit that samples the electrical signal output for each pixel at a predetermined sampling frequency and outputs a sampling value.
A histogram generation unit that generates a histogram showing the intensity of the reflected light for each time based on a plurality of the sampling values obtained by performing the light reception is provided.
The distance measuring sensor according to claim 4, wherein the selection circuit is arranged between the sampling circuit and the histogram generation unit.
前記画素ごとに出力される前記電気信号を、所定のサンプリング周波数でサンプリングして、サンプリング値を出力するサンプリング回路と、
前記受光が行われることにより得られる複数の前記サンプリング値に基づいて、時間ごとの前記反射光の強さを示すヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラムにおけるピーク値を検出し、前記ピーク値から前記関心領域までの距離を算出する距離算出部と、
を備える請求項4に記載の測距センサ。 The distance measuring processing unit
A sampling circuit that samples the electrical signal output for each pixel at a predetermined sampling frequency and outputs a sampling value.
A histogram generation unit that generates a histogram showing the intensity of the reflected light for each time based on a plurality of the sampling values obtained by performing the light reception.
A distance calculation unit that detects the peak value in the histogram and calculates the distance from the peak value to the region of interest.
The distance measuring sensor according to claim 4.
複数の前記受光素子の出力端子を前記画素ごとに共通化する、
請求項1に記載の測距センサ。 The light receiving unit is an array type.
The output terminals of the plurality of light receiving elements are shared for each pixel.
The distance measuring sensor according to claim 1.
前記受光部と、前記測距処理部とが互いに異なる層に属する積層構造であり、
前記制御部は、前記複数の画素から構成する面における関心領域以外の領域に属する電源部をオフ制御する、
請求項1に記載の測距センサ。 A plurality of power supply units provided for each pixel or each pixel group composed of several pixels to supply electric power to the light receiving element are further provided.
The light receiving unit and the distance measuring processing unit have a laminated structure in which they belong to different layers.
The control unit turns off the power supply unit that belongs to a region other than the region of interest on the surface composed of the plurality of pixels.
The distance measuring sensor according to claim 1.
請求項2に記載の測距センサ。 The control unit controls the light receiving unit so as to divide the region of interest into a plurality of regions and read out the divided regions for each imaging frame.
The distance measuring sensor according to claim 2.
前記制御部は、前記関心領域の判定結果に基づいて、前記光を前記関心領域のみに照射するように前記発光部を制御する、
請求項2に記載の測距センサ。 A light emitting unit that irradiates the target area with light is provided.
The control unit controls the light emitting unit so as to irradiate only the region of interest with the light based on the determination result of the region of interest.
The distance measuring sensor according to claim 2.
前記画素ごとに出力される前記電気信号を、アナログ信号からデジタル信号に変換するアナログ/デジタル変換部と、
前記デジタル信号に基づいて、前記関心領域までの距離を算出する距離算出部と、
を備える請求項2に記載の測距センサ。 The distance measuring processing unit
An analog / digital converter that converts the electrical signal output for each pixel from an analog signal to a digital signal.
A distance calculation unit that calculates the distance to the region of interest based on the digital signal,
2. The distance measuring sensor according to claim 2.
前記制御部は、前記関心領域に対応する複数の画素と前記アナログ/デジタル変換部とを接続するように前記選択回路を切替制御する
請求項12に記載の測距センサ。 A selection circuit connected between the light receiving unit and the analog / digital conversion unit is provided.
The distance measuring sensor according to claim 12, wherein the control unit switches and controls the selection circuit so as to connect a plurality of pixels corresponding to the region of interest to the analog / digital conversion unit.
請求項12に記載の測距センサ。 The control unit specifies a readout line in the region of interest, and simultaneously inputs electrical signals output from a plurality of pixels in a region that does not overlap in the scanning direction of the imaging frame to the analog / digital conversion unit.
The distance measuring sensor according to claim 12.
前記制御部は、前記関心領域を複数の枠に分割して設定し、枠ごとに異なる信号線を用いて前記電気信号を前記アナログ/デジタル変換部に転送する、
請求項12に記載の測距センサ。 The pixel and the analog / digital conversion unit are connected by a plurality of signal lines that are different for each line of the imaging frame.
The control unit divides and sets the region of interest into a plurality of frames, and transfers the electric signal to the analog / digital conversion unit using a signal line different for each frame.
The distance measuring sensor according to claim 12.
前記制御部は、前記関心領域に合わせて前記スイッチをオン・オフ制御する、
請求項15に記載の測距センサ。 A switch connected between the plurality of signal lines and the analog / digital converter is provided.
The control unit controls the on / off of the switch according to the region of interest.
The distance measuring sensor according to claim 15.
前記制御部は、前記関心領域判定部による前記関心領域の判定結果に基づいて、関心領域以外の領域に属する電源部をオフ制御すること、及び前記関心領域に対応する前記電気信号を入力するように前記測距処理部を制御することの少なくとも一方を実行する、
請求項1から16のいずれか1項に記載の測距センサ。 It is equipped with an area of interest determination unit that determines the area of interest from the output from the distance measurement processing unit.
The control unit controls off the power supply unit belonging to a region other than the region of interest based on the determination result of the region of interest by the region of interest determination unit, and inputs the electrical signal corresponding to the region of interest. To perform at least one of controlling the ranging processing unit,
The distance measuring sensor according to any one of claims 1 to 16.
請求項1から16のいずれか1項に記載の測距センサ。 Based on the determination result of the region of interest provided by the external device, the control unit turns off the power supply unit belonging to the region other than the region of interest, and inputs the electrical signal corresponding to the region of interest. Performing at least one of controlling the ranging processing unit,
The distance measuring sensor according to any one of claims 1 to 16.
請求項2に記載の測距センサ。 An output interface unit for adding header information and footer information to each line of the imaging frame for the region of interest is provided.
The distance measuring sensor according to claim 2.
前記複数の画素によって形成される撮像フレームにおいて、測距処理部により前記画素ごとに出力される前記電気信号に基づいて、撮像フレーム中の関心領域までの距離を算出するための測距処理を実行することと、
前記撮像フレームに対する前記画素ごとの前記距離に関するデータを出力することと、
前記関心領域の判定結果に基づいて、関心領域以外の領域に属する電源部をオフ制御すること、及び前記関心領域に対応する前記電気信号を入力するように前記測距処理部を制御することの少なくとも一方を実行することと、を含む、
距離測定方法。 The light receiving unit provided with a plurality of pixels arranged in a matrix and each having a light receiving element receives the reflected light from the target area, converts it into an electric signal, and outputs it.
In the image pickup frame formed by the plurality of pixels, distance measurement processing for calculating the distance to the region of interest in the image pickup frame is executed based on the electric signal output for each pixel by the distance measurement processing unit. To do and
To output data regarding the distance for each pixel with respect to the imaging frame,
Based on the determination result of the region of interest, the power supply unit belonging to the region other than the region of interest is controlled to be turned off, and the distance measuring processing unit is controlled so as to input the electric signal corresponding to the region of interest. To do at least one, including,
Distance measurement method.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020039697A JP7382858B2 (en) | 2020-03-09 | 2020-03-09 | Distance sensor |
PCT/JP2021/001281 WO2021181868A1 (en) | 2020-03-09 | 2021-01-15 | Distance sensor and distance measurement method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020039697A JP7382858B2 (en) | 2020-03-09 | 2020-03-09 | Distance sensor |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021139836A true JP2021139836A (en) | 2021-09-16 |
JP7382858B2 JP7382858B2 (en) | 2023-11-17 |
Family
ID=77669499
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020039697A Active JP7382858B2 (en) | 2020-03-09 | 2020-03-09 | Distance sensor |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7382858B2 (en) |
WO (1) | WO2021181868A1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023108937A (en) * | 2022-01-26 | 2023-08-07 | ソニーセミコンダクタソリューションズ株式会社 | Distance measurement device and control method for distance measurement device |
WO2024095626A1 (en) * | 2022-10-31 | 2024-05-10 | ソニーセミコンダクタソリューションズ株式会社 | Ranging device |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013046232A (en) * | 2011-08-24 | 2013-03-04 | Nippon Hoso Kyokai <Nhk> | Solid-state image pickup device |
JP2016161438A (en) * | 2015-03-03 | 2016-09-05 | 株式会社デンソー | Arithmetic unit |
JP2017173298A (en) * | 2016-03-16 | 2017-09-28 | 株式会社リコー | Object detection device and mobile entity device |
JP2018205288A (en) * | 2017-05-31 | 2018-12-27 | ソニーセミコンダクタソリューションズ株式会社 | Distance measurement device, distance measurement method, and program |
US10445896B1 (en) * | 2016-09-23 | 2019-10-15 | Apple Inc. | Systems and methods for determining object range |
-
2020
- 2020-03-09 JP JP2020039697A patent/JP7382858B2/en active Active
-
2021
- 2021-01-15 WO PCT/JP2021/001281 patent/WO2021181868A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013046232A (en) * | 2011-08-24 | 2013-03-04 | Nippon Hoso Kyokai <Nhk> | Solid-state image pickup device |
JP2016161438A (en) * | 2015-03-03 | 2016-09-05 | 株式会社デンソー | Arithmetic unit |
JP2017173298A (en) * | 2016-03-16 | 2017-09-28 | 株式会社リコー | Object detection device and mobile entity device |
US10445896B1 (en) * | 2016-09-23 | 2019-10-15 | Apple Inc. | Systems and methods for determining object range |
JP2018205288A (en) * | 2017-05-31 | 2018-12-27 | ソニーセミコンダクタソリューションズ株式会社 | Distance measurement device, distance measurement method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP7382858B2 (en) | 2023-11-17 |
WO2021181868A1 (en) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021181868A1 (en) | Distance sensor and distance measurement method | |
WO2020145035A1 (en) | Distance measurement device and distance measurement method | |
CN203775318U (en) | Ultraviolet focal plane readout circuit based on pixel-level analog-to-digital conversion | |
CN103856730A (en) | Ultraviolet focal plane readout circuit and method based on pixel level analog-to-digital conversion | |
CN210166496U (en) | Time measuring device | |
US20220146648A1 (en) | Distance measuring device, method for controlling distance measuring device, and electronic device | |
WO2022085555A1 (en) | Photoelectric conversion device and photoelectric conversion system | |
JP7426339B2 (en) | Imaging device, solid-state imaging device used therein, and imaging method | |
US20220003876A1 (en) | Distance image obtaining method and distance detection device | |
US10818471B2 (en) | Charged particle beam device | |
JP2003247809A (en) | Distance information input device | |
EP4053501A1 (en) | Object recognition system, signal processing method for object recognition system, and electronic device | |
US20210011167A1 (en) | Solid-state imaging device, solid-state imaging system, and method of driving the solid-state imaging device | |
CN114829969A (en) | Time-of-flight sensor, time-of-flight system and system | |
US20230122042A1 (en) | Device, system, mobile object, and apparatus | |
JP6485675B1 (en) | Solid-state imaging device and imaging device including the same | |
US20220011437A1 (en) | Distance measuring device, distance measuring system, distance measuring method, and non-transitory storage medium | |
WO2021187124A1 (en) | Imaging with ambient light subtraction | |
US8614411B2 (en) | 2D/3D dual-mode image sensing circuitry with a pull-down unit | |
US20240168161A1 (en) | Ranging device, signal processing method thereof, and ranging system | |
US20240210534A1 (en) | Photoelectric conversion device and signal processing device | |
US12058462B2 (en) | Image capturing apparatus | |
WO2021181882A1 (en) | Imaging device and imaging method | |
WO2021187127A1 (en) | Imaging with ambient light subtraction | |
US20220115366A1 (en) | Photoelectric conversion apparatus, photo-detection system, and movable body |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230929 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231010 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231107 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7382858 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |