ES2746248B2 - METHOD AND DEVICE FOR DETECTING THE PEAK OF THE COMPRESSED HISTOGRAM OF PIXEL VALUES IN HIGH RESOLUTION TIME-OF-FLIGHT SENSORS - Google Patents
METHOD AND DEVICE FOR DETECTING THE PEAK OF THE COMPRESSED HISTOGRAM OF PIXEL VALUES IN HIGH RESOLUTION TIME-OF-FLIGHT SENSORS Download PDFInfo
- Publication number
- ES2746248B2 ES2746248B2 ES201830870A ES201830870A ES2746248B2 ES 2746248 B2 ES2746248 B2 ES 2746248B2 ES 201830870 A ES201830870 A ES 201830870A ES 201830870 A ES201830870 A ES 201830870A ES 2746248 B2 ES2746248 B2 ES 2746248B2
- Authority
- ES
- Spain
- Prior art keywords
- histogram
- value
- bits
- values
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Measurement Of Optical Distance (AREA)
Description
DESCRIPCIÓNDESCRIPTION
MÉTODO Y DISPOSITIVO DE DETECCIÓN DE PICO DEL HISTOGRAMA HISTOGRAM PEAK DETECTION METHOD AND DEVICE
COMPRIMIDO DE LOS VALORES DE PÍXEL EN SENSORES DE TIEMPO DE COMPRESSED PIXEL VALUES IN TIME SENSORS OF
VUELO DE ALTA RESOLUCIÓNHIGH RESOLUTION FLIGHT
OBJETO DE LA INVENCIÓNOBJECT OF THE INVENTION
El objeto de la invención se enmarca en el campo técnico de la física.The object of the invention is framed in the technical field of physics.
Más concretamente el objeto de la invención va dirigido a sensores de tiempo de vuelo (denominados asimismo ToF por sus siglas en inglés), capaces de generar imágenes 3D, mediante la detección de eventos de incidencia de un único fotón.More specifically, the object of the invention is directed to time-of-flight sensors (also known as ToF for its acronym in English), capable of generating 3D images, by detecting events of incidence of a single photon.
ANTECEDENTES DE LA INVENCIÓNBACKGROUND OF THE INVENTION
Los sensores de tiempo de vuelo, capaces de generar imágenes 3D mediante la detección de eventos de incidencia de un único fotón, hacen una estimación directa de la distancia a la que se encuentran los objetos que componen la escena. Mediante una luz pulsada se miden los tiempos que tardan los fotones en recorrer el espacio que separa la fuente luminosa y el sensor de dichos objetos, mientras que mediante una medida indirecta se establecen diferentes periodos de integración de carga de manera sincronizada con los pulsos de luz y luego se correlacionan las cargas acumuladas para obtener una estimación del tiempo de vuelo. En la medida directa se trata de detectar el momento en el que llegan los primeros fotones reflejados. Dado que la llegada de los fotones al sensor está sujeta a la estadística de la transmisión y reflexión de la luz en la óptica del sistema, la eficiencia en la detección de fotones del diodo de avalancha y la probabilidad de que se inicie dicha avalancha, se puede establecer que se trata de un fenómeno estadístico que además se ve afectado por las avalanchas espurias generadas por otros mecanismos y por la incidencia de fotones provenientes de la iluminación de background. Para tratar de separar la información relevante del ruido es necesario tomar un número importante de medidas y realizar un filtrado apropiado de las mismas que mejore la relación señal-ruido.The time-of-flight sensors, capable of generating 3D images by detecting the incident events of a single photon, make a direct estimate of the distance at which the objects that make up the scene are located. By means of a pulsed light, the times it takes for the photons to travel the space that separates the light source and the sensor from said objects are measured, while an indirect measurement establishes different periods of charge integration in a synchronized way with the light pulses. and then the accumulated loads are correlated to obtain an estimate of the flight time. In direct measurement, it is about detecting the moment when the first reflected photons arrive. Since the arrival of the photons to the sensor is subject to the statistics of the transmission and reflection of light in the optics of the system, the efficiency in the detection of photons of the avalanche diode and the probability that the avalanche starts, it is can establish that it is a statistical phenomenon that is also affected by spurious avalanches generated by other mechanisms and by the incidence of photons from background lighting. To try to separate the relevant information from the noise, it is necessary to take a significant number of measurements and perform an appropriate filtering of them to improve the signal-to-noise ratio.
Los sensores de imagen CMOS de tiempo de vuelo basados en detección de fotones individuales mediante, por ejemplo, diodos de avalancha (SPAD), requiere el filtrado de las lecturas que se obtienen de los píxeles. Para obtener una estimación precisa de la profundidad, teniendo en cuenta que la detección de fotones es un fenómeno estadístico sujeto a la eficiencia cuántica en la de detección del fotón y a la probabilidad de generación de la avalancha, es necesario realizar un cierto número de medidas. Además, se hace necesario separar de manera efectiva los datos que realmente dan una medida del ToF del ruido no correlacionado correspondiente a las cuentas a oscuras y a la iluminación de fondo, que aparecen superpuestos en el valor del píxel.Time-of-flight CMOS image sensors based on detection of individual photons by, for example, avalanche diodes (SPAD), require filtering of the readings that are obtained from the pixels. In order to obtain an accurate estimate of the depth, taking into account that the detection of photons is a statistical phenomenon subject to the quantum efficiency in the detection of the photon and the probability of generation of the avalanche, it is necessary to carry out a certain number of measurements. In addition, it is necessary to effectively separate the data that actually gives a measure of the ToF of the uncorrelated noise corresponding to the dark counts and the backlight, which appear superimposed on the pixel value.
Una herramienta muy útil para esta separación es la construcción de un histograma a partir de un número de lecturas de cada uno de los píxeles. Las futuras generaciones de sensores de tiempo de vuelo tendrán una mayor resolución espacial y temporal, al mismo tiempo que un mayor rango dinámico y una mayor velocidad de refresco. En estas circunstancias, almacenar el histograma completo para cada píxel se vuelve prácticamente imposible.A very useful tool for this separation is the construction of a histogram from a number of readings of each of the pixels. Future generations of time-of-flight sensors will have higher spatial and temporal resolution, as well as greater dynamic range and higher refresh rates. In these circumstances, storing the complete histogram for each pixel becomes practically impossible.
Las técnicas conocidas en el estado del arte se basan en algoritmos tales como la técnica STG (siglas de su denominación anglosajona Scanning Time Gated) que consiste en barrer una puerta pequeña de tiempo en todo el rango dinámico y buscar la información ToF en cada paso construyendo histogramas parciales. El número de pasos es proporcional al rango dinámico (DR por su denominación anglosajona dynamic range) dividido por la ventana de tiempo (TG por su denominación anglosajona time gate) e inversamente proporcional a la velocidad de cuadro.The techniques known in the state of the art are based on algorithms such as the STG technique (acronym of its Anglo-Saxon name Scanning Time Gated), which consists of sweeping a small time gate throughout the dynamic range and searching for ToF information in each step constructing partial histograms. The number of steps is proportional to the dynamic range (DR for its Anglo-Saxon name dynamic range) divided by the time window (TG for its Anglo-Saxon name time gate) and inversely proportional to the frame rate.
La técnica referida a la radiación de luz óptica desplazada consiste en la exploración de todo el rango dinámico donde el escaneo se realiza desplazando el pulso de luz en lugar de la TG de adquisición. Se produce un histograma en cada paso del escaneo. Todos los histogramas se combinan en un procesador para obtener el histograma final.The technique referred to the displaced optical light radiation consists of the exploration of the entire dynamic range where the scan is performed by displacing the light pulse instead of the acquisition TG. A histogram is produced at each step of the scan. All histograms are combined in a processor to obtain the final histogram.
Otra técnica conocida es la construcción completa de histogramas que implica la construcción directa de histogramas basada en muestras ToF.Another known technique is full histogram construction which involves direct construction of histograms based on ToF samples.
De igual manera, se tiene constancia del documento US20170052065A1 en el cual se describe la técnica STG (Scanning Time Gated) en la cual durante una ventana de tiempo (TG) se barre en todo el rango dinámico (DR), construyéndose un histograma grueso (CH) para cada posición de la TG, es decir, se tienen un número de histogramas NCH = DR / TG; lo cual es equivalente a prácticamente dividir el histograma completo correspondiente a todo el rango dinámico en particiones NCH, de hecho, se requiere un NCH más grande debido a la superposición de TGs consecutivas para evitar los efectos de borde. Cuanto más largo es el rango dinámico, mayor es el NCH, lo que significa una menor velocidad de cuadros. Esto sucede porque todos los histogramas parciales deben evaluarse para decidir dónde se encuentran los datos ToF verdaderos. Sin embargo, esta metodología STG es susceptible a detecciones positivas falsas, especialmente para bajos Signal Noise Ratio del ToF. Asimismo, en STG, la TG se coloca en la ubicación de verdadero ToF y un histograma final se construye a partir de más medidas. Sin la superposición de ventana de tiempo las técnicas basadas en STG se ven afectada por los efectos de borde.Similarly, there is evidence of document US20170052065A1 in which the STG ( Scanning Time Gated ) technique is described in which during a time window (TG) the entire dynamic range (DR) is scanned, building a histogram thick (CH) for each position of the TG, that is, there are a number of histograms NCH = DR / TG; which is equivalent to practically dividing the entire histogram corresponding to the entire dynamic range into NCH partitions, in fact, a larger NCH is required due to the overlapping of consecutive TGs to avoid edge effects. The longer the dynamic range, the higher the NCH, which means a lower frame rate. This happens because all partial histograms must be evaluated to decide where the true ToF data is. However, this STG methodology is susceptible to false positive detections, especially for low Signal Noise Ratio of ToF. Also, in STG, the TG is placed at the true ToF location and a final histogram is constructed from more measurements. Without the time window overlap, STG-based techniques are affected by edge effects.
En US20170003382A1 se detalla un método de preparación de histogramas de una señal de sensor a partir de una matriz de sensores, en particular sensores de proximidad, y el dispositivo correspondiente. Más concretamente se detalla un escaneo como el citado en US20170052065A1, pero en lugar de explorar la ventana de tiempo en todo el rango dinámico, la exploración se lleva a cabo desplazando el pulso óptico; esta metodología descrita en US20170003382A1 tiene una limitación inherente adicional, y es aquella relacionada con la velocidad de cuadros.In US20170003382A1 a method of preparing histograms of a sensor signal from an array of sensors, in particular proximity sensors, and the corresponding device is detailed. More specifically, a scan like the one cited in US20170052065A1 is detailed, but instead of exploring the time window in the entire dynamic range, the scan is carried out by shifting the optical pulse; This methodology described in US20170003382A1 has an additional inherent limitation, and it is that related to the frame rate.
En EP2469301A1 se describe cómo generar una representación de una escena en 3D a muy alta velocidad empleando una técnica de exploración progresiva. Además de comprender dos fases, es decir gruesa y fina, se divulga la estimación de ToF basada en la adquisición de modo de ráfaga que involucra detectores paralelos acoplados a difusores de luz, referencias de reloj de 10 GHz, pulsos de láser ultracortos y promediado de tiempo. La aproximación se basa en la exploración progresiva; con la distancia aproximada ya conocida, los circuitos de procesamiento de datos pueden determinar de qué pulso resulta un determinado recuento de fotones, aunque esta configuración normalmente se ve afectada por errores de ambigüedad. Se usan múltiples SPAD en paralelo con el difusor para evitar el tiempo muerto del detector.EP2469301A1 describes how to generate a representation of a 3D scene at very high speed using a progressive scan technique. In addition to comprising two phases, i.e. coarse and fine, ToF estimation based on burst mode acquisition involving parallel detectors coupled to light diffusers, 10 GHz clock references, ultrashort laser pulses and averaging of weather. The approach is based on progressive scan; With the approximate distance already known, data processing circuitry can determine from which pulse a given photon count results, although this configuration is normally affected by errors of ambiguity. Multiple SPADs are used in parallel with the diffuser to avoid detector dead time.
En US20150041625A1 se detalla un método de construcción de histograma mediante un enfoque directo (llamando directo al histograma), sin involucrar ningún procesamiento del histograma; como ya es sabido la implementación directa del histograma completo no es adecuada para matrices de gran tamaño, ToF de alta resolución y amplio rango dinámico (~ 300ns) debido a los grandes requisitos de memoria. Si bien se detalla una compresión de datos en este documento se refiere siempre a la construcción completa de histogramas completos, lo cual es altamente ineficiente aumentando las limitaciones en el rango dinámico de ToF, es decir, el área del histograma escala por 2AN, donde N es el número de bits ToF. Además, cada canal del histograma tiene que implementarse mediante un contador para detección de eventos múltiples, lo cual es aún más ineficiente. Una implementación alternativa referida en US20150041625A1 se realiza con un convertidor paralelo de código termométrico a binario y celdas sumadoras. En ambos casos, este enfoque no puede aplicarse para un rango dinámico alto debido a las limitaciones de tamaño de memoria.In US20150041625A1 a histogram construction method is detailed using a direct approach (calling the histogram direct), without involving any histogram processing; As is already known, the direct implementation of the Full histogram is not suitable for large arrays, high resolution ToF, and wide dynamic range (~ 300ns) due to large memory requirements. Although a data compression is detailed in this document, it always refers to the complete construction of complete histograms, which is highly inefficient by increasing the limitations on the dynamic range of ToF, that is, the area of the histogram scaled by 2AN, where N is the number of bits ToF. Also, each channel of the histogram has to be implemented by a counter for multiple event detection, which is even more inefficient. An alternative implementation referred to in US20150041625A1 is done with a parallel thermometric to binary code converter and summing cells. In both cases, this approach cannot be applied for high dynamic range due to memory size limitations.
US006504954B1 detalla tanto un método como un aparato de especificación de histograma lineal a intervalos cerrados por partes; es decir describe una invención relacionada con los sistemas y métodos que implementan el procesamiento de especificación de histograma lineal por partes y se emplea en electrónica de procesamiento de video de infrarrojos (FLIR); más concretamente el objeto de la invención descrita está específicamente diseñado para procesamiento de video e imágenes en 2D. En US006504954B1 se trabaja entre una representación interna de alto rango dinámico de la señal de video y una representación de rango dinámico inferior adecuada para mostrar en un monitor monocromático, teniendo como aplicación principal la mejora de contraste y la conversión de rango dinámico en los procesadores de video. El sistema y los métodos descritos en US006504954B1 utilizan una función de transferencia lineal a tramos acoplada con una colección de histogramas gruesos para reducir el ancho de banda en comparación con el método de histograma convencional; lo cual implica que también se requiere un algoritmo de ciclo cerrado para lograr un histograma grueso especificado, teniendo un número de bandejas en el histograma grueso igual al número de segmentos linealizados a tramos. La linealización a tramos descrita en US006504954B1 se usa para reducir los datos de entrada digital de manera que se pueda construir un histograma grueso, el cual tiene el mismo número de intervalos que el número de segmentos linealizados a tramos, es decir, menos intervalos que el método del histograma convencional; sin embargo, la construcción del histograma es convencional. La compresión de los datos de entrada se basa en el método de linealización a tramos. US006504954B1 details both a method and an apparatus for specifying a piecewise closed interval linear histogram; that is, it describes an invention related to systems and methods that implement piecewise linear histogram specification processing and is employed in infrared video processing electronics (FLIR); more specifically, the object of the invention described is specifically designed for 2D video and image processing. In US006504954B1 it works between an internal representation of high dynamic range of the video signal and a representation of lower dynamic range suitable for displaying on a monochrome monitor, having as its main application contrast enhancement and dynamic range conversion in video processors. video. The system and methods described in US006504954B1 use a piecewise linear transfer function coupled with a collection of thick histograms to reduce bandwidth compared to the conventional histogram method; which implies that a closed loop algorithm is also required to achieve a specified thick histogram, having a number of trays in the thick histogram equal to the number of piecewise linearized segments. The piecewise linearization described in US006504954B1 is used to reduce the digital input data so that a thick histogram can be constructed, which has the same number of intervals as the number of piecewise linearized segments, that is, fewer intervals than the conventional histogram method; however, the construction of the histogram is conventional. Compression of the input data is based on the piecewise linearization method.
DESCRIPCIÓN DE LA INVENCIÓNDESCRIPTION OF THE INVENTION
El objeto de la invención, tanto en su aspecto relacionado con el método como el aspecto referido al sistema, está concebido para la realización práctica de este filtrado, en concreto la detección del pico del histograma formado por todas las medidas del tiempo de vuelo obtenidas para cada píxel. Se trata de un constructor de histograma comprimido que opera con una cantidad de memoria reducida mediante una aproximación grueso-fino que permite descartar la memorización de aquellas zonas del histograma que no contienen información relevante. Como resultado de esta simplificación, es posible implementar un canal de procesamiento de las lecturas generadas en cada píxel en tiempo real, lo que permitiría obtener la imagen 3D filtrada en tiempo real. Por lo tanto, el objeto de la invención propuesta se basa en un enfoque totalmente diferente de construir un histograma comprimido como los conocidos en el arte previo; más concretamente la invención propuesta se basa en el cambio de histogramas que hace un zoom directamente en el histograma completo e implica que no se hace necesario utilizar el escaneo, lo cual es una gran ventaja desde el punto de vista de la velocidad; por ejemplo, en lugar de adquirir N histogramas groseros CH, p. ej. 81, se requiere solo un histograma. Además, el objeto de la invención es más preciso y mucho más rápido que, por ejemplo, aquellas técnicas conocidas basadas en el conteo de fotones en TG escaneados; a modo de ejemplo el objeto de la invención requiere solo un CH, sin importar el rango dinámico.The object of the invention, both in its aspect related to the method and the aspect related to the system, is conceived for the practical realization of this filtering, specifically the detection of the peak of the histogram formed by all the measurements of the flight time obtained for each pixel. It is a compressed histogram constructor that operates with a reduced amount of memory through a coarse-fine approximation that makes it possible to discard the memorization of those areas of the histogram that do not contain relevant information. As a result of this simplification, it is possible to implement a processing channel of the readings generated in each pixel in real time, which would allow obtaining the filtered 3D image in real time. Therefore, the object of the proposed invention is based on a totally different approach of constructing a compressed histogram as known in the prior art; more specifically, the proposed invention is based on the change of histograms that zooms directly into the entire histogram and implies that it is not necessary to use scanning, which is a great advantage from the point of view of speed; for example, instead of acquiring N coarse histograms CH, p. ex. 81, only one histogram is required. Furthermore, the object of the invention is more precise and much faster than, for example, those known techniques based on the counting of photons in scanned TG; by way of example, the object of the invention requires only one CH, regardless of the dynamic range.
El objeto de la invención contempla la posibilidad de trabajar con lecturas del tiempo de vuelo de hasta 15 bits, lo que permite que se aplique a sensores de imagen de tiempo de vuelo de futuras generaciones en las que puede anticiparse un aumento de la resolución temporal y espacial, y un aumento del rango dinámico y de la frecuencia de refresco de la imagen.The object of the invention contemplates the possibility of working with time-of-flight readings of up to 15 bits, which allows it to be applied to time-of-flight image sensors of future generations in which an increase in temporal resolution can be anticipated and space, and an increase in the dynamic range and refresh rate of the image.
El objeto de la invención permite, teniendo en cuenta que la mayor parte de la información contenida en el histograma corresponde al nivel de ruido, almacenar de manera eficiente sólo aquellos datos, considerados relevantes, necesarios para el cálculo del tiempo de vuelo (ToF por sus siglas en inglés).The object of the invention allows, taking into account that most of the information contained in the histogram corresponds to the noise level, to efficiently store only those data, considered relevant, necessary for the calculation of the flight time (ToF for its acronym in English).
El objeto de la invención emplea la conversión fina simplemente acercando el histograma completo, centrado en los datos de ToF. Esta técnica permite la construcción de, por ejemplo, solo 2 histogramas en lugar de al menos 82 para el enfoque de barrido (81 CH 1 histograma final). Consecuentemente, un aumento del rango dinámico no implica una disminución de la velocidad de cuadro como ocurre en todos los métodos de escaneo conocidos, permitiendo el número variable de bits ToF utilizando el mismo hardware: lo cual implica una gran ventaja para los lectores de imágenes de frecuencia de fotogramas adaptativos. El objeto de la invención tiene especial aplicación en implementaciones con ratio señal ruido bajo, que puede darse en aplicaciones LiDAR con iluminación de fondo alta.The object of the invention employs fine conversion by simply zooming in on the entire histogram, centered on the ToF data. This technique allows the construction of, for example, only 2 histograms instead of at least 82 for the sweep focus (81 CH 1 final histogram). Consequently, an increase in dynamic range does not imply a decrease in frame rate as occurs in all known scanning methods, allowing the variable number of ToF bits using the same hardware: which implies a great advantage for image readers of adaptive frame rate. The object of the invention has a special application in implementations with a low signal-to-noise ratio, which can occur in LiDAR applications with high background illumination.
El método objeto de un primer aspecto de la invención permite llevar a cabo la extracción del valor que más se repite en un histograma (formado por las estimaciones del tiempo de vuelo de la luz medido por un píxel basado en SPADs. Este objeto de la invención explota el hecho de que el ruido descorrelacionado está distribuido de manera uniforme por todo el histograma y que la información relevante se va concentrar alrededor del valor de pico, por lo que no es necesario almacenar el histograma completo.The method object of a first aspect of the invention allows to carry out the extraction of the value that is repeated the most in a histogram (formed by estimates of the time of flight of light measured by a pixel based on SPADs. This object of the invention exploits the fact that the de-correlated noise is evenly distributed throughout the histogram and that the relevant information will be concentrated around the peak value, so there is no need to store the entire histogram.
Para ello, se procede a desplazar los valores hacia la zona más interesante del histograma, a la cual le aplicamos el análisis (detección del valor más frecuente) que antes se realizaba sobre el histograma completo. Es decir, se puede hacer uso de un histograma de los datos de cada píxel en los cuadros intermedios desplazado a la zona de mayor probabilidad de detección del fotón, con lo cual se requiere una memoria que es 128 veces más pequeña que la que sería necesaria para almacenar el histograma completo. De hecho, con una memoria de 2E+08 bits sería suficiente para procesar un histograma que originalmente contuviera 2E+15 segmentos mientras que la frecuencia de refresco global disminuiría sólo a la mitad.To do this, the values are moved to the most interesting area of the histogram, to which we apply the analysis (detection of the most frequent value) that was previously performed on the complete histogram. That is, you can make use of a histogram of the data of each pixel in the intermediate frames shifted to the area with the highest probability of detection of the photon, which requires a memory that is 128 times smaller than what would be necessary. to store the entire histogram. In fact, with a memory of 2E + 08 bits it would be enough to process a histogram that originally contained 2E + 15 segments while the overall refresh rate would only decrease by half.
En un segundo aspecto del objeto de la invención se tiene un dispositivo referido a una posible implementación hardware del método del primer aspecto de la invención, como puede ser una implementación en un chip tal como un FPGA o un circuito específico. La implementación propuesta como este segundo aspecto de la invención puede venir dada por la incorporación de un circuito para extraer el valor de ToF del histograma en tiempo real, tal como justo al final de la fase de adquisición, el ToF está disponible de inmediato, sin requerir procesamiento adicional. In a second aspect of the object of the invention there is a device related to a possible hardware implementation of the method of the first aspect of the invention, such as an implementation on a chip such as an FPGA or a specific circuit. The implementation proposed as this second aspect of the invention can be given by the incorporation of a circuit to extract the value of ToF from the histogram in real time, such as just at the end of the acquisition phase, the ToF is available immediately, without require additional processing.
DESCRIPCIÓN DE LOS DIBUJOSDESCRIPTION OF THE DRAWINGS
Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características de la invención, de acuerdo con un ejemplo preferente de realización práctica de la misma, se acompaña como parte integrante de dicha descripción, un juego de dibujos en donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente:To complement the description that is being made and in order to help a better understanding of the characteristics of the invention, according to a preferred example of a practical embodiment thereof, a set of drawings is attached as an integral part of said description. where, with an illustrative and non-limiting nature, the following has been represented:
Figura 1.- Muestra los tres tipos de histogramas de los que se habla en el texto: el histograma completo (6), el histograma grueso (7) y el histograma fino (10) así como un zoom del histograma completo (6). Estos histogramas contienen medidas obtenidas por un único píxel.Figure 1.- Shows the three types of histograms discussed in the text: the full histogram (6), the thick histogram (7) and the fine histogram (10) as well as a zoom of the full histogram (6). These histograms contain measurements obtained by a single pixel.
Figura 2.- Muestra un diagrama de flujo del algoritmo con un bucle para la detección de la posición del pico del histograma grueso (7) a la izquierda y un bucle para la detección de la posición del pico del histograma fino (10) a la derecha.Figure 2.- Shows a flow diagram of the algorithm with a loop for detecting the position of the peak of the thick histogram (7) on the left and a loop for detecting the position of the peak of the thin histogram (10) at the left. right.
Figura 3.- Muestra un diagrama donde se aprecian los distintos bloques de la implementación física del objeto de la invención definida como un segundo aspecto de la misma. El diagrama mostrado corresponde a Nv = 15, Nh = 10 y Nb = 8.Figure 3.- Shows a diagram showing the different blocks of the physical implementation of the object of the invention defined as a second aspect thereof. The diagram shown corresponds to Nv = 15, Nh = 10 and Nb = 8.
Figura 4.- Muestra un diagrama esquemático de la estructura interna del detector de la posición del pico.Figure 4.- Shows a schematic diagram of the internal structure of the peak position detector.
Figura 5.- Muestra un diagrama que representa la estructura interna del filtro digital.Figure 5.- Shows a diagram that represents the internal structure of the digital filter.
REALIZACIÓN PREFERENTE DE LA INVENCIÓNPREFERRED EMBODIMENT OF THE INVENTION
En una posible realización preferente del objeto de la invención se parte de la premisa de que un histograma completo (6) (como el que se aprecia en la figura 1) formado por un cierto número de estimaciones del tiempo de vuelo ToF en un píxel con un SPAD comprende dos elementos fundamentales:In a possible preferred embodiment of the object of the invention, the premise is that a complete histogram (6) (as shown in figure 1) formed by a certain number of estimates of the time of flight ToF in a pixel with A SPAD comprises two fundamental elements:
• Una campana de Gauss (4) que codifica el valor del ToF en la posición del valor máximo de dicha campana de Gauss (4), y el jitter del propio SPAD y del TDC combinados, en su desviación típica. • A Gaussian bell (4) that encodes the ToF value at the position of the maximum value of said Gaussian bell (4), and the jitter of the SPAD itself and the TDC combined, in their standard deviation.
• Un umbral de ruido (5) que contiene todas las medidas que no están correlacionadas con la llegada de los fotones de la fuente pulsada reflejados por los objetos de la escena.• A noise threshold (5) that contains all measurements that are not correlated with the arrival of photons from the pulsed source reflected by objects in the scene.
Puede entenderse que no es necesario almacenar todas las muestras que definen este umbral de ruido (5), dado que contienen información redundante acerca de la cantidad de ocasiones en las que se dispara una avalancha espuria. De hecho, sólo un reducido número de barras del histograma contienen información relevante.It can be understood that it is not necessary to store all the samples that define this noise threshold (5), since they contain redundant information about the number of times a spurious avalanche is fired. In fact, only a small number of bars in the histogram contain relevant information.
Consideremos que 2Nb barras son suficientes para esta labor, con independencia del número de bits empleados para codificar el valor del píxel (Np). La clave está en encontrar el modo de hacer zoom en el histograma completo de modo que la campana de Gauss (4) antes mencionada se encuentre centrada en un histograma de sólo 2Nb barras. Let us consider that 2Nb bars are sufficient for this task, regardless of the number of bits used to encode the pixel value ( Np). The key is to find a way to zoom the entire histogram so that the Gaussian bell (4) mentioned above is centered on a histogram of only 2Nb bars.
El método propuesto consiste en la generación de un histograma grueso (7) y un histograma fino (10), cada uno de ellos preferentemente de 2Nb barras, para lo que necesitaremos una memoria de 2Nb ■ Nh bits. En la práctica, si tomamos Nb = 8, vamos a poder calcular histogramas de ToF on-the-fly de sensores que generan valores de píxel con un Np de hasta 15 bits.The proposed method consists of generating a thick histogram (7) and a thin histogram (10), each of them preferably with 2Nb bars, for which we will need a memory of 2Nb ■ Nh bits. In practice, if we take Nb = 8, we will be able to calculate ToF on-the-fly histograms of sensors that generate pixel values with an Np of up to 15 bits.
El procedimiento que vamos a seguir está descrito por el diagrama de bloques de la figura 2. En primer lugar, generamos una aproximación grosera (grueso) de la posición del pico construyendo un histograma grueso (7) con los Nb bits más significativos del valor del píxel, tal y como se aprecia en la figura 1. Este histograma grueso (7) se obtiene filtrando las medidas del ToF eliminando los (Np - Nb) bits menos significativos y quedándonos únicamente con los Nb bits más significativos. De este histograma grueso (7) se obtiene la posición del pico, bMigrueso, mediante la detección de la medida de ToF que más se repite. Este procedimiento está descrito por el bucle de la izquierda del diagrama de la figura 2.The procedure that we are going to follow is described by the block diagram in figure 2. First, we generate a rough approximation (thick) of the peak position by constructing a thick histogram (7) with the Nb most significant bits of the value of the pixel, as can be seen in figure 1. This thick histogram (7) is obtained by filtering the ToF measurements by eliminating the least significant (Np - Nb) bits and leaving only the most significant Nb bits. From this thick histogram (7), the position of the peak, b Migrueso, is obtained by detecting the ToF measurement that repeats the most. This procedure is described by the loop on the left of the diagram in Figure 2.
A continuación, se obtiene el histograma fino (10), el cual se obtiene haciendo una segunda captura con los valores de pixel filtrado con umbrales TH+ y TH- que se refieren al histograma completo (6), con valores codificados en Nb bits. Este histograma fino (10) se obtiene en una segunda captura. A partir de valor bM grueso se calcula un umbral superior (8) y un umbral inferior (9) que se pueden identificar en la figura 1:Next, the fine histogram (10) is obtained, which is obtained by making a second capture with the filtered pixel values with TH + and TH- thresholds that refer to the complete histogram (6), with values encoded in Nb bits. This fine histogram (10) is obtained in a second capture. Starting from the gross bM value, calculates an upper threshold (8) and a lower threshold (9) that can be identified in figure 1:
TH+ = (2Np~Nb)bM,grueso 2Nb~1 - desfase TH + = (2 Np ~ Nb) bM, coarse 2Nb ~ 1 - phase shift
TH_ = (2Np~Nb)bM, g r ueso - 2N b ~ 1 - desfase TH_ = ( 2Np ~ Nb) bM, coarse - 2 N b ~ 1 - phase shift
Los umbrales (8,9), están referidos al rango del histograma completo (6). Los umbrales (8.9) permiten determinar si los valores de píxel que se están capturando para la generación del histograma fino (10) están dentro de una ventana de 2Nb niveles centrada alrededor del máximo del histograma completo (6). Si el valor de píxel no se encuentra entre los umbrales (8,9), se descarta, si se encuentra entre los umbrales (8.9) , se realiza un desplazamiento del valor del píxel con el fin de acomodar estos valores en un el histograma fino (10) con 2Nb niveles, es decir, cuyas barras se encuentran en posiciones codificadas por únicamente Nb bits. Este desplazamiento viene dado por:The thresholds (8,9) refer to the range of the complete histogram (6). The thresholds (8.9) allow to determine if the pixel values that are being captured for the generation of the fine histogram (10) are within a window of 2Nb levels centered around the maximum of the complete histogram (6). If the pixel value is not between the thresholds (8,9), it is discarded, if it is between the thresholds (8.9), a pixel value shift is performed in order to accommodate these values in a fine histogram (10) with 2Nb levels, that is, whose bars are in positions coded by only Nb bits. This displacement is given by:
A= 2Nb floor 
Este histograma fino (10) tendrá también un valor máximo, cuya posición es bMñno. Para determinar correctamente la posición de dicho máximo, habrá que desplazar este valor de bMñno, que está representado en un rango de Nb bits, al rango descrito por los Np bits originales del histograma completo (6), de modo que la posición del valor del pico que corresponde a la medida precisa del ToF es finalmente:This thin histogram (10) will also have a maximum value, whose position is bMñno. To correctly determine the position of said maximum, it will be necessary to shift this value of bMñno, which is represented in a range of Nb bits, to the range described by the original Np bits of the complete histogram (6), so that the position of the value of the peak that corresponds to the precise measurement of ToF is finally:
Bm = ^M, fino A Bm = ^ M, fine A
De este modo habremos obtenido el valor más repetido de un histograma de valores codificados por Np bits, con los recursos de memoria necesarios para obtener un histograma de valores codificados por únicamente Nb bits. Esta memoria la utilizaremos para obtener el histograma grueso (7) y acto seguido se procede a sobrescribir la misma para obtener el histograma fino (10). De este modo utilizaremos una memoria 2Np~Nb veces más reducida. In this way we will have obtained the most repeated value of a histogram of values encoded by Np bits, with the memory resources necessary to obtain a histogram of values encoded by only Nb bits. We will use this memory to obtain the thick histogram (7) and then proceed to overwrite it to obtain the thin histogram (10). In this way we will use a memory 2Np ~ Nb times smaller.
La implementación física del objeto de la invención consta de los bloques expuestos en la figura 3. En este diagrama, Np = 15, Nh = 10 y Nb = 8. Los bloques principales del diagrama son: un deserializador (11) preferentemente tipo SIPO de Np bits de entrada serial y salida paralela, un registro (12) preferentemente de tipo PIPO de entrada y salida paralelas de Np bits, un filtro digital (13), un multiplexor (14) con preferentemente dos entradas de Nb bits, una memoria (15) preferentemente tipo RAM estática y de Nh x 2Nb bits para el almacenamiento del histograma grueso (7) y el histograma fino (10), un registro (16) de Nh bits con aumento automático de 1 unidad, un circuito de detección del pico (17), un bloque algorítmico destinado a realizar sumas, restas multiplicaciones y divisiones, agrupados en los bloques Alg 1 (18), Alg2 (19) y Alg3 (20), y dos memorias (21,22) de Np bits respectivamente, para almacenar el valor del desplazamiento A y el valor final obtenido para el ToF del píxel.The physical implementation of the object of the invention consists of the blocks shown in figure 3. In this diagram, Np = 15, Nh = 10 and Nb = 8. The main blocks of the diagram are: a deserializer (11) preferably SIPO type of Np bits of serial input and parallel output, a register (12) preferably of the PIPO type with parallel input and output of Np bits, a digital filter (13), a multiplexer (14) with preferably two inputs of Nb bits, a memory ( 15) preferably static RAM type with Nh x 2Nb bits for storing the thick histogram (7) and the thin histogram (10), a Nh- bit register (16) with automatic increase of 1 unit, a peak detection circuit (17), an algorithmic block destined to carry out additions, subtractions, multiplications and divisions, grouped in the blocks Alg 1 (18), Alg2 (19) and Alg3 (20), and two memories (21,22) of Np bits respectively, to store the value of offset A and the final value obtained for the ToF of the pixel the.
Antes de procesar un nuevo trame se activa la señal RST_FR, con esto se resetea la memoria (15) y el circuito de detección del pico (17). Después de esto, el valor del primer píxel se hace llegar en serie bit a bit al deserializador (11). Cada Np periodos de reloj CLK, el contenido del deserializador (11) se transmite al registro (12) y por tanto ese valor tiene Np periodos de CLK para ser incorporado al histograma grueso (7) o histograma fino (10) según la fase del algoritmo, en la barra en la que le corresponde.Before processing a new trame the RST_FR signal, with this memory (15) and the detection circuit the peak (17) is reset is activated. After this, the value of the first pixel is sent serially bit by bit to the deserializer (11). Every Np CLK clock periods, the content of the deserializer (11) is transmitted to the register (12) and therefore this value has Np CLK periods to be incorporated into the thick histogram (7) or thin histogram (10) according to the phase of the algorithm, in the bar where it corresponds.
La primera fase para calcular el ToF es la construcción del histograma grueso. Para conseguir esto se selecciona primero una entrada AC de las entradas en el multiplexor (14), para, a continuación, leer el contenido de la dirección de la memoria (15) indicado por el valor ADDR, copiarlo en el registro (16) e incrementar su valor en 1 unidad. Si el valor que resulta es mayor que el almacenado de momento en el circuito de detección del pico (17), se guarda este valor resultante como el mayor valor máximo presente en el histograma grueso (7). Una vez que se resuelve el último valor de píxel, se habrá completado el histograma grueso (7). A partir de la position del valor de pico encontrado se generan los valores TH+ y TH_ que se utilizan dentro del filtro digital (13) mediante el bloque aritmético Alg 1 (18). También se procede a obtener el valor de A que se guarda en la memoria (21) que se aprecia en la figura 3. Conviene mencionar que la división realizada en el bloque algorítmico (19) se ha implementado de manera secuencial con el fin de reducir el área del módulo. The first phase to calculate the ToF is the construction of the thick histogram. To achieve this, first an AC input is selected from the inputs in the multiplexer (14), to then read the content of the memory address (15) indicated by the ADDR value, copy it into the register (16) and increase its value by 1 unit. If the resulting value is greater than the one currently stored in the peak detection circuit (17), this resulting value is saved as the highest maximum value present in the thick histogram (7). Once the last pixel value is resolved, the thick histogram (7) will have been completed. From the position of the peak value found, the TH + and TH_ values are generated that are used within the digital filter (13) by means of the Alg 1 arithmetic block (18). We also proceed to obtain the value of A that is stored in the memory (21) that can be seen in figure 3. It should be mentioned that the division carried out in the algorithmic block (19) has been implemented sequentially in order to reduce the module area.
Con el cálculo de los valores TH+, TH_ y A, que se realiza en Np x Tclk ciclos de reloj, se resetea la memoria (15), y el circuito detector del pico (17) que tiene un primer registro adicional (24) que guarda el pico actual del histograma grueso (7); un segundo registro adicional (25) que contiene el código en el que se encuentra el pico actual del histograma grueso (7); y un tercer registro adicional (26) destinado a retener el código en el que se encuentra el pico final del histograma grueso (7) durante la construcción del histograma fino (10).With the calculation of the values TH +, TH_ and A, which is carried out in Np x Tclk clock cycles, the memory (15) is reset, and the peak detector circuit (17) that has a first additional register (24) that saves the current peak of the coarse histogram (7); a second additional register (25) containing the code in which the current peak of the thick histogram (7) is found; and a third additional register (26) destined to retain the code in which the final peak of the thick histogram (7) is found during the construction of the thin histogram (10).
La segunda fase para calcular el ToF es la construcción del histograma fino. Cuando acaba la construcción del histograma grueso (7), el valor bM,grueso se guarda en un tercer registro adicional (26) con salida PNoCc. Este tercer registro adicional (26) se sobrescribe al final de la construcción del histograma grueso (7). A continuación del reseteo de la memoria (15) y del circuito de detección del pico (17), se habilita la operación del filtro digital (13), y la entrada SA en el multiplexor (14) y se procede a iniciar una segunda adquisición. El filtro digital (13) permite descartar aquellos valores de pixel que quedan por debajo de TH_ y por encima de TH+. Además, puesto que los valores de píxel que se están leyendo están descritos por Np bits, es necesario sustraer el valor de A, lo cual se realiza en un circuito restador (27) que se aprecia en la figura 5 que representa la estructura interna del filtro digital (13), y conservar sólo Nb bits, que al fin y al cabo serán los únicos que pueden ser diferentes del ruido. Este procedimiento se aprecia en el bucle de la derecha del diagrama de flujo de la figura 2.The second phase in calculating the ToF is the construction of the fine histogram. When the construction of the coarse histogram (7) is finished, the bM, coarse value is stored in an additional third register (26) with PNoCc output. This third additional register (26) is overwritten at the end of the construction of the thick histogram (7). After resetting the memory (15) and the peak detection circuit (17), the operation of the digital filter (13) is enabled, and the SA input in the multiplexer (14) and a second acquisition is started. . The digital filter (13) makes it possible to discard those pixel values that are below TH_ and above TH +. In addition, since the pixel values being read are described by Np bits, it is necessary to subtract the value of A, which is done in a subtractor circuit (27) that can be seen in figure 5, which represents the internal structure of the digital filter (13), and keep only Nb bits, which in the end will be the only ones that can be different from noise. This procedure can be seen in the loop on the right of the flow chart in Figure 2.
Finalmente, el valor del tiempo de vuelo, que corresponde a la posición del pico del histograma fino (10), se obtiene sumando el valor de A al valor encontrado en el segundo registro adicional (25) que es un registro con salida PNoCf, lo cual tiene lugar en un circuito sumador (23) como el que se aprecia la figura 3. Finally, the value of the flight time, which corresponds to the position of the peak of the fine histogram (10), is obtained by adding the value of A to the value found in the second additional record (25), which is a record with PNoCf output, which is which takes place in an adder circuit (23) like the one shown in figure 3.
Claims (5)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201830870A ES2746248B2 (en) | 2018-09-05 | 2018-09-05 | METHOD AND DEVICE FOR DETECTING THE PEAK OF THE COMPRESSED HISTOGRAM OF PIXEL VALUES IN HIGH RESOLUTION TIME-OF-FLIGHT SENSORS |
| PCT/ES2019/070586 WO2020049203A1 (en) | 2018-09-05 | 2019-09-04 | Method and device for detecting the peak of the compressed histogram of pixel values in high-resolution time-of-flight sensors |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201830870A ES2746248B2 (en) | 2018-09-05 | 2018-09-05 | METHOD AND DEVICE FOR DETECTING THE PEAK OF THE COMPRESSED HISTOGRAM OF PIXEL VALUES IN HIGH RESOLUTION TIME-OF-FLIGHT SENSORS |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| ES2746248A1 ES2746248A1 (en) | 2020-03-05 |
| ES2746248B2 true ES2746248B2 (en) | 2021-08-05 |
Family
ID=68424918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES201830870A Active ES2746248B2 (en) | 2018-09-05 | 2018-09-05 | METHOD AND DEVICE FOR DETECTING THE PEAK OF THE COMPRESSED HISTOGRAM OF PIXEL VALUES IN HIGH RESOLUTION TIME-OF-FLIGHT SENSORS |
Country Status (2)
| Country | Link |
|---|---|
| ES (1) | ES2746248B2 (en) |
| WO (1) | WO2020049203A1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11885915B2 (en) | 2020-03-30 | 2024-01-30 | Stmicroelectronics (Research & Development) Limited | Time to digital converter |
| US12032065B2 (en) | 2020-06-10 | 2024-07-09 | Samsung Electronics Co., Ltd. | System and method for histogram binning for depth detection |
| CN113514842A (en) * | 2021-03-08 | 2021-10-19 | 奥诚信息科技(上海)有限公司 | Distance measuring method, system and device |
| US12105224B2 (en) | 2022-01-11 | 2024-10-01 | Samsung Electronics Co., Ltd | LiDAR adaptive single-pass histogramming for low power LiDAR system |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6504954B1 (en) | 1999-02-05 | 2003-01-07 | Raytheon Company | Closed loop piecewise-linear histogram specification method and apparatus |
| DE10206173B4 (en) * | 2002-02-14 | 2006-08-31 | Bruker Daltonik Gmbh | High-resolution detection for time-of-flight mass spectrometers |
| US7705314B2 (en) * | 2006-06-06 | 2010-04-27 | General Electric Company | Method and apparatus for PET time of flight generation of compression sinogram and image reconstruction |
| EP2469301A1 (en) | 2010-12-23 | 2012-06-27 | André Borowski | Methods and devices for generating a representation of a 3D scene at very high speed |
| GB2520232A (en) | 2013-08-06 | 2015-05-20 | Univ Edinburgh | Multiple Event Time to Digital Converter |
| JP6443132B2 (en) * | 2015-03-03 | 2018-12-26 | 株式会社デンソー | Arithmetic unit |
| FR3038433A1 (en) | 2015-07-02 | 2017-01-06 | Stmicroelectronics (Grenoble 2) Sas | METHOD FOR PRODUCING HISTOGRAMS OF A SIGNAL OF SENSORS FROM A SENSOR MATRIX, PARTICULARLY OF PROXIMITY, AND CORRESPONDING DEVICE |
| US10620300B2 (en) | 2015-08-20 | 2020-04-14 | Apple Inc. | SPAD array with gated histogram construction |
| GB201622429D0 (en) * | 2016-12-30 | 2017-02-15 | Univ Court Of The Univ Of Edinburgh The | Photon sensor apparatus |
| EP3367131A1 (en) * | 2017-02-27 | 2018-08-29 | STMicroelectronics (Research & Development) Limited | A higher pixel density histogram time of flight sensor |
-
2018
- 2018-09-05 ES ES201830870A patent/ES2746248B2/en active Active
-
2019
- 2019-09-04 WO PCT/ES2019/070586 patent/WO2020049203A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| ES2746248A1 (en) | 2020-03-05 |
| WO2020049203A1 (en) | 2020-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2746248B2 (en) | METHOD AND DEVICE FOR DETECTING THE PEAK OF THE COMPRESSED HISTOGRAM OF PIXEL VALUES IN HIGH RESOLUTION TIME-OF-FLIGHT SENSORS | |
| US10838066B2 (en) | Solid-state imaging device, distance measurement device, and distance measurement method | |
| CA2950907C (en) | Linear mode computational sensing ladar | |
| Peng et al. | Photon-efficient 3d imaging with a non-local neural network | |
| Heredia Conde | Compressive sensing for the photonic mixer device | |
| CN110308451B (en) | Dual mode stacked photomultiplier suitable for remote time-of-flight applications | |
| US8908063B2 (en) | Method and apparatus for a time-of-flight sensor with charge storage | |
| FR3043797A1 (en) | ||
| Schug et al. | Data processing for a high resolution preclinical PET detector based on Philips DPC digital SiPMs | |
| US20140347553A1 (en) | Imaging devices with light sources for reduced shadow, controllers and methods | |
| JP2020519102A (en) | Pixelwise imaging method and system | |
| Vornicu et al. | Compact real-time inter-frame histogram builder for 15-bits high-speed ToF-imagers based on single-photon detection | |
| US20130140433A1 (en) | Sensor Pixel Array and Separated Array of Storage and Accumulation with Parallel Acquisition and Readout | |
| WO2011051529A2 (en) | Method and electronic circuit for reading the signals generated by one or more pixelated sensors | |
| WO2018180660A1 (en) | Solid-state imaging device | |
| EP3987305B1 (en) | Direct time-of-flight depth sensor architecture and method for operating of such a sensor | |
| Martel et al. | High-speed depth from focus on a programmable vision chip using a focus tunable lens | |
| Gutierrez-Barragan et al. | Compressive single-photon 3D cameras | |
| JP2006234727A (en) | Radiation distribution photographing device, and radiation distribution photographing method | |
| Boksenberg et al. | Interpolative centroiding in CCD-based image photon counting systems | |
| US9686487B1 (en) | Variable scan rate image generation | |
| US20210072360A1 (en) | Photon detecting 3d imaging sensor device | |
| Padmanabhan et al. | Analysis of a modular SPAD-based direct time-of-flight depth sensor architecture for wide dynamic range scenes in a LiDAR system | |
| Kitamura et al. | Preliminary design studies of a high sensitivity small animal DOI-PET scanner: jPET-RD | |
| US20230393241A1 (en) | Systems, methods, and media for single photon depth imaging with improved efficiency using compressive histograms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| BA2A | Patent application published |
Ref document number: 2746248 Country of ref document: ES Kind code of ref document: A1 Effective date: 20200305 |
|
| FG2A | Definitive protection |
Ref document number: 2746248 Country of ref document: ES Kind code of ref document: B2 Effective date: 20210805 |