ES2746248A1 - METHOD AND DEVICE DETECTION OF PICO DEL HISTOGRAMA COMPRESSED PIXEL VALUES IN FLIGHT TIME SENSORS HIGH RESOLUTION (Machine-translation by Google Translate, not legally binding) - Google Patents

METHOD AND DEVICE DETECTION OF PICO DEL HISTOGRAMA COMPRESSED PIXEL VALUES IN FLIGHT TIME SENSORS HIGH RESOLUTION (Machine-translation by Google Translate, not legally binding) Download PDF

Info

Publication number
ES2746248A1
ES2746248A1 ES201830870A ES201830870A ES2746248A1 ES 2746248 A1 ES2746248 A1 ES 2746248A1 ES 201830870 A ES201830870 A ES 201830870A ES 201830870 A ES201830870 A ES 201830870A ES 2746248 A1 ES2746248 A1 ES 2746248A1
Authority
ES
Spain
Prior art keywords
histogram
value
bits
pixel values
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
ES201830870A
Other languages
Spanish (es)
Other versions
ES2746248B2 (en
Inventor
Ion Vornicu
Galán Ricardo Carmona
Vázquez Angel Rodríguez
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Univ De Seviila
Consejo Superior de Investigaciones Cientificas CSIC
Original Assignee
Univ De Seviila
Consejo Superior de Investigaciones Cientificas CSIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ De Seviila, Consejo Superior de Investigaciones Cientificas CSIC filed Critical Univ De Seviila
Priority to ES201830870A priority Critical patent/ES2746248B2/en
Priority to PCT/ES2019/070586 priority patent/WO2020049203A1/en
Publication of ES2746248A1 publication Critical patent/ES2746248A1/en
Application granted granted Critical
Publication of ES2746248B2 publication Critical patent/ES2746248B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves

Abstract

Method and device for detecting peak of compressed histogram of pixel values in high-resolution time-of-flight sensors. This document describes a method for detecting the peak of the compressed histogram of pixel values in high-resolution time-of-flight sensors based on the capture of individual photons, as well as a device for detecting the peak of the compressed histogram of pixel values in high-resolution time-of-flight sensors based on the capture of individual photons, which allow precise detection of the histogram peak formed by all the time-of-flight (ToF) measurements obtained for each pixel. (Machine-translation by Google Translate, not legally binding)

Description

DESCRIPCIÓNDESCRIPTION

MÉTODO Y DISPOSITIVO DE DETECCIÓN DE PICO DEL HISTOGRAMA METHOD AND DEVICE FOR THE DETECTION OF PEAK OF THE HISTOGRAM

COMPRIMIDO DE LOS VALORES DE PÍXEL EN SENSORES DE TIEMPO-DE-COMPRESSED PIXEL VALUES IN TIME-OF-SENSORS

VUELO DE ALTA RESOLUCIÓNHIGH RESOLUTION FLIGHT

OBJETO DE LA INVENCIÓNOBJECT OF THE INVENTION

El objeto de la invención se enmarca en el campo técnico de la física.The object of the invention is framed in the technical field of physics.

Más concretamente el objeto de la invención va dirigido a sensores de tiempo de vuelo (denominados asimismo ToF por sus siglas en inglés), capaces de generar imágenes 3D, mediante la detección de eventos de incidencia de un único fotón.More specifically, the object of the invention is aimed at time-of-flight sensors (also called ToF for its acronym in English), capable of generating 3D images, by detecting incidence events of a single photon.

ANTECEDENTES DE LA INVENCIÓNBACKGROUND OF THE INVENTION

Los sensores de tiempo de vuelo, capaces de generar imágenes 3D mediante la detección de eventos de incidencia de un único fotón, hacen una estimación directa de la distancia a la que se encuentran los objetos que componen la escena. Mediante una luz pulsada se miden los tiempos que tardan los fotones en recorrer el espacio que separa la fuente luminosa y el sensor de dichos objetos, mientras que mediante una medida indirecta se establecen diferentes periodos de integración de carga de manera sincronizada con los pulsos de luz y luego se correlacionan las cargas acumuladas para obtener una estimación del tiempo de vuelo. En la medida directa se trata de detectar el momento en el que llegan los primeros fotones reflejados. Dado que la llegada de los fotones al sensor está sujeta a la estadística de la transmisión y reflexión de la luz en la óptica del sistema, la eficiencia en la detección de fotones del diodo de avalancha y la probabilidad de que se inicie dicha avalancha, se puede establecer que se trata de un fenómeno estadístico que además se ve afectado por las avalanchas espurias generadas por otros mecanismos y por la incidencia de fotones provenientes de la iluminación de background. Para tratar de separar la información relevante del ruido es necesario tomar un número importante de medidas y realizar un filtrado apropiado de las mismas que mejore la relación señal-ruido.The flight time sensors, capable of generating 3D images by detecting incidence events of a single photon, make a direct estimate of the distance at which the objects that make up the scene are located. By means of a pulsed light, the times it takes for the photons to travel through the space separating the light source and the sensor from said objects are measured, while by means of an indirect measurement, different periods of charge integration are established, synchronized with the light pulses. and then the accumulated charges are correlated to obtain an estimate of the flight time. In the direct measure, it is a matter of detecting the moment when the first reflected photons arrive. Given that the arrival of the photons to the sensor is subject to the statistics of the transmission and reflection of light in the optics of the system, the efficiency in the detection of photons from the avalanche diode and the probability that such an avalanche will start, is You can establish that it is a statistical phenomenon that is also affected by spurious avalanches generated by other mechanisms and by the incidence of photons from background lighting . In order to try to separate the relevant information from noise, it is necessary to take an important number of measurements and carry out an appropriate filtering of them to improve the signal-to-noise ratio.

Los sensores de imagen CMOS de tiempo de vuelo basados en detección de fotones individuales mediante, por ejemplo, diodos de avalancha (SPAD), requiere el filtrado de las lecturas que se obtienen de los píxeles. Para obtener una estimación precisa de la profundidad, teniendo en cuenta que la detección de fotones es un fenómeno estadístico sujeto a la eficiencia cuántica en la de detección del fotón y a la probabilidad de generación de la avalancha, es necesario realizar un cierto número de medidas. Además, se hace necesario separar de manera efectiva los datos que realmente dan una medida del ToF del ruido no correlacionado correspondiente a las cuentas a oscuras y a la iluminación de fondo, que aparecen superpuestos en el valor del píxel.Time-of-flight CMOS image sensors based on individual photon detection using, for example, avalanche diodes (SPAD), requires filtering of the readings that are obtained from the pixels. To obtain an accurate estimate of depth, taking into account that photon detection is a statistical phenomenon subject to quantum efficiency in photon detection and the probability of avalanche generation, it is necessary to carry out a certain number of measurements. Furthermore, it becomes necessary to effectively separate the data that actually gives a ToF measure of the uncorrelated noise corresponding to the dark counts and the backlighting, which appear superimposed on the pixel value.

Una herramienta muy útil para esta separación es la construcción de un histograma a partir de un número de lecturas de cada uno de los píxeles. Las futuras generaciones de sensores de tiempo de vuelo tendrán una mayor resolución espacial y temporal, al mismo tiempo que un mayor rango dinámico y una mayor velocidad de refresco. En estas circunstancias, almacenar el histograma completo para cada píxel se vuelve prácticamente imposible.A very useful tool for this separation is the construction of a histogram from a number of readings from each of the pixels. Future generations of time-of-flight sensors will have higher spatial and temporal resolution, along with a greater dynamic range and higher refresh rate. Under these circumstances, storing the entire histogram for each pixel becomes virtually impossible.

Las técnicas conocidas en el estado del arte se basan en algoritmos tales como la técnica STG (siglas de su denominación anglosajona Scanning Time Gated) que consiste en barrer una puerta pequeña de tiempo en todo el rango dinámico y buscar la información ToF en cada paso construyendo histogramas parciales. El número de pasos es proporcional al rango dinámico (DR por su denominación anglosajona dynamic range) dividido por la ventana de tiempo (TG por su denominación anglosajona time gate) e inversamente proporcional a la velocidad de cuadro.The techniques known in the state of the art are based on algorithms such as the STG technique (initials of its Anglo-Saxon denomination Scanning Time Gated) which consists of sweeping a small time gate throughout the dynamic range and searching for ToF information at each step by constructing partial histograms. The number of steps is proportional to the dynamic range (DR for its Anglo-Saxon name dynamic range) divided by the time window (TG for its Anglo-Saxon name time gate) and inversely proportional to the frame rate.

La técnica referida a la radiación de luz óptica desplazada consiste en la exploración de todo el rango dinámico donde el escaneo se realiza desplazando el pulso de luz en lugar de la TG de adquisición. Se produce un histograma en cada paso del escaneo. Todos los histogramas se combinan en un procesador para obtener el histograma final.The technique for displaced optical light radiation consists of scanning the entire dynamic range where scanning is performed by shifting the light pulse instead of the acquisition TG. A histogram is produced at each step of the scan. All the histograms are combined in a processor to obtain the final histogram.

Otra técnica conocida es la construcción completa de histogramas que implica la construcción directa de histogramas basada en muestras ToF.Another known technique is complete histogram construction which involves direct histogram construction based on ToF samples.

De igual manera, se tiene constancia del documento US20170052065A1 en el cual se describe la técnica STG (Scanning Time Gated) en la cual durante una ventana de tiempo (TG) se barre en todo el rango dinámico (DR), construyéndose un histograma grueso (CH) para cada posición de la TG, es decir, se tienen un número de histogramas NCH = DR / TG; lo cual es equivalente a prácticamente dividir el histograma completo correspondiente a todo el rango dinámico en particiones NCH, de hecho, se requiere un NCH más grande debido a la superposición de TGs consecutivas para evitar los efectos de borde. Cuanto más largo es el rango dinámico, mayor es el NCH, lo que significa una menor velocidad de cuadros. Esto sucede porque todos los histogramas parciales deben evaluarse para decidir dónde se encuentran los datos ToF verdaderos. Sin embargo, esta metodología STG es susceptible a detecciones positivas falsas, especialmente para bajos Signal Noise Ratio del ToF. Asimismo, en STG, la TG se coloca en la ubicación de verdadero ToF y un histograma final se construye a partir de más medidas. Sin la superposición de ventana de tiempo las técnicas basadas en STG se ven afectada por los efectos de borde.Likewise, there is evidence of document US20170052065A1 in which the STG ( Scanning Time Gated ) technique is described, in which during a time window (TG) the entire dynamic range (DR) is scanned, constructing a histogram thickness (CH) for each position of the TG, that is, there are a number of histograms NCH = DR / TG; which is equivalent to practically dividing the entire histogram corresponding to the entire dynamic range into NCH partitions, in fact a larger NCH is required due to overlapping consecutive TGs to avoid edge effects. The longer the dynamic range, the higher the NCH, which means a lower frame rate. This happens because all partial histograms must be evaluated to decide where the true ToF data is located. However, this STG methodology is susceptible to false positive detections, especially for low ToF Signal Noise Ratio . Also, in STG, the TG is placed at the true ToF location and a final histogram is constructed from more measurements. Without the time window overlap, STG-based techniques are affected by edge effects.

En US20170003382A1 se detalla un método de preparación de histogramas de una señal de sensor a partir de una matriz de sensores, en particular sensores de proximidad, y el dispositivo correspondiente. Más concretamente se detalla un escaneo como el citado en US20170052065A1, pero en lugar de explorar la ventana de tiempo en todo el rango dinámico, la exploración se lleva a cabo desplazando el pulso óptico; esta metodología descrita en US20170003382A1 tiene una limitación inherente adicional, y es aquella relacionada con la velocidad de cuadros.In US20170003382A1 a method of preparing histograms of a sensor signal from a sensor array, in particular proximity sensors, and the corresponding device are detailed. More specifically, a scan like the one cited in US20170052065A1 is detailed, but instead of scanning the time window over the entire dynamic range, scanning is carried out by displacing the optical pulse; This methodology described in US20170003382A1 has an additional inherent limitation, and is that related to the frame rate.

En EP2469301A1 se describe cómo generar una representación de una escena en 3D a muy alta velocidad empleando una técnica de exploración progresiva. Además de comprender dos fases, es decir gruesa y fina, se divulga la estimación de ToF basada en la adquisición de modo de ráfaga que involucra detectores paralelos acoplados a difusores de luz, referencias de reloj de 10 GHz, pulsos de láser ultracortos y promediado de tiempo. La aproximación se basa en la exploración progresiva; con la distancia aproximada ya conocida, los circuitos de procesamiento de datos pueden determinar de qué pulso resulta un determinado recuento de fotones, aunque esta configuración normalmente se ve afectada por errores de ambigüedad. Se usan múltiples SPAD en paralelo con el difusor para evitar el tiempo muerto del detector.EP2469301A1 describes how to generate a 3D representation of a scene at very high speed using a progressive scan technique. In addition to comprising two phases, i.e. coarse and fine, the ToF estimation based on burst mode acquisition involving parallel detectors coupled to light diffusers, 10 GHz clock references, ultrashort laser pulses and averaging of weather. The approach is based on progressive exploration; With the approximate distance already known, data processing circuits can determine which pulse a given photon count results from, although this configuration is normally affected by ambiguity errors. Multiple SPADs are used in parallel with the diffuser to avoid detector dead time.

En US20150041625A1 se detalla un método de construcción de histograma mediante un enfoque directo (llamando directo al histograma), sin involucrar ningún procesamiento del histograma; como ya es sabido la implementación directa del histograma completo no es adecuada para matrices de gran tamaño, ToF de alta resolución y amplio rango dinámico (~ 300ns) debido a los grandes requisitos de memoria. Si bien se detalla una compresión de datos en este documento se refiere siempre a la construcción completa de histogramas completos, lo cual es altamente ineficiente aumentando las limitaciones en el rango dinámico de ToF, es decir, el área del histograma escala por 2AN, donde N es el número de bits ToF. Además, cada canal del histograma tiene que implementarse mediante un contador para detección de eventos múltiples, lo cual es aún más ineficiente. Una implementación alternativa referida en US20150041625A1 se realiza con un convertidor paralelo de código termométrico a binario y celdas sumadoras. En ambos casos, este enfoque no puede aplicarse para un rango dinámico alto debido a las limitaciones de tamaño de memoria.In US20150041625A1 a histogram construction method is detailed using a direct approach (calling the histogram direct), without involving any processing of the histogram; as the direct implementation of the Full histogram is not suitable for large arrays, high resolution ToF and wide dynamic range (~ 300ns) due to high memory requirements. Although a data compression is detailed in this document, it always refers to the complete construction of complete histograms, which is highly inefficient increasing the limitations in the dynamic range of ToF, that is, the area of the histogram scales by 2AN, where N is the number of bits ToF. Furthermore, each channel of the histogram has to be implemented by a counter for detection of multiple events, which is even more inefficient. An alternative implementation referred to in US20150041625A1 is performed with a parallel thermometric code to binary converter and adder cells. In both cases, this approach cannot be applied for a high dynamic range due to memory size limitations.

US006504954B1 detalla tanto un método como un aparato de especificación de histograma lineal a intervalos cerrados por partes; es decir describe una invención relacionada con los sistemas y métodos que implementan el procesamiento de especificación de histograma lineal por partes y se emplea en electrónica de procesamiento de video de infrarrojos (FLIR); más concretamente el objeto de la invención descrita está específicamente diseñado para procesamiento de video e imágenes en 2D. En US006504954B1 se trabaja entre una representación interna de alto rango dinámico de la señal de video y una representación de rango dinámico inferior adecuada para mostrar en un monitor monocromático, teniendo como aplicación principal la mejora de contraste y la conversión de rango dinámico en los procesadores de video. El sistema y los métodos descritos en US006504954B1 utilizan una función de transferencia lineal a tramos acoplada con una colección de histogramas gruesos para reducir el ancho de banda en comparación con el método de histograma convencional; lo cual implica que también se requiere un algoritmo de ciclo cerrado para lograr un histograma grueso especificado, teniendo un número de bandejas en el histograma grueso igual al número de segmentos linealizados a tramos. La linealización a tramos descrita en US006504954B1 se usa para reducir los datos de entrada digital de manera que se pueda construir un histograma grueso, el cual tiene el mismo número de intervalos que el número de segmentos linealizados a tramos, es decir, menos intervalos que el método del histograma convencional; sin embargo, la construcción del histograma es convencional. La compresión de los datos de entrada se basa en el método de linealización a tramos. US006504954B1 details both a method and an apparatus of specification of linear histogram at closed intervals by parts; that is, it describes an invention related to systems and methods that implement piecewise linear histogram specification processing and is employed in infrared video processing electronics (FLIR); more specifically the object of the described invention is specifically designed for 2D video and image processing. US006504954B1 works between an internal high dynamic range representation of the video signal and a lower dynamic range representation suitable for displaying on a monochrome monitor, having as main application contrast enhancement and dynamic range conversion in the processors of video. The system and methods described in US006504954B1 use a span line transfer function coupled with a collection of thick histograms to reduce bandwidth compared to the conventional histogram method; which implies that a closed loop algorithm is also required to achieve a specified thick histogram, having a number of trays in the thick histogram equal to the number of segment linearized segments. The stretch linearization described in US006504954B1 is used to reduce the digital input data so that a thick histogram can be constructed, which has the same number of intervals as the number of segment linearized segments, that is, fewer intervals than the conventional histogram method; however, the construction of the histogram is conventional. Compression of the input data is based on the span linearization method.

DESCRIPCIÓN DE LA INVENCIÓNDESCRIPTION OF THE INVENTION

El objeto de la invención, tanto en su aspecto relacionado con el método como el aspecto referido al sistema, está concebido para la realización práctica de este filtrado, en concreto la detección del pico del histograma formado por todas las medidas del tiempo de vuelo obtenidas para cada píxel. Se trata de un constructor de histograma comprimido que opera con una cantidad de memoria reducida mediante una aproximación grueso-fino que permite descartar la memorización de aquellas zonas del histograma que no contienen información relevante. Como resultado de esta simplificación, es posible implementar un canal de procesamiento de las lecturas generadas en cada píxel en tiempo real, lo que permitiría obtener la imagen 3D filtrada en tiempo real. Por lo tanto, el objeto de la invención propuesta se basa en un enfoque totalmente diferente de construir un histograma comprimido como los conocidos en el arte previo; más concretamente la invención propuesta se basa en el cambio de histogramas que hace un zoom directamente en el histograma completo e implica que no se hace necesario utilizar el escaneo, lo cual es una gran ventaja desde el punto de vista de la velocidad; por ejemplo, en lugar de adquirir N histogramas groseros CH, p. ej. 81, se requiere solo un histograma. Además, el objeto de la invención es más preciso y mucho más rápido que, por ejemplo, aquellas técnicas conocidas basadas en el conteo de fotones en TG escaneados; a modo de ejemplo el objeto de la invención requiere solo un CH, sin importar el rango dinámico.The object of the invention, both in its aspect related to the method and the aspect related to the system, is conceived for the practical realization of this filtering, specifically the detection of the histogram peak formed by all the flight time measurements obtained each pixel. It is a compressed histogram constructor that operates with a reduced amount of memory using a coarse-fine approximation that allows to discard the memorization of those areas of the histogram that do not contain relevant information. As a result of this simplification, it is possible to implement a processing channel of the readings generated in each pixel in real time, which would allow obtaining the filtered 3D image in real time. Therefore, the object of the proposed invention is based on a totally different approach of constructing a compressed histogram like those known in the prior art; More specifically, the proposed invention is based on the change of histograms that zooms directly into the complete histogram and implies that it is not necessary to use the scan, which is a great advantage from the point of view of speed; for example, instead of acquiring N coarse histograms CH, p. ex. 81, only one histogram is required. Furthermore, the object of the invention is more precise and much faster than, for example, those known techniques based on photon counting in scanned TGs; by way of example, the object of the invention requires only one CH, regardless of the dynamic range.

El objeto de la invención contempla la posibilidad de trabajar con lecturas del tiempo de vuelo de hasta 15 bits, lo que permite que se aplique a sensores de imagen de tiempo de vuelo de futuras generaciones en las que puede anticiparse un aumento de la resolución temporal y espacial, y un aumento del rango dinámico y de la frecuencia de refresco de la imagen.The object of the invention contemplates the possibility of working with flight time readings of up to 15 bits, which allows it to be applied to flight time image sensors of future generations in which an increase in temporal resolution can be anticipated and spatial, and an increase in the dynamic range and refresh rate of the image.

El objeto de la invención permite, teniendo en cuenta que la mayor parte de la información contenida en el histograma corresponde al nivel de ruido, almacenar de manera eficiente sólo aquellos datos, considerados relevantes, necesarios para el cálculo del tiempo de vuelo (ToF por sus siglas en inglés).The object of the invention allows, taking into account that most of the information contained in the histogram corresponds to the noise level, to efficiently store only those data, considered relevant, necessary for the calculation of flight time (ToF by its acronym in English).

El objeto de la invención emplea la conversión fina simplemente acercando el histograma completo, centrado en los datos de ToF. Esta técnica permite la construcción de, por ejemplo, solo 2 histogramas en lugar de al menos 82 para el enfoque de barrido (81 CH 1 histograma final). Consecuentemente, un aumento del rango dinámico no implica una disminución de la velocidad de cuadro como ocurre en todos los métodos de escaneo conocidos, permitiendo el número variable de bits ToF utilizando el mismo hardware: lo cual implica una gran ventaja para los lectores de imágenes de frecuencia de fotogramas adaptativos. El objeto de la invención tiene especial aplicación en implementaciones con ratio señal ruido bajo, que puede darse en aplicaciones LiDAR con iluminación de fondo alta.The subject of the invention employs fine conversion by simply zooming in the entire histogram, centered on the ToF data. This technique allows the construction of, for example, only 2 histograms instead of at least 82 for the sweep focus (81 CH 1 final histogram). Consequently, an increase in the dynamic range does not imply a decrease in the frame rate as it occurs in all known scanning methods, allowing the variable number of ToF bits using the same hardware: which is a great advantage for image readers. adaptive frame rate. The object of the invention has special application in implementations with low signal-to-noise ratio, which can occur in LiDAR applications with high backlight.

El método objeto de un primer aspecto de la invención permite llevar a cabo la extracción del valor que más se repite en un histograma (formado por las estimaciones del tiempo de vuelo de la luz medido por un píxel basado en SPADs. Este objeto de la invención explota el hecho de que el ruido descorrelacionado está distribuido de manera uniforme por todo el histograma y que la información relevante se va concentrar alrededor del valor de pico, por lo que no es necesario almacenar el histograma completo.The method object of a first aspect of the invention allows the extraction of the most repeated value in a histogram (formed by the estimates of the time of flight of light measured by a pixel based on SPADs. This object of the invention It exploits the fact that the unrelated noise is evenly distributed throughout the histogram and that the relevant information is concentrated around the peak value, so there is no need to store the entire histogram.

Para ello, se procede a desplazar los valores hacia la zona más interesante del histograma, a la cual le aplicamos el análisis (detección del valor más frecuente) que antes se realizaba sobre el histograma completo. Es decir, se puede hacer uso de un histograma de los datos de cada píxel en los cuadros intermedios desplazado a la zona de mayor probabilidad de detección del fotón, con lo cual se requiere una memoria que es 128 veces más pequeña que la que sería necesaria para almacenar el histograma completo. De hecho, con una memoria de 2E+08 bits sería suficiente para procesar un histograma que originalmente contuviera 2E+15 segmentos mientras que la frecuencia de refresco global disminuiría sólo a la mitad.To do this, we proceed to move the values to the most interesting area of the histogram, to which we applied the analysis (detection of the most frequent value) that was previously performed on the entire histogram. In other words, a histogram of the data of each pixel in the intermediate frames can be used, moved to the area with the highest probability of photon detection, which requires a memory that is 128 times smaller than what would be necessary. to store the entire histogram. In fact, a 2E + 08 bit memory would be enough to process a histogram that originally contained 2E + 15 segments while the overall refresh rate would drop by only half.

En un segundo aspecto del objeto de la invención se tiene un dispositivo referido a una posible implementación hardware del método del primer aspecto de la invención, como puede ser una implementación en un chip tal como un FPGA o un circuito específico. La implementación propuesta como este segundo aspecto de la invención puede venir dada por la incorporación de un circuito para extraer el valor de ToF del histograma en tiempo real, tal como justo al final de la fase de adquisición, el ToF está disponible de inmediato, sin requerir procesamiento adicional.In a second aspect of the object of the invention there is a device referring to a possible hardware implementation of the method of the first aspect of the invention, such as an implementation on a chip such as an FPGA or a specific circuit. The proposed implementation as this second aspect of the invention can be given by the incorporation of a circuit to extract the ToF value from the histogram in real time, just as at the end of the acquisition phase, the ToF is available immediately, without require additional processing.

DESCRIPCIÓN DE LOS DIBUJOS DESCRIPTION OF THE DRAWINGS

Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características de la invención, de acuerdo con un ejemplo preferente de realización práctica de la misma, se acompaña como parte integrante de dicha descripción, un juego de dibujos en donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente:To complement the description that is being made and in order to help a better understanding of the characteristics of the invention, according to a preferred example of practical embodiment thereof, a set of drawings is included as an integral part of said description. where, by way of illustration and not limitation, the following has been represented:

Figura 1.- Muestra los tres tipos de histogramas de los que se habla en el texto: el histograma completo (6), el histograma grueso (7) y el histograma fino (10) así como un zoom del histograma completo (6). Estos histogramas contienen medidas obtenidas por un único píxel.Figure 1.- Shows the three types of histograms that are discussed in the text: the complete histogram (6), the thick histogram (7) and the fine histogram (10) as well as a zoom of the complete histogram (6). These histograms contain measurements obtained by a single pixel.

Figura 2.- Muestra un diagrama de flujo del algoritmo con un bucle para la detección de la posición del pico del histograma grueso (7) a la izquierda y un bucle para la detección de la posición del pico del histograma fino (10) a la derecha.Figure 2.- Shows a flow chart of the algorithm with a loop for detecting the position of the peak of the thick histogram (7) on the left and a loop for detecting the position of the peak of the fine histogram (10) at the left. right.

Figura 3.- Muestra un diagrama donde se aprecian los distintos bloques de la implementación física del objeto de la invención definida como un segundo aspecto de la misma. El diagrama mostrado corresponde a Nv = 15, Nh = 10 y Nb = 8.Figure 3.- Shows a diagram showing the different blocks of the physical implementation of the object of the invention defined as a second aspect thereof. The diagram shown corresponds to Nv = 15, Nh = 10 and Nb = 8.

Figura 4.- Muestra un diagrama esquemático de la estructura interna del detector de la posición del pico.Figure 4.- Shows a schematic diagram of the internal structure of the peak position detector.

Figura 5.- Muestra un diagrama que representa la estructura interna del filtro digital.Figure 5.- Shows a diagram representing the internal structure of the digital filter.

REALIZACIÓN PREFERENTE DE LA INVENCIÓNPREFERRED EMBODIMENT OF THE INVENTION

En una posible realización preferente del objeto de la invención se parte de la premisa de que un histograma completo (6) (como el que se aprecia en la figura 1) formado por un cierto número de estimaciones del tiempo de vuelo ToF en un píxel con un SPAD comprende dos elementos fundamentales:In a possible preferred embodiment of the object of the invention, it is assumed that a complete histogram (6) (such as the one shown in Figure 1) formed by a certain number of estimates of the ToF flight time in a pixel with A SPAD comprises two fundamental elements:

• Una campana de Gauss (4) que codifica el valor del ToF en la posición del valor máximo de dicha campana de Gauss (4), y el jitter del propio SPAD y del TDC combinados, en su desviación típica. • A Gauss bell (4) that encodes the ToF value at the position of the maximum value of said Gauss bell (4), and the jitter of the combined SPAD and TDC, in their standard deviation.

• Un umbral de ruido (5) que contiene todas las medidas que no están correlacionadas con la llegada de los fotones de la fuente pulsada reflejados por los objetos de la escena.• A noise threshold (5) that contains all the measurements that are not correlated with the arrival of the photons from the pulsed source reflected by the objects in the scene.

Puede entenderse que no es necesario almacenar todas las muestras que definen este umbral de ruido (5), dado que contienen información redundante acerca de la cantidad de ocasiones en las que se dispara una avalancha espuria. De hecho, sólo un reducido número de barras del histograma contienen información relevante.It can be understood that it is not necessary to store all the samples that define this noise threshold (5), since they contain redundant information about the number of occasions when a spurious avalanche is triggered. In fact, only a small number of bars in the histogram contain relevant information.

Consideremos que 2Nb barras son suficientes para esta labor, con independencia del número de bits empleados para codificar el valor del píxel (Np). La clave está en encontrar el modo de hacer zoom en el histograma completo de modo que la campana de Gauss (4) antes mencionada se encuentre centrada en un histograma de sólo 2Nb barras.Let us consider that 2Nb bars are sufficient for this task, regardless of the number of bits used to encode the pixel value ( Np). The key is to find a way to zoom the entire histogram so that the aforementioned Gauss bell (4) is centered on a histogram of only 2Nb bars.

El método propuesto consiste en la generación de un histograma grueso (7) y un histograma fino (10), cada uno de ellos preferentemente de 2Nb barras, para lo que necesitaremos una memoria de 2Nb ■ Nh bits. En la práctica, si tomamos Nb = 8, vamos a poder calcular histogramas de ToF on-the-fly de sensores que generan valores de píxel con un Np de hasta 15 bits.The proposed method consists of the generation of a thick histogram (7) and a fine histogram (10), each preferably of 2Nb bars, for which we will need a memory of 2Nb ■ Nh bits. In practice, if we take Nb = 8, we will be able to calculate histograms of ToF on-the-fly of sensors that generate pixel values with an Np of up to 15 bits.

El procedimiento que vamos a seguir está descrito por el diagrama de bloques de la figura 2. En primer lugar, generamos una aproximación grosera (grueso) de la posición del pico construyendo un histograma grueso (7) con los Nb bits más significativos del valor del píxel, tal y como se aprecia en la figura 1. Este histograma grueso (7) se obtiene filtrando las medidas del ToF eliminando los (Np - Nb) bits menos significativos y quedándonos únicamente con los Nb bits más significativos. De este histograma grueso (7) se obtiene la posición del pico, bMigrueso, mediante la detección de la medida de ToF que más se repite. Este procedimiento está descrito por el bucle de la izquierda del diagrama de la figura 2.The procedure we are going to follow is described by the block diagram in Figure 2. First, we generate a rough (coarse) approximation of the peak position by constructing a coarse histogram (7) with the most significant Nb bits of the value of the pixel, as can be seen in figure 1. This thick histogram (7) is obtained by filtering the ToF measurements, eliminating the least significant ( Np - Nb) bits and keeping only the most significant Nb bits. From this thick histogram (7) the peak position, b Thick, is obtained by detecting the ToF measurement that is most repeated. This procedure is described by the loop on the left of the diagram in Figure 2.

A continuación, se obtiene el histograma fino (10), el cual se obtiene haciendo una segunda captura con los valores de pixel filtrado con umbrales TH+ y TH- que se refieren al histograma completo (6), con valores codificados en Nb bits. Este histograma fino (10) se obtiene en una segunda captura. A partir de valor bM grueso se calcula un umbral superior (8) y un umbral inferior (9) que se pueden identificar en la figura 1:Next, the fine histogram (10) is obtained, which is obtained by making a second capture with the filtered pixel values with TH + and TH- thresholds that refer to the entire histogram (6), with values encoded in Nb bits. This fine histogram (10) is obtained in a second capture. From a thick bM value, calculates an upper threshold (8) and a lower threshold (9) that can be identified in figure 1:

TH+ = (2Np~Nb)bM,grueso 2Nb~1 - desfase TH + = (2 Np ~ Nb) bM, coarse 2Nb ~ 1 - offset

TH_ = (2Np~Nb)bM, g rueso - 2N b ~ 1 - desfase TH_ = ( 2Np ~ Nb) bM, g coarse - 2 N b ~ 1 - offset

Los umbrales (8,9), están referidos al rango del histograma completo (6). Los umbrales (8.9) permiten determinar si los valores de píxel que se están capturando para la generación del histograma fino (10) están dentro de una ventana de 2Nb niveles centrada alrededor del máximo del histograma completo (6). Si el valor de píxel no se encuentra entre los umbrales (8,9), se descarta, si se encuentra entre los umbrales (8.9) , se realiza un desplazamiento del valor del píxel con el fin de acomodar estos valores en un el histograma fino (10) con 2Nb niveles, es decir, cuyas barras se encuentran en posiciones codificadas por únicamente Nb bits. Este desplazamiento viene dado por:The thresholds (8.9), are referred to the range of the complete histogram (6). The thresholds (8.9) allow determining if the pixel values that are being captured for the generation of the fine histogram (10) are within a 2Nb level window centered around the maximum of the complete histogram (6). If the pixel value is not between the thresholds (8.9), it is discarded, if it is between the thresholds (8.9), a pixel value shift is performed in order to accommodate these values in a fine histogram (10) with 2Nb levels, that is, whose bars are in positions encoded by only Nb bits. This displacement is given by:

A= 2Nb floor

Figure imgf000010_0001
A = 2Nb floor
Figure imgf000010_0001

Este histograma fino (10) tendrá también un valor máximo, cuya posición es bMñno. Para determinar correctamente la posición de dicho máximo, habrá que desplazar este valor de bMñno, que está representado en un rango de Nb bits, al rango descrito por los Np bits originales del histograma completo (6), de modo que la posición del valor del pico que corresponde a la medida precisa del ToF es finalmente:This fine histogram (10) will also have a maximum value, the position of which is min. In order to correctly determine the position of said maximum, this value of bMñno, which is represented in a range of Nb bits, must be shifted to the range described by the original Np bits of the complete histogram (6), so that the position of the value of the peak corresponding to the precise measurement of the ToF is finally:

Bm = ^M, fino A Bm = ^ M, fine A

De este modo habremos obtenido el valor más repetido de un histograma de valores codificados por Np bits, con los recursos de memoria necesarios para obtener un histograma de valores codificados por únicamente Nb bits. Esta memoria la utilizaremos para obtener el histograma grueso (7) y acto seguido se procede a sobrescribir la misma para obtener el histograma fino (10). De este modo utilizaremos una memoria 2Np~Nb veces más reducida. In this way we will have obtained the most repeated value of a histogram of values encoded by Np bits, with the memory resources necessary to obtain a histogram of values encoded by only Nb bits. We will use this memory to obtain the thick histogram (7) and then we proceed to overwrite it to obtain the fine histogram (10). In this way we will use a memory 2Np ~ Nb times smaller.

La implementación física del objeto de la invención consta de los bloques expuestos en la figura 3. En este diagrama, Np = 15, Nh = 10 y Nb = 8. Los bloques principales del diagrama son: un deserializador (11) preferentemente tipo SIPO de Np bits de entrada serial y salida paralela, un registro (12) preferentemente de tipo PIPO de entrada y salida paralelas de Np bits, un filtro digital (13), un multiplexor (14) con preferentemente dos entradas de Nb bits, una memoria (15) preferentemente tipo RAM estática y de Nh x 2Nb bits para el almacenamiento del histograma grueso (7) y el histograma fino (10), un registro (16) de Nh bits con aumento automático de 1 unidad, un circuito de detección del pico (17), un bloque algorítmico destinado a realizar sumas, restas multiplicaciones y divisiones, agrupados en los bloques Alg 1 (18), Alg2 (19) y Alg3 (20), y dos memorias (21,22) de Np bits respectivamente, para almacenar el valor del desplazamiento A y el valor final obtenido para el ToF del píxel.The physical implementation of the object of the invention consists of the blocks exposed in figure 3. In this diagram, Np = 15, Nh = 10 and Nb = 8. The main blocks of the diagram are: a deserializer (11) preferably type SIPO of Np bits of serial input and parallel output, a register (12) preferably of the PIPO type of parallel input and output of Np bits, a digital filter (13), a multiplexer (14) with preferably two Nb bit inputs, a memory ( 15) preferably static RAM and Nh x 2Nb bits for storing the thick histogram (7) and the fine histogram (10), a register (16) of Nh bits with automatic increase of 1 unit, a peak detection circuit (17), an algorithmic block destined to perform addition, subtraction, multiplication and division, grouped into blocks Alg 1 (18), Alg2 (19) and Alg3 (20), and two memories (21,22) of Np bits respectively, to store the value of offset A and the final value obtained for the ToF of the pixel.

Antes de procesar un nuevo trame se activa la señal RST_FR, con esto se resetea la memoria (15) y el circuito de detección del pico (17). Después de esto, el valor del primer píxel se hace llegar en serie bit a bit al deserializador (11). Cada Np periodos de reloj CLK, el contenido del deserializador (11) se transmite al registro (12) y por tanto ese valor tiene Np periodos de CLK para ser incorporado al histograma grueso (7) o histograma fino (10) según la fase del algoritmo, en la barra en la que le corresponde.Before processing a new trame the RST_FR signal, with this memory (15) and the detection circuit the peak (17) is reset is activated. After this, the value of the first pixel is sent serially bit by bit to the deserializer (11). Every Np CLK clock periods, the content of the deserializer (11) is transmitted to the register (12) and therefore that value has Np CLK periods to be incorporated into the thick histogram (7) or fine histogram (10) according to the phase of the algorithm, in the bar where it corresponds.

La primera fase para calcular el ToF es la construcción del histograma grueso. Para conseguir esto se selecciona primero una entrada AC de las entradas en el multiplexor (14), para, a continuación, leer el contenido de la dirección de la memoria (15) indicado por el valor ADDR, copiarlo en el registro (16) e incrementar su valor en 1 unidad. Si el valor que resulta es mayor que el almacenado de momento en el circuito de detección del pico (17), se guarda este valor resultante como el mayor valor máximo presente en el histograma grueso (7). Una vez que se resuelve el último valor de píxel, se habrá completado el histograma grueso (7). A partir de la position del valor de pico encontrado se generan los valores TH+ y TH_ que se utilizan dentro del filtro digital (13) mediante el bloque aritmético Alg 1 (18). También se procede a obtener el valor de A que se guarda en la memoria (21) que se aprecia en la figura 3. Conviene mencionar que la división realizada en el bloque algorítmico (19) se ha implementado de manera secuencial con el fin de reducir el área del módulo. The first phase in calculating ToF is the construction of the thick histogram. To achieve this, an AC input is first selected from the inputs in the multiplexer (14), and then read the contents of the memory address (15) indicated by the ADDR value, copy it to register (16) and increase its value by 1 unit. If the resulting value is greater than that currently stored in the peak detection circuit (17), this resulting value is saved as the largest maximum value present in the thick histogram (7). Once the last pixel value is resolved, the thick histogram (7) is complete. From the position of the peak value found, the TH + and TH_ values that are used within the digital filter (13) are generated using the Alg 1 arithmetic block (18). We also proceed to obtain the value of A that is stored in the memory (21) shown in Figure 3. It should be mentioned that the division performed in the algorithmic block (19) has been implemented sequentially in order to reduce the module area.

Con el cálculo de los valores TH+, TH_ y A, que se realiza en Np x Tclk ciclos de reloj, se resetea la memoria (15), y el circuito detector del pico (17) que tiene un primer registro adicional (24) que guarda el pico actual del histograma grueso (7); un segundo registro adicional (25) que contiene el código en el que se encuentra el pico actual del histograma grueso (7); y un tercer registro adicional (26) destinado a retener el código en el que se encuentra el pico final del histograma grueso (7) durante la construcción del histograma fino (10).With the calculation of the TH +, TH_ and A values, which is performed in Np x Tclk clock cycles, the memory (15) is reset, and the peak detector circuit (17) that has an additional first register (24) that stores the current peak of the thick histogram (7); a second additional register (25) containing the code in which the current peak of the thick histogram (7) is located; and a third additional register (26) destined to retain the code in which the final peak of the thick histogram (7) is located during the construction of the fine histogram (10).

La segunda fase para calcular el ToF es la construcción del histograma fino. Cuando acaba la construcción del histograma grueso (7), el valor bM,grueso se guarda en un tercer registro adicional (26) con salida PNoCc. Este tercer registro adicional (26) se sobrescribe al final de la construcción del histograma grueso (7). A continuación del reseteo de la memoria (15) y del circuito de detección del pico (17), se habilita la operación del filtro digital (13), y la entrada SA en el multiplexor (14) y se procede a iniciar una segunda adquisición. El filtro digital (13) permite descartar aquellos valores de pixel que quedan por debajo de TH_ y por encima de TH+. Además, puesto que los valores de píxel que se están leyendo están descritos por Np bits, es necesario sustraer el valor de A, lo cual se realiza en un circuito restador (27) que se aprecia en la figura 5 que representa la estructura interna del filtro digital (13), y conservar sólo Nb bits, que al fin y al cabo serán los únicos que pueden ser diferentes del ruido. Este procedimiento se aprecia en el bucle de la derecha del diagrama de flujo de la figura 2.The second phase in calculating ToF is the construction of the fine histogram. When the construction of the thick histogram (7) is finished, the thick bM value is saved in a third additional register (26) with PNoCc output. This third additional record (26) is overwritten at the end of the construction of the thick histogram (7). Following the reset of the memory (15) and the peak detection circuit (17), the operation of the digital filter (13) is enabled, and the SA input on the multiplexer (14) and a second acquisition is started . The digital filter (13) allows you to discard those pixel values that are below TH_ and above TH +. Furthermore, since the pixel values being read are described by Np bits, it is necessary to subtract the value of A, which is done in a subtraction circuit (27) that can be seen in figure 5 that represents the internal structure of the digital filter (13), and keep only Nb bits, which after all will be the only ones that can be different from noise. This procedure can be seen in the loop to the right of the flow chart in Figure 2.

Finalmente, el valor del tiempo de vuelo, que corresponde a la posición del pico del histograma fino (10), se obtiene sumando el valor de A al valor encontrado en el segundo registro adicional (25) que es un registro con salida PNoCf, lo cual tiene lugar en un circuito sumador (23) como el que se aprecia la figura 3. Finally, the value of the flight time, which corresponds to the position of the peak of the fine histogram (10), is obtained by adding the value of A to the value found in the second additional register (25), which is a register with PNoCf output, which which takes place in an adder circuit (23) like the one shown in figure 3.

Claims (5)

REIVINDICACIONES 1. Método de detección de pico del histograma comprimido de los valores de píxel en sensores de tiempo-de-vuelo de alta resolución, estando el método caracterizado por que comprende:1. Peak detection method of the compressed histogram of pixel values in high-resolution time-of-flight sensors, the method being characterized by comprising: a. delimitar una zona de un histograma completo (6),to. delimit an area of a complete histogram (6), b. generar un histograma grueso (7), eliminando los (Np - Nb) bits menos significativos y quedándonos únicamente con los Nb bits más significativos del valor de píxel,b. generate a thick histogram (7), removing the least significant ( Np - N b) bits and keeping only the most significant Nb bits of the pixel value, c. obtener a partir del histograma grueso (7) una posición correspondiente a un valor de píxel que se ha repetido más veces, bMigrueso. d. calcular un valor de desplazamiento A que viene dado por:c. obtain from the thick histogram (7) a position corresponding to a pixel value that has been repeated the most times, bThick. d. calculate an offset value A that is given by: ATO (2wp Nb) Vgrueso + 2Nb 1 - desfase(2 wp Nb) V coarse + 2Nb 1 - offset = 2Nb jfloor= 2Nb jfloor 2Nb (2Np~Nb)b ~1 — desfase 2Nb (2 Np ~ Nb) b ~ 1 - offset mod M, grueso + 2 Nb mod M, coarse + 2 Nb 2Nb2Nb e. calcular un valor umbral superior (8) TH+ y un valor umbral inferior (9) TH_ según:and. calculate an upper threshold value (8) TH + and a lower threshold value (9) TH _ according to: TH+ = (2Nv~Nb)bM>grueso + 2 "*-1 - desfase TH + = ( 2Nv ~ Nb) bM> coarse + 2 "* -1 - offset TH_ = (2Np~Nb)bMigrueso - 2Nb~1 - desfase TH _ = ( 2Np ~ Nb) bMy thickness - 2Nb ~ 1 - phase shift f. obtener un histograma fino (10) con valores codificados en Nb bits desplazando los valores adquiridos que están codificados en Np bits ,seleccionando mediante un filtro digital (13) solo aquellos valores de píxel que están dentro de una ventana de 2Nb niveles alrededor del máximo del histograma completo (6) delimitada por los umbrales superior (8) TH+ e inferior (9) TH_. F. obtain a fine histogram (10) with values encoded in Nb bits by shifting the acquired values that are encoded in Np bits, selecting by means of a digital filter (13) only those pixel values that are within a window of 2Nb levels around the maximum of the Complete histogram (6) delimited by the upper (8) TH + and lower (9) TH_ thresholds. g. calcular el valor de ToF, BM, a partir del histograma fino (10) mediante desplazamiento del valor de bMñno al rango descrito por los Np bits originales, mediante:g. calculate the ToF value, B M, from the fine histogram (10) by moving the value of bMñno to the range described by the original Np bits, using: Bm = ^M, fino A Bm = ^ M, fine A 2. Dispositivo de detección de pico del histograma comprimido de los valores de píxel en sensores de tiempo-de-vuelo de alta resolución caracterizado por que está configurado para llevar a cabo el método de la reivindicación 1 y porque comprende:2. Device for detecting the peak of the compressed histogram of the pixel values in high-resolution time-of-flight sensors, characterized in that it is configured to carry out the method of claim 1 and that it comprises: a. un deserializador (11) preferentemente tipo SIPO de Np bits de entrada serial y salida paralela,to. a deserializer (11) preferably type SIPO of Np bits of serial input and parallel output, b. un registro (12) preferentemente tipo PIPO de entrada y salida paralelas de Np bits,b. a register (12) preferably type PIPO of parallel input and output of Np bits, c. un filtro digital (13), destinado a seleccionar y descartar valores de pixel en función de unos valores umbral de tal manera que sólo se seleccionan aquellos comprendidos entre dichos valores umbral, d. un multiplexor (14) con preferentemente dos entradas de Nb bits, e. una memoria (15) para el almacenamiento del histograma fino (10) y el histograma grueso (7),c. a digital filter (13), intended to select and discard pixel values based on threshold values in such a way that only those comprised between said threshold values are selected, d. a multiplexer (14) with preferably two Nb- bit inputs, e. a memory (15) for storing the fine histogram (10) and the thick histogram (7), f. un registro (16) de Nh bits con aumento automático de 1 unidad, g. un circuito de detección del pico (17),F. a register (16) of Nh bits with automatic increase of 1 unit, g. a peak detection circuit (17), h. un bloque algorítmico destinado a realizar sumas, restas multiplicaciones y divisiones, y que comprende una serie de bloques Alg1 (18), Alg2 (19) y Alg3 (20), yh. an algorithmic block intended for addition, subtraction, multiplication and division, and comprising a series of blocks Alg1 (18), Alg2 (19) and Alg3 (20), and i. dos memorias (21, 22) de Np bits respectivamente para almacenar los valores de A y el valor final obtenido para el ToF del píxel.i. two memories (21, 22) of Np bits respectively to store the values of A and the final value obtained for the ToF of the pixel. 3. Dispositivo según reivindicación 2 caracterizado por que el filtro digital (13) comprende un circuito restador (27) destinado a sustraer el valor de A, a los valores de píxel descritos por Np bits.3. Device according to claim 2, characterized in that the digital filter (13) comprises a subtraction circuit (27) intended to subtract the value of A, from the pixel values described by Np bits. 4. Dispositivo según reivindicación 2 caracterizado por que el circuito de detección del pico (17) comprende tres registros internos:4. Device according to claim 2, characterized in that the peak detection circuit (17) comprises three internal registers: a. un primer registro adicional (24) para guardar un valor resultante como el mayor valor presente en el histograma grueso (7) y el histograma fino (10) según la fase del algoritmo;to. a first additional register (24) to save a resulting value as the largest value present in the thick histogram (7) and the fine histogram (10) according to the phase of the algorithm; b. un segundo registro adicional (25) para guardar la posición del mayor valor correspondiente; yb. a second additional register (25) to store the position of the largest corresponding value; Y c. un tercer registro adicional (26) para guardar la posición del valor máximo final en el histograma grueso (7); c. a third additional register (26) to store the position of the final maximum value in the thick histogram (7); donde la posición del valor máximo final en el histograma fino (10) queda almacenada en el segundo registro adicional (25).where the position of the final maximum value in the fine histogram (10) is stored in the second additional register (25). 5.
Figure imgf000015_0001
Dispositivo según reivindicación 2 caracterizado por que la memoria (15) es tipo RAM estática y de Nh x 2Nb bits. 5.
Figure imgf000015_0001
Device according to claim 2, characterized in that the memory (15) is a static RAM type with Nh x 2Nb bits.
ES201830870A 2018-09-05 2018-09-05 METHOD AND DEVICE FOR DETECTING THE PEAK OF THE COMPRESSED HISTOGRAM OF PIXEL VALUES IN HIGH RESOLUTION TIME-OF-FLIGHT SENSORS Active ES2746248B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
ES201830870A ES2746248B2 (en) 2018-09-05 2018-09-05 METHOD AND DEVICE FOR DETECTING THE PEAK OF THE COMPRESSED HISTOGRAM OF PIXEL VALUES IN HIGH RESOLUTION TIME-OF-FLIGHT SENSORS
PCT/ES2019/070586 WO2020049203A1 (en) 2018-09-05 2019-09-04 Method and device for detecting the peak of the compressed histogram of pixel values in high-resolution time-of-flight sensors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ES201830870A ES2746248B2 (en) 2018-09-05 2018-09-05 METHOD AND DEVICE FOR DETECTING THE PEAK OF THE COMPRESSED HISTOGRAM OF PIXEL VALUES IN HIGH RESOLUTION TIME-OF-FLIGHT SENSORS

Publications (2)

Publication Number Publication Date
ES2746248A1 true ES2746248A1 (en) 2020-03-05
ES2746248B2 ES2746248B2 (en) 2021-08-05

Family

ID=68424918

Family Applications (1)

Application Number Title Priority Date Filing Date
ES201830870A Active ES2746248B2 (en) 2018-09-05 2018-09-05 METHOD AND DEVICE FOR DETECTING THE PEAK OF THE COMPRESSED HISTOGRAM OF PIXEL VALUES IN HIGH RESOLUTION TIME-OF-FLIGHT SENSORS

Country Status (2)

Country Link
ES (1) ES2746248B2 (en)
WO (1) WO2020049203A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022188884A1 (en) * 2021-03-08 2022-09-15 奥诚信息科技(上海)有限公司 Distance measurement method, system and device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11885915B2 (en) 2020-03-30 2024-01-30 Stmicroelectronics (Research & Development) Limited Time to digital converter

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030218129A1 (en) * 2002-02-14 2003-11-27 Bruker Daltonik Gmbh High resolution detection for time-of-flight mass
US20070278409A1 (en) * 2006-06-06 2007-12-06 General Electric Company Methods and apparatus for pet time of flight
JP2016161438A (en) * 2015-03-03 2016-09-05 株式会社デンソー Arithmetic unit
EP3367131A1 (en) * 2017-02-27 2018-08-29 STMicroelectronics (Research & Development) Limited A higher pixel density histogram time of flight sensor

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6504954B1 (en) 1999-02-05 2003-01-07 Raytheon Company Closed loop piecewise-linear histogram specification method and apparatus
EP2469301A1 (en) 2010-12-23 2012-06-27 André Borowski Methods and devices for generating a representation of a 3D scene at very high speed
GB2520232A (en) 2013-08-06 2015-05-20 Univ Edinburgh Multiple Event Time to Digital Converter
FR3038433A1 (en) 2015-07-02 2017-01-06 Stmicroelectronics (Grenoble 2) Sas METHOD FOR PRODUCING HISTOGRAMS OF A SIGNAL OF SENSORS FROM A SENSOR MATRIX, PARTICULARLY OF PROXIMITY, AND CORRESPONDING DEVICE
US10620300B2 (en) 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
GB201622429D0 (en) * 2016-12-30 2017-02-15 Univ Court Of The Univ Of Edinburgh The Photon sensor apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030218129A1 (en) * 2002-02-14 2003-11-27 Bruker Daltonik Gmbh High resolution detection for time-of-flight mass
US20070278409A1 (en) * 2006-06-06 2007-12-06 General Electric Company Methods and apparatus for pet time of flight
JP2016161438A (en) * 2015-03-03 2016-09-05 株式会社デンソー Arithmetic unit
EP3367131A1 (en) * 2017-02-27 2018-08-29 STMicroelectronics (Research & Development) Limited A higher pixel density histogram time of flight sensor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022188884A1 (en) * 2021-03-08 2022-09-15 奥诚信息科技(上海)有限公司 Distance measurement method, system and device

Also Published As

Publication number Publication date
ES2746248B2 (en) 2021-08-05
WO2020049203A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
US11639990B2 (en) Digital pixels and operating methods thereof
US9823350B2 (en) Linear mode computational sensing LADAR
Peng et al. Photon-efficient 3d imaging with a non-local neural network
FR3043797A1 (en)
Schug et al. Data processing for a high resolution preclinical PET detector based on Philips DPC digital SiPMs
US20160306045A1 (en) A method for driving a time-of-flight system
CN108291961A (en) Solid-state imaging apparatus, Distnace determination device and method for measuring distance
US8829408B2 (en) Sensor pixel array and separated array of storage and accumulation with parallel acquisition and readout wherein each pixel includes storage sites and readout nodes
ES2746248B2 (en) METHOD AND DEVICE FOR DETECTING THE PEAK OF THE COMPRESSED HISTOGRAM OF PIXEL VALUES IN HIGH RESOLUTION TIME-OF-FLIGHT SENSORS
US8908063B2 (en) Method and apparatus for a time-of-flight sensor with charge storage
Vornicu et al. Compact real-time inter-frame histogram builder for 15-bits high-speed ToF-imagers based on single-photon detection
WO2011051529A2 (en) Method and electronic circuit for reading the signals generated by one or more pixelated sensors
US20200003876A1 (en) A systolic processor system for a light ranging system
JP2006234727A (en) Radiation distribution photographing device, and radiation distribution photographing method
Martel et al. High-speed depth from focus on a programmable vision chip using a focus tunable lens
US11169270B2 (en) Solid-state imaging device
EP3987305B1 (en) Direct time-of-flight depth sensor architecture and method for operating of such a sensor
WO2020236227A1 (en) Real-time image formation from geiger-mode ladar
Boksenberg et al. Interpolative centroiding in CCD-based image photon counting systems
US9686487B1 (en) Variable scan rate image generation
US20210072360A1 (en) Photon detecting 3d imaging sensor device
Padmanabhan et al. Analysis of a modular SPAD-based direct time-of-flight depth sensor architecture for wide dynamic range scenes in a LiDAR system
Li et al. Fast Monolithic Detector Calibration Method-a simulation study
RU143489U1 (en) INTERFERENCE PROTECTED SURVEILLANCE SIGNAL DETECTOR SURVEILLANCE
Cai et al. Imaging sparse events at high speed

Legal Events

Date Code Title Description
BA2A Patent application published

Ref document number: 2746248

Country of ref document: ES

Kind code of ref document: A1

Effective date: 20200305

FG2A Definitive protection

Ref document number: 2746248

Country of ref document: ES

Kind code of ref document: B2

Effective date: 20210805