BE1023788B1 - Systeem en methode voor het bepalen van de afstand tot een object - Google Patents

Systeem en methode voor het bepalen van de afstand tot een object Download PDF

Info

Publication number
BE1023788B1
BE1023788B1 BE2016/5799A BE201605799A BE1023788B1 BE 1023788 B1 BE1023788 B1 BE 1023788B1 BE 2016/5799 A BE2016/5799 A BE 2016/5799A BE 201605799 A BE201605799 A BE 201605799A BE 1023788 B1 BE1023788 B1 BE 1023788B1
Authority
BE
Belgium
Prior art keywords
light
time window
amount
predetermined time
pixels
Prior art date
Application number
BE2016/5799A
Other languages
English (en)
Other versions
BE1023788A1 (nl
Inventor
Dyck Dirk Van
Den Bossche Johan Van
Original Assignee
Xenomatix Nv
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xenomatix Nv filed Critical Xenomatix Nv
Application granted granted Critical
Publication of BE1023788B1 publication Critical patent/BE1023788B1/nl
Publication of BE1023788A1 publication Critical patent/BE1023788A1/nl

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates

Abstract

De uitvinding heeft betrekking op een systeem voor het bepalen van een afstand tot een object, omvattende: een solid-state lichtbron voor het projecteren van een patroon van spots van laserlicht naar het object in een reeks pulsen; een detector omvattende en aantal beeldelementen, voor het detecteren van licht die het patroon van spots zoals gereflecteerd door het object synchroon met pulsen; en verwerkingsmiddelen om de afstand tot het object te berekenen als functie van de uitleeswaarde opgewekt doro de beeldelementen. De beeldelementen zijn geconfigureerd om uitleeswaarde te genereren door de accumulatie van elke puls van de sequentie, een eerste hoeveelheid elektrische lading reprensatief voor een eerste hoeveelheid licht gereflecteerd door het voorwerp gedurende een eerste tijdsinterval en een tweede elektrische lading representatief voor een tweede hoeveelheid licht gereflecteerd door het object gedurende een tweede tijdsvenster, waarbij het tweede tijdvenster na het eerst tijdvenster voorkomt.

Description

Systeem en methode voor het bepalen van de afstand tot een object Gebied van de uitvinding
De huidige uitvinding heeft betrekking tot het domein waarbinnen een systeem de afstand tot een object bepaalt, met name systemen die zijn gebaseerd op time-of-flight (ToF) voor het karakteriseren van een scène of een deel daarvan.
Achtergrond
Binnen het onderzoeksveld aangaande teledetectie technologie en voornamelijk dan bij het maken van hoge resolutie beelden van de omgeving, om in te zetten in talrijke controle en navigatie applicaties zoals, maar niet beperkt tot de automobiel sector, de industriële sector, gaming toepassingen en kaartapplicaties is het gekend om een detectie systeem te gebruiken obv een heen-en-weer-tijds meting om de afstand van objecten te bepalen t.o.v. een sensor.
ToF gebaseerde technieken omvatten het gebruik van radio frequentie gemoduleerde bronnen, beeldsensoren met een in de tijd aanpasbaar integratie venster en absolute heen-en-weer-tijdsmetingen. Voor het gebruik van radio frequentie gemoduleerde bronnen en beeldsensoren met een in de tijd aanpasbaar integratie venster is het noodzakelijk om het specifieke gezichtsveld te belichten met een gemoduleerde of gepulste bron. Absolute ToF (DToF) systemen, zoals de meeste LIDARs, scannen mechanisch de omgeving met een gepulste lichtbron, waarvan de reflectie wordt waargenomen met een pulsdetector.
Om een correlatie te identificeren tussen het uitgezonden RF-gemoduleerd signaal en het gedetecteerde gereflecteerde signaal moet het uitgezonden signaal aan een aantal vereisten voldoen. In de praktijk zijn het net deze vereisten die het RF-gemoduleerd detectie systeemerg onpraktisch maken wat betreft hun inzetbaarheid en toepasbaarheid bij voertuigen: de maximum bereikbaard meestafstand is namelijk zeer beperkt voor signaalintensiteiten die moeten voldoen aan de standaard veiligheidsgrenzen van toegelaten vermogens voor bijvoorbeeld gebruik in reguliere voertuigen.
Een DToF visiesensor, zoals gebruikt in de meeste LIDAR systemen, bestaat typisch uit een krachtige gepulste laser (opererend in een nanoseconde puls regime), een mechanisch scansysteem (voor het verkrijgen van een 3D-kaart uit de 1D puntmetingen) en een pulsdetector. Dit type omgevings-meet systeem is momenteel beschikbaar bij leveranciers zoals Velodyne Lidar uit Morgan Hill, California. Velodyne HDL-64E is een voorbeeld van hoogtechnologisch systeem dat gebruik maakt van 64 hoogvermogen lasers en 64 detectoren (avalanche-diodes) in een mechanisch roterende structuur die opereert aan 5 tot 15 omwentelingen per seconde.Het optische vermogen vereist voor deze DToF LIDAR-systemen om een bepaald meetbereik te realiseren aanvaardbaar voor automobiel toepassingen is te hoog om uit te voeren in halgegeleider technologie, waarvan het vermogen typisch een factor 5 tot 6 ordes lager is. Bovendien beperkt het gebruik van mechanisch roterende elementen de mogelijkheden voor miniaturisering, betrouwbaarheid en kostenreductie van dit type systeem.
De Amerikaanse octrooiaanvraag met publicatienr. 2015/0063387 op naam van Trilumina beschrijft een VCSEL die een totale energie van 50 mW levert in een puls met een pulsbreedte van 20 ns. De commercieel verkrijgbare Optek OPV310 VCSEL levert een totale energie van 60 mW in een puls met een duur van 10 ns.Op basis van extrapolatie kan het maximale optische vermogen geschat worden op 100 mW. Deze waarde wordt enkel gerealiseerd onder zeer strenge omstandigheden, maw een optimale dutycycle en korte pulsbreedte moet worden ingesteld om instabiliteit als gevolg van thermische problemen te vermijden. Zowel het Trilumina als het Optek systeem illustreren dat VCSEL systemen in continue mode hun fysieke beperkingen bereiken met betrekking tot het realiseerbare optische piekvermogen en dit ten gevolge van thermische beperkingen inherent verbonden aan de VCSEL technologie.
Deze orde groottes van beschikbare pulsenergie voor het gebruik in ns pulsen zoals ingesteld bij huidige DToF toepassingen, zorgt ervoor dat het aantal verwachtte fotonen die gereflecteerd worden door het voorwerp vanop een afstand van 120 m, zo laag is dat de detectiedrempel voor conventionele halfgeleidergebaseerde detectie-sensoren zoals CMOS ,CCD of SPAD array niet gehaald wordt.
Gezien de thermische en fysische limieten van halfgeleider gebaseerde lasers zoals VCSEL nagenoeg bereikt zijn, is het vergroten van het VCSEL vermogens met 5 of 6 ordes, zoals nodig zou zijn om het bereik van de conventionel DToF te bereiken fysiek onmogelijk. Zelfs het gebruik van avalanche-diodes (AD of SPAD), die theoretisch gezien voldoende gevoelig zijn om enkele terugkerende fotonen te detecteren, volstaat niet om zomaar in te pluggen in de gekende DToF LIDAR systemen om het probleem van afstandsbereik op te lossen. Een solid state uitvoering van een reeks van SPADS moet namelijk serieel uitgelezen worden. Bijkomend is er, een groot aantal SPADS nodig om de gewenste meet-nauwkeurigheid te bereiken. Echter de halfgeleider uitvoering houdt een beperking in op de bandbreedte van het systeem waardoor het ongeschikt is om de gewenste nauwkeurigheid voor de betreffende toepassing te realiseren. Voor nauwkeurigheden zoals die van het Velodyne systeem (0,02 m tot 0,04 m, onafhankelijk van de afstand) overschrijdt de vereiste uitleessnelheid de praktisch implementeerbare bandbreedte in geval van huidige stand van IC implementaties. Om operationeel te kunnen zijn met voldoende nauwkeurigheid op 120 m, is een SPAD matrix van 500x500 pixels nodig, die in een IC-gebaseerde implementatie, serieel moet worden uitgelezen. Bijkomend om dezelfde precisie als het eerder genoemde Velodyne systeem te behalen zijn 1000 pulsen per milliseconde nodig overeenkomend met 1.000 frames per milliseconde. Dit vertaalt zich in een uitlezing van 250 Gigapixels per seconde.
Aangenomen wordt dat dit technisch niet haalbaar in de context van huidige SPAD IC technologie.
De publicatie geschreven door Neil E. Newman et al., "High peak power VCSELs in Short Range LIDAR Applications", Journal of Undergraduate Research in Physics, 2013, http://www.jurp.org/2013/12017EXR.pdf, beschrijft VCSEL gebaseerd LIDAR systeem. De paper toont aan dat het maximale uitgangsvermogen van het beschreven prototype niet voldoende was voor een breedhoek LIDAR met een bereik van meer dan 0,75 m. Met een relatief gefocuste bundel (0,02 m puntgrootte op 1 m afstand) konden de auteurs een object detecteren op een maximale afstand van 1 m.
Bovenstaande voorbeelden tonen duidelijk aan dat het optische vermogen uitgezonden door de huidige stand van halfgeleider-laser technologie niet voldoet aan de energie-vereisten die nodig zijn voor gebruik in de gekende LIDAR-systemen en om zo praktisch te kunnen worden gebruikt in automotive toepassingen(bijvoorbeeld voor een bereik tot 120 m).
Het VS octrooi nr. 7.544.945 op naam van Avago Technologies General IP (Singapore) Pte. Ltd., beschrijft een voertuig gebaseerde LIDAR systeem en werkwijze op basis van meerdere lasers om een compactere en meer kosteffectiënte LIDAR functionaliteit te verkrijgen. Elke laser in een array van lasers wordt sequentieel geactiveerd.Overeenkomstige optische elementen, bevestigd ten opzichte van de array van lasers, projecteren vervolgens de respectievelijk uitgestuurde stralen in aanzienlijk verschillende richtingen. Het licht van deze bundels wordt gereflecteerd door objecten in de omgeving van het voertuig, en vervolgens gedetecteerd teneinde informatie over de objecten in de omgeving aan te leveren aan het voertuig en / of de passagiers. Het patent beschrijft een halfgeleider projector waarin de individuele lasers achtereenvolgens worden geactiveerd en optisch gedeflecteerd om de gekende mechanische scanning van de bestaande DToF LIDAR-systemen te vervangen.
Een zeer nauwkeurige middellange-afstand omgevings meetsysteem voor voertuigen dat geen time-of-flight detectie gebruikt, is bekend uit de internationale octrooiaanvraag WO 2015/004213 Al op naam van de huidige aanvrager. In deze publicatie gebeurt de lokalisatie van objecten op basis van de projectie van gepulste lichtstralen en de analyse van de verplaatsing van de gedetecteerde spots ten opzichte van vooraf bepaalde referentie posities. Meer bepaald, het systeem van de geciteerde publicatie gebruikt triangulatie. Echter, de nauwkeurigheid die kan bereikt worden, correleert met de triangulatie basis, die de verdere miniaturisatie van het meetsysteem beperkt.
Er is een continue behoefte aan verdere miniaturisatie en / of langere meetafstanden voor complexe omgevings meettoepassingen zeker bij toepassingen in de automobiel, zoals toepassingen voor ADAS (rijhulpsysteem) en zelfrijdende voertuigen, en dit tegen een redelijke prijs en in een compacte, halfgeleider- geïntegreerde vorm factor.
Samenvatting van de uitvinding
Het is een doelstelling van de uitvoeringsvormen van de huidige uitvinding om een verdere miniaturisatie en grotere meetafstand te kunnen realizeren in vergelijking met het bestaande verplatings-gebaseerde meetsysteem voor automobiel toepassingen . Verder is het een doel van de beoogde uitvoeringsvormen van de huidige uitvinding om een volledig solid-state alternatief te zijn voor de gekende LIDAR-systemen.
Volgens een aspect van de huidige uitvinding is er een systeem voorzien voor het bepalen van de afstand tot een object, dat omvat: een halfgeleider lichtbron voor het projecteren van een patroon van laser spots in naar het object obv een reeks pulsen; een detector bestaande uit een aantal foton gevoelige beeldpunten, dee detector is geconfigureerd voor het synchroon met geprojecteerde reeks van pulsen, detecteren van het door object gereflecteerde licht dat komt van het geprojecteerde patroon van spots; en verwerkingsmiddelen die geconfigureerd zijn om de afstand te berekenen tot het object als functie van de uitleeswaardedegegeneerd door voorgenoemde beeldelementen ten gevolge van het gedetecteerde licht, ; waarbij de betreffende beeldelementen zo zijn geconfigureerd voor het genereren van voorgenoemde uitleeswaarde door de opslag -voor elke puls van voorgenoemde sequentie-, een eerste hoeveelheid elektrische lading representatief voor een eerste hoeveelheid licht gereflecteerd door het voorwerp gedurende een eerste vooraf bepaald tijdvenster en een tweede elektrische lading representatief voor een tweede hoeveelheid licht door het object gereflecteerd gedurende een tweede vooraf bepaalde tijds venster, waarbij het tweede vooraf bepaalde tijdvenster zich na het eerste vooraf bepaalde tijd venster bevindt.
De huidige uitvinding berust op dezelfde fysische principes als directe time-of-flight afstandsmeet systemen, nl. dat het licht altijd een bepaalde tijd nodig heeft om een bepaalde afstand af te leggen. De huidige uitvinding gebruikt range gating om de afstand die een lichtpuls heeft afgelegd en vervolgens gereflecteerd door een doelobject te bepalen. De huidige uitvinding berust onder meer op het inzicht van de uitvinders dat het combineren van range gating, een ten minste gedeeltelijk gelijktijdig spot patroon projectie (gebaseerd op een vernieuwend belichtings systeem) en een laag vermogen halfgeleider lichtbron een in grotendeels geminiaturiseerde, volledige solid state en energie-efficiënte lange afstands meetmethode verkregen kan worden. De term "patroon" zoals hierin gebruikt verwijst naar een ruimtelijke verdeling van gelijktijdig geprojecteerde spots. Om de positie van de gedetecteerde spot reflectie in de driedimensionale ruimte te bepalen, is het noodzakelijk om de afstand verkregen via de ranging step met hoek informatie te combineren om zo de resterende twee ruimtelijke coördinaten te bepalen. Een camera obv pixel array en met geschikte optiek kan worden gebruikt om de aanvullende hoek informatie te voorzien, en dit door identificatie van de pixel waarin de reflectie wordt gedetecteerd.
De verschillende uitvoeringsvormen van de uitvinding zijn gebaseerd op het diepere inzicht van de uitvinders dat, om spot patronen, gegenereerd door halfgeleider lichtbronnen, in een LIDAR systeem kunnen toepassen voor de gewenste afstanden, een manier gevonden moet worden om de beperkingen mbt de optische intensiteits te omzeilen. De uitvinders hebben gevonden dat door het verlengen van de pulsduur en door integratie van de gereflecteerde energie van meerdere VCSEL gegenereerde lichtpulsen in tenminste twee halfgeleider opslag-reservoirs of ten minste twee pixels, gevolgd door een enkelvoudige uitlezing van de geïntegreerde lading, een solid-state LIDAR systeem verkregen kan worden met een aanzienlijk grotere actieradius dan momenteel mogelijk is met huidige solid-state implementaties. In de vervolg tekst zal de term "opslag" gebruikt worden om opslagreservoir of pixel te benoemen waarin lading wordt geaccumuleerd als reactie op de detectie van fotonen.
Het is een voordeel van de huidige uitvinding dat de solid-state lichtbron en de solid-state sensor (bijvoorbeeld een CMOS sensor een CCD-sensor, SPAD array of dergelijke) kan worden geïntegreerd op hetzelfde halfgeleidersubstraat. De solid-state lichtbron bevat een VCSEL-array of een laser met een welbepaald raster om het gewenste projectie-patroon te realiseren.
Bovendien, door het evalueren van de gereflecteerde lichtenergie gedetecteerd in twee opeenvolgende tijdvensters, en het normaliseren ervan tov de totaal geaccumuleerde lading in de twee opeenvolgende vensters, kan het effect van variërende reflectiviteit van het object en de bijdrage van het omgevingslicht adquaat in rekening gebracht worden in het afstands-berekenings-algoritme.
In de beeldelementen, Het licht invallend op de beeldelementen dan gecollecteerd wordenop niveau van individueel ladingsreservoir of op pixelniveau. Een voordeel van ladingsaccumulatie op niveau van ladingsreservoir is dat de uitlees ruis geminimaliseerd wordt, wat leidt tot een betere signaal-ruisverhouding.
De transmissie en detectie van de reeks pulsen kan periodiek worden herhaald.
In een uitvoeringsvorm van het huidige systeem volgens de huidige uitvinding, is het eerste vooraf bepaalde tijdvenster en het tweede vooraf bepaalde tijdvenster substantieel even lang en sluiten ze back-to-back aan aan elkaar.
Het voordeel van deze uitvoeringsvorm is dat de bijdrage van het omgevingslicht in de afstandsberekening formule gemakkelijk kan worden geannuleerd door middel van het aftrekken van het geaccumuleerde omgevingslicht uitgemiddeld over de omliggende pixels.
In een specifieke uitvoeringsvorm bestaat elk van de meerdere beeldelementen ten minste uit twee ladingsopslag reservoirs, en de detectie van de eerste hoeveelheid licht en de detectie van de tweede hoeveelheid licht gebeurt respectievelijke op één van de ten minste twee ladingsopslagreservoirs.
De term "lading opslag reservoir" duidt op opslagruimte die is voorzien in het halfgeleidersubstraat, b.v. een condensator, die de elektrische ladingen gegenereerd door de omzetting van fotonen invallend op de pixel opslaat. Het doel van deze specifieke realisatievorm is om een betere signaal-ruisverhouding te realiseren waardoor het bereik van de sensor wordt verbeterd.
Volgens een aspect van de huidige uitvinding, wordt er een voertuig voorzien, waarop gemonteerd: een systeem zoals beschreven hierboven opgesteld om ten minste een deel van een gebied rondom het voertuig op te meten.
Het systeem volgens de huidige uitvinding is in het bijzonder relevant in een voertuig met een ADAS of een autonome sturingseenheid zoals, maar niet beperkt tot ECU (electronisch controle eenheid). Het voertuig kan een voertuig controle-eenheid bevatten, aangepast voor het ontvangen van de meetinformatie van het systeem en voor het gebruik van de informatie voor ADAS toepassingen of autonoom rijden. Het deel van de ruimte rondom het voertuig kan het wegdek vóór, naast of achter het voertuig omvatten. Bijgevolg kan het systeem weg profielgegevens van voor de auto genereren, om te worden gebruikt voor actieve of semi-actieve ophanging.
Volgens een aspect van de huidige uitvinding, is er een camera, de camera bevat een systeem zoals beschreven hierboven, waarbij het systeem is geconfigureerd voor het toevoegen van 3D data aan het camerabeeld obv de meet gegevens van het systeem, waardoor het mogelijk wordt gemaakt om een 3D-beeld te creëren. Volgens een aspect van de huidige uitvinding wordt een methode voorzien voor het bepalen van een afstand tot een object, waarbij de methode omvat: het gebruik van een halfgeleider lichtbron die een patroon van spots van laserlicht naar het object in een reeks pulsen projecteert ; met behulp van een detector bestaande uit een aantal beeldelementen die synchroon met genoemde reeks pulsten het licht te detecteren van het patroon van geprojecteerde spots en gereflecteerd door het object; en het berekenen van de afstand tot het object als een functie van uitleeswaarde gegeneerd door voorgenoemde beeldelementen ten gevolge van het gedetecteerde licht, ; waarbij de betreffende beeldelementen zo zijn geconfigureerd voor het genereren van voorgenoemde uitleeswaarde door de opslag -voor elke puls van voorgenoemde sequentie-, een eerste hoeveelheid elektrische lading representatief voor een eerste hoeveelheid licht gereflecteerd door het voorwerp gedurende een eerste vooraf bepaald tijdvenster en een tweede elektrische lading representatief voor een tweede hoeveelheid licht door het object gereflecteerd gedurende een tweede vooraf bepaalde tijds venster, waarbij het tweede vooraf bepaalde tijdvenster zich na het eerste vooraf bepaalde tijd venster bevindt.
In een realisatievorm van de methode volgens de huidige uitvinding zijn het eerste vooraf bepaalde tijdvenster en het tweede vooraf bepaalde tijdvenster van substantieel gelijke duur en sluiten back-to-back aan elkaar aan.
In een realisatievorm van de methode volgens de huidige uitvinding, bevat elk van de meerdere beeldelementen ten minste twee ladingsopslag reservoirs, en waarbij het detecteren van de eerste hoeveelheid licht en het detecteren van de tweede hoeveelheid licht respectievelijke optreedt op een van de ten minste twee ladingsopslag reservoirs.
In een uitvoeringsvorms van de werkwijze volgens de huidige uitvinding, worden het projecteren, de detectie en de berekeningen periodiek herhaald.
Volgens een aspect van de huidige uitvinding wordt er een computerprogramma product voorzien dat de code, geconfigureerd om een processor de bovenvermelde methode uit te laten voeren volgens bovenvermelde werkwijze, bevat.
De technische effecten en voordelen van de uitvoeringsvormen van de camera, het voertuig, de methode en het computerprogramma product volgens de huidige uitvinding komen overeen, mutatis mutandis, met deze van de overeenkomstige realisatievormen van het systeem volgens de huidige uitvinding.
Korte beschrijving van de figuren
Deze en andere aspecten en voordelen van de huidige uitvinding zullen nu worden beschreven met verwijzing naar de bijgaande tekeningen, waarin:
Figuur 1 stelt een schema van een uitvoeringsvorm van de methode volgens de huidige uitvinding voor;
Figuur 2 stelt schematisch een uitvoeringsvorm van het systeem volgens de huidige uitvinding voor;
Figuur 3 vertegenwoordigt een tijds-diagram voor de licht-projectie en -detectie in de uitvoeringsvormn van de huidige uitvinding;
Figuur 4 geeft diagrammen van een voorbeeld pixel output in functie van de invallende lichtsterkte zoals verkregen bij logaritmische tone mapping (boven) en multilinéaire tone mapping (onderaan);
Figuur 5 stelt een diagram voor van een voorbeeld van een pixel-uitgangen als functie van de invallende lichtsterkte zoals verkregen bij een hoog dynamisch bereik multiple output pixel; Figuur 6 toont schematisch de structuur van een hoog dynamisch bereik pixel voor gebruik in de een uitvoeringsvorm van de huidige uitvinding;
Figuur 7 illustreert de schematisch een uitvoeringsvorm van een pixelarchitectuur met twee lading reservoirs(opslag) met elk een aparte transfer gate voor het gebruik in de verschillende uitvoeringsvormen van huidige uitvinding;
Figuur 8 vertegenwoordigt schematisch een eerste voorbeeld van een optische uitvoeringsovrm om te gebruiken in de uitvoeringsvorm van de huidige uitvinding;
Figuur 9 illustreert schematisch een tweede voorbeeld van een optische opstelling om te gebruiken in de uitvoeringsvorm van de huidige uitvinding;
Figuur 10 illustreert schematisch een derde voorbeeld van een optische opstelling voor het gebruik in een uitvoeringsvorm van de huidige uitvinding; en
Figuur 11 illustreert schematisch een vierde voorbeeld van een optische uitvoeringsvorm voor huidige uitvinding.
Gedetailleerde beschrijving van de verschillende realisatievormen
Het omgevings meetsystemen van het type beschreven in de internationale octrooiaanvrage WO 2015/004213 Al, op naam van de aanvraagster, heeft het voordeel van het opmeten van een uitgebreide scene wanneer deze gelijktijdig of gedeeltelijk gelijktijdig belicht wordt in een aantal discrete en goed gedefinieerde spots, in het bijzonder op een vooraf bepaalde spot patroon. Door gebruik te maken van VCSEL lasers met een uitstekende bundelkwaliteit en een zeer smal spectrum, is het mogelijk om een bepaalde scene op te meten zelfs met een beperkt vermogen, en zelfs bij de aanwezigheid van daglicht. De eigenlijke afstandsmeting uitgevoerd in het systeem van WO 2015/004213 Al berust op een meting obv verplaatsings detectie met name triangulatie. Deze werd gezien als de enige methode praktisch realiseerbaar binnen de context van de lange (quasi-stationaire) pulsduur die noodzakelijk is omwille van het 'lage' power budget. Tot op heden was het niet mogelijk om dezelfde vermogen/performance karakteristieken te realiseren met een compacte, halfgeleider gebaseerde time-of-flight systeem.
De huidige uitvinding overwint deze beperking door het radicaal veranderen van de manier waarop het time-of-flight systeem werkt. De uitvinding verhoogt de totale hoeveelheid lichtenergie geëmitteerd voor elk time-of-flight meting (en dus het aantal fotonen beschikbaar voor detectie bij de detector per time-of-flight meting) door het verhogen van de duur van de afzonderlijke pulsen en door het produceren van een virtueel "samengestelde puls", bestaande uit een opeenvolging van een groot aantal afzonderlijke pulsen. Deze bundeling van langere pulsen geeft de uitvinders de benodigde hoeveelheid lichtenergie (fotonen) om zo het gewenste meetbereik met een laag vermogen VCSEL te realiseren.
Terwijl een individuele puls van degekende LIDAR systemen een tijdsduur hebben van 1 ns, zal het systemen van de huidige uitvinding voordeel halen uit een aanzienlijk langer durende puls om zo het relatief lage vermogen van de halfgeleiderlasers zoals VCSELs gedeeltelijke te compenseren; in uitvoeringsvormen van de huidige uitvinding, kunnen individuele pulsen binnen een sequentie een voorbeeld pulsduur van 1 ps (dit is één mogelijke waarde, hier gekozen om de beschrijving helder en eenvoudig te houden; in het algemeen, kunnen de verschillende uitvoeringsvormen van de huidige uitvinding een pulsduur hebben van bijvoorbeeld 500 ns of meer, bij voorkeur 750 ns of meer, liefst 900 ns of meer). In een voorbeeld volgens huidige uitvinding kan een sequentie 1000 pulsen, hetgeen sommeert tot een duur van 1 ms. Aangezien licht ongeveer 0,66 ps tijd nodig heeft om een doel op een afstand van 100 meter heen en terug naar de detector te bereiken, is het mogelijk om samengestelde pulsen van deze totale tijdsduur te gebruiken voor afstandsmetingen te doen binnen deze grootteorde; de vakman zal in staat zijn om het benodigde aantal pulsen aan te passen in functie van de gekozen pulsbreedte en het gewenste bereik.
De detectie van de sequentie van de afzonderlijke pulsengebeurt bij voorkeur synchroon met de VCSEL-gebaseerde lichtbron, Het opslaan van de ladingen in het minstens één pixel opslag reservoir ten gevolge van de invallende fotonen ingebeurt voor de gehele sequentie voorafgaande aan de uitlezing. De term " uitleeswaarde " wordt hierna gebruikt om de waarde representatief aan de lading te duiden (en dus de hoeveelheid licht ontvangen op de pixel) geïntegreerd over de sequentie. Het uitsturen en detecteren van de sequentie kan periodiek worden herhaald.
De huidige uitvinding werkt obv range gating. Range gated camera's integreren het gedetecteerde vermogen van de reflectie van de uitgezonden puls gedurende de duur van de puls. De hoeveelheid overlapping in de tijd tussen het tijdsvenster van de pulsprojectie en de aankomst van de gereflecteerde puls is afhankelijk van de tijd nodig door de lichtpuls om terug te keren, en dus van de afstand afgelegd door die de puls. Met andere woorden, het geïntegreerde vermogen is gecorreleerd met de afstand die de puls aflegt. De huidige uitvinding gebruikt het principe van range gating, zoals toegepast op de hierboven beschreven sequentie pulsen. In de volgende beschrijving, de integratie van de afzonderlijke pulsen binnen een sequentie in het opslagreservoir van een beeldelement om een meting te verkrijgen van de gehele sequentie wordt impliciet hieronder verstaan.
Figuur 1 illustreert overzicht van een uitvoeringsvorm volgens de methode van de huidige uitvinding. Zonder verlies aan algemeenheid, wordt de ranging werkwijze beschreven met verwijzing naar een range gating algoritme. In een eerste tijdvenster 10 bestaat de methode uit het projecteren 110, van een patroon van spots van laserlicht (bijvoorbeeld een regelmatige of onregelmatige ruimtelijke patroon van spots) vanaf een lichtbron, die een solid-state lichtbron 210 omvat, op eender welk voorwerpen in het doelgebied van de omgeving. Het ruimtelijk patroon wordt herhaaldelijk uitgezonden in een reeks pulsen.
Zoals hierboven aangegeven, kan de halfgeleider lichtbron bestaan uit een VCSEL-array of een laser met een raster aangepast om het gewenste patroon te projecteren. Om het systeem optimaal te laten functioneren, zelfs op grote afstand en met een hoge niveaus van omgevingslicht (bijvoorbeeld overdag), wordt een VCSEL voor gebruik in de uitvoeringsvorm van de huidige uitvinding bij voorkeur ingesteld om een maximum optisch vermogen te projecteren per spot per eenheid van het oppervlakte. Met andere woorden, lasers met een goede bundelkwaliteit (lage M2-factor) genieten de voorkeur. Een grotere voorkeur, zou uitgaan naar lasers met een minimale spreiding op de golflengte; een kleine golflengte spreiding kan worden bereikt met monomode lasers. Met andere woorden, de golflengte is substantieel hetzelfde en kan worden gereproduceerd, met de noodzakelijke ruimtelijke en temporele nauwkeurigheid.
Gedurende hetzelfde tijdvenster waarin een puls wordt geprojecteerd, of in een grotendeels overlappend tijdvenster, wordt een eerste hoeveelheid gereflecteerd licht conform het patroon van spots geprojecteerd op het betreffende object gedetecteerd 120 op een detector, die bij voorkeur zo dicht als mogelijk bij de lichtbron is gemonteerd. De Synchroniciteit of bijna synchroniciteit tussen de projectie 110 van het spotpatroon en de eerste detectie 120 van de reflectie, wordt geïllustreerd in het overzichtsschema door de zij-aan-zij voorstelling van deze stappen. In een daaropvolgend tweede vooraf bepaald tijdvenster 20, wordt een tweede hoeveelheid licht die het gereflecteerde licht voorstelt gedetecteerd door detector 130. Tijdens dit tweede venster 20, is de solid-state lichtbron uitgeschakeld. De afstand tot het object kan dan worden berekend 140 als een functie van de eerste hoeveelheid gereflecteerd licht en de tweede hoeveelheid gereflecteerd licht.
Het eerste vooraf bepaalde tijdvenster 10 en het tweede vooraf bepaalde tijdvenster 20 zijn bij voorkeur een back-to-back venster van substantieel gelijke tijdsduur, om zo het cancellen van ruis en omgevingslicht te vergemakkelijken door het af te trekken van één van de gedetecteerde lichthoeveelheden. Een voorbeeld van een tijdsschema wordt hieronder in meer detail beschreven in samenhang met figuur 3.
De detector bestaat uit een een aantal beeldelementen, dit wil zeggen dat deze bestaat uit een beeldelement rooster uitgevoerd met een adequate optiek om een beeld van de omgeving (waaronder ook de spots) op het beeldelement te projecteren. De term "beeldelement" zoals hier gebruikt kan verwijzen naar een afzonderlijk lichtgevoelige gebied of opslagreservoir van een pixel of een hele pixel (die meerdere opslagreservoirs kunnen omvatten, zie hieronder). Voor ieder afzonderlijk geprojecteerde spot, de detectie 120 van de eerste hoeveelheid licht en de detectie 130 van de tweede hoeveelheid licht gebeurt gelijktijdig met één of dezelfde groep van het aantal beeldelementen.
Zonder verlies aan algemeenheid, elk van de beeldelementen kan een een pixel zijn die tenminste twee ladingsopslagreservoirs 221, 222,bevat zodanig dat de detectie-120 van de eerste hoeveelheid licht en de detectie 130 van de tweede hoeveelheid licht op de respectievelijke ladingopslag reservoirs 221, 222 van dezelfde pixel of pixelgroepplaatsvindt.
Figuur 2 toont een schematische voorstelling van een uitvoeringsvorm van het systeem volgens de huidige uitvinding met betrekking tot een object 99 in de omgeving. Het systeem 200 bestaat uit een solid-state lichtbron 210 voor het projecteren van een patroon van een reeks spots dat periodiek kan herhaald worden, op het object 99. Een detector 220 is opgesteld nabij de lichtbron en geconfigureerd om licht gereflecteerd door het voorwerp te detecteren.
De terugkaatste lichtbundel van object 99 is weergegeven als een pijl in stippellijnen, dat een weg aflegt van de lichtbron 210 naar het object 99 en terug naar de detector 220. Opgemerkt moet worden dat deze voorstelling strikt schematisch, en niet indicatief bedoelt te zijn voor e reële relatieve afstanden of hoeken.
Een synchronisatie middel 230, dat een standaard clocking of oscillator kan bevatten, is geconfigureerd om de solid-state lichtbron 210 aan te sturen om het patroon van spots op het object in het eerst vooraf bepaalde tijdvensters 10 te projecteren en om de detector 220 aan te sturen een eerste hoeveelheid licht te detecteren invallend van het licht van de spots gereflecteerd op het voorwerp 99 en dit in substantieel hetzelfde tijdsvenster. Daarnaast stuurt het de detector 220 aan om een tweede hoeveelheid licht die de spots gereflecteerd op het voorwerp 99 te detecteren, tijdens een respectievelijk daaropvolgende tweede vooraf bepaalde tijdvensters 20. Geschikte verwerkingsmiddelen 240 worden geconfigureerd om de afstand tot het object te berekenen als functie van de eerste hoeveelheid gereflecteerd licht en de tweede hoeveelheid gereflecteerd licht.
Figuur 3 geeft een tijdschema weer voor lichtprojectie en -detectie in een uitvoeringsvorm van de huidige uitvinding. Voor de verduidelijking: er is slechts een enkele puls van de pulsreeks die periodisch herhaald wordt in figuur 1, deze bestaat uit een eerste tijdvenster 10 en een tweede tijdvenster 20.
Zoals te zien is in figuur 3a zal gedurende het eerste tijdvenster 10, de solid-state lichtbron 210 in "aan" -toestand zijn, het patroon van spots op de omgeving projecteren. Gedurende het tweede tijdvenster 20, is de solid-state lichtbron 210 in de "UIT" toestand.
De inval van het gereflecteerde licht op detector 220 is vertraagd ten opzichte van het begin van de projectie met een tijdsduur die evenredig is met de afgelegde afstand (ongeveer 3,3 ns / m in vrije ruimte). Door deze vertraging wordt slechts een deel van het gereflecteerde licht gedetecteerd in het eerste opslagreservoir 221 van de detector 220, die alleen tijdens het eerste tijdvenster 10 geopend wordt. De geaccumuleerde lading in dit eerste opslagreservoir opgeslaan gedurende de AAN periode (het eerste tijdvenster 10) bestaat voor een deel uit de ruis en het omgevingslicht die invallen op het beeldelement voor de aankomst van de gereflecteerde puls, en een deel bestaat uit de ruis, het omgevingslicht en eerste deel van de gereflecteerde puls.
Het laatste deel van de gereflecteerde puls wordt gedetecteerd door het tweede ladingsreservoir 222 van de detector 220, die alleen in het tweede tijdvenster 20 is geactiveerd, die bij voorkeur onmiddellijk volgt op het eerste tijdvenster 10. De geaccumuleerde lading in dit tweede ladingsreservoir tijdens de periode van activering (het tweede tijdvenster 20) bestaat uit een deel dat de ruis reprensenteert, het omgevingslicht en de achterrand van de gereflecteerde puls, en een deel dat alleen de ruis en het omgevingslicht invallend op de pixel na de inval van de gereflecteerde puls representeert.
Hoe groter de afstand tussen het reflecterende object 99 en het systeem 200, hoe kleiner de verhouding van de puls die in het eerste ladingsreservoir 221 wordt gedetecteerd en hoe groter het aandeel van de puls dat in het tweede ladingsreservoir 222 wordt gedetecteerd.
Als de eerste flank van de gereflecteerde puls aankomt na het sluiten van de eerste well 221 (dat wil zeggen, na het einde van het eerste tijdvenster 10), dan zal het deel van de gereflecteerde puls die in het tweede ladingsreservoir gedetecteerd 222 wordt afnemen bij grotere vluchtvertragin.
De verkregen hoeveelheid lading A, B in elk van de respectievelijke wells 221, 222 voor de verschillende afstanden van het object 99 wordt weergegeven in figuur 3b. Om de voorstelling te vereenvoudigen, het effect van de verzwakking van het licht met de afstand, volgens het kwadraat van de afstand, is niet in rekening gebracht bij het opstellen van het diagram. Het is duidelijk dat voor de time of flight vertragingen betreffende de totale duur van het eerste tijdvenster 10 en het tweede tijdvenster 20, de time of flight vertraging in principe ondubbelzinnig kan worden afgeleid uit de waarden van A en B:
Voor time of flight vertragingen tot de duur van het eerste tijdvenster 10, B is evenredig met de afstand tot het object 99. Om gemakkelijk tot een bepaling van de absolute afstand te komen, kan de genormaliseerde waarde B / (B + A) gebruikt worden, dit reduceert de impact van elke vorm van niet-perfecte reflectiviteit van het gedetecteerde object en van de omgekeerd evenredigheid met het kwadraat.
Voor de time of flight vertragingen die meer dan de duur van het eerste tijdvenster 10 beslaat, bestaat A uit daglicht en ruis-bijdragen (niet afgebeeld) en C-B is nagenoeg evenredig (na correctie voor de afhankelijkheid van de afstand in het kwadraat) met de afstand van het object 99, waarbij C een offset waarde is .
Terwijl figuren 3a en 3b het principe van de uitvinding met betrekking tot een enkele puls weergeven in het tijdvenster 10, zal het duidelijk zijn dat de getoonde puls deel uitmaakt van een reeks pulsen zoals hierboven gedefinieerd. Figuur 3c illustreert schematisch enkele voorbeeld kenmerken van de tijdstippen van een dergelijke sequentie. Zoals weergegeven, het projectieschema 40 bestaat uit een herhaalde projectie van een reeks van 30 afzonderlijke pulsen 10. De breedte van de afzonderlijke pulsen 10 wordt bepaald door het maximale meetbereik. De volledige sequentie kan worden herhaald met een frequentie van bijvoorbeeld 60 Hz.
Het raging systeem volgens de huidige uitvinding kan worden geïntegreerd met een triangulatie-systeem in overeenstemming met WO 2015/004213 Al. Als er miniaturisatie wordt nagestreefd, zal het op triangulatie gebaseerde systeem een relatief kleine afstand tussen de projector en de detector hebben, met als gevolg een beperkte actieradius. Maar het is juist op deze korte afstand dat er voordelen optreden, net omdat het triangulatie-systeem de afstanden kanopmeten die het op time-of-flight gebaseerde systeem niet met voldoende nauwkeurig kunnen opmeten.
Het gehele ranging proces kan iteratief worden herhaald, dit met de bedoeling om de afstand tot het object in de tijd te monitoren. Het resultaat van deze werkwijze kan worden gebruikt in het proces waarbij de informatie over de afstand tot de gedetecteerde objecten op een continue basis vereist is, zoals geavanceerde ADAS, voertuigen met een actieve ophanging of autonome voertuigen.
Opdat alle elementen van het systeem zoals beschreven optimaal zouden werken, moet het systeem thermisch stabiel zijn. Thermische stabiliteit voorkomt onder meer, ongewenste verschuivingen van golflengte van de optische elementen (thermische drift), deze zouden de goede werking van de optische filters en andere elementen van de optische systeem suboptimaal laten werken. Realisatievormen van het systeem volgens de huidige uitvinding streeft thermische stabiliteit na door of het ontwerp, of actieve T en warmte obv een temperatuur regelkring met PID gebaseerde controlelus. WO 2015/004213 Al beschrijft verschillende technieken om de hoeveelheid omgevingslicht dat de beeldelement tijdens de detectie-intervallen bereikt te minimaliseren, waardoor de nauwkeurigheid van de detectie van het laser spot patroon verbetert. Hoewel deze technieken niet zijn beschreven in de context van een LIDAR systeem hebben de uitvinders van de huidige uitvinding ondervonden dat verschillende van dergelijke technieken uitstekende resultaten geven in combinatie met uitvoeringsvormen van de huidige uitvinding. Dit geldt met name voor het gebruik van smalle bandfilters bij de detector en het gebruik van geschikte optische composities om een bijna loodrechte inval van het gereflecteerde licht op de filters te garanderen. De details van deze verbeteringen zoals beschreven in WO 2015/004213 Al worden hierbij als referentie opgenomen. Verdere kenmerken en details worden hierna verstrekt.
Hoewel de verscheidene technieken bekend uit WO 2015/004213 Al kunnen worden toegepast op de uitvoeringsvorm van de huidige uitvinding om de hoeveelheid omgevingslicht dat de pixels bij de detectie-intervallen bereikt te minimaliseren, kan een bepaalde hoeveelheid omgevingslicht toch niet worden vermeden. In een multi-pixel systeem worden slechts enkele pixels verlicht door gereflecteerde spots, terwijl andere worden verlicht door het enige resterende omgevingslicht. De signaalniveaus van de laatste groep van pixels kunnen worden gebruikt om de bijdrage van het omgevingslicht om het relevant signaal te kunnen inschatten, en om vervolgens deze bijdrage daarvan af te trekken. Aanvullend of alternatief kan achtergrondlicht of omgevingslicht worden afgetrokken van het gedetecteerde signaal op pixel niveau.
Hiervoor zijn twee blootstellingen, een tijdens de aankomst van de laserpuls en een in de afwezigheid van een puls.
In sommige realisatievormen kan de detector een hoog dynamisch bereik detector zijn, d.w.z. een detector die een dynamisch bereik van ten minste 90 dB, bij voorkeur bij ten minste 120 dB. De aanwezigheid van een hoog dynamisch bereik sensor, d.w.z. een sensor die met een grote hoeveelheid fotonen zonder verzadiging kan opereren, terwijl de camera tegelijkertijd voldoende discriminatie vermogen heeft voor de intensiteits niveaus in het donkerste deel van de scène te detecteren, vormt een voordeel voor gebruik in dergelijkr sensor; het laat een sensor toe die een groot afstandsbereik heeft en nog steeds in staat is om objecten op korte afstand te detecteren (wanneer het gereflecteerde licht relatief sterk is) zonder er verzadiging optreedt. De uitvinders hebben ondervonden dat het gebruik van een echte high dynamic range camera voordeliger is dan het gebruik van een sensor die tonemapping gebruikt.In tonemapping is de sensor lineaire gecomprimeerd naar ee hoger resolutie bereik. In de literatuur worden verschillende compressiemethoden gedocumenteerd, zoals logaritmische compressie of multilinéaire compressie (zie figuur 4). Maar deze niet-lineaire compressie maakt relinearisation van de signalen voor het uitvoeren van logische of rekenkundige bewerkingen op de vastgelegde scène noodzakelijk om zo de relevant informatie eruit te halen. De oplossing volgens de huidige uitvinding verhoogt de detectie nauwkeurigheid zonder de rekeneisen te verhogen. Het is een voordeel van sommige realisatievormen om een volledig lineair hoog dynamisch bereik sensor zoals weergegeven in figuur 5 te gebruiken. Een pixel architectuur en een optische detector die in staat zijn de gewenste dynamische bereik kenmerken zo te voorzien worden beschreven in US octrooiaanvrage publicatie nr. US 2014/353472 Al, in het bijzonder de punten 65-73 en 88, waarvan de inhoud door verwijzing is opgenomen met als doel om de vakman met dit aspect van de huidige uitvinding te laten kennismaken.
Uitvoeringsvormen van de huidige uitvinding gebruiken een hoog dynamisch bereik pixel. Dit kan worden verkregen door een omvangrijke full-well capaciteit van het ladingsreservoir of door designs die de elektronische ruis beperken per beeldelement of door gebruik te maken van CCD poorten die geen ruis toevoegen aan de ladingsoverdracht, of door een ontwerp met een groot kwantumrendement ( DQE) (bijvoorbeeld, in de grootte orde van 50% voor enkel voorzijde belichting of 90% bij achterzijde belichting, ook bekend als back thinning) of door een speciaal ontwerp zoals getoond in figuur 6 (zie hieronder), of eender welke combinatie van de opgesomde verbeteringen. Bovendien kan het dynamische bereik verder worden vergroot door toevoeging van een overflow capaciteit op de pixel in overlay opbouw aan de voorzijde (deze uitvoering is opnieuw vereist back thinning) .Bij voorkeur, is het pixel ontwerp uitgevoerd met een anti-blooming mechanisme.
Figuur 6 geeft een schematische weergave van een interessante uitvoering van een pixel met een hoog dynamisch bereik. Het voorbeeld in deze figuur maakt gebruik van twee opslag poorten 7, 8, verbonden met de zwevende diffusie. Na blootstelling, worden de elektronen die door de scène en de laserpuls werden gegenereerd, overgebracht op de zwevende diffusie met de overdrachtspoort 11. Zowel Vgatel en Vgate2 gate spanning worden op hoog gezet. De ladingen worden vervolgens gelijkmatig verdeeld over beide condensatoren, en realiseren een aanzienlijke Full Well. Zodra deze hoge full-well data is uitgelezen na de versterker, wordt de spanning Vgate2 op laag geplaatst. De elektronen vloeien terug richting condensator 7, waardoor de totale pixel winst wordt verhoogd. De gegevens kunnen worden gelezen via de versterker. Het is verder mogelijk om een nog grotere versterking te verkrijgen door later een lagere spanning op Vgatel toe te passen. De elektronen vloeien terug naar de zwevende diffusie 2.
Figuur 7 geeft een mogelijke dubbele well of dual-bin of dubbel ladingsreservoir uitvoering van een beoogde pixel weer om te gebruiken in CMOS-technologie. Het invallende signaal is verdeeld over twee lading reservoirs. Elk reservoir heeft een aparte overdrachtspoort gecontroleerd door een externe puls die wordt gesynchroniseerd met de puls van de laserbronnen.
Figuren 8-10 illustreren camera's die kunnen worden gebruikt in de uitvoeringsvorms van de uitvinding, waarbij de lichtbrond monochromatisch licht uitzendt en waarbij ten minste één detector uitgerust is met een corresponderend smalle banddoorlaat-filter en optisch ingericht om een invalshoek te wijzigen op deze smalle banddoorlaat-filter, om de invalshoek te beperken tot een vooraf bepaald bereik rond een normale van een van het hoofdoppervlakken van deze smalle banddoorlaat-filter, deze optiek bestaat uit een beeld-zijde telecentrische lens. De term "camera" wordt hier gebruikt als een combinatie van een sensor en bijbehorende optica (lenzen, lens arrays, filter). Met name in figuur 9, omvat de optica verder een minilens matrix aangebracht tussen de beeldzijde-telecentrische lens en de ten minste ene detector, zodat de individuele minilenses van de minilens matrix het invallend licht op respectieve lichtgevoelige gebieden van de afzonderlijke pixels van de ten minste ene detector laten vallen. Het is een voordeel van deze minilens-per-pixel-opstelling dat het verlies als gevolg van de vulfactor van de onderliggende sensor door optisch geleiding al het invallende licht naar het lichtgevoelige gedeelte van de pixels kan worden verminderd.
Deze voorbeelden resulteren allen in een belichting die substantieel gelijke afstand aflegt doorheen het filtermedium of met andere woorden, dat de invallende belichting substantieel loodrecht op het filteroppervlak invalt, m.a.w. deze wordt beperkt met een invalshoek binnen een vooraf bepaald bereik rond de normaal van het filteroppervlak, waardoor er een nauwkeurige filtering binnen een nauwe bandbreedte optreedt bv voor het filteren van het daglicht, het zonlicht en zodoende de gereflecteerde spots het daglicht overtreffen.
De correctie van de invalshoek is van bijzonder belang in de realisatievormen van de huidige uitvinding waarbij de gehele ruimte rondom een voertuig wordt gemonitord met een beperkt aantal sensoren, bijvoorbeeld 8 sensoren, zodanig dat de invallende stralen zich uitstrekken over een vaste hoek van bijvoorbeeld 1 x 1 rad. Figuur 8 illustreert een eerste schematische optische inrichting van dit type. Het bestaat uit een eerste lens 1030 en een tweede lens 1040, met ongeveer dezelfde brandpuntsafstand f, in een beeld-ruimte telecentrische configuratie.Dit wil zeggen dat alle hoofdstralen (stralen die door het midden van de apertuur-gaan) loodrecht zijn tov het beeldvlak. Een numeriek voorbeeld hiervan is een apertuur van 0,16 dat overeenkomst met een conushoek van 9,3 ° (halve conushoek). De maximale invalshoek op de smalle banddoorlaat-filter 1060, aangebracht tussen het lenzenstelsel 1030-1040 en de sensor 102, zou dus 9,3 ° worden.
Zoals weergegeven in figuur 9, bestaat het voorkeur ontwerp uit een tandem van twee lenzen 1130, 1140 met ongeveer dezelfde brandpuntsafstand f, in een beeldruimte-telecentrisch configuratie (de configuratie is eventueel ook object-ruimte telecentrische), een vlakke stapel mini-lens-array 1150, een spectrale filter 1160 en een CMOS detector 102. Omdat het middelpunt O van de eerste lens 1130 in de focus van de tweede lens 1140 ligt, zal elke straal die 0 kruist worden gebroken door de tweede lens 1140 in een richting evenwijdig aan de optische as. Als men nu beschouwt dat een bepaalde laserspot S 1110 zich op een zeer grote afstand ten opzichte van de brandpuntsafstand van de eerste lens 1130 bevindt. Dus de afbeelding van deze spot 1110 door de eerste lens 1130 is een punt P gelegen nabij het brandvlak van deze lens, waardoor deze dus precies in het middenvlak van de tweede lens 1140 ligt. De lichtstralen die worden uitgezonden door de spot S 1110 en opgevangen door de eerste lens 1130 vormen een lichtkegel die convergeert naar het punt P in de tweede lens 1140. De centrale as van de lichtbundel passeert het punt O en wordt gelijktijdig gebroken de optische as en dus loodrecht op de spectrale filter 1160 om zo de optimale spectrale gevoeligheid te bereiken. Vandaar dat de tweede lens 1140 werkt als een corrigerende lens voor de hoek van de invallende lichtstraal. De andere stralen van de kegel kunnen ook worden samengevoegd tot een stralingsbundel evenwijdig aan de optische as met een kleine bolle mini-lens 1150 achter de tweede lenzenplaat 1140 zodanig dat het punt P in het brandpunt van de mini-lens 1150 ligt. Op deze manier zijn al de beeldstralen S 1110 gebogen in een richting die nagenoeg loodrecht is op de spectrale filter. Dit kan nu voor elke pixel van de CMOS detector afzonderlijk worden uitgevoerd met behulp van een reeks mini-lenzen geplaatst vóór elk pixel. In deze configuratie hebben de minilensen een beeld-telecentrisch functie. Het grootste voordeel is dat de pupil van de eerste lens 1030 kan worden vergroot, of de opening kan worden verwijderd terwijl er wordt gecompenseerd voor de toename van sferische aberratie door een lokale correctie in de optica van de mini-lens 1150. Hierdoor kan de gevoeligheid van de sensor samenstelling worden verbeterd. Een tweede mini-lens array (niet in figuur 11 getoond) kan worden toegevoegd tussen de spectrale filter 1160 en de CMOS pixels 102, om de parallelle stralen to focussen en terug te richten naar de fotodiodes van de pixels om de vulfactor te maximaliseren.
Voor de eerste en tweede lens 1130, 1140, kunnen commerciële lenzen worden gebruikt. De vakman zal begrijpen dat lenzen die gewoonlijk in smartphone camera's of webcams worden gebruikt van vergelijkbare kwaliteit ook kunnen worden gebruikt. De bovengenoemde iSight camera heeft een 6x3 mm CMOS sensor met 8 megapixels, 1,5 pm pixelgrootte, een groot diafragma van f / 2,2, een objectief brandpuntsafstand van ongeveer f = 7 mm, en een pupildiameter van ongeveer 3,2 mm. De kijkhoek is in de orde van 1 rad x 1 rad. Als we aannemen dat de resolutie van de camera ongeveer even groot is als een pixel (1,5 micron), kunnen we concluderen (volgens de wet van Abbe) dat de aberraties van de lens gecorrigeerd worden voor alle stralen van de kijkhoek geselecteerd door de opening.
Figuur 10 toont een variant op de configuratie van figuur 11, geoptimaliseerd voor de productie in één enkel lithografisch proces. De eerste lens 1230 is vergelijkbaar met de eerste lens 1130 van de vorige realisatievorm, maar de hoek corrigerende tweede lens 1140 wordt vervangen door een Fresnel-lens 1240 met dezelfde brandpuntsafstand. Het voordeel is dat ze volledig vlak zijn en kunnen worden geproduceerd door nano-elektronica (met discrete fase zones). Een tweede mini-lensmatrix 1270 kan worden toegevoegd tussen de spectrale filter 1260 en de CMOS pixels 102, zodat de parallelle stralen terug gericht worden naar de fotodiodes van de pixels om de vulfactor te maximaliseren. Dus de camera in wezen een standaard camera zoals de iSight maar waarin de CMOS sensor werd vervangen door een speciaal ontworpen meer-laagse sensor waarbij alle componenten worden geïntegreerde in een blok binnen hetzelfde lithografisch proces. Deze meerlagige sensor is goedkoop in massaproductie, compact, robuust en moet niet worden uitgelijnd. Elk van deze vijf lagen 1240, 1250, 1260, 1270, 102 heeft zijn eigen functie om aan de vereisten van de huidige uitvinding te voldoen.
Aangezien de minimale hoek van een kegel die door een lens met een diameter d geproduceerd wordt in de orde van λ / d is, waarbij λ de golflengte van het licht is de minimale kegelhoek 1/10 radiaal voor een mini-lens met diameter d = 8,5 μιη en λ = 850 nm. Met een goede kwaliteit spectraal interferentiefilter stemt dit overeen met een spectrale venster van ongeveer 3 nm.
Figuur 11 illustreert een alternatieve optische opstelling, dat een koepel 1310 omvat (bijvoorbeeld een gebogen glasplaat) met een smalle banddoorlaat-filter 1320 geplaatst aan de binnen- (zoals afgebeeld) of buitenzijde (niet afgebeeld). Het voordeel van het plaatsen van de filter 1320 aan de binnenzijde van de koepel 1310, is dat de koepel 1310 de filter 1320 beschermt tegen krachten van buitenaf. De koepel 1310 en filter 1320 werken optisch samen opdat het invallend licht door de filter 1320 langs een richting invalt die grotendeels loodrecht op het oppervlak van de koepel staat. De Fish-eye lens 1330 wort geplaatst tussen de koepel-filter opstelling en de sensor 102, die een CMOS of CCD-sensor of SPAD matrix kan zijn. De fish-eye optica 1330 is zo opgesteld om het licht dat door de koepelvormige filteropstelling heen gaat naar het gevoelige oppervlak van de sensor te leiden.
Eventueel worden er nog fish-eye optica voorzien aan de projector zijde. In een specifieke uitvoeringsvorm, wordt een veelvoud aan VCSELs gemonteerd in een 1 x n of m x n configuratie, waarbij een uitgangshoek van de laserbundel kan worden gerealiseerd over een ruimtehoek van m x 1 rad in hoogte en η x 1 rad in de breedte.
In sommige uitvoeringsvormen van de huidige uitvinding kan de intensiteit van de spots substantieel constant gehouden worden over het volledige diepte bereik en dit door een getrapte of variabele verzwakkingsfilter aan detectorzijde. Als alternatief of als aanvulling kan ook een niet-symmetrische lens pupil voorzien worden om de intensiteit van de spots te verzwakken dichter bij de detector, terwijl de intensiteit van de spots verder van de detector op volle sterkte invallen. Zo wordt clipping van de detector vermeden en de gemiddelde intensiteit van al de spots wordt aanzienlijk hetzelfde voor alle plaatsen.
In sommige uitvoeringsvormen kan de stralingsbron een VCSEL zijn die verdeeld wordt in verschillende zones, waarbij de laser AAN-tijd gecontroleerd wordt voor de verschillende zones. De beelden van de spots kunnen dus worden geregeld om een constante intensiteit te hebben, b.v. 2 / 3e van de A / D range. Als alternatief kan de spanning worden aangedreven van reeks spots als functie van de hoogte, om zo eveneens een constante intensiteit te verkrijgen. Naar een dergelijke controle kan men verwijzen als een een lus om verzadeging te vermijden. De verschillende VCSELs in de array kunnen individueel worden gecontroleerd ifv intentsiteit, om zo de intensiteit te variërenvan de afzonderlijke VCSELs in het patroon tijdens het gelijktijdig projecteren van de spots.
In sommige andere uitvoeringsvormen van de huidige uitvinding kan een micro prisma matrix worden gebruikt voor de smalbandfilter, zodanig dat de straling binnen valt bij een invalshoek tussen + 9 ° en -9 op de filter. Hiermee is smalle bandbreedte filtering te verkrijgen. De prisma matrix kan bijvoorbeeld worden gemaakt door gebruik te maken van kunststof spuitgieten.
In realisatievormen van de huidige uitvinding, b.v. waar de toepassingen mbt actieve ophanging worden overwogen, is de projectie van het spotspatroon bij voorkeur neerwaarts gericht, d.w.z. naar de weg.
Een systeem volgens de uitvinding kan een uitvoering bevatten van stappen van de van de methodes zoals beschreven hierboven uitgevoerd in speciale hardware (bijvoorbeeld ASIC), configureerbare hardware (bijvoorbeeld FPGA), programmeerbare componenten (bijvoorbeeld, een DSP of universele processor met geschikte software), of een combinatie daarvan. Dezelfde component(en) kunnen ook andere functies omvatten. De huidige uitvinding heeft ook betrekking op een computerprogrammaproduct omvattende de codemiddelen om de uitvoering van de stappen die hierboven worden beschreven te realiseren, dit product kan worden aangebracht op een computer-leesbaar medium zoals een optische, magnetische of solid-state drager.
De huidige uitvinding heeft ook betrekking op een voertuig omvattende het hierboven beschreven systeem.
Uitvoeringsvormen van de huidige uitvinding kunnen voordelig worden ingezet in een breed scala van toepassingen, waaronder zonder beperking de automobielindustrie, industriële toepassingen, gaming toepassingen en dergelijke, en dit zowel binnen als buiten, op korte of lange afstand. In sommige toepassingen kunnen verschillende sensoren volgens de uitvoeringsvorm van de huidige uitvinding worden gecombineerd (bijvoorbeeld doorverbonden) om panoramische dekking te produceren, bij voorkeur over een volledige cirkel (360 ° gezichtsveld).
Hoewel de uitvinding hierboven is beschreven met verwijzing naar apart systemen van de werkwijze en uitvoeringsvormen, werd dit enkel gedaan ter verduidelijking. De vakman zal inzien dat elementen beschreven in verband zijnde met het systeem en de werkwijze, ook kunnen worden toegepast op de methode of het systeem, respectievelijk, met dezelfde technische effecten en voordelen. Bovendien is de omvang van de uitvinding niet beperkt tot deze realisatievormen, maar wordt gedefinieerd door de bijgevoegde claims

Claims (10)

  1. Conclusies
    1. Systeem (200) voor het bepalen van een afstand tot een object, omvattende : een halfgeleider lichtbron (210) ingericht voor het projecteren van een patroon van spots van laserlicht naar het genoemde object in een reeks pulsen; een detector (220) die een veelvoud van beeldelementen bevat, waarbij detector (220) is geconfigureerd voor het detecteren van licht die het patroon van spots zoals gereflecteerd door het object synchroon met genoemde reeks pulsen bevat; en verwerkingsmiddelen (240) geconfigureerd voor het berekenen van gezegde afstand tot het object als functie van uitleeswaarde gegenereerd door de beeldelementen ten gevolgde van het gedetecteerde licht; waarbij deze beeldelementen (220) zijn geconfigureerd voor het genereren van genoemde uitleeswaarde door de accumulatie voor elke puls van de sequentie, een eerste hoeveelheid elektrische lading representatief voor een eerste hoeveelheid licht gereflecteerd door het voorwerp gedurende een eerste vooraf bepaald tijdvenster (10) en een tweede elektrische lading representatief voor een tweede hoeveelheid licht gereflecteerd door het voorwerp gedurende een tweede vooraf bepaald tijdvenster (20), het genoemde tweede vooraf bepaald tijdvenster (20) treedt op na het eerste vooraf bepaalde tijdvenster (10).
  2. 2. Het systeem volgens claim 1, waarbij de eerste voorafbepaalde tijdvenster en genoemde tweede vooraf bepaalde tijdvenster grotendeels even lang zijn en back-to-back voorkomen.
  3. 3. Het systeem volgens claim 1 of claim 2, waarbij elk van genoemde meerdere beeldelementen ten minste uit twee ladingsopslagreservoirs bestaat, en waarbij het detecteren van de eerste hoeveelheid licht en het detecteren van de tweede hoeveelheid licht respectievelijk optreedt aan ten minste twee reservoirs van de genoemde ladingsopslagreservoirs.
  4. 4. Een voertuig met een systeem (100) volgens één der voorgaande claims ingericht om ten minste een deel van een gebied rondom het voertuig op te meten.
  5. 5. Een camera, de camera omvattende een systeem (100) volgens één van de claims 1 tot 3, waarbij het systeem (100) is ingericht om 3D camerabeelden toe te voegen gebaseerd op gegevens van het systeem, waardoor het mogelijk wordt een 3D-beeld te creëren.
  6. 6. Werkwijze voor het bepalen van een afstand tot een object, welke werkwijze omvat: bij het gebruiken van een halfgeleider lichtbron (210) om een patroon van spots van laserlicht naar het genoemde object in een reeks pulsen te projecteren (110); het gebruik van een detector (220) omvattende een aantal beeldelementen (120; 130) voor het detecteren van licht van het patroon van spots zoals gereflecteerd door het object synchroon met genoemde reeks pulsen; en het berekenen (140) van de afstand tot het object als functie van uitleeswaarde opgewekt door de beeldelementenals reactie op het gedetecteerde licht; waarbij deze beeldelementen (220)de genoemde uitleeswaarde genereren door de accumulatie voor elke puls van de sequentie, een eerste hoeveelheid elektrische lading representatief voor een eerste hoeveelheid licht gereflecteerd door het voorwerp gedurende een eerste vooraf bepaalde tijdvenster (10) en een tweede hoeveelheid elektrische lading representatief voor een tweede hoeveelheid licht gereflecteerd door het voorwerp gedurende een tweede vooraf bepaald tijdvenster (20), dit tweede vooraf bepaald tijdvenster (20) bevindt zich na genoemde eerste vooraf bepaalde tijdvenster (10).
  7. 7. De werkwijze volgens claim 6, waarbij eerste voorafbepaalde tijdsvenster en genoemde tweede vooraf bepaalde tijdvenster grotendeels gelijk zijn en back-to-back voorkomen.
  8. 8. De werkwijze volgens claim 6 of claim 7, waarbij elk van genoemde meerdere van de beeldelementen ten minste twee ladingsopslag reservoirs bevatten, en waarbij het detecteren van de eerste hoeveelheid licht en het detecteren van de tweede hoeveelheid licht respectievelijk optreedt aan een van de genoemde ladingopslagreservoirs.
  9. 9. Methode volgens één van de claims 6-8, waarbij het projecteren (110), het genoemde detecteren (120, 130), en de genoemde berekening (140) periodiek worden herhaald.
  10. 10. Een Computerprogramma-product dat de code bevat en is ingericht om een processor één der conclusies 6-9 te laten uitvoeren.
BE2016/5799A 2015-10-23 2016-10-24 Systeem en methode voor het bepalen van de afstand tot een object BE1023788B1 (nl)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15191288.8 2015-10-23
EP15191288.8A EP3159711A1 (en) 2015-10-23 2015-10-23 System and method for determining a distance to an object

Publications (2)

Publication Number Publication Date
BE1023788B1 true BE1023788B1 (nl) 2017-07-26
BE1023788A1 BE1023788A1 (nl) 2017-07-26

Family

ID=54360174

Family Applications (1)

Application Number Title Priority Date Filing Date
BE2016/5799A BE1023788B1 (nl) 2015-10-23 2016-10-24 Systeem en methode voor het bepalen van de afstand tot een object

Country Status (7)

Country Link
US (1) US10921454B2 (nl)
EP (2) EP3159711A1 (nl)
JP (1) JP6938472B2 (nl)
KR (1) KR20180073571A (nl)
CN (1) CN108139483B (nl)
BE (1) BE1023788B1 (nl)
WO (1) WO2017068199A1 (nl)

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9992477B2 (en) 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
EP3159711A1 (en) 2015-10-23 2017-04-26 Xenomatix NV System and method for determining a distance to an object
US10761195B2 (en) 2016-04-22 2020-09-01 OPSYS Tech Ltd. Multi-wavelength LIDAR system
US20180341009A1 (en) 2016-06-23 2018-11-29 Apple Inc. Multi-range time of flight sensing
US11317808B2 (en) * 2016-07-13 2022-05-03 Naked Labs Austria Gmbh Optical marker to adjust the turntable of a 3D body scanner
WO2018039432A1 (en) 2016-08-24 2018-03-01 Ouster, Inc. Optical system for collecting distance information within a field
EP3301478A1 (en) 2016-10-03 2018-04-04 Xenomatix NV System for determining a distance to an object
EP3301479A1 (en) 2016-10-03 2018-04-04 Xenomatix NV Method for subtracting background light from an exposure value of a pixel in an imaging array, and pixel for use in same
EP3301480A1 (en) 2016-10-03 2018-04-04 Xenomatix NV System and method for determining a distance to an object
EP3301477A1 (en) 2016-10-03 2018-04-04 Xenomatix NV System for determining a distance to an object
EP3343246A1 (en) 2016-12-30 2018-07-04 Xenomatix NV System for characterizing surroundings of a vehicle
WO2018142878A1 (ja) * 2017-02-06 2018-08-09 パナソニックIpマネジメント株式会社 3次元モーション取得装置、及び3次元モーション取得方法
CN110537124B (zh) 2017-03-01 2021-12-07 奥斯特公司 用于lidar的准确光检测器测量
US11105925B2 (en) 2017-03-01 2021-08-31 Ouster, Inc. Accurate photo detector measurements for LIDAR
US11151447B1 (en) * 2017-03-13 2021-10-19 Zoox, Inc. Network training process for hardware definition
KR102619582B1 (ko) 2017-03-13 2024-01-02 옵시스 테크 엘티디 눈-안전 스캐닝 lidar 시스템
US10520590B2 (en) * 2017-04-18 2019-12-31 Bae Systems Information And Electronic Systems Integration Inc. System and method for ranging a target with a digital-pixel focal plane array
EP3392674A1 (en) 2017-04-23 2018-10-24 Xenomatix NV A pixel structure
KR102657365B1 (ko) 2017-05-15 2024-04-17 아우스터, 인크. 휘도 향상된 광학 이미징 송신기
US10775501B2 (en) * 2017-06-01 2020-09-15 Intel Corporation Range reconstruction using shape prior
EP3646057A1 (en) 2017-06-29 2020-05-06 Apple Inc. Time-of-flight depth mapping with parallax compensation
US10754033B2 (en) 2017-06-30 2020-08-25 Waymo Llc Light detection and ranging (LIDAR) device range aliasing resilience by multiple hypotheses
DE102017115385B4 (de) * 2017-07-10 2022-08-11 Basler Ag Vorrichtung und Verfahren zur Erfassung eines dreidimensionalen Tiefenbilds
WO2019014494A1 (en) * 2017-07-13 2019-01-17 Apple Inc. EARLY-DELAYED PULSE COUNTING FOR DEPTH SENSORS EMITTING LIGHT
CN115015883A (zh) 2017-07-28 2022-09-06 欧普赛斯技术有限公司 具有小角发散度的vcsel阵列lidar发送器
US10627492B2 (en) 2017-08-01 2020-04-21 Waymo Llc Use of extended detection periods for range aliasing detection and mitigation in a light detection and ranging (LIDAR) system
CN111095018B (zh) 2017-08-31 2022-03-29 深圳市大疆创新科技有限公司 固态光探测和测距(lidar)系统、用于提高固态光探测和测距(lidar)分辨率的系统和方法
CN111033301A (zh) * 2017-08-31 2020-04-17 深圳市大疆创新科技有限公司 固态光探测和测距(lidar)系统
US20190072771A1 (en) * 2017-09-05 2019-03-07 Facebook Technologies, Llc Depth measurement using multiple pulsed structured light projectors
US10663565B2 (en) 2017-09-19 2020-05-26 Rockwell Automation Technologies, Inc. Pulsed-based time of flight methods and system
US10585176B2 (en) * 2017-09-19 2020-03-10 Rockwell Automation Technologies, Inc. Pulsed-based time of flight methods and system
US10955552B2 (en) 2017-09-27 2021-03-23 Apple Inc. Waveform design for a LiDAR system with closely-spaced pulses
EP3470872B1 (en) 2017-10-11 2021-09-08 Melexis Technologies NV Sensor device
US11802943B2 (en) 2017-11-15 2023-10-31 OPSYS Tech Ltd. Noise adaptive solid-state LIDAR system
DE102017222017A1 (de) * 2017-12-06 2019-06-06 Robert Bosch Gmbh Verfahren und System zum Ermitteln und Bereitstellen eines Bodenprofils
EP3550329A1 (en) * 2018-04-04 2019-10-09 Xenomatix NV System and method for determining a distance to an object
CN111465871A (zh) * 2017-12-15 2020-07-28 齐诺马蒂赛股份有限公司 用于确定到对象的距离的系统和方法
WO2019125349A1 (en) 2017-12-18 2019-06-27 Montrose Laboratories Llc Time-of-flight sensing using an addressable array of emitters
KR102604050B1 (ko) 2018-04-01 2023-11-22 옵시스 테크 엘티디 잡음 적응형 솔리드-스테이트 lidar 시스템
US11002836B2 (en) 2018-05-14 2021-05-11 Rockwell Automation Technologies, Inc. Permutation of measuring capacitors in a time-of-flight sensor
US10996324B2 (en) 2018-05-14 2021-05-04 Rockwell Automation Technologies, Inc. Time of flight system and method using multiple measuring sequences
DE102018208647A1 (de) * 2018-05-30 2019-12-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Lasermesseinrichtung zur Messung einer Distanz zu einem Objekt sowie Verfahren zum Betreiben derselben
DE102018004782A1 (de) * 2018-06-15 2019-12-19 Daimler Ag Verfahren und Vorrichtung zum Erfassen einer Umgebung, sowie Fahrzeug mit einer solchen Vorrichtung
US10969476B2 (en) 2018-07-10 2021-04-06 Rockwell Automation Technologies, Inc. High dynamic range for sensing systems and methods
US10739189B2 (en) 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems
US11473970B2 (en) 2018-08-09 2022-10-18 Ouster, Inc. Subpixel apertures for channels in a scanning sensor array
CN108957470B (zh) * 2018-08-22 2021-02-26 上海炬佑智能科技有限公司 飞行时间测距传感器及其测距方法
US10789506B2 (en) 2018-09-24 2020-09-29 Rockwell Automation Technologies, Inc. Object intrusion detection system and method
CN109636857B (zh) * 2018-10-16 2021-10-15 歌尔光学科技有限公司 对位方法及标定系统
US11467288B2 (en) * 2018-10-24 2022-10-11 Red Leader Technologies, Inc. Lidar system and method of operation
KR102658557B1 (ko) 2018-10-24 2024-04-19 레드 리더 테크놀로지스, 인크. 라이다 시스템 및 작동 방법.
DE102018126841B4 (de) 2018-10-26 2021-05-06 Sick Ag 3D-Lichtlaufzeitkamera und Verfahren zur Erfassung dreidimensionaler Bilddaten
US11598862B2 (en) * 2018-11-20 2023-03-07 The University Court Of The University Of Edinburgh Methods and systems for spatially distributed strobing comprising a control circuit to provide a strobe signal to activate a first subset of the detector pixels of a detector array while leaving a second subset of the detector pixels inactive
US10791282B2 (en) 2018-12-13 2020-09-29 Fenwick & West LLP High dynamic range camera assembly with augmented pixels
US10855896B1 (en) * 2018-12-13 2020-12-01 Facebook Technologies, Llc Depth determination using time-of-flight and camera assembly with augmented pixels
US10791286B2 (en) 2018-12-13 2020-09-29 Facebook Technologies, Llc Differentiated imaging using camera assembly with augmented pixels
US11585906B2 (en) 2018-12-26 2023-02-21 Ouster, Inc. Solid-state electronic scanning laser array with high-side and low-side switches for increased channels
CN113330328A (zh) 2019-02-11 2021-08-31 苹果公司 使用脉冲束稀疏阵列的深度感测
TW202045950A (zh) * 2019-03-05 2020-12-16 日商濱松赫德尼古斯股份有限公司 受光裝置、及受光裝置之製造方法
JP2020153796A (ja) * 2019-03-19 2020-09-24 株式会社リコー 測距装置、及び測距方法
CN113597567A (zh) * 2019-03-26 2021-11-02 松下知识产权经营株式会社 距离图像的获得方法、以及距离检测装置
CN111751838A (zh) * 2019-03-28 2020-10-09 上海小瞳智能科技有限公司 一种微型固态激光雷达及其数据处理方法
JP2022526998A (ja) 2019-04-09 2022-05-27 オプシス テック リミテッド レーザ制御を伴うソリッドステートlidar送光機
CN113906316A (zh) 2019-05-30 2022-01-07 欧普赛斯技术有限公司 使用致动器的眼睛安全的长范围lidar系统
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
EP3980808A4 (en) 2019-06-10 2023-05-31 Opsys Tech Ltd. LONG-RANGE EYE-SAFE SOLID-STATE LIDAR SYSTEM
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
EP3789787A1 (en) 2019-09-03 2021-03-10 Xenomatix NV Solid-state lidar system for determining distances to a scene
WO2021043851A1 (en) 2019-09-03 2021-03-11 Xenomatix Nv Projector for a solid-state lidar system
EP3798673A1 (en) 2019-09-25 2021-03-31 Xenomatix NV Method and device for determining distances to a scene
CN110673152A (zh) * 2019-10-29 2020-01-10 炬佑智能科技(苏州)有限公司 飞行时间传感器及其测距方法
CN110673153A (zh) * 2019-10-29 2020-01-10 炬佑智能科技(苏州)有限公司 飞行时间传感器及其测距方法
US10902623B1 (en) 2019-11-19 2021-01-26 Facebook Technologies, Llc Three-dimensional imaging with spatial and temporal coding for depth camera assembly
DE102019131988A1 (de) 2019-11-26 2021-05-27 Sick Ag 3D-Lichtlaufzeitkamera und Verfahren zur Erfassung dreidimensionaler Bilddaten
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
US11647175B2 (en) * 2019-12-06 2023-05-09 Omnivision Technologies, Inc. Determining depth information from a single camera
TWI765337B (zh) * 2019-12-13 2022-05-21 旺矽科技股份有限公司 雷射晶片檢測方法及設備
US11194160B1 (en) 2020-01-21 2021-12-07 Facebook Technologies, Llc High frame rate reconstruction with N-tap camera sensor
JP2021120630A (ja) * 2020-01-30 2021-08-19 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距方法
CN111880189B (zh) * 2020-08-12 2022-07-15 中国海洋大学 连续光距离选通激光雷达
CN116569069A (zh) 2020-10-13 2023-08-08 红色领袖科技公司 激光雷达系统和操作方法
CN112346076A (zh) * 2020-11-25 2021-02-09 Oppo(重庆)智能科技有限公司 电子装置的控制方法、电子装置及计算机可读存储介质
EP4348293A1 (en) * 2021-06-02 2024-04-10 Fastree3D SA 3d image detection and related 3d imaging sensors
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift
US11762095B2 (en) 2022-02-01 2023-09-19 Red Leader Technologies, Inc. Lidar system and method of operation
CN116917761A (zh) * 2022-02-17 2023-10-20 华为技术有限公司 探测装置及探测方法
EP4231046A1 (en) 2022-02-17 2023-08-23 XenomatiX NV System for measuring a distance to an object from behind a transparent element

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11508359A (ja) 1995-06-22 1999-07-21 3ディブイ・システムズ・リミテッド 改善された光学測距カメラ
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
JP3832441B2 (ja) 2002-04-08 2006-10-11 松下電工株式会社 強度変調光を用いた空間情報の検出装置
US6906302B2 (en) 2002-07-30 2005-06-14 Freescale Semiconductor, Inc. Photodetector circuit device and method thereof
US6888122B2 (en) 2002-08-29 2005-05-03 Micron Technology, Inc. High dynamic range cascaded integration pixel cell and method of operation
US6814171B2 (en) * 2002-08-30 2004-11-09 Motorola, Inc. Automotive drive assistance system and method
DE10305010B4 (de) * 2003-02-07 2012-06-28 Robert Bosch Gmbh Vorrichtung und Verfahren zur Bilderzeugung
JP4280822B2 (ja) * 2004-02-18 2009-06-17 国立大学法人静岡大学 光飛行時間型距離センサ
GB0405014D0 (en) 2004-03-05 2004-04-07 Qinetiq Ltd Movement control system
US7485862B2 (en) 2006-01-29 2009-02-03 Rafael Advanced Defense Systems Ltd. Time-space multiplexed LADAR
US7544945B2 (en) 2006-02-06 2009-06-09 Avago Technologies General Ip (Singapore) Pte. Ltd. Vertical cavity surface emitting laser (VCSEL) array laser scanner
JP5171158B2 (ja) 2007-08-22 2013-03-27 浜松ホトニクス株式会社 固体撮像装置及び距離画像測定装置
JP5356726B2 (ja) * 2008-05-15 2013-12-04 浜松ホトニクス株式会社 距離センサ及び距離画像センサ
JP5585903B2 (ja) * 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
US8995485B2 (en) 2009-02-17 2015-03-31 Trilumina Corp. High brightness pulsed VCSEL sources
JP4473337B1 (ja) * 2009-07-31 2010-06-02 株式会社オプトエレクトロニクス 光学的情報読取装置及び光学的情報読取方法
DE102009037596B4 (de) 2009-08-14 2014-07-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Pixelstruktur, System und Verfahren zur optischen Abstandsmessung sowie Steuerschaltung für die Pixelstruktur
JP5211007B2 (ja) 2009-10-07 2013-06-12 本田技研工業株式会社 光電変換素子、受光装置、受光システム及び測距装置
JP2011169701A (ja) * 2010-02-17 2011-09-01 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
JP2011191221A (ja) * 2010-03-16 2011-09-29 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
US8736818B2 (en) * 2010-08-16 2014-05-27 Ball Aerospace & Technologies Corp. Electronically steered flash LIDAR
JP2012083220A (ja) 2010-10-12 2012-04-26 Hamamatsu Photonics Kk 距離センサ及び距離画像センサ
US9329035B2 (en) 2011-12-12 2016-05-03 Heptagon Micro Optics Pte. Ltd. Method to compensate for errors in time-of-flight range cameras caused by multiple reflections
US8686367B2 (en) 2012-03-01 2014-04-01 Omnivision Technologies, Inc. Circuit configuration and method for time of flight sensor
CN202977967U (zh) * 2012-12-25 2013-06-05 山东省科学院海洋仪器仪表研究所 阵列式封装半导体激光器照明面板
JP6145826B2 (ja) 2013-02-07 2017-06-14 パナソニックIpマネジメント株式会社 撮像装置及びその駆動方法
US8908063B2 (en) 2013-03-11 2014-12-09 Texas Instruments Incorporated Method and apparatus for a time-of-flight sensor with charge storage
US10497737B2 (en) 2013-05-30 2019-12-03 Caeleste Cvba Enhanced dynamic range imaging
WO2015004213A1 (en) 2013-07-09 2015-01-15 Xenomatix Bvba Surround sensing system
US20150260830A1 (en) 2013-07-12 2015-09-17 Princeton Optronics Inc. 2-D Planar VCSEL Source for 3-D Imaging
US9443310B2 (en) * 2013-10-09 2016-09-13 Microsoft Technology Licensing, Llc Illumination modules that emit structured light
JP6489320B2 (ja) 2013-11-20 2019-03-27 パナソニックIpマネジメント株式会社 測距撮像システム
US9182490B2 (en) 2013-11-27 2015-11-10 Semiconductor Components Industries, Llc Video and 3D time-of-flight image sensors
JP6476138B2 (ja) * 2014-02-07 2019-02-27 国立大学法人静岡大学 電荷変調素子及び固体撮像装置
US9874638B2 (en) 2014-03-06 2018-01-23 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components
GB201407267D0 (en) 2014-04-24 2014-06-11 Cathx Res Ltd Underwater surveys
US9753140B2 (en) 2014-05-05 2017-09-05 Raytheon Company Methods and apparatus for imaging in scattering environments
CN106461378B (zh) 2014-08-08 2019-10-25 塞姆布有限公司 具有用于非接触式测量的扫描系统的车辆装备
US10677923B2 (en) 2014-11-12 2020-06-09 Ams Sensors Singapore Pte. Ltd. Optoelectronic modules for distance measurements and/or multi-dimensional imaging
JP6478725B2 (ja) 2015-03-09 2019-03-06 キヤノン株式会社 計測装置及びロボット
US20160295122A1 (en) 2015-04-03 2016-10-06 Canon Kabushiki Kaisha Display control apparatus, display control method, and image capturing apparatus
US20160295133A1 (en) 2015-04-06 2016-10-06 Heptagon Micro Optics Pte. Ltd. Cameras having a rgb-ir channel
WO2016189808A1 (ja) 2015-05-28 2016-12-01 パナソニックIpマネジメント株式会社 測距撮像装置、その測距方法及び固体撮像装置
JP6406449B2 (ja) 2015-06-24 2018-10-17 株式会社村田製作所 距離センサ
EP3159711A1 (en) 2015-10-23 2017-04-26 Xenomatix NV System and method for determining a distance to an object

Also Published As

Publication number Publication date
WO2017068199A1 (en) 2017-04-27
EP3159711A1 (en) 2017-04-26
JP6938472B2 (ja) 2021-09-22
CN108139483A (zh) 2018-06-08
CN108139483B (zh) 2022-03-01
US20180299554A1 (en) 2018-10-18
BE1023788A1 (nl) 2017-07-26
US10921454B2 (en) 2021-02-16
EP3365700B1 (en) 2020-09-02
EP3365700A1 (en) 2018-08-29
JP2018531374A (ja) 2018-10-25
KR20180073571A (ko) 2018-07-02

Similar Documents

Publication Publication Date Title
BE1023788B1 (nl) Systeem en methode voor het bepalen van de afstand tot een object
KR102494430B1 (ko) 물체까지의 거리를 결정하기 위한 시스템 및 방법
KR102451010B1 (ko) 물체까지의 거리를 결정하기 위한 시스템
EP3625589B1 (en) System and method for determining a distance to an object
US10852400B2 (en) System for determining a distance to an object
CN109791205B (zh) 用于从成像阵列中的像素单元的曝光值减除背景光的方法以及用于该方法的像素单元
JP2018531374A6 (ja) 物体までの距離を測定するためのシステムおよび方法
EP3550329A1 (en) System and method for determining a distance to an object

Legal Events

Date Code Title Description
FG Patent granted

Effective date: 20170726