BE1025336B1

BE1025336B1 - Pixelopstelling

Info

Publication number: BE1025336B1
Application number: BE2018/5273A
Authority: BE
Inventors: Dyck Dirk Van; Rik Paesen
Original assignee: Xenomatix Nv
Priority date: 2017-04-23
Filing date: 2018-04-23
Publication date: 2019-01-29
Also published as: EP3392674A1; US10764518B2; EP3615959A1; BE1025336A9; CN110546530A; CN110546530B; US20200137330A1; JP7249953B2; EP3615959B1; WO2018197441A1; JP2020517924A; BE1025336A1

Abstract

De onderhavige uitvinding heeft betrekking op een pixel voer gebruik in een systeem voor het bepalen van een afstand tol een object door range gating, waarbij de pixel het volgende omvat: een eerste ladingsopslagput (221) en een tweede ladingsopslagput (222) voor het verzamelen van elektrische ladingen die representatief zijn voor hoeveelheden licht die op de pixel vallen tijdens respectieve sets van belichtingsintervallen, waarbij eerste ladingsopslagput (221) een ladingscapaciteit heeft die ten minste 50% groter is dan een ladingscapaciteit van de tweede ladingsopslagput (222). De uitvinding heeft ook betrekking op een “range gating” systeem dat een dergelijke pixel omvat.

Description

BE2018/5273 Pixelopstelling

Gebied van de uitvinding

De onderhavige uitvinding heeft betrekking op het gebied van pixels, in het bijzonder pixels voor het gebruik in afbeeldingssystemen voor het bepalen van een afstand van een object op basis van vluchttijdinformatie die verkregen is door bereikafbakening (“range gating”).

Achtergrond

Amerikaans octrooi met nummer 8,792,087 B2 van Andreas Spickerman et al. maakt een inrichting bekend waarbij ten minste twee verschillende overdrachtspoorten die een fotoactief gebied koppelen met ten minste twee verschillende evaluatiefuncties, aangestuurd worden tijdens verschillende aansturingsintervallen zo dat ladingsdragers die gegenereerd worden tijdens de aansturingsintervallen door een stralingspuls die gereflecteerd is van het meetobject en/of door omgevingsstraling, getransporteerd kunnen worden van het fotoactieve gebied naar de evaluatiefuncties die gekoppeld zijn met de ten minste twee overdrachtspoorten. Een andere overdrachtspoort wordt aangestuurd tijdens een tijd buiten de aansturingsintervallen van de ten minste twee overdrachtspoorten om het fotoactieve gebied te verbinden met een referentiepotentiaalaansluitpunt die zich gedraagt als een ladingsdragerafvoer tijdens de tijd buiten de aansturingsintervallen van de ten minste twee overdrachtspoorten.

Het is een nadeel van het systeem dat bekend is uit US 8,702,087 B2 dat de pixels verzadigd raken door reflecties van objecten op korte afstanden van de sensor.

Amerikaanse octrooiaanvraag met publicatienummer US 2007/158770 Al van Shoji Kawahito maakt een afstandbepalingsafbeeldingssensor bekend op basis van meting van reflectietijd van licht met verminderde fabricagewerkwijzen vergeleken met standaard CMOS-fabricageprocessen. Een oxidelaag is gevormd op een siliconen substraat, en twee fotopoortelektrodes voor ladingsoverdracht zijn

2018/5273

-2BE2018/5273 verschaft op de oxidelaag. Drijvende diffusielagen worden gebruikt om ladingen om te zetten naar elektronisch potentiaal, waarbij een mechanisme traditioneel overgenomen is van de legacytechnologie van Geladen Gekoppelde Inrichtingen (“Charged Coupled Devices”, CCD). Extra transitoren zijn verschaft voor het resetten en een diffusielaag is verschaft om een gegeven resetspanning te verschaffen.

Het is een nadeel van de pixel die bekend gemaakt is in US 2007/158770 Al dat die niet-standaard technologie gebruikt en dat het pixelontwerp niet de toevoeging toestaat van aanvullende putten zonder actiefoppervlakgebied van de pixel op te offeren. Dit is suboptimaal voor gebruik in sensorsystemen met ultralagevermogenslasers die een groot werkbereik nodig hebben. De gebruikte werkwijze is niet vaak beschikbaar in standard CMOS-werkwijzen, wat de toepassingsmogelijkheden van dit concept vermindert en de mogelijkheid vermindert om geproduceerd te worden voor een betaalbare prijs bij grote volumes.

Het bereik van een sensor die gebaseerd is op een dergelijk ontwerp is ook beperkt bij het dichtstbijzijnde eind door verzadiging van de pixels door sterke reflecties van geprojecteerd licht.

De verzadiging van pixels wanneer korte-afstandsreflecties, of hoogreflecterende objecten waargenomen worden zoals verkeersborden, nummerborden, etc., is vooral problematisch wanneer de pixels gebruikt worden in sensoren voor automobieltoepassingen, zoals de bedoeling is van de pixel volgens de onderhavige uitvinding, want Geavanceerde Bestuurdersondersteuningssystemen (“Advanced Driver Assistance Systems”, ADAS) en zelfrijdende auto’s hebben hoge nauwkeurigheid nodig op korte afstanden. Bovendien moet in dit toepassingsdomein nauwkeurigheid op langere afstanden, het vermogen om te werken in felle-omgevingslichtomstandigheden, en de vereiste voor compactheid (wat het gebruik van solid-state halfgeleideronderdelen nodig maakt) niet opgeofferd worden voor het vereiste van korte-afstandsnauwkeurigheid.

Het is daarom een doel van uitvoeringsvormen van de onderhavige uitvinding om

2018/5273

-3 BE2018/5273 het korte-afstandsverzadigingsprobleem te overwinnen voor pixels die gebruikt worden in range gating gebaseerde afbeeldingssystemen door het voorstellen van een andere pixelarchitectuur.

De niet-gepubliceerde Europese octrooiaanvraag met nummer EP15191288.8, gedateerd 23 oktober 2015, op de naam van de onderhavige aanvrager, beschrijft een systeem voor het bepalen van een afstand naar een object dat het volgende omvat: een solid-state lichtbron die ingericht is voor het projecteren van een patroon van punten van laserlicht richting het object in een reeks van pulsen; een detector die meerdere afbeeldingelementen omvat, waarbij de detector geconfigureerd is voor het detecteren van licht dat het patroon van lichtpunten voorstelt zoals die gereflecteerd worden door het object in synchronisatie met de reeks van pulsen; en een verwerkingsmiddel dat geconfigureerd is om de afstand te berekenen tot het object als een functie van belichtingswaardes die gegenereerd zijn door de afbeeldingelementen als reactie op het gedetecteerde licht; waarbij de afbeeldingelementen geconfigureerd zijn om de belichtingswaardes te genereren door het, voor elke puls van de reeks, een eerste hoeveelheid van elektrische lading te verzamelen die representatief is voor een eerste hoeveelheid licht die gereflecteerd wordt door het object tijdens een eerste vooraf bepaald tijdsvenster en een tweede elektrische lading te verzamelen die representatief is voor een tweede hoeveelheid licht die gereflecteerd wordt door het object tijdens een tweede vooraf bepaalde tijdsvenster, waarbij het tweede vooraf bepaalde tijdsvenster plaatst vindt na het eerste vooraf bepaalde tijdsvenster. Elke van de meerdere afbeeldingelementen kunnen ten minste twee ladingsopslagputten omvatten, en het detecteren van de eerste hoeveelheid licht en het detecteren van de tweede hoeveelheid licht vindt plaats bij respectieve ene van de ten minste twee ladingsopslagputten. EP15191288.8 beschrijft geen oplossing voor het korteafstandsverzadigingsprobleem.

In een vergelijkbaar systeem, beschrijft de niet-gepubliceerde Europese octrooiaanvraag meinummer EP16192105.1, gedateerd3 oktober 2016, op de naam van de onderhavige aanvrager, dat voor een gegeven totale pixelruimte het verzadigingsprobleem vermeden kan worden door het gebruik van een

2018/5273

-4BE2018/5273 asymmetrische putopstelling, waarbij de fotoncapaciteit die voorgesteld wordt door de eerste put verhoogd wordt, en de fotoncapaciteit die voorgesteld wordt door de tweede put verlaagd wordt. Als de verhoging en de verlaging gebalanceerd zijn kan een verhoging van het dynamische bereik verkregen worden zonder aanvullend pixeloppervlakgebruik, waarbij dezelfde resolutie behouden wordt. EP16192105.1 beschrijft geen specifieke verhoudingen tussen de fotoncapaciteit die voorgesteld wordt door de eerste put en de fotoncapaciteit die voorgesteld wordt door de tweede put.

Samenvatting van de uitvinding

Volgens een aspect van de onderhavige uitvinding, wordt een pixel verschaft voor gebruik in een systeem voor het bepalen van een afstand naar object door range gating, waarbij de pixel een eerste ladingsopslagput en een tweede ladingsopslagput omvat voor het verzamelen van elektrische ladingen die representatief zijn voor hoeveelheden licht die op de pixel vallen tijdens respectieve sets van belichtingsintervallen, waarbij de eerste ladingsopslagput een ladingscapaciteit heeft die ten minste 50% groter is dan een ladingscapaciteit van de tweede ladingsopslagput.

De uitvinding is gebaseerd op het inzicht van de uitvinders dat het in bepaalde systemen, zoals als het op het range gating gebaseerde afbeeldingssysteem dat hieronder in meer detail beschreven wordt, voordelig is om een dubbelputpixel (de aanwezigheid van aanvullende putten wordt niet uitgesloten) te hebben waarbij één van de ladingsopslagputten een in hoofdzaak grotere ladingscapaciteit heeft dan de andere ladingsopslagput. De term “put” (Eng. “well”) kan een enkele capaciteit (elektroncapaciteit) aanduiden die geproduceerd is in een halfgeleiderschakeling middels geschikte technieken, of een aantal verbonden capaciteiten die zich samen als een enkele opslageenheid gedragen, die bijvoorbeeld in een cascadeschakeling ingericht zijn. Een pixel van dit type is bijzonder nuttig wanneer de fysica van de situatie waarin de pixel toegepast wordt leidt tot een voorspelbare asymmetrie in de hoeveelheid lading die opgeslagen dient te worden in de verschillende putten, zoals het geval is in een vluchttijdgebaseerd systeem dat hoge nauwkeurigheid en

2018/5273

-5 BE2018/5273 een groot afstandsbereik nodig heeft, wat leidt tot een grote fotonspanne.

Voor zover de pixel van de onderhavige uitvinding het korteafstandsverzadigingsprobleem oplost, verwijdert het de behoefte voor andere alternatieven die het werkbereik verlengen bij het korte eind. Bijvoorbeeld, in systemen die steunen op meerdere opeenvolgende metingen voor meerdere subbereiken van het gewenste bereik (multiframesystemen, waarbij de pulsbreedte varieert als een functie van het afstandsbereik dat gedekt dient te worden door elk frame), maakt de pixel volgens de onderhavige uitvinding een vermindering mogelijk van het aantal metingen (individuele frames die nodig zijn om het volledige beoogde werkbereik te dekken), waarbij de tijdsresolutie van de sensor verbeterd wordt.

De pixel volgens de onderhavige uitvinding omvat bij voorkeur een fotogevoelig element dat compatibel is met standaard solid-state- (halfgeleider-) schakelingproductiewerkwijzen.

In een uitvoeringsvorm omvat de pixel verder een schakelsysteem dat het mogelijk maakt voor de pixel om te schakelen tussen een oplaadmodus, waarin licht dat op de pixel valt veroorzaakt dat de eerste ladingsopslagput of de tweede ladingsopslagput een opgeslagen hoeveelheid lading verhoogt, en een ontladingsmodus, waarin licht dat op de pixel valt veroorzaakt dat de eerste ladingsopslagput of de tweede ladingsopslagput een opgeslagen hoeveelheid lading verlaagt.

Deze uitvoeringsvorm is gebaseerd op het inzicht van de uitvinders dat in een gepulseerd systeem de “puls aan”-intervallen gekenmerkt worden door de aanwezigheid van geprojecteerd licht en achtergrondlicht, terwijl het deel van de “puls uit”-intervallen die plaatsvinden na de aankomst van de pulsreflectie gekenmerkt worden door de aanwezigheid van alleen achtergrondlicht. De uitvinders hebben een werkwijze ontwikkeld waarbij, door het schakelen van de pixel naar een “ontladings”-modus na elke blootstelling die overeenkomt met een “puls aan”-interval, voor een periode die gelijk is aan de belichtingsperiode, de

2018/5273

-6BE2018/5273 overgebleven lading in elke opslagput gelijk zal zijn aan de opgenomen reflectie van het geprojecteerde licht zonder de achtergrondlichtcomponent.

Het is een voordeel van deze uitvoeringsvorm van de pixel volgens de onderhavige uitvinding dat het gebruikt kan worden in een werkwijze voor het aftrekken van achtergrondlicht van pixels in een pixelmatrix, bijvoorbeeld zoals gebruikt wordt in een range gating sensor. In het bijzonder stelt het een werkwijze in staat van het aftrekken van achtergrondlicht van een belichtingswaarde van een eerste pixel in een afbeeldingsmatrix, waarbij de eerste pixel een reflectie ontvangt van een punt van een landschap dat belicht is door een periodiek gepulseerd patroon van punten, waarbij het periodiek gepulseerd patroon wisselend een belichte fase en een nietbelichte fase omvat, waarbij de werkwijze het volgende omvat: het verzamelen van een lading in de eerste pixel in verhouding met een eerste hoeveelheid binnenkomend licht die ontvangen wordt in de eerste pixel terwijl die het punt detecteert tijdens een vooraf bepaalde hoeveelheid tijd; en het verminderen van de lading in verhouding met een tweede hoeveelheid binnenkomend licht die ontvangen wordt tijdens de vooraf bepaalde hoeveelheid tijd in de aanwezigheid van het punt.

In een uitvoeringsvorm omvat de pixel verder een schakelsysteem dat mogelijk maakt dat fotoladingen, die gegenereerd worden wanneer een actieve ene van de eerste ladingsopslagput en de tweede ladingsopslagput tot volledige capaciteit gevuld is, afgebogen worden naar een ladingsafvoer zonder dat die een opslagput ingaan van een aangrenzende pixel.

Het is een voordeel van deze uitvoeringsvorm dat het bloeien voorkomen kan worden, zodanig dat hoge ruimtelijk nauwkeurigheid van puntdetectie in een matrix van pixels behouden kan worden zelfs wanneer individuele pixels verzadigd raken, door het vermijden van overspoeleffecten naar naburige pixels die nog steeds gebruikt kunnen worden voor achtergrondmetingen en voor het verkrijgen van een reguliere 2D-afbeelding.

In een uitvoeringsvorm omvat de pixel volgens de onderhavige uitvinding verder

2018/5273

-7 BE2018/5273 een derde ladingsopslagput.

Een derde put kan verschaft worden om een verscheidenheid van functies uit te voeren, op voorwaarde dat die gebruikt wordt volgens een timingsschema dat de timing van de werking van de andere putten meeneemt. In een afstandsdetectiesysteem waarin de eerste put en de tweede put de basis range gating uitvoert, zoals later in meer detail beschreven wordt, waarbij de functies van de derde put het ontvangen van de aanvullende landingen kan omvatten die gegenereerd worden als reactie op fotonen die aankomen van grote-afstand hoogreflecterende objecten (zoals een verkeersbord of een nummerbord, buiten de tijdsloten waarin de eerste put en de tweede put actief zijn), het produceren kan omvatten van een reguliere 2-dimensionele afbeelding van de locatie (buiten de tijdsloten waarin de reflecties van het geprojecteerde licht aankomen, naar keuze in synchronisatie met een breedhoekflitslicht voor het belichten van de locatie, welke kan bestaan uit een VCSEL-matrix met een verspreider), of het uitvoeren kan omvatten van achtergrondlichtaftrekking (door het aftrekken van de ladingsniveaus die verzameld zijn in de eerste put en de tweede put van een hoeveelheid lading die verzameld is in de derde put buiten de tijdslot waarin de reflecties van het geprojecteerde licht aankomen).

De derde ladingsopslagput kan een in hoofdzaak kleinere ladingsopslagcapaciteit hebben dan de eerste ladingsopslagput en de tweede ladingsopslagput, als het alleen gebruikt wordt voor het opnemen van achtergrondlicht, omdat het achtergrondlicht dat aankomt bij de pixelmatrix typisch sterk verzwakt is door de omgevingslichtverminderingsfilters die bij voorkeur verschaft worden in een afstandsdetectiesysteem. Als de derde ladingsopslagput bedoeld is om gebruikt te worden voor het verkrijgen van 2D-afbeeldingen met aanvullende belichting van de locatie (bijvoorbeeld door middel van een flitslicht) of voor het opnemen van reflecties van hoogreflecterende objecten buiten-bereik, kan het gedimensioneerd worden tot een vergelijkbare opslagcapaciteit als de eerste of tweede ladingsopslagput.

In een uitvoeringsvorm omvat de pixel volgens de onderhavige uitvinding verder

2018/5273

-8BE2018/5273 een vierde ladingsopslagput.

Volgens een aspect van de onderhavige uitvinding wordt er een afbeeldingsmatrix verschaft die meerdere pixels omvat zoals hierboven beschreven is.

Volgens een aspect van de onderhavige uitvinding wordt er een systeem verschaft voor het bepalen van een afstand tot een object waarbij het systeem het volgende omvat: een solid-state lichtbron die ingericht is voor het projecteren van een patroon van lichtpunten, bij voorkeur discrete punten, richting het object in een reeks van pulsen, bij voorkeur een periodiek herhaalde reeks van pulsen; een detector die een afbeeldingsmatrix omvat zoals hierboven beschreven is, waarbij de detector geconfigureerd is voor het detecteren van licht dat het patroon van lichtpunten voorstelt zoals dat gereflecteerd wordt door het object in synchronisatie met de reeks van pulsen; en een verwerkingsmiddel dat geconfigureerd is om de afstand tot het object te berekenen als een functie van belichtingswaardes die gegenereerd zijn door de pixels als reactie op het gedetecteerde licht; waarbij de pixels van de afbeeldingsmatrix geconfigureerd zijn om de belichtingswaardes te genereren door het, voor alle pulsen van de reeks, verzamelen van een eerste hoeveelheid elektrische lading die een eerste hoeveelheid licht voorstelt die gereflecteerd wordt door het object tijdens een eerste vooraf bepaald tijdsvenster en een tweede hoeveelheid elektrische lading die een tweede hoeveelheid licht voorstelt die gereflecteerd wordt door het object tijdens een tweede vooraf bepaald tijdsvenster, waarbij het tweede vooraf bepaalde tijdsvenster plaatsvindt na het eerste vooraf bepaalde tijdsvenster, waarbij het detecteren van de eerste hoeveelheid licht en het detecteren van de tweede hoeveelheid licht plaatsvindt bij respectievelijk de eerste ladingsopslagput en bij de tweede ladingsopslagput.

De solid-state lichtbron is bij voorkeur een halfgeleiderlichtbron. De geprojecteerde discrete punten zijn bij voorkeur laserlichtpunten.

Het systeem volgens de onderhavige uitvinding steunt op dezelfde natuurkundige principes als directevluchttijdgebaseerde afstandsmetingssystemen, namelijk het

2018/5273

-9BE2018/5273 feit dat licht altijd een bepaalde tijd neemt om een gegeven afstand af te leggen. Echter gebruikt de onderhavige uitvinding range gating om de afstand te bepalen die afgelegd is door een lichtpuls die uitgezonden is en vervolgens gereflecteerd is door een doelobject. De onderhavige uitvinding is onder andere gebaseerd op het inzicht van de uitvinders dat door het combineren van range gating, en ten minste gedeeltelijk gelijktijdige puntpatroonprojectie (gebaseerd op een nieuw belichtingsschema) en een laagvermogen halfgeleiderlichtbron een in hoofdzaak verkleinde volledig solid-state, energie-efficiënte grootbereikafstandsdetectiewerkwijze bereikt kan worden. De term “patroon” zoals die hier gebruikt is verwijst naar een ruimtelijke distributie van gelijktijdig geprojecteerde, bij voorkeur afzonderlijke (niet-overlappende) punten. Om de positie te bepalen van de gedetecteerde puntreflectie in een driedimensionale ruimte is het nodig om de afstandsinformatie die verkregen is van de afstandsmetingsstap te combineren met hoekinformatie om de overgeblevene twee ruimtelijke coördinaten vast te leggen. Een camera omvat een pixelmatrix en passend ingerichte optieken kunnen gebruikt worden om de aanvullende hoekinformatie te verschaffen, middels het identificeren van de pixel waarin de reflectie gedetecteerd wordt.

Uitvoeringsvormen van de onderhavige uitvinding zijn gebaseerd op het verdere inzicht van de uitvinders dat om puntpatronen te gebruiken die gegenereerd zijn door solid-state halfgeleiderlichtbronnen in een LIDAR-systeem bij de gewenste afstanden een manier nodig is om de optischevermogensbeperkingen te omzeilen. De uitvinders hebben gevonden dat door het verlengen van de pulsduur en door het integreren van de gereflecteerde energie van meerdere VCSEL-gegenereerde lichtpulsen binnen ten minste twee halfgeleidersensorputten of binnen ten minste twee pixels, gevolgd door een enkele uitlezing van de geïntegreerde lading, een solid-state -LIDAR-systeem verkregen kan worden met een in hoofdzaak groter werkbereik dan dat momenteel mogelijk is met solid-state implementaties. Aanvullend kunnen meerdere reeksen van lichtpulsen, gebruikmakend van een verschillende pulsduur in elke reeks, gecombineerd worden om een groter afstandsbereik te dekken dan dat mogelijk zou zijn met een enkele reeks. Hierna zal de term “opslag” gebruikt worden om de put of de pixel aan te duiden waarin

2018/5273

- 10BE2018/5273 lading verzameld wordt als reactie op de detectie van fotonen.

Het is een voordeel van het systeem volgens de onderhavige uitvinding dat de solidstate lichtbron en de solid-state sensor (zoals een CMOS-sensor, een CCD-sensor of een vergelijkbare) geïntegreerd kan worden op hetzelfde halfgeleidersubstraat. De solid-state lichtbron kan een VCSEL-matrix of een laser omvatten met een rooster dat ingericht is om het gewenste patroon te vormen.

Bovendien kan, door het beoordelen van de gereflecteerdlichtenergie die gedetecteerd wordt in twee opeenvolgende tijdsvensters, en het normaliseren van de totale verzamelde lading in de twee opeenvolgende vensters, de invloed van het variëren van de reflectiviteit van het bestudeerde object en de bijdrage van omgevingslicht voldoende verantwoord worden in het afstandsberekenings algoritme.

Tot slot, door het gebruik van de pixels zoals hierboven beschreven is, is het systeem volgens de onderhavige uitvinding minder vatbaar voor verzadiging van de ladingsopslagputten vanwege intense reflecties die ontvangen worden van objecten op korte afstand.

In een uitvoeringsvorm is het systeem geconfigureerd om het projecteren en het detecteren uit te voeren van ten minste twee opeenvolgende reeksen van pulsen, waarbij elk van de reeksen gebruikt wordt met een verschillende duur van het eerste vooraf bepaalde tijdsvenster en het tweede vooraf bepaalde tijdsvenster.

Deze uitvoeringsvorm is verder gebaseerd op het inzicht van de uitvinders dat het bereik van het systeem verbeterd kan worden door het opsplitsen van het detecteren van het volledige bereik over meerdere frames (dat wil zeggen, meerdere reeksen van pulsen), waarbij elke berekening mogelijk maakt van de afstand voor een verschillend bereik door het werken met verschillende timingsparameters (het eerste vooraf bepaalde tijdsvenster en het tweede vooraf bepaalde tijdsvenster).

Een verstandige keuze van werkingsparameters kan garanderen dat in elk frame het

2018/5273

- 11 BE2018/5273 aantal gereflecteerde fotonen die verwacht worden om gedetecteerd te worden voor de maximale afstand van het gewenste bereik overeenkomt met een hoeveelheid lading die betrouwbaar uitgelezen kan worden van de ladingsopslagput. Aan de andere kant wordt het dichtstbijzijnde plek waarop nauwkeurige metingen uitgevoerd kunnen worden bepaald door het aantal fotonen dat de capaciteit van de pixels zullen verzadigen. De verhouding tussen het minimale detecteerbare aantal fotonen en het maximale aantal fotonen die ontvangen kunnen worden zonder verzadiging het afstandsbereik bepaalt dat overspannen kan worden in een enkel frame.

In een uitvoeringsvorm volgens de onderhavige uitvinding is de afbeeldingsmatrix verder ingericht om 2D-videobeeldverwerving uit te voeren.

De 2D-videobeeldverwerving kan uitgevoerd worden in dezelfde frames waarin de range gating plaatsvindt, door het inzetten van een derde ladingsopslagput en/of een vierder ladingsopslagput of door het inzetten van pixels van de pixelmatrix die niet belicht worden door reflecties van de geprojecteerde lichtpunten. Aanvullend of anders kan de 2D-videobeeldverwerving uitgevoerd worden in andere frames dan de frames waarin de range gating plaatsvindt, naar keuze in synchronisatie met een globale belichting van de locatie.

Korte beschrijving van de figuren

Deze en andere aspecten en voordelen van de onderhavige uitvinding zullen nu in meer detail beschreven worden met betrekking tot de bijbehorende tekeningen, waarbij :

Figuur 1 een stroomschema voorstelt van de range gating werkwijze die toegepast wordt door een uitvoeringsvorm van het systeem volgens de onderhavige uitvinding, waarin de pixel volgens de onderhavige uitvinding gebruikt kan worden;

Figuur 2 schematisch een uitvoeringsvorm voorstelt van het systeem volgens de

2018/5273

- 12BE2018/5273 onderhavige uitvinding, waarin de pixel volgens de onderhavige uitvinding gebruikt kan worden;

Figuren 3a - c timingsschema’s weergeven van de range gating werkwijze die toegepast wordt door een uitvoeringsvorm van het systeem volgens de onderhavige uitvinding, om de werking te illustreren van de twee putten die betrokken zijn in range gating;

Figuur 4 schematisch een uitvoeringsvorm voorstelt van de pixel volgens de onderhavige uitvinding;

Figuur 5 schematisch een uitvoeringsvorm voorstelt van de pixel volgens de onderhavige uitvinding, die een eerste wijze toont om de asymmetrie van de putten te verkrijgen;

Figuur 6 schematisch een uitvoeringsvorm voorstelt van de pixel volgens de onderhavige uitvinding, die een tweede wijze toont om de asymmetrie van de putten te verkrijgen; en

Figuren 7a - 4g timingsdiagrammen voorstellen voor lichtprojectie en -detectie in uitvoeringsvormen van de onderhavige uitvinding, om de werking van aanvullende putten te illustreren.

In de figuren worden soortgelijke cijfers gebruikt om soortgelijke elementen aan te duiden.

Gedetailleerde beschrijving van uitvoeringsvormen

De uitvinders hebben gevonden dat de pixelmatrix volgens de onderhavige uitvinding gunstig toegepast kunnen worden in een nieuw type afstandsmetingssysteem dat als doel heeft om dezelfde vermogens/uitvoeringskenmerken te bereiken met een compact halfgeleidergebaseerd en vluchttijdgebaseerd systeem. Dienovereenkomstig betreft een aspect van de

2018/5273

- 13 BE2018/5273 onderhavige uitvinding een afstandsmetingssysteem dat meerdere pixels omvat zoals hieronder beschreven wordt, die ingericht zijn in een pixelmatrix.

In dit aspect van de uitvinding worden de beperkingen van de bestaande systemen die op LIDAR gebaseerd zijn overwonnen door het veranderen van de wijze waarop het vluchttijdgebaseerde systeem werkt. De totale hoeveelheid lichtenergie die uitgezonden wordt voor elke vluchttijdsmeting (en dus, het aantal fotonen dat beschikbaar is voor detectie bij de detector voor elke vluchttijdmeting) kan verhoogd worden door het verhogen van de duur van individuele pulsen en door het produceren van een virtuele “samengestelde puls”, die bestaat uit een reeks van een groot aantal afzonderlijke pulsen. Deze bundeling van verlengde pulsen staat de uitvinders toe om de benodigde hoeveelheid lichtenergie (fotonen) te verkrijgen voor het gewenste werkbereik met laagvermogensvastetoestandslasers, zoals VCSEL’s.

Waarbij een individuele puls van vooraf bestaande LIDAR-systemen een duur van ns kan hebben, vinden de huidig beschreven systemen baat bij een aanzienlijk langere pulsduur om gedeeltelijk te compenseren voor het relatief lage vermogensniveau van halfgeleiderlasers zoals VCSEL’s; in uitvoeringsvormen van de onderhavige uitvinding kunnen afzonderlijke pulsen binnen een reeks een voorbeeldduur van 1 ps hebben (dit is één mogelijke waarde, hierbij gekozen om de beschrijving duidelijk en simpel te houden; in het algemeen kan de pulsduur in uitvoeringsvormen van de onderhavige uitvinding bijvoorbeeld 500 ns of meer zijn, bij voorkeur 750 ns of meer zijn, met meeste voorkeur 900 ns of meer zijn). In een voorbeeldsysteem volgens de onderhavige uitvinding kan een reeks bestaan uit 1000 pulscycli, die dus opsommen tot een duur van 1 ms. Gezien het feit dat licht ongeveer 0.66 ps nodig heeft om te reizen naar een doel op een afstand van 100 m en terug naar de detector, is het mogelijk om samengestelde pulsen van deze duur voor het afstandsmeting op een afstand van deze ordegrootte; de deskundige persoon zal in staat zijn om het aantal pulscycli bij te stellen als een functie van de geselecteerde pulsbreedte en het gewenste bereik. De detectie van de reeks omvat bij voorkeur het detecteren van de individuele pulsen in synchronisatie met de lichtbron die op VCSEL gebaseerd is, en het verzamelen omvat van de ladingen die

2018/5273

- 14BE2018/5273 gegenereerd zijn als reactie op de binnenkomende fotonen op het pixelputniveau voor de gehele reeks voorafgaand aan het uitlezen. De term “belichtingswaarde” wordt hierna gebruikt om de waarde aan te duiden die representatief is voor de lading (en dus van de hoeveelheid licht die ontvangen is op de pixel) die geïntegreerd is over de reeks. De reeksuitzending en -detectie kan periodiek herhaald worden.

Het afstandsmetingssysteem van de onderhavige uitvinding werkt middels range gating. Range gating beeldvormers integreren het gedetecteerde vermogen van de reflectie van de uitgezonden puls voor de duur van de puls. De hoeveelheid tijdsoverlap tussen het pulsuitzendingsvenster en de aankomst van de gereflecteerde puls is afhankelijk van de terugkeertijd van de lichtpuls, en dus van de afstand die afgelegd is door de puls. Het geïntegreerde vermogen is dus gecorreleerd met de afstand die afgelegd is door de puls. De onderhavige uitvinding gebruikt het principe van range gating, zoals die toegepast is om de reeksen van pulsen die hiervoor beschreven is. In de volgende beschrijving wordt de integratie van individuele pulsen van een reeks op het niveau van een afbeeldingselement om een meting te verkrijgen van de gehele reeks impliciet begrepen.

Figuur 1 stelt een stroomschema voor van een toepasbare afstandsmetingswerkwijze. Zonder verlies van algemeenheid wordt de afstandsmetingswerkwijze beschreven met betrekking tot een range gating algoritme. In een eerste tijdsvenster 10 omvat de werkwijze het projecteren 110 van een patroon van laserlichtpunten (bijvoorbeeld een regelmatig of een onregelmatig ruimtelijk patroon van punten) van een lichtbron die een solid-state lichtbron 210 omvat, op enig object in het doelgebied van de locatie. Het ruimtelijk patroon wordt herhaaldelijk geprojecteerd in een reeks pulsen.

Zoals hierboven aangegeven is, kan de solid-state lichtbron een VCSEL-matrix of een laser omvatten met een rooster dat ingericht is om het gewenste patroon te produceren. Om het systeem optimaal te laten werken, zelfs op grote afstanden en met hoge niveaus van omgevingslicht (bijvoorbeeld met daglicht), is een VCSEL voor gebruik in uitvoeringsvormen van de onderhavige uitvinding bij voorkeur

2018/5273

-15BE2018/5273 ingericht om een maximale optisch vermogen per punt per gebiedseenheid uit te zenden. Dus gaat de voorkeur uit naar lasers met een goede straalkwaliteit (lage M2-factor). Bij meer voorkeur moeten de lasers een minimale golflengtespreiding hebben; een bijzonder kleine golflengtespreiding kan bereikt worden met monomoduslasers. Dus kunnen hoofdzakelijk identieke pulsen herhaaldelijk gegenereerd worden met de benodigde ruimtelijke en tijdelijk nauwkeurigheid.

Tijdens hetzelfde tijdsvenster waarin een puls uitgezonden wordt, of in een hoofdzakelijk overlappend tijdsvenster, wordt een eerste hoeveelheid licht die het patroon van punten voorstelt zoals die gereflecteerd zijn door het object van belang gedetecteerd 120 bij een detector, die bij voorkeur zo dicht mogelijk bij de lichtbron ingericht is. De synchroniciteit of de bijna-synchroniciteit tussen de projectie 110 van het puntpatroon en de eerste detectie 120 van zijn reflectie wordt geïllustreerd in het stroomschema door middel van de naastliggende inrichting van deze stappen. In een opeenvolgend tweede vooraf bepaald tijdsvenster 20 wordt een tweede hoeveelheid licht die het gereflecteerde lichtpunt voorstelt, gedetecteerd 130 op de detector. Tijdens dit tweede venster 20 is de solid-state lichtbron inactief. De afstand tot het object kan dan berekend worden 140 als een functie van de eerste hoeveelheid gereflecteerd licht en de tweede hoeveelheid gereflecteerd licht.

Het eerste vooraf bepaalde tijdsvenster 10 en het tweede vooraf bepaalde tijdsvenster 20 zijn bij voorkeur opeenvolgende vensters met een in hoofdzaak gelijk duur, om ruis- en omgevingslichtannulering te faciliteren door het aftrekken van één van de gedetecteerde hoeveelheden van de andere. Een voorbeeldtimingsschema zal in meer detail hieronder beschreven worden in combinatie met figuur 3.

De detector omvat een pixelmatrix zoals hierboven beschreven is met adequate optieken die ingericht zijn om een afbeelding van de locatie (die de belichte punten omvat) te projecteren op het afbeeldingselement.

De term “afbeeldingselement” zoals hier gebruikt wordt kan een individueel lichtgevoelig gebied of put van een pixel aanduiden, of duiden op een gehele pixel

2018/5273

- 16BE2018/5273 (die meerdere putten kan omvatten, zie hieronder). Voor elke gegeven geprojecteerde punt vindt het detecteren 120 van de eerste hoeveelheid licht en het detecteren 130 van de tweede hoeveelheid licht plaats bij dezelfde ene of dezelfde groep van de meerdere afbeeldingselementen.

Zonder verlies van algemeenheid kan elke van de afbeeldingselementen een pixel zijn die ten minste twee ladingsopslagputten 221, 222 omvat, zodat het detecteren 120 van de eerste hoeveelheid licht en het detecteren 130 van de tweede hoeveelheid licht plaats kan vinden bij de respectieve ladingsopslagputten 221, 222 van dezelfde pixel of pixelgroep. Een derde put kan verschaft worden om een verscheidenheid aan functies uit te voeren, mits die werkt volgens een timingsschema die rekening houdt met de timing van de projector en/of de andere putten.

Figuur 2 stelt schematisch een uitvoeringsvorm voor van het systeem volgens de onderhavige uitvinding met betrekking tot een object 99 in de locatie van belang. Het systeem 200 omvat een solid-state lichtbron 210 voor het projecteren van een patroon van een reeks van punten, die periodiek herhaald kunnen worden, op het object 99. Een detector 220 is ingericht vlakbij de lichtbron en is geconfigureerd om licht te detecteren dat gereflecteerd wordt door het object.

De lichtstraal die van het object 99 afkaatst is geïllustreerd als een pijl van stippellijnen, die verplaatst van de lichtbron 210 naar het object 99 en terug naar de detector 220. Het moet op gemerkt worden dat deze voorstelling alleen schematisch is, en niet bedoeld is om indicatief te zijn voor werkelijk relatieve afstanden of hoeken.

Een synchronisatiemiddel 230, dat een conventioneel klokschakeling of oscillator kan omvatten, is geconfigureerd om de solid-state lichtbron 210 te bedienen om het patroon van punten te projecteren op het object tijdens eerste vooraf bepaalde tijdsvensters 10 en om de detector 220 te bedienen om een eerste hoeveelheid licht te detecteren die de lichtpunt(en) voorstelt die gereflecteerd worden door het object 99 op in hoofdzaak hetzelfde moment. Het bedient verder de detector 220 om een

2018/5273

- 17BE2018/5273 tweede hoeveelheid licht te detecteren die de lichtpunten voorstelt die gereflecteerd worden door het object 99, tijdens respectieve opeenvolgende tweede vooraf bepaalde tijdsvensters 20. Een geschikt verwerkingsmiddel 240 is geconfigureerd om de afstand tot het object te berekenen als een functie van de eerste hoeveelheid gereflecteerd licht en de tweede hoeveelheid gereflecteerd licht.

Figuur 3 (dat bestaat uit Figuren 3a, 3b, en 3c) stelt een timingsdiagram voor voor lichtprojectie en -detectie in uitvoeringsvormen van de onderhavige uitvinding. Voor helderheidsredenen wordt alleen een enkele puls van de pulsreeks die periodiek herhaald wordt, van Figuur 3 geïllustreerd, welke bestaat uit een eerste tijdsvenster 10 en een tweede tijdsvenster 20.

Zoals gezien kan worden in Figuur 3a, is tijdens het eerste tijdsvenster 10 de solidstate lichtbron 210 in zijn “ΑΑΝ’’-stand, waarbij die het patroon van lichtpunten uitzendt op de locatie. Tijdens het tweede tijdsvenster 20 is de solid-state lichtbron 210 in zijn “UIT”-stand.

De aankomst van het gereflecteerde licht bij de detector 220 wordt vertraagd ten opzichte van de start van de projectie met een hoeveelheid tijd die proportioneel is met de afgelegde afstand (ongeveer 3,3 ns/m in vrije ruimte). Door deze vertraging zal alleen maar een deel van het gereflecteerde licht gedetecteerd worden bij de eerste put 221 van de detector 220, die alleen geactiveerd is tijdens het eerste tijdsvenster 10. Dus de lading die verzamelt in de eerste put tijdens zijn activatieperiode (het eerste tijdsvenster 10) bestaat dus uit een deel dat alleen de ruis en het omgevingslicht voorstelt dat op de pixel valt voorafgaand aan de aankomst van de gereflecteerde puls, en een deel dat de ruis, het omgevingslicht, en de leidende rand van de gereflecteerde puls voorstelt.

Het latere deel van de gereflecteerde puls zal gedetecteerd worden bij de tweede put 222 van de detector 220, die alleen geactiveerd is tijdens het tweede tijdsvenster 20, welke bij voorkeur onmiddellijk het eerste tijdsvenster 10 volgt. Dus de lading die verzamelt in de tweede put tijdens zijn activatieperiode (het tweede tijdsvenster 20) bestaat dus uit een deel dat de ruis, het omgevingslicht, en de slepende rand

2018/5273

-18BE2018/5273 van de gereflecteerde puls, en een deel dat alleen de ruis en het omgevingslicht dat op de pixel valt na de aankomst van de gereflecteerde puls.

Hoe groter de afstand tussen het reflecterende object 99 en het systeem 200, hoe kleiner het deel is van de puls dat gedetecteerd zal worden in de eerste put 221 en hoe groter het deel van de puls dat gedetecteerd zal worden in de tweede put 222.

Als de leidende rand van de gereflecteerde puls aankomt na het sluiten van de eerste put 221 (dat wil zeggen, na het einde van het eerste tijdsvenster 10), zal het deel van de gereflecteerde puls dat gedetecteerd kan worden in de tweede put 222 weer afnemen met toenemende vluchttijdsvertraging.

De resulterende hoeveelheden lading A, B in elke van de respectieve putten 221, 222 voor variërende afstanden van het object 99 worden weergeven in Figuur 3b. Om de voorstelling te versimpelen, is geen rekening gehouden met het effect van de verzwakking van licht met afstand, volgens de omgekeerdekwadratenwet. Het is duidelijk dat voor vluchttijdvertragingen tot aan de gecombineerde duur van het eerste tijdsvenster 10 en het tweede tijdsvenster 20 de vluchttijdvertraging in principe eenduidig afgeleid worden van de waardes van A en B:

- Voor vluchttijdvertragingen tot aan de duur van het eerste tijdsvenster 10 is B proportioneel met de afstand van het object 99. Om gemakkelijk op een bepaling te komen van de absolute afstand kan de genormaliseerde waarde B/(B+A) gebruikt worden, wat enige invloed verwijderd van niet-perfecte reflectiviteit van het gedetecteerde object en van de omgekeerdekwadratenwet.

- Voor vluchttijdvertragingen die de duur overschrijden van het eerste tijdsvenster 10 bestaat A alleen uit daglicht- en ruisbijdragen (niet geïllustreerd), en C-B in hoofdzaak proportioneel (na het corrigeren voor de omgekeerdekwadratenwet) is met de afstand van het object 99, waarbij C een verschuivingswaarde is.

Terwijl Figuren 3a en 3b het principe illustreren van het systeem volgens de onderhavige uitvinding met betrekking tot een enkele puls die uitgezonden is in het

2018/5273

- 19BE2018/5273 tijdsvenster 10, zal het begrepen worden dat de geïllustreerde puls deel is van een reeks pulsen zoals hierboven gedefinieerd is. Figuur 3c illustreert schematisch voorbeeldtimingskenmerken van een dergelijke reeks. Zoals geïllustreerd is bestaat het belichtingsschema 40 uit een herhaalde uitzending van een reeks 30 van afzonderlijke pulsen 10. De breedte van de afzonderlijke pulsen 10 wordt bepaald door het maximale werkbereik. De gehele reeks kan herhaald worden met een frequentie van, bijvoorbeeld, 60 Hz.

De uitvinders hebben gevonden dat in systemen zoals die hierin beschreven zijn, reflecties van licht door objecten op korte afstanden waarschijnlijker pixelverzadiging veroorzaken, omdat de verzwakking van een dergelijke reflectie veel minder zal zijn dat die van een reflectie die oorsprong vindt van een verder weg gelegen object (door de omgekeerdekwadratenwet van lichtverzwakking over een afstand). Omdat bepaalde toepassingen, zoals automobieltoepassingen, nauwkeurige systeemwerking vereisen tot op relatief verre afstanden, moet een grote fotonspanne gedekt worden tussen de dichtstbijzijnde werkafstanden en de verste werkafstanden. Met deze beperkingen is pixelverzadiging op korte afstanden een reëel risico, in het bijzonder bij de eerste put (die het merendeel van de reflectie op korte afstand ontvangt). De uitvinders hebben gevonden dat voor een gegeven totale pixelruimte het verzadigingsprobleem beperkt kan worden door het gebruik van een asymmetrische putopstelling, waarin de fotoncapaciteit die voorgesteld is door de eerste put toeneemt, en de fotoncapaciteit die voorgesteld wordt door de tweede put afneemt. Als de toename en de afname gebalanceerd zijn, kan een toename van het dynamische bereik verkregen worden zonder dat het aanvullende pixeloppervlak kost.

De uitvinders hebben verder gevonden dat om een bruikbaar werkbereik (tussen het laagst detecteerbare lichtniveau en het lichtniveau waarbij verzadiging plaatsvindt) te verkrijgen de eerste ladingsopslag een ladingscapaciteit zou moeten hebben die ten minste 50% groter is dan de ladingscapaciteit van de tweede ladingsopslagput. Bij voorkeur moet de eerste ladingsopslag een ladingscapaciteit hebben die ten minste 75% groter is dan de ladingscapaciteit van de tweede ladingsopslagput, en met het meeste voorkeur moet de eerste ladingsopslag een ladingscapaciteit hebben

2018/5273

-20BE2018/5273 die ten minste 100% groter is dan de ladingscapaciteit van de tweede ladingsopslagput.

Een asymmetrische voorbeelddubbelputpixel volgens de onderhavige uitvinding, waarbij de pixel een antibloeischakelsysteem omvat, is schematisch voorgesteld in Figuur 4. De ladingsopslagputten 221, 222 (SN A, SN B) zijn verbonden met een fotoactief gebied (PH) door middel van overdrachtspoorten (TG A, TG B), die bestuurd worden om de actieve toestanden van de twee ladingsopslagputten te synchroniseren met de uitzending van de projectiepulsen zoals eerder beschreven is.

Figuur 5 stelt schematisch een uitvoeringsvorm voor van de pixel volgens de onderhavige uitvinding, die een eerste wijze toont van het verkrijgen van de asymmetrie van de putten. Zoals getoond is in Figuur 5, is de eerste put 221 (de uitputtingszone aan de A-signaalkant) ten minste 50% groter gemaakt dan de tweede put 222 (de uitputtingszone aan de B-signaalkant) tijdens de halfgeleiderfabricagewerkwijze.

Figuur 6 stelt schematisch een uitvoeringsvorm voor van de pixel volgens de onderhavige uitvinding, die een tweede wijze toont voor het verkrijgen van de asymmetrie van de putten. In dit geval zijn beiden halfgeleiderputten 221, 222 van een identieke kant, maar een aanvullende condensator wordt verschaft aan de Asignaalkant om de effectieve capaciteit van de eerste put 221 te verhogen.

Bloei is een fenomeen dat plaatsvindt wanneer de lading in een pixel het verzadigingsniveau overschrijdt van die specifieke pixel. Zodoende begint de lading over te stromen en veroorzaakt overlast in aangrenzende pixels. Dit creëert onnauwkeurige data in de aangrenzende pixels, of in andere putten van dezelfde pixel. Bij voorkeur zijn de pixels van het systeem volgens de onderhavige uitvinding verschaft met antibloei-elektronica, om de overtollige lading af te laten lopen voordat die de relevante put verzadigt en overspoelt naar de putten van aangrenzende pixels. In het bijzonder, wanneer de informatie van de naburige punten gebruikt wordt voor de verwijdering van achtergrondlicht, is het van groot

2018/5273

-21 BE2018/5273 belang om een nauwkeurige schatting te hebben van het achtergrondlicht dat onafhankelijk (en zonder vervuiling) verkregen wordt van aangrenzende pixels.

De pixel kan verder een schakelsysteem omvatten dat het mogelijk maakt voor de pixel om te schakelen tussen een oplaadmodus en een ontladingsmodus. In de oplaadmodus veroorzaakt licht dat op de pixel valt dat de eerste ladingsopslagput of de tweede ladingsopslagput (volgens de onderhavige fase van het belichtingsschema) een opgeslagen hoeveelheid lading verhoogt. In de ontladingsmodus, die bij voorkeur geactiveerd is na de oplaadmodus voor een gelijke tijdshoeveelheid, veroorzaakt licht dat op de pixel valt dat de eerste ladingsopslagput of de tweede ladingsopslagput de opgeslagen hoeveelheid lading verlaagt. Dit schakelschema maakt het mogelijk dat een hoeveelheid lading die overeenkomt met het achtergrondlicht verwijderd wordt uit de ladingsopslagputten.

Uitvoeringsvormen van de onderhavige uitvinding kunnen gecorreleerde dubbele bemonstering benutten om de monsters te corrigeren voor de thermische ruis die betrekking heeft op de capaciteit van de putten (ook aangewezen als “kTC-ruis”). Hiertoe kunnen de elektronica van de pixel ontworpen zijn om een differentiële meting uit te voeren tussen de resetspanning (Vreset) en de signaalspanning (Vsignai), bijvoorbeeld door het meten van Vreset aan het begin van het frame en door het meten van Vsignai aan het eind van het frame. Als een alternatief voor een elektronische (binnenpixel) toepassing kan gecorreleerde dubbelbemonstering ook toegepast worden door het digitaal aftrekken van de uitleessignalen (Vsignai - Vreset) in een processor.

Om de hoeveelheid licht te verhogen die de fotogevoelige elementen (in het bijzonder diodes) bereikt in de pixelstructuur, kunnen uitvoeringsvormen van de onderhavige uitvinding achtergrondbelichting gebruiken; in dat geval is het pixelschakelsysteem achter de fotogevoelige laag, waarbij het aantal lagen die doorkruist moeten worden door de binnenkomende fotonen verminderd wordt, om de fotogevoelige elementen te lezen.

Als aanvulling op het toepasbaar zijn in het systeem dat hierboven beschreven is,

2018/5273

-22 BE2018/5273 kunnen de pixel en de pixelmatrix volgens de onderhavige uitvinding ook geïntegreerd worden met een triangulatiegebaseerd systeem volgens WO 2015/004213 Al. Als gericht wordt op verkleining, zal het triangulatiegebaseerde systeem een relatief kleine afstand hebben tussen zijn projector en zijn detector, wat het een verminderd werkbereik geeft. Echter is het precies op korte afstanden dat de combinatie zijn voordeel toont, omdat het triangulatiegebaseerde systeem de afstanden kan dekken waarbij het vluchttijdgebaseerde systeem niet nauwkeurig genoeg kan werken.

De totale afstandsmetingswerkwijze kan iteratief herhaald worden, bij voorkeur periodiek, om de afstand te bewaken tot het/de gedetecteerde object of objecten over tijd. Het resultaat van deze werkwijze kan dus gebruikt worden in processen die informatie nodig hebben over de afstand tot gedetecteerde objecten op een ononderbroken manier, zoals geavanceerde bestuurdersondersteuningssystemen, voortuigen met een actieve vering, of autonome voertuigen.

De totale afstandsmetingswerkwijze kan iteratief herhaald worden, om de afstand te bewaken tot het/de gedetecteerde object of objecten over tijd. Het resultaat van deze werkwijze kan dus gebruikt worden in processen die informatie nodig hebben over de afstand tot gedetecteerde objecten op een ononderbroken wijze, zoals detectie en het volgen van objecten in de omgeving van een voertuig, geavanceerde bestuurdersondersteuningssystemen, voertuigen met een actieve vering, autonoom rijdende of autonome voertuigen. Een iteratief herhaalde range gating reeks wordt schematisch voorgesteld in het timingsdiagram van Figuur 7a, waarin elk frame overeenkomt met een reeks pulsen van de projector (P) (de timing van de pulsen wordt aangegeven door de kleine letter ‘p’), die gesynchroniseerd is met activeringen van de beeldvormer (I) (de verzameling van ladingen in de eerste put wordt aangegeven door de kleine letter ‘a’, terwijl de verzamelingen van ladingen in de tweede put aangegeven wordt door de kleine letter ‘b’). Zonder verlies van algemeenheid worden alleen twee opeenvolgende frames geïllustreerd.

Figuur 7b stelt een gemodificeerd timingsschema voor dat twee aanvullende tijdsloten omvat voor elke projectiepuls. Deze aanvullende tijdsloten worden

2018/5273

-23 BE2018/5273 gebruikt om de respectieve putten te ontladen met een snelheid die proportioneel is met de intensiteit van het licht dat op de pixel valt wanneer geen reflectie van het geprojecteerde licht ontvangen wordt. Omdat het licht dat ontvangen wordt in de afwezigheid van een puls het achtergrondlicht voorstelt, met alleen een kleine tijdsverschuiving ten opzichte van het tijdspunt wanneer de pulsreflectie ontvangen wordt, verwijderd dit schema effectief de achtergrondlichtcomponent van de lading die verzameld is in de eerste put en de tweede put, voor elke projectorpuls.

Om de eerder besproken ontladingsfase te implementeren kan de pixel een condensator omvatten voor het opslaan van de lading, die gekoppeld is met de fotodiode middels geschikte overdrachtspoorten. De verzamelfase omvat dan het overdragen van ladingen van een eerste kant van de condensator, en het verminderen omvat het overdragen van ladingen naar de tweede kant van de condensator.

De volgende timingsdiagrammen illustreren hoe aanvullende putten (bijvoorbeeld de eerder besproken derde ladingsopslagput en de vierde ladingsopslagput) gebruikt kunnen worden.

Figuur 7c stelt een gemodificeerd timingsschema voor die één aanvullende tijdslot omvat voor elke projectiepuls. Dit aanvullende tijdslot wordt gebruikt om fotoladingen te verzamelen in een derde put (de verzameling van ladingen in de derde put wordt aangegeven door de kleine letter ‘c’). Als het licht dat ontvangen wordt in de derde put aankomt in de afwezigheid van een puls stelt het achtergrondlicht voor, met alleen een zeer kleine tijdsverschuiving ten opzichte van het tijdspunt waarbij de pulsreflectie ontvangen is. De lading die verzameld in de derde put kan daardoor afgetrokken worden van de ladingen in de eerste put en de tweede put om in feite de achtergrondlichtcomponent te verwijderen van de laatstgenoemde ladingen. Het licht dat ontvangen is in de derde put kan ook reflecties omvatten van geprojecteerde punten die aankomen van zeer reflecterende objecten buiten het bereik dat gedekt wordt door de werking van de eerste put en de tweede put, en de verzamelde lading kan dus passend gebruikt worden om zulke objecten te detecteren. Het licht dat ontvangen is in de derde put kan ook gebruikt

2018/5273

-24BE2018/5273 worden om een 2D-afbeelding te genereren van de locatie, wat naar keuze gecombineerd kan worden met de afstandsmetingsinformatie die verkregen is van de werking van de eerste put en de tweede put om een 3D-afbeelding te genereren.

Figuur 7d stelt een variant voor van het timingsschema van Figuur 7c, waarbij de derde put geactiveerd wordt tijdens een aantal tijdsloten na de voltooiing van hetzelfde aantal projectorpulsen. Omdat het licht dat zo ontvangen wordt in de derde put aankomt in de afwezigheid van een puls stelt dat het achtergrondlicht voor, met alleen een iets grotere tij dsverschuiving ten opzichte van de tijdspunten waarbij de pulsreflectie ontvangen wordt. De lading die verzameld is in de derde put kan daarom afgetrokken worden van de ladingen in de eerste put en de tweede put om in feite de achtergrondlichtcomponent te verwijderen van de laatstgenoemde ladingen. De lading die verzameld is in de derde put in de aparte tijdsloten kunnen ook gebruikt worden om een 2D-afbeelding te genereren van de locatie, in welk geval de locatie naar keuze belicht kan worden door een flitslicht.

Figuur 7e stelt nog een andere variant voor van het timingsschema van Figuur 7c, waarin de eerste put geactiveerd is in een apart frame, na de voltooiing van een range gating frame waarin de projector en de eerst en tweede put actief zijn. Omdat het licht dat zo ontvangen is in de eerste put aankomt in de afwezigheid van een puls stelt dat het achtergrondlicht voor, met weer een iets grotere tijdsverschuiving ten opzichte van de tijdspunten waarbij de pulsreflectie ontvangen wordt. De lading die verzameld wordt in de eerste put in het aparte frame kan daarom afgetrokken worden van de ladingen die vooraf verzameld zijn in de eerste put en de tweede put om in feite de achtergrondlichtcomponent te verwijderen van de laatstgenoemde ladingen. De lading die verzameld is in de eerste put in het aparte frame kan ook gebruikt worden om een 2D-afbeelding te genereren van de locatie, in welk geval het landschap naar keuze belicht kan worden door een flitslicht.

De combinatie van het grote gewenste werkbereik (in de orde van 200 m) en de hoge gewenste nauwkeurigheid (om correct zo weinig als 1000 fotonen te detecteren bij het verste punt) leidt tot een enorme spanne tussen het grootste aantal fotonen die ontvangen kunnen worden in één put in één frame (in het geval van

2018/5273

-25BE2018/5273 reflecties op korte afstand), en het laagste aantal dat ontvangen kan worden in één put in één frame.

Figuur 7f stelt een gemodificeerd timingsschema voor die afwijkt van het schema van Figuur 7a in dat de duur van een enkel tijdslot varieert van één slot tot de volgende. Op deze wijze zullen de detectiedrempelwaarde en het verzadigingspunt voor verschillende frames plaatsvinden bij verschillende afstanden, en de informatie die verkregen is van een aantal opeenvolgende frames kunnen gecombineerd worden om nauwkeurige afstandsmetingen te verkrijgen voor zowel nabijgelegen objecten en afgelegen objecten.

Figuur 7g illustreert schematisch hoe de individuele frames in de reeks van Figuur 3c, die kunnen falen in het dekken van het gehele bereik van afstanden [z_min, z_max] als een resultaat van de beperkingen die opgelegd zijn door N_max (maximaal aantal elektronen dat opgeslagen kan worden zonder het verzadigen van de pixel) en N™™ (minimum aantal pixels dat nodig is voor nauwkeurige uitlezing), opgedeeld kunnen worden tot reeksen met verschillende timingsparameters, die elk een gedeelte dekken van het gerichte bereik [z_min(i), z_max(i)] dat makkelijker gedekt kan worden met dezelfde beperkingen op het aantal fotonen.

Met verwijzing naar de symbolen die eerder geïntroduceerd zijn en die gebruikt zijn in Figuur 7g, zijn de overeenkomstige elektronhoeveelheden n_min(i) en n_max(i) van de subbereiken gedefinieerd door:

- Het maximum toegestane aantal elektronen (gebruikmakend van “FPC” voor de volledige pixelcapaciteit, die overeenkomt met volleputcapaciteit in het geval dat er geen aanvullende capaciteiten zijn):

^max N_min * ~ FPC, met z(0) — Zmax

- Het minimale benodigde nauwkeurigheidsniveau: τι^η = N_min

1)

Aanvullend kunnen de pulskenmerken als volgt bepaald worden:

- de pulsbreedte τ(ί) = ^Zma^¹·*

2018/5273

-26BE2018/5273

- de totale “AAN”-tijd wordt proportioneel verminderd met t_en

N min opzichte van de limieten die opgelegd zijn door de volledige pixelcapaciteit en het nauwkeurigheidsniveau.

De bovenstaande principes kunnen verder verduidelijkt wordt door het volgende niet-beperkende numerieke voorbeeld.

Een Lambertiaans reflectieoppervlak met 10% reflectiviteit op een afstand van

150 m moet 1000 fotonen verschaffen om een nauwkeurigheid te verkrijgen van

1,6%. Op dezelfde afstand zal een 100% reflecterend oppervlak 10 000 elektronen genereren. Met een volleputcapaciteit van 200 000 elektronen, wordt de volgende multiframe-oplossing voorgesteld:

	Subbereik	Pulsbreedte	Totale “AAN”-tijd
Frame 1	150 m - 33 m	1 ps	1 ms
Frame 2	7,4 m - 33 m	22 ns	50 ps
Frame 3	1,65 m - 7,4 m	4,9 ns	2,5 ps
Frame 4	0,37 m - 1,65 m	1,1 ns	0,125 ps

Het moet opgemerkt worden dat voor robuustheidsredenen het voordelig kan zijn om een overlap te verschaffen in de subbereiken.

Voor het verzekeren van dezelfde 3D-resolutie kan het voordelig zijn om een snellere camera te gebruiken: bijvoorbeeld, een camera die werkt bij 180 Hz met 3-frametussenvoeging geeft dezelfde datasnelheid als 60 Hz met enkelframewerking.

Afhankelijk van de modus waarin het systeem volgens de onderhavige uitvinding gebruikt wordt (zoals geïllustreerd is in Figuren 7a - 7g) zal de dienstcyclus variëren. Het kan gemakkelijk gezien worden dat wanneer sommige frames gebruikt worden voor het vastleggen van buitenbereikreflecties of het verkrijgen van een 2D-afbeelding, een kleinere fractie van tijd beschikbaar is voor het werkelijke afstandsmeten. Het is een voordeel van het gebruik van een drieputsof vierputspixel volgens de onderhavige uitvinding dat meerdere functies tegelijkertijd uitgevoerd kunnen worden.

2018/5273

-27BE2018/5273

Bloei is een fenomeen dat plaatsvindt wanneer de lading in een pixel het verzadigingsniveau van die specifieke pixel overschrijdt (zoals het geval is met reflecties op korte afstand of reflecties door hoogreflectieve oppervlakken zoals verkeersborden of nummerplaten). Zodoende begint de lading over te stromen en veroorzaakt die overlast in aangrenzende pixels. Dit creëert onnauwkeurige data in de aangrenzende pixels. Bij voorkeur zijn de pixels van het systeem volgens de onderhavige uitvinding verschaft met antibloei-elektronica, die in bijzonder een vierde put kunnen omvatten, om de overtollige lading af te laten lopen voordat die de relevante put verzadigt en overspoelt naar de putten van aangrenzende pixels. In bijzonder, wanneer de informatie van de naburige punten gebruikt wordt voor de verwijdering van achtergrondlicht, is het van groot belang om een nauwkeurige schatting te hebben van het achtergrondlicht dat onafhankelijk (en zonder vervuiling) verkregen wordt van aangrenzende pixels. Eveneens, wanneer de pixel die geen puntreflecties ontvangen gebruikt worden om tegelijkertijd een reguliere 2D-afbeelding te genereren is het zeer gewenst dat pixels die aangrenzend zijn aan pixels die een puntreflectie ontvangen niet beïnvloed worden door ladingsoverstromingen van de laatstgenoemde pixels.

Om alle elementen van het systeem zoals die beschreven zijn optimaal te laten werken moet het systeem thermisch stabiel zijn. Thermische stabiliteit voorkomt, onder andere, ongewenste golflengteverschuivingen van de optische elementen (thermische verschuiving), die anders de correcte werking van de optische filters en andere elementen van de optische ketting zou verminderen. Uitvoeringsvormen van het systeem volgens de onderhavige uitvinding bereiken thermische stabiliteit door hun ontwerp of door actieve regeling door middel van een temperatuurbesturingslus met een PID-type besturing.

WO 2015/004213 Al beschrijft meerdere technieken om de hoeveelheid omgevingslicht te beperken die de pixels bereikt tijdens de detectie-intervallen, die dus de nauwkeurigheid verbeteren van de detectie van de laserpuntpatronen. Hoewel deze technieken niet beschreven zijn in de context van een LIDAR-systeem hebben de uitvinders van de onderhavige uitvinding gevonden dat verschillende

2018/5273

- 28 BE2018/5273 van dergelijke technieken uitstekende resultaten leveren wanneer die gecombineerd worden met uitvoeringsvormen van de onderhavige uitvinding. Dit is in het bijzonder waar voor het gebruik van smalbanddoorlaatfïlters bij de detector, en het gebruikt van toereikende optische inrichtingen om bijna loodrechte inval van het reflecteerde licht op de filters te verzekeren. De details van deze inrichtingen zoals deze verschijnen in WO 2015/004213 Al zijn hierbij door referentie opgenomen. Verdere eigenschappen en details worden hierna verschaft.

Europese octrooiaanvraagpublicaties met nummers EP 3045935 BI en EP 3045936 BI, beiden op de naam van de onderhavige aanvrager, beschrijven optische inrichtingen die gebruikt kunnen worden in combinatie met het systeem dat beschreven is in de onderhavige aanvraag om de hoeveelheid achtergrondlicht dat de pixels bereikt tijdens de detectie-intervallen verder te minimaliseren. De details van de inrichtingen zoals deze verschijnen in EP 3045935 BI en EP 3045936 BI zijn hierbij door referentie opgenomen. Zodoende kan een pixel volgens de onderhavige uitvinding verschaft worden met een microlens om het binnenvallende licht te leiden, na optionele filtering, naar het fotogevoelige gebied.

Hoewel deze verschillende technieken toegepast kunnen worden op uitvoeringsvormen van de onderhavige uitvinding om de hoeveelheid omgevingslicht dat de pixels bereikt tijdens de detectie-intervallen te minimaliseren kan een bepaalde hoeveelheid omgevingslicht niet ontweken worden. In een multipixelsysteem zullen alleen sommige van de pixels belicht worden door gereflecteerde punten, terwijl anderen alleen belicht zullen worden door overgebleven omgevingslicht. De signaalniveaus van de laatstgenoemde groep pixels kunnen gebruikt worden om de bijdrage te schatten van het omgevingslicht op de signalen in de pixels van belang, en om die bijdrage zodoende af te trekken.

In sommige uitvoeringsvormen kan de detector een hoogdynamischbereikdetector kunnen zijn, dat wil zeggen een detector die een dynamisch bereik heeft van ten minste 90 dB, bij voorkeur ten minste 120 dB. De aanwezigheid van een hoogdynamischbereiksensor, dat wil zeggen een sensor die in staat is om een

2018/5273

-29BE2018/5273 grootte hoeveelheid fotonen te verkrijgen zonder verzadiging terwijl voldoende onderscheiding behouden wordt van intensiteitsniveaus in het donkerste deel van de locatie, is een voordeel van het gebruik van een dergelijke sensor; het maakt een sensor mogelijk die een erg groot bereik heeft en nog steeds in staat is objecten te detecteren op korte afstand (waarbij het gereflecteerde licht relatief intens is) zonder dat die verzadiging ondergaat. De uitvinders hebben gevonden dat het gebruik van een hoogdynamischbereiksensor die niet gebaseerd is op tintafbeelding een groter voordeel heeft dat het gebruikt van een sensor die tintafbeelding toepast. In tintafbeelding wordt het lineaire sensorbereik gecomprimeerd richting de hogere resolutie. In de literatuur zijn verschillende comprimeerwerkwijzen gedocumenteerd, zoals logaritmische compressie of multilinéaire compressie. Deze niet-lineaire compressie benodigd echter herlinearisatie van de signalen voorafgaand aan het uitvoeren van logaritmische of rekenkundige bewerkingen op de vastgelegde locatie om de reliëfïnformatie te onttrekken. De oplossing volgens de uitvinding verhoogt daarom detectienauwkeurigheid zonder het verhogen van de computationele eisen. Het is een verder voordeel van sommige uitvoeringsvormen om een volledig-lineaire hoogdynamischbereiksensor te gebruiken. Een pixelarchitectuur en een optische detector die in staat zijn om de gewenste dynamischbereikkenmerken te verschaffen worden beschreven in Amerikaanse octrooiaanvraagpublicatie met publicatienummer US 2014/353472 Al, in het bijzonder paragrafen 65 - 73 en 88, waarvan de inhoud door referentie opgenomen is voor het doel om de deskundige persoon in staat te stellen om dit aspect van de onderhavige uitvinding toe te passen.

Uitvoeringsvormen van de onderhavige uitvinding gebruiken een hoogdynamischbereikpixel. Deze kan verkregen worden door een omvangrijk volleputcapaciteit van de ladingsreservoirs of door ontwerpen die de elektronische ruis per pixel beperken of door het gebruik van CCD-poorten die geen ruis toevoegen bij ladingsoverdracht, of door een ontwerp met een grote detectiekwantumefficiëntie (“detection quantum efficiency”, DQE) (bijvoorbeeld in het bereik van 50% voor voorkantbelichting of van 90% in het geval van achterkantbelichting, ook bekend als achterkantverdunning), of door een speciaal ontwerp, of door een combinatie van de opgesomde verbeteringen. Verder kan het

2018/5273

-30BE2018/5273 dynamische bereik verder vergroot worden door het toevoegen van een overstromingscapaciteit aan de pixel als deklaag bij zijn voorkant (deze toepassing benodigd achterkantverdunning). Bij voorkeur past het pixelontwerp een antibloeimechanisme toe.

Een systeem volgens de onderhavige uitvinding kan een toepassing omvatten van stappen van de werkwijzen die eerder beschreven zijn in gespecialiseerde hardware (bijvoorbeeld ASIC), configureerbare hardware (bijvoorbeeld FPGA), programmeerbare componenten (bijvoorbeeld een DSP of een algemeen bruikbare processor met geschikte software), of een combinatie daarvan. Hetzelfde (dezelfde) component(en) kunnen ook andere functies omvatten. De onderhavige uitvinding heeft ook betrekking op een computerprogrammaproduct dat een codemiddel omvat die de stappen implementeert van de werkwijzen die hierboven beschreven zijn, welk product verschaft kan worden op een computerleesbare medium zoals een optische, magnetische, of solid-state -drager.

De onderhavige uitvinding heeft ook betrekking op een voertuig dat het hierboven beschreven systeem omvat.

Uitvoeringsvormen van de onderhavige uitvinding kunnen ook voordelig gebruikt worden in een brede verscheidenheid van toepassingen, die zonder beperking automobieltoepassingen, industriële toepassingen, speltoepassingen, en soortgelijke omvat, en zowel binnen en buiten, op korte of lange afstanden. In sommige toepassingen kunnen verschillende sensoren volgens de uitvoeringsvormen van de onderhavige uitvinding gecombineerd worden (bijvoorbeeld in een keten) om panoramische dekking te produceren, bij voorkeur over een volledige cirkel (360° gezichtsveld).

Het moet op gemerkt worden dat de werkwijze, de pixel, en de pixelmatrix volgens de onderhavige uitvinding ook gebruikt kunnen worden in op triangulatie gebaseerde systemen zoals het systeem van WO 2015/004213 Al, en in bestaande LIDAR-systemen, om de kwaliteit te verbeteren van de metingen in de aanwezigheid van omgevingslicht.

2018/5273

-31 BE2018/5273

Hoewel de uitvinding die hierboven beschreven is met verwijzing naar aparte uitvoeringsvormen is dit enkel gedaan voor duidelijkheidsredenen. De deskundige persoon zal begrijpen dat eigenschappen die beschreven zijn in verbinding met één uitvoeringsvorm ook toegepast kunnen worden op andere uitvoeringsvormen, met dezelfde technische effecten en voordelen. Verder is de omvang van de uitvinding niet beperkt tot deze uitvoeringsvormen, maar wordt gedefinieerd door de bijbehorende conclusies.

Claims

BE2018/5273 Conclusies

1. Pixel voor gebruik in een systeem voor het bepalen van een afstand tot een object middels range gating, waarbij de pixel het volgende omvat:

een eerste ladingsopslagput (221) en een tweede ladingsopslagput (222) voor het verzamelen van elektrische ladingen die representatief zijn voor hoeveelheden licht die op de pixel vallen tijdens respectieve sets belichtingsintervallen, waarbij de eerste ladingsopslagput (221) een ladingscapaciteit heeft die ten minste 50% groter is dan een ladingscapaciteit van de tweede ladingsopslagput (222).
2. Pixel volgens conclusie 1, die verder een schakelsysteem omvat dat het mogelijk maakt voor de pixel om te wisselen tussen:

een opladingsmodus, waarin licht dat op de pixel valt, veroorzaakt dat de eerste ladingsopslagput (221) of de tweede ladingsopslagput (222) een opgeslagen hoeveelheid lading verhoogt, en een ontladingsmodus, waarin licht dat op de pixel valt, veroorzaakt dat de eerste ladingsopslagput (221) of de tweede ladingsopslagput (222) een opgeslagen hoeveelheid lading verlaagt.
3. Pixel volgens één van de voorgaande conclusies, die verder een schakelsysteem omvat dat mogelijk maakt dat fotoladingen, die gegenereerd worden wanneer een actieve ene van de eerste ladingsopslagput (221) en de tweede ladingsopslagput (222) tot volledige capaciteit gevuld is, afgebogen worden naar een ladingsafvoer zonder een opslagput van een aangrenzende pixel in te gaan.
4. Pixel volgens één van de voorgaande conclusies, die verder een derde ladingsopslagput (223) omvat.
5. Pixel volgens één van de voorgaande conclusies, die verder een vierde ladingsopslagput (224) omvat.
6. Afbeeldingsmatrix die meerdere pixels omvat volgens één van de voorgaande conclusies.

2018/5273

-33 BE2018/5273
7. Systeem voor het bepalen van een afstand tot een object, waarbij het systeem het volgende omvat:

een solid-state lichtbron die ingericht is voor het proj ecteren van een patroon van lichtpunten, bij voorkeur discrete lichtpunten, richting het object in een reeks van pulsen, bij voorkeur een periodiek herhaalde reeks van pulsen;

een detector die een afbeeldingsmatrix omvat volgens conclusie 6, waarbij de detector geconfigureerd is voor het detecteren van licht dat het patroon van lichtpunten voorstelt zoals die gereflecteerd worden door het object in synchronisatie met de reeks van pulsen; en een verwerkingsmiddel dat geconfigureerd is om de afstand te berekenen tot het object als een functie van belichtingswaardes die gegenereerd zijn door de pixels als reactie op het gedetecteerde licht;

waarbij de pixels van de afbeeldingsmatrix geconfigureerd zijn om de belichtingswaardes te genereren door het, voor alle pulsen van de reeks, verzamelen van een eerste hoeveelheid elektrische lading die representatief is voor een eerste hoeveelheid licht die gereflecteerd wordt door het object tijdens een eerste vooraf bepaald tijdsvenster en een tweede elektrische lading die representatief is voor een tweede hoeveelheid licht die gereflecteerd wordt door het object tijdens een tweede vooraf bepaald tijdsvenster, waarbij het tweede vooraf bepaalde tijdsvenster plaatsvindt na het eerste vooraf bepaalde tijdsvenster, en waarbij het detecteren van de eerste hoeveelheid licht en het detecteren van de tweede hoeveelheid licht plaatsvindt bij de eerste ladingsopslagput (221) respectievelijk bij de tweede ladingsopslagput (222).
8. Systeem volgens conclusie 7, dat verder geconfigureerd is om het projecteren en het detecteren uit te voeren voor ten minste twee opeenvolgende reeksen van pulsen, waarbij elke van de reeksen gebruikt wordt met een verschillende duur van het eerste vooraf bepaalde tijdsvenster en het tweede vooraf bepaalde tijdsvenster.
9. Systeem volgens conclusie 7 of 8, waarbij de afbeeldingsmatrix verder ingericht is om 2D-videobeeldverwerving uit te voeren.