BE1023147B1

BE1023147B1 - Controller voor een werkvoertuig

Info

Publication number: BE1023147B1
Application number: BE2015/5423A
Authority: BE
Inventors: Rein Houthooft; Benoit Debilde; Stijn Verstichel; Christopher A Foster
Original assignee: Cnh Industrial Belgium Nv
Priority date: 2015-07-03
Filing date: 2015-07-03
Publication date: 2016-12-01
Also published as: EP3113079A1; BR102016015261A8; US20170006261A1

Abstract

Een controller (100) is geconfigureerd om beeldgegevens (102) te ontvangen die representatief zijn voor de omgeving van een werkvoertuig. De beeldgegevens (102) bevatten een reeks deelgegevens. De controller (100) bepaalt (104) één of meer kenmerken die verbonden zijn met alle afzonderlijke deelgegevens van de reeks deelgegevens. Voor alle afzonderlijke deelgegevens van de reeks deelgegevens, past de controller (100) een labeltoekenningsalgoritme (106) toe om één van een reeks voorafbepaalde labels toe te kennen aan de deelgegevens in kwestie op basis van: (i) kenmerken die bepaald werden voor de deelgegevens in kwestie; en (ii) kenmerken die bepaald werden voor deelgegevens in de buurt, die deelgegevens zijn die aan de deelgegevens in kwestie grenzen. De labels zijn representatief voor objecten. De controller (100) verschaft een voorstelling (110) van de toegekende labels en de positie ervan in de ontvangen beeldgegevens (102).

Description

Controller voor een werkvoertuig Samenvatting van de uitvinding

Volgens een eerste aspect wordt een controller verschaft die geconfigureerd is: om beeldgegevens te ontvangen die representatief zijn voor de omgeving van een werkvoertuig, waarbij de beeldgegevens een reeks deelgegevens bevatten; om één of meer kenmerken te bepalen die verbonden zijn met alle afzonderlijke deelgegevens van de reeks deelgegevens; om voor alle afzonderlijke deelgegevens van de reeks deelgegevens, een labeltoekenningsalgoritme toe te passen om één label van een reeks voorafbepaalde labels toe te kennen aan de deelgegevens in kwestie op basis van: (i) kenmerken die bepaald werden voor de deelgegevens in kwestie; en (ii) kenmerken die bepaald werden voor aangrenzende deelgegevens, d.w.z. deelgegevens die in de buurt liggen van de deelgegevens in kwestie, waarbij de labels representatief zijn voor objecten; en om een voorstelling te verschaffen van de toegekende labels en de positie ervan in de ontvangen beeldgegevens.

Zulke controller kan het mogelijk maken om de omgeving van het werkvoertuig te identificeren om efficiënt en effectief geïdentificeerd en gelabeld te worden, en in sommige voorbeelden nauwkeurig en snel genoeg voor de voorstelling van de toegekende labels en de positie ervan in de ontvangen beeldgegevens om uitgevoerd te worden zodat ze gebruikt kunnen worden voor het besturen van het werkvoertuig, of in real-time toegevoerd kunnen worden aan een operator van het werkvoertuig.

Het werkvoertuig kan een landbouwvoertuig, een bouwvoertuig of een terreinvoertuig zijn.

De ontvangen beeldgegevens kunnen videogegevens bevatten. De controller kan geconfigureerd zijn om in real-time als uitvoer een voorstelling van de labels en de positie ervan in de ontvangen videogegevens te verschaffen. De controller kan geconfigureerd zijn: om (a) één of meer kenmerken te bepalen; (b) om het labeltoekenningsalgoritme toe te passen en (c) om de voorstelling van de toegekende labels en de positie ervan in de ontvangen beeldgegevens in minder dan 0,1 s, 0,5 s of 1 seconde ter beschikking te stellen.

De controller kan verder geconfigureerd zijn om het werkvoertuig te besturen in overeenstemming met de labels die toegekend werden aan de reeks deelgegevens. De

Controller kan geconfigureerd zijn om een machinebedrijfsparameter van het werkvoertuig in te stellen in overeenstemming met de aan de reeks deelgegevens toegekende labels. De controller kan geconfigureerd zijn om een teragkoppelcomponent te veroorzaken om een terugkoppeling te verschaffen aan een operator van het werkvoertuig in overeenstemming met de labels die toegekend werden aan de reeks deelgegevens.

De controller kan geconfigureerd zijn om het labeltoekenningsalgoritme toe te passen om één van de reeks voorafbepaalde labels toe te kennen aan de deelgegevens in kwestie op basis van: één of meer labels die verbonden zijn met de aangrenzende deelgegevens.

Het labeltoekenningsalgoritme kan een model op energiebasis bevatten. Het labeltoekenningsalgoritme kan geconfigureerd zijn om een semantische objectdetectie uit te voeren.

De controller kan geconfigureerd zijn: om trainingsbeeldgegevens en de ermee verbonden door de gebruiker gekozen voorafbepaalde labelgegevens te ontvangen; en een zelfverbeteringsalgoritme voor de machine toe te passen om het op het labeltoekenningsalgoritme toe te passen op basis van de ontvangen trainingsbeeldgegevens en door de gebruiker gekozen voorafbepaalde labelgegevens om één of meer parameters van het labeltoekenningsalgoritme te bepalen.

De deelgegevens kunnen pixelgegevens of superpixelgegevens bevatten.

De beeldgegevens kunnen pixelgegevens bevatten. De controller kan geconfigureerd zijn om een clustervormend algoritme uit te voeren om alle afzonderlijke deelgegevens van de reeks deelgegevens te bepalen. Alle deelgegevens kunnen een reeks naburige pixelgegevens bevatten die voldoen aan een gelijkenismetriek.

De controller kan geconfigureerd zijn om één of meer kenmerken te bepalen die verbonden zijn met de pixelgegevens, en om de één of meer kenmerken van de pixelgegevens met de overeenkomstige deelgegevens te verbinden.

De controller kan geconfigureerd zijn om de voorstelling van de labels en de positie ervan in de ontvangen beeldgegevens te verschaffen als een overlay van de ontvangen beeldgegevens.

De beeldgegevens kunnen één of meer van de volgende elementen bevatten: stereobeeldgegevens; RGB/kleurgegevens; dieptegegevens; radargegevens; lasergegevens; en driedimensionale gegevens.

De controller kan geconfigureerd zijn om een voorafbepaald label toe te kennen aan de deelgegevens in kwestie op basis van: kenmerken bepaald voor de aangrenzende deelgegevens, waarbij de deelgegevens in de buurt van de deelgegevens in kwestie aangrenzende deelgegevens en/of op een zekere afstand van elkaar gelegen aparte deelgegevens bevatten.

De kenmerken kunnen bestaan uit kenmerken op gradiëntbasis en/of kenmerken op kleurenbasis.

Het labeltoekenningsalgoritme kan geconfigureerd zijn om ook een betrouwbaarheidsniveau toe te kennen aan het label dat toegekend is aan alle afzonderlijke deelgegevens van de reeks deelgegevens.

Het labeltoekenningsalgoritme kan geconfigureerd zijn om: een secundair voorafbepaald label toe te kennen aan één of meerdere van de reeks deelgegevens, samen met een betrouwbaarheidsniveau dat verbonden is met elk secundair label; en om een voorstelling te verschaffen van de één of meer secundaire labels en de positie ervan in de ontvangen beeldgegevens.

De controller kan verder geconfigureerd worden om het werkvoertuig te besturen in overeenstemming met: de aan de reeks deelgegevens toegekende labels; en de met de labels verbonden betrouwbaarheidsniveaus.

De voorafbepaalde labels kunnen onderling exclusief zijn.

Er kan een werkwijze verschaft worden om labels toe te kennen aan beeldgegevens, waarbij de werkwijze bestaat uit: het ontvangen van beeldgegevens die representatief zijn voor de omgeving van een werkvoertuig, waarbij de beeldgegevens een reeks deelgegevens bevatten; het bepalen van één of meer kenmerken die verbonden zijn met alle afzonderlijke deelgegevens van de reeks deelgegevens; het toepassen voor alle afzonderlijke deelgegevens van de reeks deelgegevens, van een labeltoekenningsalgoritme om één label van een reeks voorafbepaalde labels toe te kennen aan de deelgegevens in kwestie op basis van: (i) kenmerken die bepaald werden voor de deelgegevens in kwestie; en (ii) kenmerken die bepaald werden voor aangrenzende deelgegevens, d.w.z. deelgegevens die in de buurt liggen van de deelgegevens in kwestie, waarbij de labels representatief zijn voor objecten; en een voorstelling verschaffen van de labels en de positie ervan in de ontvangen beeldgegevens.

Er kan een werkwijze verschaft worden voor het besturen van een werkvoertuig, waarbij de werkwijze bestaat uit: het uitvoeren van eender welke werkwijze voor het toekennen van labels aan beeldgegevens die hierin onthuld wordt om een voorstelling van de labels en de positie ervan in de ontvangen beeldgegevens te verschaffen; en het besturen van een werkvoertuig in overeenstemming met de voorstelling van de labels en de positie ervan in de ontvangen beeldgegevens.

Er kan een computerprogramma verschaft worden dat, wanneer het op een computer draait, ervoor zorgt dat de computer eender welk toestel confïgureert, met inbegrip van een controller, voertuig of toestel dat hier onthuld wordt, of om eender welke hierin onthulde werkwijze uit te voeren. Het computerprogramma kan een softwaretoepassing zijn en de computer kan beschouwd worden als zijnde eender welke geschikte hardware die een digitale signaalverwerkingseenheid, een microcontroller, en een toepassing in een uitleesgeheugen (ROM), een wisbaar en programmeerbaar uitleesgeheugen (EPROM) of een elektronisch wisbaar en programmeerbaar uitleesgeheugen (EEPROM) bevat, als niet-beperkende voorbeelden. De software kan een assembleerprogramma zijn.

Het computerprogramma kan aangebracht zijn op een door een computer leesbare drager, die ook een fysieke, door een computer leesbare gegevensdrager kan zijn, zoals een schijf of een geheugenmedium, of de vorm kan hebben van een voorbijgaand signaal. Zo'n voorbijgaand signaal kan gedownload zijn van een netwerk, met inbegrip van het internet.

Korte beschrijving van de tekeningen

Uitvoeringsvormen van deze uitvinding zullen nu bij wijze van voorbeeld en met verwijzing naar de bijbehorende tekeningen beschreven worden, waarin:

Figuur 1 schematisch een voorbeeldcontroller illustreert die verbonden is met een werkvoertuig; en

Figuur 2 schematisch een voorwaardelijk willekeurig veld (conditional random field -CRF) illustreert als een factorgraaf

Gedetailleerde beschrijving van de tekeningen

Een of meer van de hier onthulde voorbeelden hebben betrekking op een model dat ontworpen is voor visualisatie in autonome voertuigen. Dit kan het voertuig in staat stellen een inzicht te verkrijgen in de omgeving ervan in termen van semantische objecten, bijvoorbeeld niet-afgesneden gewassen, bomen, dieren enz. Het model kan als invoer gebruik maken van cameragegevens, waarbij elk beeld gesegmenteerd wordt in verschillende subcategorieën. In plaats van met de hand gecodeerd te worden, kan het classificatiemodel getraind worden op historische gegevens, die het kan veralgemenen om voorspellingen te doen voor niet-geziene gegevens. Het model kan het voertuig dus in staat stellen om de omgeving ervan waar te nemen in termen van objecten, waarop het dan op verschillende wijzen kan reageren.

Uitvoeringsvormen die onthuld worden in dit document kunnen intelligente gegevensanalyse mogelijk maken van camera-informatie afkomstig van een op een voertuig aangebracht visueel systeem, of afkomstig van een stationair aangebracht visueel systeem. Zulk stationair aangebracht visueel systeem kan één of meer sensors omvatten die aangebracht zijn op een gebouw dat over een akker uitkijkt, als niet-beperkend voorbeeld. De resultaten van zulke analyse kunnen het mogelijk maken dat landbouwvoertuigen een autonoom oogstgedrag vertonen. Als tussenliggende stap zouden de resultaten van de analyse gebruikt kunnen worden als begeleidingssysteem voor de bestuurders om de aandacht te vestigen op objecten op het pad van de machine of in de omgeving ervan, en om zodoende de veiligheid van de machine te verhogen.

Voorbeelden die hierin onthuld worden hebben betrekking op werkvoertuigen of onderdelen van werkvoertuigen. Het werkvoertuig kan bijvoorbeeld een landbouwvoertuig, een bouwvoertuig of een terreinvoertuig zijn. Het werkvoertuig kan een sensor bevatten die gegevens genereert die representatief zijn voor de omgeving van een werkvoertuig. De gegevens kunnen beeldgegevens zijn en kunnen één of meer van de volgende niet-beperkende voorbeelden omvatten: RGB/kleurgegevens; videogegevens, stereobeeldgegevens; dieptegegevens; radargegevens; lasergegevens; driedimensionale gegevens; en alle andere gegevens die representatief zijn voor de omgeving van het werkvoertuig. De sensor kan elk type sensor zijn die één of meer van deze gegevenstypes kan genereren, met inbegrip van een camera.

Het werkvoertuig kan één of meer werkparameters van de machine hebben, die betrekking hebben op de werking van de machine. Voor een maaidorser kunnen bijvoorbeeld de werkparameters van de machine bestaan uit de grondsnelheid, de rotorsnelheid, de dorskorfspeling, de ventilatorsnelheid en de zeefopening. In overeenstemming met deze werkparameters van de machine kunnen een of meer actuators ingesteld worden om het werkvoertuig te besturen. Ook kan het werkvoertuig een terugkoppelelement bevatten om feedback te geven aan een operator van het werkvoertuig. Het terugkoppelelement kan een display zijn, een aanraakscherm, een luidspreker, of elk ander akoestisch of visueel onderdeel.

Figuur 1 illustreert schematisch een controller 100 die verbonden met is een werkvoertuig. De controller ontvangt beeldgegevens 102. De beeldgegevens zijn representatief voor de omgeving van het werkvoertuig. De controller 100 verschaft, als uitgangssignaal 110, een voorstelling van objecten die in de beeldgegevens geïdentificeerd werden. Het uitgangssignaal 110 kan de voorstelling bevatten van de labels en de positie ervan in de ontvangen beeldgegevens als een overlay van de ontvangen beeldgegevens 102. Zoals hieronder meer in detail besproken zal worden, kan deze voorstelling van labels / objecten gebruikt worden om het werkvoertuig efficiënt en effectief te besturen. Bijvoorbeeld, om op een bepaalde manier te reageren bij specifieke objecten of om informatie aan een operator van het werkvoertuig te tonen.

De beeldgegevens 102 bevatten een reeks deelgegevens, die individuele pixels kunnen zijn, of groepen die een reeks pixels bevatten. Zulke groepen kunnen clusters of superpixels zijn. Zoals hieronder besproken wordt, kan het gebruik van superpixels de belasting voor de verwerking van de gegevens van de controller 100 verminderen, en er zodoende voor zorgen dat de verwerking bijzonder snel verloopt. Superpixels / clusters kunnen een reeks naburige pixelgegevens bevatten die aan een gelijkenismetriek voldoen

De controller 100 bevat een kenmerkenextractieblok 104 dat één of meer kenmerken die verbonden zijn met alle afzonderlijke deelgegevens van de reeks deelgegevens in de beeldgegevens kan bepalen. Zoals hieronder besproken zal worden kunnen één of beide kenmerken op gradiëntbasis en op kleurenbasis worden bepaald/geëxtraheerd. Bijvoorbeeld kan het bekende DAISY-algoritme gebruikt worden voor het extraheren van kenmerken op gradiëntbasis. De kenmerken geven zinvolle parameters van de deelgegevens en weer kunnen gebruikt worden om nadien een onderscheid te kunnen maken tussen objecten die weergegeven zijn in de beeldgegevens. De kenmerken kunnen weergegeven worden als codewoorden in de context van een “bag-of-words”-model, dat gebundelde kenmerkenvectoren kan bevatten, zoals hieronder meer in detail besproken zal worden.

De controller 100 bevat ook een labeltoekennend blok 106, dat voor alle afzonderlijke deelgegevens van de reeks deelgegevens, een labeltoekenningsalgoritme kan toepassen om één van een reeks voorafbepaalde labels aan de deelgegevens toe te kennen. De voorafbepaalde labels zijn representatief voor objecten, en kunnen bijvoorbeeld “gras”, “lucht”, “tractor”, “niet af-gesneden gewas”, “afgesneden gewas”, “gebouw” en “boom” zijn. De voorafbepaalde labels kunnen onderling exclusief zijn. Het labeltoekenningsalgoritme kent een voorafbepaald label toe aan de deelgegevens op basis van: (i) kenmerken (zoals een Mbag-of-words"-voorstelling) die bepaald werden voor de deelgegevens in kwestie; en (ii) kenmerken (zoals een "bag-of-words"-weergave) bepaald voor deelgegevens in de buurt van de deelgegevens in kwestie (deze gegevens kunnen ook “aangrenzende deelgegevens” worden genoemd).

Het labeltoekenningsalgoritme kan een voorafbepaald label toekennen aan de deelgegevens op basis van labels die werden toegekend aan de aangrenzende deelgegevens. Dit kan beschouwd worden als het onrechtstreeks verwerken van kenmerken die bepaald werden voor de aangrenzende deelgegevens, doordat de labels voor de aangrenzende deelgegevens zelf bepaald zijn op basis van met de aangrenzende deelgegevens verbonden kenmerken.

Zulke aangrenzende deelgegevens kunnen deelgegevens bevatten die een grens delen met de deelgegevens in kwestie (die een eerste buur genoemd kunnen worden), en deelgegevens die op een zekere afstand liggen van de aangrenzende deelgegevens in kwestie (die een buur van tweede, derde of van een hogere orde genoemd kunnen worden). In sommige voorbeelden kunnen “aangrenzende deelgegevens” alle deelgegevens zijn die op minder dan een voorafbepaalde afstand van de deelgegevens in kwestie gelegen zijn; bijvoorbeeld minder dan 2%, 5% of 10% van een beeldafmeting van het midden van de deelgegevens in kwestie. De beeldafmeting kan een horizontale of verticale afmeting zijn van het beeld, en kan kleiner zijn dan de afmeting van het beeld in zijn horizontale en verticale afmetingen. .

Door gebruik te maken van de “aangrenzende deelgegevens” kan het mogelijk zijn om een voorafbepaald label nauwkeuriger en betrouwbaarder toe te kennen. Dit omdat rekening kan worden gehouden met de context van de deelgegevens in kwestie bij het toekennen van het label. Dit type algoritme kan vooral nuttig zijn wanneer de toepassing de detectie vereist van zowel regelmatige als onregelmatige objecten, die kunnen bestaan uit regelmatige "voorgrond"-objecten en onregelmatige "achtergrond"-objecten

In één voorbeeld kan het algoritme waarschijnlijker een label “lucht” toekennen aan deelgegevens die aangrenzende deelgegevens bevatten waar ook het label “lucht” aan is toegekend. Dat wil zeggen dat een betrouwbaarheidsniveau voor een specifiek label verhoogd kan worden op basis van labels / kenmerken van aangrenzende deelgegevens. Ook zal het algoritme minder waarschijnlijk het label “tractor” toekennen aan deelgegevens die aangrenzende deelgegevens hebben waaraan “lucht”-labels werden toegekend. Dat wil zeggen dat een betrouwbaarheidsniveau voor een specifiek label verlaagd of verhoogd kan worden op basis van labels / kenmerken van aangrenzende deelgegevens.

De controller 100 in dit voorbeeld bevat een uitgangsblok 108 dat een uitgangssignaal 110 verschaft dat een voorstelling is van de labels die werden toegekend aan de deelgegevens en de positie ervan in de ontvangen beeldgegevens 102. Dit uitgangssignaal 110 kan gebruikt worden om het werkvoertuig te besturen, bijvoorbeeld om objecten te identificeren en te lokaliseren: (i) die vermeden zouden moeten worden (met inbegrip van gebouwen en bomen); (ii) die het doel zouden moeten vormen (zoals nog niet afgesneden gewas); en (iii) die van geen belang zijn voor de werking van het werkvoertuig (zoals de lucht, afgesneden gewas). Het werkvoertuig kan daarna bestuurd worden in overeenstemming met de labels die toegekend werden aan de reeks deelgegevens die de locatie van deze types objecten weergeeft. De controller kan bijvoorbeeld een machinebedrijfsparameter van het werkvoertuig instellen, of kan een terugkoppelcomponent opwekken om terugkoppeling te verschaffen aan een operator van het werkvoertuig.

Het gebruik van de kenmerkenextractor 104 en de labeltoekenner 106 kan het mogelijk maken om een semantisch waamemingsmodel te bepalen, dat de omgeving die voorgesteld wordt door de beeldgegevens 102 in verschillende klassen verdeelt en verdere verwerking in taken met hoger redeneringsniveau mogelijk maakt. Dit verwerken is meer dan het gewoon detecteren van obstakels en identificeren van zones die doorkruisbaar zijn. Zoals hieronder meer in detail besproken, hebben empirische resultaten aangetoond dat de controller 100 eerder niet-geziene videogegevens snel genoeg semantisch kan segmenteren om real-time verwerking van het uitgangssignaal mogelijk te maken om het werkvoertuig beter te besturen. Bijvoorbeeld in minder dan ongeveer 0,1 s, 0,5 s of 1 s. Zulke verwerking kan snel genoeg zijn om de werkmachine in staat te stellen te reageren alvorens iets verkeerd gebeurt, bv. voordat de machine tegen een onbeweegbaar object botst. De geavanceerde waarneming die verwezenlijkt wordt door de controller 100 kan een sleutelrol spelen in het begrijpen van de omgeving, en om het voertuig beter te besturen in overeenstemming met het begrip van de omgeving.

In sommige voorbeelden kan voor de machine een zelfVerbeteringsalgoritme toegepast worden op het labeltoekenningsalgoritme om één of meer parameters van het labeltoekenningsalgoritme te verfijnen. Het zelfVerbeteringsalgoritme van de machine kan off fine toegepast worden, bijvoorbeeld op trainingsgegevens vooraleer de controller te gebruiken om labels toe te kennen aan objecten in beeldgegevens die in real time van een camera ontvangen worden. Het zelfVerbeteringsalgoritme voor de machine is in sommige voorbeelden een gestructureerd zelfVerbeteringsalgoritme. Het zelfVerbeteringsalgoritme van de machine kan toegepast worden in overeenstemming met testbeeldgegevens en ermee verbonden labels die manueel gekozen werden door een gebruiker (zoals voorafbepaalde door de gebruiker gekozen labelgegevens). Gebruik van een zelfverbeteringsalgoritme voor de machine kan de nauwkeurigheid verhogen waarmee aan objecten door het labeltoekenningsalgoritme een label toegekend wordt. Ook kan in sommige voorbeelden het zelfverbeteringsalgoritme voor de machine gebruikt worden om de één of meer parameter van het labeltoekenningsalgoritme te definiëren op basis van enkel en alleen de testbeeldgegevens.

In sommige voorbeelden kan het zelfverbeteringsalgoritme voor de machine de één of meer parameters van het labeltoekenningsalgoritme actualiseren op basis van ontvangen beeldgegevens terwijl de controller automatisch labels aan ontvangen beeldgegevens toekent. De controller kan bijvoorbeeld automatisch herkennen dat aan deelgegevens in ontvangen beeldgegevens geen passend label werd toegekend (bijvoorbeeld doordat een betrouwbaarheidsniveau dat verbonden is met het label onder een drempelniveau ligt). De controller kan daarna automatisch ervoor zorgen dat de ermee verbonden beeldgegevens (die verfijningsbeeldgegevens genoemd kunnen worden) naar een computer op afstand verstuurd worden (bijvoorbeeld draadloos via een server in de “cloud”), zodat een gebruiker van de computer op afstand manueel labels kan selecteren voor de ontvangen verfijningsbeeldgegevens. De controller kan er ook automatisch voor zorgen dat het labeltoekenningsalgoritme naar de computer op afstand wordt verstuurd om de parameters bij te werken. De computer op afstand kan daarna voor de machine het zelfverbeteringsalgoritme toepassen op het labeltoekenningsalgoritme, op basis van de verfijningsbeeldgegevens en de ermee verbonden labels die manueel door een gebruiker gekozen werden, om één of meer parameters van het labeltoekenningsalgoritme te verfijnen. De controller kan daarna het gedefinieerde labeltoekenningsalgoritme ontvangen van de computer op afstand (maar ook nu optioneel draadloos), zodat een machine die verbonden is met de controller beter kan werken. Bij wijze van voorbeeld kan zulke verwerking nuttig zijn wanneer de controller beeldgegevens ontvangt die representatief zijn voor een type boom dat niet in de originele testbeeldgegevens was ingesloten. Zonder deze aanvullende verwerking, kan de controller in staat zijn een “boom”-label aan het nieuwe ontmoete type boom toe te kennen.

Een of meer van de hierin onthulde voorbeelden kan betrekking hebben op een autonoom voertuigwaamemingssysteem dat niet gebonden is aan statische algoritmes die sensorafhankelijk zijn. Bovendien kan de voertuigomgeving voorgesteld worden als semantische objecten, die een verdere verwerking mogelijk maken door taken met hoog redeneringsniveau, bijvoorbeeld om te bepalen of het voertuig al dan niet zou moeten stoppen, afhankelijk van het type gedetecteerd object.

De volgende bespreking heeft betrekking op een specifieke toepassing van de

Controller van Figuur 1 en bevat een zekere aanvullende, facultatieve verwerking.

INLEIDING

Instellingen voor het werken op het terrein vormen veel uitdagingen voor de autonome werking van voertuigen wegens het tekort aan gestructureerde elementen in het landschap. Door verder te gaan dan de identificatie van doorkruisbare / niet-doorkruisbare gebieden en standaardobjectdetectie, is het mogelijk om de waarneming van de omgeving op een semantische wijze te benaderen. Deze onthulling stelt voor (optioneel autonome) terreinvoertuigen een semantisch waamemingsmodel voor op basis van beeldsegmentatie. Door enkel te steunen op 2D-beelden en videobeelden, kan het systeem erg generiek zijn en op veel domeinen worden toegepast. Bovendien kan dit het gebruik van externe gegevensverzamelingen mogelijk maken als aanvullende trainingsgegevens.

Twee types van objectenherkenning in de waarneming omvatten: segmentatiemodellen en modellen die gebruik maken van een omschrijvende rechthoek, een zogenaamde "bounding box". "Bounding box"-modellen trekken een omschrijvende rechthoek rond gedetecteerde objecten. Hoewel dit heel goed kan werken in termen van het herkennen van objecten die een regelmatige vorm hebben, kunnen de prestaties ervan afnemen wanneer onregelmatige gebieden zoals de lucht, gras of water, geïdentificeerd moeten worden. Voor dit type omgeving kunnen segmentatiemodellen voordelig zijn doordat ze aan elke individuele pixel een label kunnen toekennen, i.p.v. een rechthoek rond een gedetecteerd object te tekenen. Doordat landschappen uit veel onregelmatige vormen zijn samengesteld, bijvoorbeeld struikgewas en vuil, kan de segmentatieaanpak het best geschikt zijn.

Zoals hieronder besproken zal worden werd een terreinvoertuig voor het testen uitgerust met een verbinding met grote bandbreedte, die verbonden was met een optische RGB 3DV Vislab CS4-sensor. Deze sensor nam beelden op met een resolutie van 1280x960 pixels en een zichtveld van 43 graden. Bovendien werden sommige van de gegevens opgenomen met een PointGrey Bumblebee-sensor met een resolutie van 320x240 pixels. Bovendien was het voertuig om het te kunnen volgen uitgerust met een GPS-toestel.

In dit voorbeeld past de controller een model toe dat de voorwaardelijke verdeling van de pixellabels codeert via een model op energiebasis. Dit model wordt geoptimaliseerd door gebruik te maken van een maximalemarge-leeraanpak die alle parameters van het model gelijktijdig fijn afregelt, d.m.v. een ontologische verliesfunctie. Na training maakt het model een effectieve en efficiënte inferentie mogelijk met behulp van graafsnedeninferentie door

middel van a -expansie, om voor elke pixel nauwkeurige semantische labels te verkrijgen. SAMENVATTING

Dit voorbeeld heeft betrekking op de classificatie (toekennen van labels) van objecten in verschillende subcategorieën in een landbouwomgeving, die gebruikt kan worden als een invoer om een autonoom landbouwvoertuig te besturen. Het classificatiealgoritme is gebaseerd op kenmerken van superpixels en houdt rekening met de klasse van naburige superpixels ( d.w.z. hoe van de context gebruikt wordt gemaakt, het is bijvoorbeeld waarschijnlijker dat een pixel dat omgeven is door ”gras"-pixels ook een “gras"-pixel is dan een “lucht”-pixel). Enkele andere hoogniveaudetails van het algoritme en de verschillende stappen van de werkwijze zijn: - (1) de werkwijze maakt gebruik van een superpixelalgoritme (SLIC = simple linear iterative clustering) om gelijkaardige pixels in een superpixel te groeperen om de berekeningstijd en complexiteit te verminderen; - (2) daarna extraheert een algoritme kenmerken uit die superpixels (bijvoorbeeld DAISY-kenmerken en/of kleurkenmerken); - (3) deze kenmerken worden gegroepeerd met behulp van de clustering- en de "bag-of-words"-werkwijze om van elke superpixel een vergelijkbare beschrijving (beschrijving met dezelfde afmeting) te verkrijgen; - (4) tijdens een trainingsbedrijfsmodus worden deze kenmerken dan gebruikt als invoer door een zelfverbeteringsalgoritme voor de machine om elke superpixel te leren classificeren; - (5) na het algoritme getraind te hebben op een set van gelabelde beelden (beelden waarvan een gebruiker manueel elke pixel in de overeenkomstige categorie heeft geclassificeerd (bijvoorbeeld tractor, grond, lucht, mens, ton, ...)), kan dit algoritme gebruikt worden om nieuwe beelden te classificeren.

Deze functionaliteit kan een verwerking op hoger niveau van de gedetecteerde objecten in het zichtveld van het voertuig mogelijk maken. Dit kan gebruikt worden voor een intelligente autonome terugkoppelingslus, bijvoorbeeld om het voertuig intelligent rond objecten te sturen of om het naar niet-afgesneden gewassen te sturen. Terzelfder tijd zou een kaart van het veld aangemaakt kunnen worden door camerasignalen en GPS-signalen te combineren. De controller zou gebruikt kunnen worden als onderdeel van een begeleidingssysteem voor de bestuurder om objecten in het pad van de machine te markeren, en om zodoende de veiligheid van de machine te verhogen. Snelle algoritmen voor het extraheren van kenmerken kunnen gebruikt worden, wat een voordeel kan zijn voor real-time toepassing.

VOORBEREI Dl NG VAN DE VERWERKING

Een toevoerkanaal kan optioneel gebruikt worden om een voorbereidende verwerking te doen alvorens een semantische labeling van de objecten te doen. In eerste instantie wordt een "oversegmentatie'-aanpak beschreven en daarna een proces voor de extractie van kenmerken. Het is gemakkelijk in te zien dat beide procedures afhangen van de specifieke beschikbare beelden.

In sommige voorbeelden worden de afmetingen van de ontvangen beeldgegevens 102 veranderd tot een voorafbepaalde beeldafmeting. Bijvoorbeeld verminderd tot een maximumbreedte van een bepaald aantal pixels, in sommige toepassingen zonder de beeldverhouding te wijzigen. In dit voorbeeld is de maximumbreedte 320 pixels. A. Overseamentatie

Beeldsegmentatie kan gebruikt worden om deelgegevens te bepalen die clusters van superpixels bevatten, die elk overeenkomen met een reeks individuele pixels in de beeldgegevens.

In beeldsegmentatie is het doel om aan alle beeldpixels uit een bepaalde semantische klasse een label toe te kennen. Dit onafhankelijk voor elke pixel doen, kan berekeningstechnisch erg uitdagend en veeleisend zijn. Zodoende bouwt de controller in dit voorbeeld een oversegmentatie op van het beeld door superpixels te definiëren. Daarvoor kan de controller het bekende SLIC-algoritme gebruiken, dat een raster definieert boven op het beeld dat het beginpunt van verschillende clusters vormt. Meer specifiek maakt het SLIC-algoritme clusters van pixels in een 5D-ruimte bestaande uit de L-, a-, en b-waarden van de CIELAB-kleurruimte (Commission Internationale de l'Eclairage - L*a*b* color space), en de x- en y-coördinaten. Op die manier kan een superpixel coördinatengegevens en helderheidsgegevens bevatten. Het opgebouwde raster dient als basis voor K verschillende clusters, die K superpixels vormen. Er is dus ongeveer één superpixel in elk punt s _ ^ (waarbij N de breedte of de hoogte van het beeld is, in de veronderstelling dat het beeld rechthoekig is), volgens de regelmatige rasterindeling. Het clusterings- / segmentatiealgoritme in dit voorbeeld maakt gebruik van een som van twee afstanden in twee verschillende ruimten. De eerste is het (L, a, b)-coördinatensysteem, de tweede is de positieruimte (x, y). De totale clusterafstand is een gewogen som van deze twee afstanden. Deze gewichten maken een fïjnregeling van de compactheid en vaagheid ("füzziness") van de superpixelranden mogelijk. De controller kan een verwachtingsmaximalisatiealgoritme laten lopen tot de clusters zich zo ontwikkeld hebben dat aan een bepaald convergentiecriterium is voldaan. B. Extractie van kenmerken

In dit voorbeeld worden zowel kenmerken op gradiëntbasis als op kleurenbasis gebruikt. De controller past een bekend DAISY-algoritme toe om kenmerken op gradiëntbasis te extraheren. Dit algoritme bouwt een gradiënthistogram op van de buurt van een pixel nadat het beeld in grijsschaal geconverteerd werd, wat leidt tot een lOOD-kenmerkenvector. Zoals bij kenmerken op kleurenbasis kan de controller eenvoudig de RGB-kleuren uit elk pixel extraheren, wat leidt tot een 3D-kenmerkenvector. Om de complexiteit van de extractie van kenmerken te verminderen, kan het proces de bemonstering beperken door het extractiealgoritme niet op elke pixel toe te passen, maar op een regelmatig beeldraster.

Doordat superpixels in grootte variëren en niet noodzakelijk uitgelijnd zijn met het proces voor extractie van kenmerken op rasterbasis, kan het aantal kenmerken dat elke superpixel bevat variëren. Om een gelijkmatige voorstelling te verkrijgen van de invoer, kunnen alle gradiënt- en kleurkenmerken volgens de K-means-clusteranalyse geclassificeerd worden in 200 gradiënt- en 100 kleurkenmerken. De centra van de clusters vormen zogenaamde woorden, waardoor controller in staat is een "bag-of-words"-principe toe te passen. Nadat de woorden werden de gevormd, worden aan alle superpixels die kenmerken toegekend die binnen hun gebied vallen. Daarna worden deze kenmerken benaderd door ze in hun dichtst gelegen, in termen van Euclidische afstand, clustercentrum te gieten. Hierna, de bepaalt / bouwt de controller een histogram dat het aantal voorvallen van elk van de 200 en 100 woorden telt, voor elke afzonderlijke superpixel. Nu kan een gelijkmatige voorstelling verkregen worden voor elke superpixel door deze twee histogrammen in een 300D-vector aaneen te rijgen. In dit voorbeeld is de 300D-vector een invoer voor het labeltoekenningsalgoritme / model.

In andere voorbeelden zou het DAISY-algoritme en het algoritme voor het extraheren van de kleurkenmerken vervangen kunnen worden door andere kenmerkenextractiealgoritmen, zoals SIFT, SURF, GLOH enz.

GESTRUCTUREERDE VOORSPEL LI NG

Zoals hierboven aangegeven, kan een zelfverbeteringsalgoritme (machineleren) gebruikt worden om één of meer parameters van het labeltoekenningsalgoritme in te stellen / te verfijnen, dat nadien gebruikt zal worden om een label toe te kennen aan elke superpixel. Het labeltoekenningsalgoritme zal de labels toekennen op basis van, in sommige voorbeelden onder andere, de kenmerken die geëxtraheerd werden voor de superpixels.

Traditionele zelfverbeteringsmodellen ("machineleermodellen") kunnen de uitvoer van een enkelvoudig label voor classificatie voorspellen, door een functie

te gebruiken.

In tegenstelling daarmee, kunnen gestructureerde voorspellingsmodellen objecten met grillige (arbitraire) structuur uitvoeren. In dit voorbeeld is deze grillige structuur een vector, en het domein

, met n het veranderlijke aantal superpixels dat in het beschikbare beeld aanwezig is, en k een natuurlijk getal. Gestructureerde modellen verkrijgen de voorspelde waarde f(x) door een zogenaamde compatibiliteitsfunctie

maximaliseren,

(1) wat we inferentie noemen. In dit voorbeeld maakt de controller gebruik van een lineair geparametriseerde functie

waarin w bepaald (geleerd) wordt uit gegevens en Ψ(χ; y) een gecombineerde kenmerkenvector is van x en y, bijvoorbeeld gebaseerd op kenmerken zoals eerder uitgelegd werd onder de kop “ Extractie van kenmerken”. Doordat het domein Y heel uitgebreid is, aangezien het een combinatie is van labeltoewijzingen aan alle superpixels, is Ψζο gedefinieerd dat de onderliggende structuur benut kan worden. In dit voorbeeld zorgt de controller ervoor dat Ψ identificeert met een voorwaardelijke willekeurige veldenergiefimctie (conditional random field - CRF) waarvoor efficiënte inferentietechnieken bestaan die g maximaliseren, A. Voorwaardel i j ke wi 11 ekeur i ge vel den (CRF's)

Voorwaardelijke willekeurige velden (CRF's) zijn een type probabilistisch grafenmodel (PGM) dat een voorwaardelijke variant is van een willekeurig veld (Random field) volgens Markov. Een PGM definieert op een compacte wijze een waarschijnlijkheidsverdeling door onderlinge afhankelijkheden tussen willekeurige variabelen te doen uitkomen en ze expliciet te maken. Meer bepaald definieert een CRF niet de volledige gecombineerde verdeling tussen alle willekeurige variabelen, maar de voorwaardelijke verdeling van de labels, uitgaande van de invoer. Dit maakt een handelbare inferentie mogelijk binnen het model.

Figuur 2 illustreert een voorwaardelijk willekeurige veld (CRF) als een factorgraaf met waarnemingen Xj en willekeurige variabelen voor de labels y. De zwarte rechthoeken 202 stellen de factoren/potentialen voor, terwijl knooppunten die ermee verbonden zijn de argumenten ervan voorstellen.

Een CRF bepaalt het model van de voorwaardelijke verdeling p(y|x), waarbij x een bepaalde waarneming van pixels is en y een toewijzing van labels in Y. Deze waarschijnlijkheidsverdeling kan geschreven worden als

(2) met

(3) de partitiefunctie genoemd, die ervoor zorgt dat de som van de delen van de verdeling gelijk is aan één. Hierin stelt F de verschillende factoren voor. In dit voorbeeld verbindt de controller de onderlinge betrekkingen tussen de labels op basis van de buur van elke superpixel.

Het model dat hier wordt voorgesteld kan in twee types factoren worden opgesplitst, monadische en paarsgewijze factoren:

(4) voor een door een graaf voorgesteld voorwaardelijk willekeurig veld CRF G = (V; E), met V een verzameling van knooppunten en E een verzameling van randen. De monadische termen

stellen de betrekkingen voor tussen de ingevoerde pixels of kenmerken

Xj en het label van een superpixel y,, terwijl de paarsgewijze termen

de betrekkingen voorstellen tussen naburige superpixels.

Als specifiek voorbeeld kan Xj een groen superpixelgebied zijn waarvoor

een grote waarde heeft voor het label y, = gras en een lage waarde voor y* = weg. In dit model stelt

een logistische regressieclassificator voor. De paarsgewijze factoren

bepalen de sterkte van een betrekking tussen naburige superpixels. Deze factoren zijn "functies" die twee argumenten (labels) hebben als invoer, en een waarde uitvoeren. Als de twee invoeren dezelfde labels zijn, dan is de uitvoer van de functie een hoge waarde, als de twee invoeren niet hetzelfde label zijn, dan is de uitvoer van de functie een lage waarde. Dus kunnen de paarsgewijze factoren een vereffeningseffect creëren door gelijke labels voor naburige superpixels toe te kennen. Dat wil zeggen dat de paarsgewijze potentialen ervoor kunnen zorgen dat aangrenzende en gelijkaardige gebieden gelijke labels begunstigen.

In sommige voorbeelden vereist de verwerking die uitgevoerd wordt door de controller niet dat er een betrouwbaarheidsniveau verbonden is met eender welk potentiaallabel of alle potentiaallabels die verbonden kunnen zijn met een superpixel. Bijvoorbeeld als alleen de identiteit van het meest waarschijnlijke label vereist is, dan kunnen de betrouwbaarheidsniveaus niet vereist zijn voor eender welke van de potentiaallabels, of kunnen misschien alleen nodig zijn voor het meest waarschijnlijke label of de n meest waarschijnlijke labels, waarbij n een voorafbepaald geheel getal is.

In sommige voorbeelden kan het labeltoekenningsalgoritme een betrouwbaarheidsniveau toekennen aan het label dat aan elk van de superpixels is toegekend.

Het labeltoekenningsalgoritme kan ook een secundair voorafbepaald label toekennen aan één of meerdere superpixels van de reeks superpixels, samen met een betrouwbaarheidsniveau dat verbonden is met elk secundair label. Het labeltoekenningsalgoritme kan daarna een voorstelling verschaffen van de één of meer secundaire labels en de positie ervan in de ontvangen beeldgegevens. Zulke voorstelling kan voordelig gebruikt worden door de controller, bijvoorbeeld om een werkvoertuig te besturen. Het werkvoertuig kan bestuurd worden in overeenstemming met: de labels (en optioneel met de secundaire labels) die aan de reeks superpixels zijn toegekend; en de betrouwbaarheidsniveaus die verbonden zijn met één of meerdere labels. In één voorbeeld kan de controller het werkvoertuig verschillend besturen als: (a) de controller een primair label van een “boom” en een secundair label van een “mens” toekent, en (b) de controller een primair label van een “boom” en een secundair label van een “omheining” toekent, zelfs als het primaire label hetzelfde is voor beide gevallen. .

Bijvoorbeeld kan de controller het werkvoertuig ertoe brengen om een meer ontwijkende actie uit te voeren voor geval (a) dan voor geval (b).

Terugkerend naar dit voorbeeld, kan het voorwaardelijk willekeurig veld CRF omgezet worden in een model op energiebasis door de normalisatie-eis te laten vallen en door energiepotentialen te definiëren

Zodoende kan een CRF-energie definitie dan worden verkregen als

Het berekenen van

van de zogenaamde maximum "a priori"-(MAP) inferentie, vereist het maximaliseren van p(y|x), wat leidt tot exact hetzelfde optimalisatieprobleem als het berekenen van de minimumwaarde van E(y;x).

Om de gelijkenis te zien tussen CRF's en de gestructureerde voorspelling, parametriseren we deze factorenergieën lineair als

(6)

Als we alle parameters Wp eenvoudigweg in één gewichtsvector

samenvoegen, en zo ook alle

kenmerken in één kenmerkenvector

samenvoegen, dan krijgen we

(7)

Hierin kan opgemerkt worden dat E(y;x) = - g(x,y), de gestructureerde voorspellingscompatibiliteitsfunctie g is die bovenaan deze sectie gedefinieerd is. Zodoende is het berekenen van (1) hetzelfde als het uitvoeren van een MAP-inferentie in het CRF-model. Het is een voordeel dat de controller heel efficiënt CRF-MAP-inferentiewerkwijzen kan gebruiken, zoals die welke verder uitgelegd wordt onder de kop “Redenering” om de lastige berekening van g voor alle y-waarden in Y te vermijden.

In dit voorbeeld is

gedefinieerd als de uitgang van een logistische regressiefunctie. Deze classificator werd getraind op de kenmerken van de invoer, en voert een waarde tussen 0 en 1 uit. Deze waarde kan onafhankelijk geïnterpreteerd worden als een plaatselijke classificatiewaarschijnlijkheid voor elke superpixel. Deze waarschijnlijkheden dienen als invoerkenmerken voor de monadische energieën van de gestructureerde voorspeller. B. Leren

Gestructureerde voorspelling aanleren kan efficiënt uitgevoerd worden wanneer de compatibiliteitsfunctie lineair geparametriseerd wordt door middel van maxialemargeleermethodes. Deze hebben als voordeel dat ze convex zijn en berekeningstechnisch hanteerbaar. Bovendien maken ze het mogelijk verschillende verliesfuncties te specificeren. In gestructureerde voorspelling wordt een geregulariseerd gestructureerd risico geminimaliseerd, i.p.v. het Bayesiaans risico:

(8) met als

de verliesfunctie, en R een regularisatiefunctie. Wegens het feit dat deze functie veel stappen bevat, wegens de verliesfunctie, kunnen optimalisatietechnieken op gradiëntbasis onbruikbaar zijn. Zodoende kan de controller een convexe bovengrens van deze functie minimaliseren

(9) waarbij C een regularisatieparameter is, N het aantal trainingsmonsters, en u een functie die het maximumverschil tussen het voorspellingsverlies en het energieverlies voor een gegevensmonster (x", ψ ) extraheert, gedefinieerd als

(10)

In dit voorbeeld optimaliseert de controller deze doelfunctie via de "n-slack cutting plane"-werkwijze (n-afwijking-snijvlakmethode), die het bovenstaande optimalisatieprobleem als volgt herformuleert

(11) afhankelijk van (12)

(13) met

en

, Door dit te doen, wordt de maximalisatiefunctie (10) omgezet in een groot aantal lineaire beperkingen. Bovendien wordt de doelfunctie kwadratisch in w. Dit stelt de controller in staat kwadratische optimalisatie toe te passen, waarvoor verschillende bestaande optimalisatiebibliotheken bestaan. Een nadeel is echter dat het aantal beperkingen explodeert, wegens de grote afmeting van Y. Daarom past de controller de snijvlakoptimalisatie toe, waarin een werkset van beperkingen Wbehouden wordt. De controller start door het optimalisatieprobleem op te lossen terwijl W= 0, en voegt iteratief aanvullende beperkingen toe. De beperkingen die maximaal overtreden worden, voor elk monster (x", y"), worden aan Wtoegevoegd. Dit maakt een snelle optimalisatie mogelijk bij de start van de optimalisaiieprocedure, terwijl nog altijd sterke resultaten verkregen worden.

In dit voorbeeld past de controller een gewogen ontologische verliesfunctie toe, op basis van de afstand tussen objecten in een ontologie, aangezien

(14) met K het aantal superpixels in een beeld.

De gewichten

werd ingesteld op het omgekeerde van het aantal keer dat een label aanwezig is in de trainingsset, genormaliseerd voor alle labels. De functie

stelt de afstand voor langs de "spanning tree" die gedefinieerd is door de ontologie. Zodoende is het verlies door verkeerde classificatie tussen twee ohjecten, bv. een ton die geclassificeerd wordt als een paal, geringer dan, bijvoorbeeld het verkeerd classificeren van een ton als gras. C. Redenering

Opdat het labeltoekenningsalgoritme een verzameling labels zou afleiden die maximaal overeenkomt met de ingevoerde beelden, gebruiken we een inferentietechniek die ontwikkeld werd voor CRF-formuleringen op energiebasis, a -expansie genoemd. Deze techniek leidt tot een benaderende oplossing voor (1), gedefinieerd zoals in (5). a -expansie verdeelt het energieminimalisatieprobleem in sequentiële subproblemen. In een subprobleem kunnen de CRF-knooppunten potentieel hun label y veranderen in een verschillend (maar vast) label a . Elk subprobleem wordt omgezet in een hulpgraaf, waarvan de knooppunten en randen op zulke wijze opgebouwd zijn dat een graafsnede resulteert in een toewijzing van labels waarin y, constant blijft, of wijzigt in a . Doordat de gewichten van de randen ingesteld zijn om de CRF-energieën in te stellen, komt het vinden van een minimale snede overeen met een verandering in labeling die resulteert in een minimale energiewaarde.

De subproblemen sequentieel oplossen voor verschillende a -waarden, resulteert in een bijna optimale labeling. a -expansie is een elegante oplossing om de energie te minimaliseren in modellen op energiebasis voor inferentiedoeleinden, aangezien het erg efficiënte minimumsnede/maximumstroom-algoritmen kan gebruiken uit het domein van de grafentheorie.

RESULTATEN

Voor het trainen van het hierboven beschreven model, werd een gegevensverzameling op basis van buitenbeelden en opgenomen videogegevens gebouwd. Deze gegevensverzameling bevat 18 verschillende klassen die een gedetailleerd manueel labelingsproces ondergingen. De testresultaten worden gegenereerd door het getrainde model te laten lopen op oorspronkelijke videobeelden die verkregen werden van een terrein.

Uit de experimenten werden verschillende videomonsters verkregen. De videomonsters bestaan uit vijf klassen / labels, waaraan een kleurencode kan worden toegekend in een overlay. In dit voorbeeld zijn de klassen veld, voertuig, bergen, bomen/struikgewas en lucht.

Per beeld neemt het model / de controller een tijd gelijk aan de som van: (a) het segmentatieproces, dat ongeveer 0,18 s per beeld in beslag neemt, (b) het verkleinen ("downscaling"), dat ongeveer 0,02 s in beslag neemt, (c) het proces voor het extraheren van kenmerken, dat ongeveer 0,45 s in beslag neemt, (d) het genereren van de graafstructuur, dat ongeveer 0,02 s in beslag neemt, (e) het genereren van de monadische potentiaal, dat ongeveer 0,01 s in beslag neemt en (f) de inferentie, die bijna ogenblikkelijk gebeurt. Daarom duurt in dit voorbeeld het segmenteren van een oorspronkelijk beeld ongeveer 0,68 seconden. Het is voordelig als dit snel genoeg kan gebeuren om een real-time gebruik mogelijk te maken. Bovendien wordt verwacht dat de segmenteringstijd van 0,68 s verder verminderd kan worden door optimalisatie van één of meerdere algoritmen.

Tabel I

Gemiddelde nauwkeurigheid van de resultaten (in %) voor alle vijfvoudige gangen voor de kruislingse validatie van onze gegevensverzameling voor de segmentatie van een deel van een landschap

Tabel II

In Tabel I en Tabel II zijn de resultaten met betrekking tot de nauwkeurigheid van een 5-voudige kruiselingse validatie weergegeven, op basis van de opgebouwde gegevensverzameling. Het verschil tussen de eenvoudige monadische classificatie en de CRF-classificatie is weergegeven. Instellingen waren: 400 superpixels met een compactheid van 7 en 0= 1, alle superpixels met minder dan 0,05% van het totale aantal pixels werden verwijderd, een 200-D DAISY-kenmerkenvector, en een 100-D kleurkenmerkenvector. DAISY-kenmerken geëxtraheerd in een 15 pixel-raster, kleurkenmerken geëxtraheerd in een 4 pixel-raster. Het voorwaardelijk willekeurig veld CRF was gebouwd met behulp van naburige superpixelverbindingen als randen. De regularisatieparameter was ingesteld op C = 0,1 voor het maximummargemodel, en op 1 voor de monadische logistische regressieclassificeerder (door L2-gekwadrateerde regularisatie te gebruiken).

De testresultaten tonen dat het (CRF-)model op energiebasis kwalitatief beter is dan door een monadische classificeerder te gebruiken. Dit komt doordat gebieden nauwkeuriger en consistenter geclassificeerd zijn.

Conclusie

Een terreinvoertuig werd uitgerust met visuele sensors en een waamemingssysteem met grote bandbreedte, die gebruikt werden om een gegevensverzameling van d segmentatie van een deel van een landschap te verzamelen. Deze gegevensverzameling werd gebruikt om een model op energiebasis te trainen, dat de voorwaardelijke label verdeling van elke pixel codeert, via maximalemarge-leren d.m.v. een ontologische verliesfunctie. Het gebruik van een benadering op energiebasis maakt een heel efficiënte en effectieve inferentie mogelijk via graafsneden d.m.v. O-expansie. Een volledig beeld (resolutie 320x240 pixels) kan in 0,68 s gelabeld worden, zodat een real-time verwerking mogelijk is. Kwalitatieve en kwantitatieve resultaten geven aan dat het hierboven beschreven model in staat is om erg nauwkeurige semantische objectsegmentatie te bieden voor het begrijpen van delen van het landschap. Dit maakt verdere verwerking van de omgeving in semantische termen door middel van redenerende voorzieningen van hoger niveau noodzakelijk.

Claims

CONCLUSIES

1. Controller ( 100) geconfigureerd om: beeldgegevens (102) die representatief zijn voor de omgeving van een werkvoertuig te ontvangen, waarbij de beeldgegevens (102) een reeks deelgegevens bevatten; één of meer kenmerken te bepalen (104) die verbonden zijn met alle afzonderlijke deelgegevens van de reeks deelgegevens; om voor alle afzonderlijke deelgegevens van de reeks deelgegevens, een labeltoekenningsalgoritme (106) toe te passen om één label van een reeks voorafbepaalde labels toe te kennen aan de deelgegevens in kwestie op basis van: (i) kenmerken die bepaald werden voor de deelgegevens in kwestie; en (ii) kenmerken die bepaald werden voor aangrenzende deelgegevens, d.w.z. deelgegevens die in de buurt liggen van de deelgegevens in kwestie, waarbij de labels representatief zijn voor objecten; en een voorstelling (110) te verschaffen van de toegekende labels en de positie ervan in de ontvangen beeldgegevens (102).
2. De controller (100) volgens conclusie 1, gekenmerkt doordat het werkvoertuig een landbouwvoertuig, een bouwvoertuig of een terreinvoertuig is.
3. De controller (100) volgens conclusie 1, gekenmerkt doordat de ontvangen beeldgegevens (102) videogegevens bevatten, en doordat de controller (100) geconfigureerd is om in real-time een voorstelling van de labels en de positie ervan in de ontvangen videogegevens uit te voeren.
4. De controller (100) volgens conclusie 1, die verder geconfigureerd is om het werkvoertuig te besturen in overeenstemming met de labels die toegekend werden aan de reeks deelgegevens.
5. De controller (100) volgens conclusie 4, geconfigureerd om een machinebedrijfsparameter van het werkvoertuig in te stellen in overeenstemming met de aan de reeks deelgegevens toegekende labels.
6. De controller (100) van conclusie 4, die geconfigureerd is om een terugkoppelcomponent te veroorzaken om een terugkoppeling te verschaffen aan een operator van het werkvoertuig in overeenstemming met de labels die aan de reeks deelgegevens toegekend werden.
7. De controller (100) volgens conclusie 1, gekenmerkt doordat de controller geconfigureerd is om het labeltoekenningsalgoritme toe te passen om één van de reeks voorafbepaalde labels toe te kennen aan de deelgegevens in kwestie op basis van: één of meer labels die verbonden zijn met de aangrenzende deelgegevens.
8. De controller (100) volgens conclusie 1, gekenmerkt doordat het labeltoekenningsalgoritme een model op energiebasis bevat.
9. De controller (100) volgens conclusie 1, gekenmerkt doordat het labeltoekenningsalgoritme geconfigureerd is om semantische objectdetectie uit te voeren.
10. De controller (100) volgens conclusie 1, gekenmerkt doordat de controller (100) geconfigureerd is om: trainingsbeeldgegevens en de ermee verbonden door de gebruiker gekozen voorafbepaalde labelgegevens te ontvangen; en een zelfverbeteringsalgoritme voor de machine toe te passen om het labeltoekenningsalgoritme toe te passen op basis van de ontvangen trainingsbeeldgegevens en door de gebruiker gekozen voorafbepaalde labelgegevens om één of meer parameters van het labeltoekenningsalgoritme te bepalen.
11. De controller (100) volgens conclusie 1, gekenmerkt doordat het beeldgegevens (102) pixelgegevens bevatten, en de controller geconfigureerd is om een clustervormend algoritme uit te voeren om alle afzonderlijke deelgegevens van de reeks deelgegevens te bepalen, gekenmerkt doordat alle deelgegevens een reeks naburige pixelgegevens bevatten die voldoen aan een gelijkenismetriek.
12. De controller (100) volgens conclusie 1, gekenmerkt doordat de controller (100) geconfigureerd is om de voorstelling van de labels en de positie ervan in de ontvangen beeldgegevens (102) te verschaffen als een overlay op de ontvangen beeldgegevens (102).
13. De Controller (100) volgens conclusie 1, gekenmerkt doordat het labeltoekenningsalgoritme geconfigureerd is om ook een betrouwbaarheidsniveau toe te kennen aan het label dat aan alle afzonderlijke deelgegevens van de reeks deelgegevens is toegekend.
14. De controller (100) volgens conclusie 13, gekenmerkt doordat het labeltoekenningsalgoritme geconfigureerd is om: een secundair vooraf bepaald label toe te kennen aan één of meerdere van de reeks ' deelgegevens, samen met een betrouwbaarheidsniveau verbonden met elk secundair label; en een voorstelling te verschaffen van de één of meer secundaire labels en de positie ervan in de ontvangen beeldgegevens (102).
15. De controller (100) volgens conclusie 13 of 14, die verder geconfigureerd is om het werkvoertuig te besturen in overeenstemming met: de aan de reeks deelgegevens toegekende labels; en de met de labels verbonden betrouwbaarheidsniveaus.