BE1026263B1 - Systeem en werkwijze voor het bepalen van een locatie voor plaatsing van een pakket - Google Patents

Abstract

Werkwijze voor het bepalen van een locatie voor plaatsing van een pakket in een beeldvormende besturingsmodule omvat: het verkrijgen van dieptedata van een pakketruimte; het detecteren van een geoccludeerd gedeelte van de dieptedata dat een gebied van de pakketruimte representeert dat wordt geobstrueerd door een occlusie; het verkrijgen van opgeslagen niet- geobstrueerde dieptedata die het gebied van de pakketruimte representeren in de afwezigheid van de occlusie; het vervangen van het geoccludeerde gedeelte door de niet geobstrueerde dieptedata om gepatchte dieptedata te genereren; het verkrijgen, gebaseerd op de gepatchte dieptedata, van een locatie in de pakketruimte voor plaatsing van een pakket; en het presenteren van een indicatie van de locatie.

Description

Systeem en werkwijze voor het bepalen van een locatie voor plaatsing van een pakket Achtergrond Het transport en de opslag van objecten zoals pakketten vereist typisch dat de pakketten handmatig worden geladen, door een laadoperator (ook een lader genoemd), in containers (bijvoorbeeld trailers, verschepingscontainers en dergelijke). Bij het laden van containers met pakketten, streeft de lader er typisch naar om het ruimtegebruik in de containers te maximaliseren om het aantal containers te reduceren (en de kosten die geassocieerd zijn met elke container) dat nodig is om de pakketten te vervoeren. Ruimtegebruik wordt typisch beoordeeld door de lader gedurende het laadproces, en kan daardoor behoorlijk variëren op basis van ervaring van de lader. Pogingen om geautomatiseerde assistentie aan de lader te verschaffen voor het beoordelen van ruimtegebruik en het selecteren van pakketplaatsingslocatie kunnen worden gehinderd door het variabele formaat en vorm van de pakketten en de containers, als ook door moeilijkheden in het verkrijgen van accurate voor een machine-bruikbare representaties van de actuele toestand van de container.

Samenvatting Volgens een aspect van de uitvinding wordt een werkwijze verschaft voor het bepalen van een plaatsingslocatie van een pakket in een beeldvormende besturingsmodule, omvattende: het verkrijgen van dieptedata die een pakketruimte representeren; het detecteren van een geoccludeerd gedeelte van de dieptedata dat een gebied representeert van de pakketruimte dat wordt geobstrueerd door een occlusie; het verkrijgen van opgeslagen niet geobstrueerde dieptedata die het gebied van de pakketruimte representeren in de afwezigheid van de occlusie; hetvervangen van het geoccludeerde gedeelte met de niet geobstrueerde dieptedata om gepatchte dieptedata te genereren; het verkrijgen, gebaseerd op de gepatchte dieptedata, van een locatie in de pakketruime voor plaatsing van een pakket; en het presenteren van een indicatie van de locatie.

De werkwijze kan verder omvatten het detecteren van een pakket- wanordegedeelte van de dieptedata, waarbij het pakket-wanordegedeelte één of meerdere geplaatste of in de wachtrij geplaatste pakketten in de pakketruimte representeert; en het snijden van het pakket-wanordegedeelte uit de dieptedata.

Het detecteren van het pakketwanordegedeelte van de dieptedata kan bijvoorbeeld omvatten: het detecteren van een pakketwand van de pakketruimte; het instellen van een afstandsdrempel; en het identificeren van één of meerdere deelverzamelingen van de dieptedata met een afstand kleiner dan de afstandsdrempel, waarbij de deelverzamelingen het pakketwanordegedeelte definiëren.

Alternatief en/of additioneel kan het detecteren omvatten: het verkrijgen van beelddata van de pakketruimte; het identificeren van een voorlopig gebied dat de occlusie bevat gebruikmakend van de beelddata; het verkrijgen van een deelverzameling van de dieptedata corresponderend met de beelddata in het voorlopige gebied; en het detecteren van het geoccludeerde gedeelte in de deelverzameling van de dieptedata.

Het identificeren van het voorlopige gebied kan bijvoorbeeld omvatten: het bijsnijden van de beelddata; en het verschaffen van de bijgesneden beelddata aan een occlusiedetector om het voorlopige gebied te genereren.

Het detecteren van het geoccludeerde gedeelte kan omvatten: het selecteren van clusters van de dieptedata door het vergelijken van de dieptedata met vooraf gedefinieerde occlusie-identificeerders die structurele eigenschappen van een verwachte occlusie definiëren.

Ook kan de werkwijze verder het opslaan van de gepatchte dieptedata als de niet geobstrueerde dieptedata omvatten.

De werkwijze kan verder omvatten, voorafgaand aan het opnemen van de dieptedata: het verkrijgen van een meervoudig aantal eerdere verzamelingen van dieptedata; het verkrijgen van tussen-dieptedata die de pakketruimte representeren; en wanneer geen occlusie werd gedetecteerd voor de tussen-dieptedata, en geen occlusie werd gedetecteerd voor een drempelaantal van het meervoudig aantal eerdere verzamelingen dieptedata, het opslaan van de tussen-dieptedata als de niet geobstrueerde dieptedata.

Alternatief en/of additioneel kan de werkwijze verder omvatten, voorafgaand aan het detecteren van het geoccludeerde gedeelte, het bepalen van een proportie van ontbrekende dieptedata; wanneer de proportie onder een vooraf gedefinieerde drempel ligt, het detecteren van het geoccludeerde gedeelte; en wanneer de proportie boven de vooraf gedefinieerde drempel ligt, het verwerpen van de dieptedata.

In de werkwijze kan het presenteren van de indicatie ten minste één van de volgende omvatten: het tonen van een augmented-reality beeld, het projecteren van de indicatie via een stuurbaar aanwijsapparaat, en het verschaffen van een audio-communicatie.

De werkwijze kan verder bijvoorbeeld, voorafgaand aan het verkrijgen van de locatie, het ontvangen van een barcodescan van het pakket omvatten.

Volgens een ander aspect van de beschrijving wordt een rekenapparaat verschaft voor het bepalen van een locatie voor plaatsing van een pakket, het rekenapparaat omvattende: een communicatie-interface gekoppeld aan een data-opnameapparaat; een geheugen; en een beeldvormende besturingsmodule die is verbonden met het geheugen en de communicatie-interface, waarbij de beeldvormende besturingsmodule is ingericht om: dieptedata te verkrijgen die een pakketruimte representeren;

een geoccludeerd gedeelte te detecteren van de dieptedata dat een gebied van de pakketruimte representeert geobstrueerd door een occlusie; opgeslagen niet geobstrueerde dieptedata te verkrijgen die het gebied van de pakketruimte representeren in de afwezigheid van de occlusie; het geoccludeerde gedeelte te vervangen door de niet geobstrueerde dieptedata om gepatchte dieptedata te genereren; op basis van de gepatchte dieptedata, een locatie te verkrijgen in de pakketruimte voor plaatsing van een pakket; en een indicatie van de locatie te presenteren.

In het rekenapparaat kan de beeldvormende besturingsmodule verder zijn ingericht om: een pakket-wanordegedeelte van de dieptedata te detecteren, waarbij het pakket-wanordegedeelte één of meerdere geplaatste of in de wachtrij geplaatste pakketten representeert; en het pakketwanordegedeelte ut de dieptedata te snijden.

De beeldvormende besturingsmodule kan bijvoorbeeld verder zijn ingericht om het pakketwanordegedeelte van de dieptedata te detecteren door: een pakketwand van de pakketruimte te detecteren; een afstandsdrempel in te stellen; en één of meerdere deelverzamelingen van de dieptedata te identificeren met een kleinere afstand dan de afstandsdrempel, waarbij de deelverzamelingen het pakketwanordegedeelte definiëren.

Alternatief en/of bijkomend kan de beeldvormende besturingsmodule verder zijn ingericht om geoccludeerd gedeelte door: beelddata van de pakketruimte te verkrijgen; een voorlopig gebied te identificeren dat de occlusie bevat gebruikmakend van de beelddata; een deelverzameling van de dieptedata te verkrijgen corresponderend met de beelddata in het voorlopige gebied; en het geoccludeerde gedeelte te detecteren in de deelverzameling van de dieptedata.

De beeldvormende besturingsmodule kan bijvoorbeeld verder zijn ingericht om het voorlopige gebied te identificeren door: de beelddata bij tesnijden; en de bijgesneden beelddata aan een occlusiedetector te verschaffen om het voorlopige gebied te genereren.

De beeldvormende besturingsmodule kan verder zijn ingericht om het geoccludeerde gedeelte te detecteren door: clusters van de dieptedata te 5 selecteren door het vergelijken van de dieptedata met vooraf gedefinieerde occlusie-identificeerders die structurele eigenschappen van een verwachte occlusie definiëren.

Ook kan de beeldvormende besturingsmodule verder zijn ingericht om de gepatchte dieptedata op te slaan in het geheugen als de niet geobstrueerde dieptedata.

Verder kan de beeldvormende besturingsmodule zijn ingericht om, voorafgaand aan het opnemen van de dieptedata: een meervoudig aantal eerdere verzamelingen van dieptedata te verkrijgen; tussen-dieptedata te verkrijgen die de pakketruimte representeren; en wanneer geen occlusie werd gedetecteerd voor de tussen-dieptedata, en geen occlusie werd gedetecteerd voor een drempelaantal van het meervoudig aantal eerdere verzamelingen van dieptedata, de tussen-dieptedata op te slaan als niet geobstrueerde dieptedata.

Bovendien kan de beeldvormende besturingsmodule verder zijn ingericht om: voorafgaand aan het detecteren van het geoccludeerde gedeelte, een proportie van ontbrekende dieptedata te bepalen; wanneer de proportie onder een vooraf gedefinieerde drempel ligt, het geoccludeerde gedeelte te detecteren; en wanneer de proportie boven de vooraf gedefinieerde drempel ligt, de dieptedata te verwerpen.

De beeldvormende besturingsmodule kan verder zijn ingericht om de indicatie te presenteren door ten minste één van de volgende te regelen: een scherm om een augmented-reality beeld te tonen dat de indicatie bevat; een stuurbaar aanwijsapparaat om de indicatie te projecteren; en een luidspreker om een hoorbare indicatie te genereren.

De beeldvormende besturingsmodule kan bijvoorbeeld verder zijn ingericht om voorafgaand aan het verkrijgen van de locatie, een barcodescan te ontvangen van het pakket.

Korte beschrijving van de verschillende aanzichten van de tekening De begeleidende figuren, waarbij gelijke verwijzingscijfers verwijzen naar identieke of functioneel vergelijkbare elementen in de afzonderlijke aanzichten, tezamen met de figuurbeschrijving hieronder, zijn ingelijfd in en maken deel uit van de beschrijving en dienen om utvoeringsvormen van concepten die de geclaimde uitvinding omvatten verder te illustreren en leggen verscheidene principes en voordelen van deze uitvoeringsvormen uit.

Hierin toont: FIG. 1 een schets van een pakketplaatsingssysteem; FIG. 2 een blokdiagram van bepaalde interne componenten van een rekenapparaat in het systeem van FIG. 1; FIG. 3 een stroomdiagram van een werkwijze voor het bepalen van een locatie voor plaatsing van een pakket; FIG. 4 een uitvoeringsvorm van een werkwijze voor het uitvoeren van blok 310 van de werkwijze van FIG. 3; FIG. 5 ruisfiltering die wordt gebruikt in de werkwijze van FIG. 4; FIG. 6 een uitvoeringsvorm van een werkwijze voor het uitvoeren van blokken 315 en 320 van de werkwijze van FIG. 3; FIG. 7 resultaten van de uitvoering van de werkwijze van FIG. 6; FIG. 8 een uitvoeringsvorm van een werkwijze voor het uitvoeren van blok 335 van de werkwijze van FIG. 3, en FIG. 9 resultaten van de uitvoering van de werkwijze van FIG. 8. Elementen in de figuren worden getoond voor eenvoud en duidelijkheid en zijn niet noodzakelijk op schaal getekend.

De afmetingen van sommige van de elementen in de figuren kunnen bijvoorbeeld zijnoverdreven ten opzichte van andere elementen om het begrijpen van uitvoeringsvormen van de onderhavige uitvinding te helpen verbeteren.

De inrichting en werkwijze componenten worden gerepresenteerd, waar het geschikt is, door conventionele symbolen in de figuren, waarbij alleen die specifieke details worden getoond die relevant zijn voor het begrijpen van de uitvoeringsvormen van de onderhavige uitvinding om zo niet de beschrijving onduidelijk te maken met details die op zichzelf gemakkelijk duidelijk zijn. Uitgebreide beschrijving Voorbeelden die hierin zijn beschreven zijn gericht op een werkwijze voor het bepalen van een locatie voor plaatsing van een pakket in een beeldvormende besturingsmodule. De werkwijze omvat: het verkrijgen van dieptedata van een pakketruimte; het detecteren van een geoccludeerd gedeelte van de diepte data dat een gebied representeert van de pakketruimte dat wordt geobstrueerd door een occlusie; het verkrijgen van opgeslagen niet geobstrueerde dieptedata die het gebied van de pakketruimte representeren in de afwezigheid van de occlusie; het vervangen van het geoccludeerde gedeelte met de niet geobstrueerde dieptedata om gepatchte dieptedata te genereren; het verkrijgen, gebaseerd op de gepatchte dieptedata, van een locatie in de pakketruime voor plaatsing van een pakket; en het presenteren van een indicatie van de locatie. Additionele voorbeelden die hierin zijn beschreven zijn gericht op een rekenapparaat voor het bepalen van een locatie voor plaatsing van een pakket, het rekenapparaat omvattende: een communicatie-interface gekoppeld aan een data-opnameapparaat; een geheugen; en een beeldvormende besturingsmodule die is verbonden met het geheugen en de communicatie-interface, waarbij de beeldvormende besturingsmodule is ingericht om: dieptedata te verkrijgen die een pakketruimte representeren;

een geoccludeerd gedeelte te detecteren van de dieptedata dat een gebied van de pakketruimte representeert geobstrueerd door een occlusie; opgeslagen niet geobstrueerde dieptedata te verkrijgen die het gebied van de pakketruimte representeren in de afwezigheid van de occlusie; het geoccludeerde gedeelte te vervangen door de niet geobstrueerde dieptedata om gepatchte dieptedata te genereren; op basis van de gepatchte dieptedata, een locatie te verkrijgen in de pakketruimte voor plaatsing van een pakket; en een indicatie van de locatie te presenteren.

FIG. 1 toont een pakketplaatsingssysteem 100 in overeenstemming met de leer van deze beschrijving. Het systeem 100 omvat een rekenapparaat 101 in communicatie met een beeldvormend apparaat 103 en een feedback-apparaat 106 via communicatieverbindingen 107. Het systeem 100 wordt ingezet, in het getoonde voorbeeld, in een pakketruimte 110 voor het laden van pakketten. De pakketruime 110 omvat een container met zijwanden, een plafond, een vloer, een achterwand en een laaduiteinde. De pakketruime 110 omvat een pakketwand 112 met geladen pakketten 114-1, 114-2, enzovoort (waarnaar collectief wordt verwezen als geladen pakketten 114, en in het algemeen als een geladen pakket 114), waarbij de achterwand van de container, of een combinatie van de geladen pakketten 114 en de achterwand zichtbaar zijn voor het beeldvormende apparaat 103. De pakketruimte 110 kan verder een meervoudig aantal geplaatste of in een wachtrij geplaatste pakketten 116-1, 116-2, enzovoort omvatten (waarnaar collectief wordt verwezen als pakketten 116, en over het algemeen naar wordt verwezen als een pakket 116). Een lader 108 1s in de pakketruimte 110 een gedeelte van de pakketwand 112 aan het obstrueren. Het beeldvormende apparaat 103 is daarom gepositioneerd bij het laaduiteinde om beelddata en dieptedata op te nemen die de pakketruimte 110 representeren. Het beeldvormende apparaat 103 kan bijvoorbeeld zijn gepositioneerd in de container of bij een dockdeur van de container die naar de pakketwand 112 is toegekeerd.

Meer specifiek wordt het beeldvormende apparaat 103 ingezet om beelddata en dieptedata van de pakketruimte 110 op te nemen en communiceert met het rekenapparaat 101 voor nabewerking. Het apparaat 103 omvat een beeldsensor 104 (bijvoorbeeld één of meerdere digitale camera’s) en een dieptesensor 105 (bijvoorbeeld één of meerdere Licht Detectie en Bereik (LIDAR) sensoren of één of meerdere dieptecamera’s, inclusief die gestructureerde lichtpatronen gebruiken zoals infrarood licht, en/of stereobeeldsensoren). Alternatief of bijkomend kan diepte worden bepaald gebaseerd op een focuslengte van de optieken van het beeldvormende apparaat 103. In het onderhavige voorbeeld is het apparaat 103 en in het bijzonder de dieptesensor 105 ingericht om dieptedata (ook frame of een verzameling dieptedata genoemd) op te nemen omvattende een meervoudig aantal dieptemetingen corresponderend met pakketten 114 of 116 of andere objecten zoals de lader 108 die de pakketten binnen de pakketruimte 110 plaatst. Elke meting definieert een afstand vanaf de dieptesensor 105 naar een punt in de pakketruimte 110. Het apparaat 103 en in het bijzonder de beeldsensor 104 is ingericht om beelddata (hierin ook een frame of een verzameling beelddata genoemd) van de pakketruimte 110 op te nemen. Het apparaat 103 kan een dieptecamera zijn die een geïntegreerde dieptesensor 105 en beeldsensor 104 heeft. In andere uitvoeringsvormen kan de beeldsensor 104 en de dieptesensor 105 worden geïmplementeerd als onafhankelijke sensoren in plaats van een geïntegreerd apparaat 103.

Het rekenapparaat 101 kan een desktop computer zijn, een laptopcomputer, een server, een kiosk, of ieder ander geschikt apparaat. In andere voorbeelden omvat het rekenapparaat 101 een mobiel rekenapparaat zoals een tablet, smartphone of dergelijke. Het rekenapparaat 101 omvat een speciaal-doel beeldvormende besturingsmodule, zoals een processor 120 die specifiek is ontworpen om het beeldvormende apparaat 103 te besturen om data op te nemen (bijvoorbeeld de hiervoor genoemde diepte data en/ofbeelddata), de opgenomen data te verkrijgen via een communicatie-interface 124 en de opgenomen data in een geheugenmodule 132 in een geheugen 122 op te slaan.

Het rekenapparaat 101 is verder ingericht om verscheidene na- bewerkings operaties uit te voeren op de opgenomen data om bepaalde structurele kenmerken te detecteren — zoals de lader 108 — in de opgenomen data.

De nabewerking van opgenomen data door het rekenapparaat 101 zal hierna in meer detail worden beschreven.

De processor 120 is onderling verbonden met een niet-vergankelijk voor de computer leesbaar opslagmedium, zoals het hiervoor genoemde geheugen 122, met daarop voor de computer leesbare instructies voor het uitvoeren van besturing van het apparaat 101 om data op te nemen, als ook de hiervoor genoemde nabewerkingsfunctionaliteit, zoals hierna in meer detail zal worden beschreven.

Het geheugen 122 omvat een combinatie van volatiel (bijvoorbeeld Random Access Memory of RAM) en niet-volatiel geheugen (bijvoorbeeld read only memory of ROM, Eletrically Erasable PRogrammable Read Only Memory of EEPROM, flash geheugen). De processor 120 en het geheugen 122 omvatten elk één of meerdere geïntegreerde circuits.

In een uitvoeringsvorm omvat de processor 120 één of meerdere centrale verwerkingseenheden (CPUs) en/of grafische verwerkingseenheden (GPUs). In een uitvoeringsvorm is een specifiek ontworpen geïntegreerde schakeling, zoals een veldprogrammeerbaar gate array (FPGA), ontworpen om de functies zoals hierin beschreven uit te voeren, ofwel als alternatief of naast de beeldvormende besturingsmodule/processor 120 en het geheugen 122. Het beeldvormende apparaat 103 omvat ook één of meerdere besturingsmodules of processoren en/of FPGAs, in communicatie met de besturingsmodule 120, die specifiek zijn ingericht om data-opname aspecten van het apparaat 103 te regelen.

Het feedback apparaat 106 omvat ook één of meerdere besturingsmodules of processoren en/of FPGAs in communicatie met de besturingsmodule 120, specifiek ingericht om locatie-indicaties ontvangen van het rekenapparaat

101 te presenteren (bijvoorbeeld te tonen). Het feedback apparaat 106 kan een mobiel rekenapparaat zijn zoals een tablet, smartphone of het kan een scherm zijn, zoals een monitor, randapparatuur van het rekenapparaat 101.

Het rekenapparaat 101 omvat ook de hiervoor genoemde communicatie-interface 124 die onderling is verbonden met de processor

120. De communicatie-interface 124 omvat geschikte hardware (bijvoorbeeld zendontvangers, ontvangers, netwerk-interface besturingsmodules en dergelijke) die het rekenapparaat laten communiceren met andere rekenapparaten - in het bijzonder het apparaat 103 en het feedback apparaat 106 — via de verbindingen 107. De verbindingen 107 kunnen directe verbindingen zijn of verbindingen die één of meerdere netwerken doorkruisen, inclusief lokale en wide-area netwerken. De specifieke componenten van de communicatie-interface 124 worden geselecteerd op basis van het type netwerk of andere verbindingen waarover het rekenapparaat 101 dient te communiceren.

Het geheugen 122 slaat een meervoudig aantal applicaties op, elke omvattende een meervoudig aantal voor de computer leesbare instructies die door de processor 120 uitvoerbaar zijn. De uitvoering van de hiervoor genoemde instructies door de processor 120 richt het rekenapparaat 101 in om verscheidene acties uit te voeren die hierin zijn beschreven. De applicaties opgeslagen in het geheugen 122 omvatten een regelapplicatie 128, die ook kan worden geïmplementeerd als een stel (suite) van logisch verschillende applicaties. In het algemeen is de processor 120 ingericht om, via uitvoering van de regelapplicatie 128 of sub-componenten daarvan, verscheidene functionaliteiten te implementeren. Naar de processor 120, zoals ingericht via de uitvoering van de regelapplicatie 128, wordt hierin ook verwezen als de besturingsmodule 120. Zoals nu duidelijk zal zijn, kan een deel of alle functionaliteit die wordt geïmplementeerd door de besturingsmodule 120, die hierna wordt beschreven, ook worden uitgevoerd door vooraf ingerichte hardware elementen (bijvoorbeeld één of meerdere

FPGAs en/of applicatie-specifieke geïntegreerde circuits (ASICs)) in plaats van uitvoering van de regelapplicatie 128 door de processor 120. In het onderhavige voorbeeld is in het bijzonder het rekenapparaat 101 ingericht via de uitvoering van de regelapplicatie 128 door de processor 120 om beeld en dieptedata te verwerken die zijn opgenomen door het apparaat 103 om occlusies te detecteren en te vervangen, zoals de lader 108, in de pakketruimte 110, en om een locatie te bepalen voor plaatsing van een pakket 116. Het geheugen 122 slaat beelddata en dieptedata op in de geheugenmodule 132. Voor elk frame (dat wil zeggen een verzameling dieptemetingen die een puntenwolk vormen en een verzameling beeldpixels die de pakketruimte 110 representeren) opgenomen door de beeldsensor 104 en/of de dieptesensor 105, werkt het beeldvormend apparaat 103 samen met het rekenapparaat 101 om actuele beelddata en de actuele dieptedata in de geheugenmodule 132 op te slaan.

De geheugenmodule 132 slaat ook niet- geobstrueerde dieptedata en niet-geobstrueerde beelddata op voor het patchen van geoccludeerde gedeeltes, zoals hierna verder zal worden beschreven.

De geheugenmodule 132 slaat ook pakketmetadata op voor geladen pakketten 114 en pakketten 116 die moeten worden geladen.

De pakketmetadata omvat pakketafmetingen, gewicht, bestemming, enzovoort.

De dieptedata kan een veelheid aan vormen aannemen, overeenkomstig de dieptesensor die wordt gebruikt (bijvoorbeeld door het apparaat 103) om de dieptedata op te nemen.

Het apparaat 103 kan bijvoorbeeld een dieptecamera omvatten, zoals een stereoscopische camera die een gestructureerde lichtprojector omvat (die bijvoorbeeld een patroon van infrarood licht projecteert op de pakketruimte). In dergelijke voorbeelden neemt het apparaat 103 verzamelingen dieptedata op.

De verzamelingen dieptedata omvatten elk een reeks dieptemetingen (bijvoorbeeld een reeks dieptewaarden in meter of een andere geschikte eenheid). De reeks kan ook intensiteitswaarden bevatten (bijvoorbeeld eenreeks waarden, waarbij elke waarde een bereik heeft van 0 tot en met 255) die afbeelden naar dieptewaarden, in plaats van de dieptewaarden zelf. De dieptedata definieert aldus een 3D puntenwolk. Op vergelijkbare wijze kunnen de beelddata een verscheidenheid aan vormen aannemen, overeenkomstig de beeldsensor die wordt gebruikt (bijvoorbeeld door het apparaat 103) om de beelddata op te nemen. De beeldsensor 104 kan bijvoorbeeld verzamelingen van beelddata opnemen die elk een reeks pixels omvatten, waarbij elke pixel een beeldwaarde omvat (bijvoorbeeld een RGB kleurwaarde).

In sommige voorbeelden kan het apparaat 103 zijn ingericht om tegelijkertijd beelddata en dieptedata op te nemen gebruikmakende van de beeldsensor 104 en de dieptesensor 105. Het apparaat 103 kan verder zijn ingericht om een associatie van beelddata en dieptedata op te slaan in de geheugenmodule 132. De geheugenmodule 132 kan bijvoorbeeld een afbeelding opslaan van beeldpixels uit het beelddata pixelrooster naar dieptepixels ut het dieptedata rooster. In sommige voorbeelden kan de afbeelding een één-op-één afbeelding zijn tussen de pixel roosters, terwijl in andere voorbeelden de afbeelding een één-op-veel afbeelding of een veel-op- één afbeelding kan zijn, overeenkomstig de resoluties van de beeldsensor 104 en de dieptesensor 105. Meer algemeen worden de dieptedata en de beelddata geregistreerd aan elkaar zodat een gegeven dieptemeting, door zijn positie in het rooster van dieptemetingen correspondeert (dat wil zeggen, hetzelfde gedeelte van de pakketruimte 110 representeert) met een bekende beeldpixel of groep van pixels in de beelddata.

Met betrekking tot FIG. 2, alvorens de werking van de applicatie 128 te beschrijven om een locatie voor plaatsing van een pakket te bepalen, zullen bepaalde componenten van de applicatie 128 in meer detail worden beschreven. In andere voorbeelden kunnen de componenten van de applicatie 128 worden gescheiden in verschillende applicaties, of worden gecombineerd in andere verzamelingen van componenten. Sommige of allevan de componenten getoond in FIG. 2 kunnen ook worden geïmplementeerd als specifieke hardware componenten, zoals één of meerdere ASICs of FPGAs. In één uitvoeringsvorm kunnen bijvoorbeeld, om betrouwbaarheid en verwerkingssnelheid te verbeteren, ten minste sommige van de componenten van FIG. 2 direct in de beeldvormende besturingsmodule 120 worden geprogrammeerd, wat een FPGA of een ASIC kan zijn met een circuit en geheugen configuratie die specifiek is ontworpen om beeldverwerking te optimaliseren van een groot volume sensordata dat is ontvangen van het beeldvormende apparaat 103. In zo’n uitvoeringsvorm kan een deel of de gehele besturingsapplicatie 128, hierna besproken, een FPGA of een ASIC chip zijn.

De besturingsapplicatie 128 omvat een preprocessor 200 die is ingericht om beelddata en dieptedata te verkrijgen die de pakketruimte 110 representeren en filteroperaties uit te voeren op de opgenomen data. De besturingsapplicatie 128 omvat ook een occlusieregelmodule 204 die is ingericht om een geoccludeerd gedeelte van de opgenomen data te detecteren en te vervangen. De besturingsapplicatie 128 omvat ook een pakketplaatsingsmodule 208 die is ingericht om pakketwanorde uit te snijden, een 2D bezettingsmatrix te genereren, en een locatie voor plaatsing van het pakket te genereren gebaseerd op de bezettingsmatrix. De locatie voor plaatsing van het pakket is geoptimaliseerd voor laadkwaliteit en stabiliteit alsook ruimte in de pakketruimte 110. De besturingsapplicatie 128 omvat ook een uitvoermodule 212 die is ingericht om een indicatie van de locatie voor plaatsing van het pakket te genereren.

De functionaliteit van de besturingsapplicatie 128 zal nu in meer detail worden beschreven. Met betrekking tot FIG. 3, wordt een werkwijze 300 voor het bepalen van een locatie voor plaatsing van een pakket getoond. De werkwijze 300 zal worden beschreven tezamen met zijn uitvoering op het systeem 100 en onder verwijzing naar de componenten getoond in FIG. 2.

Met andere woorden, in de discussie hierna is het pakket een pakket 116 ende locatie voor plaatsing die moet worden bepaald is een locatie in de pakketruimte 110. In andere voorbeelden kan een locatie voor plaatsing van andere pakketten in andere pakketruimtes worden bepaald via uitvoering van de werkwijze 300.

Bij blok 303 is de besturingsmodule 120, en in het bijzonder de preprocessor 200, ingericht om een barcodescan te ontvangen van het pakket 116 dat moet worden geladen. De barcodescan kan bijvoorbeeld corresponderen met een pakketidentificeerder van het pakket 116. De lader 108 kan bijvoorbeeld een barcodescanner hanteren om een barcode te scannen geassocieerd met het pakket 116. In andere voorbeelden kan de preprocessor 200 een andere indicatie ontvangen van de pakketidentificeerder van het pakket 116. De pakketidentificeerder kan bijvoorbeeld handmatig worden ingevoerd, geselecteerd uit een lijst, ontvangen van een RFID (Radio Frequentie Identificatie) of NFC (Nabije Veld Communicatie) label via een corresponderend leesapparaat, of anderszins worden verschaft aan de preprocessor 200. In sommige voorbeelden kan de barcodescanner of andere pakketidentificeerder- verschaffer worden geïntegreerd met het feedbackapparaat 106 (bijvoorbeeld een barcodescanapplicatie of pakketbeheerapplicatie van een smartphone). De preprocessor 200 is ingericht om de identificeerder op te zoeken in de geheugenmodule 132 en pakketmetadata te verkrijgen, zoals pakketgewicht, afmetingen, bestemming enzovoort, die geassocieerd zijn met de pakketidentificeerder en zijn opgeslagen in de geheugenmodule 132. In andere voorbeelden kan de pakketmetadata op afstand zijn opgeslagen, zoals op een server op afstand, en het rekenapparaat 101 kan zijn ingericht om de pakketmetadata van de server op afstand aan te vragen.

Bij blok 305 is de besturingsmodule 120 en in het bijzonder de preprocessor 200 ingericht om beelddata en dieptedata respectievelijk opgenomen door de beeldsensor 104 en de dieptesensor 105 te verkrijgen corresponderend met de pakketruimte 110. Met andere woorden, in hetonderhavige voorbeeld corresponderen de dieptedata met de pakketruimte 110 die de geladen pakketten 114 bevatten die worden geassocieerd met de pakketwand 112, de geplaatste en in de wachtrij geplaatste pakketten 116 die moeten worden geladen, de container, en de lader 108 of iedere andere occlusie in de pakketruimte 110. De dieptedata verkregen bij blok 305 zijn bijvoorbeeld opgenomen door het beeldvormende apparaat 103 en opgeslagen in de geheugenmodule 132. De preprocessor 200 is daarom ingericht in het bovenstaande voorbeeld om de dieptedata te verkrijgen door het ophalen van de data uit de geheugenmodule 132. In andere voorbeelden is de preprocessor 200 ingericht om het apparaat 103 te regelen om de beelddata en de dieptedata op te nemen.

De besturingsapplicatie 128 1s dan ingericht om door te gaan naar blok 310. Bij blok 310 is de preprocessor 200 ingericht om één of meerdere voorbewerkings operaties uit te voeren op de dieptedata. In het onderhavige voorbeeld omvatten de voorbewerkingsoperaties het kalibreren van de dieptedata, het filteren van ruis, en het verwerpen van verzamelingen dieptedata met een hoge proportie ontbrekende dieptewaarden.

Onder verwijzing naar FIG. 4, wordt een werkwijze 400 getoond voor het uitvoeren van voorbewerkingsoperaties.

Bij blok 405 bepaalt de preprocessor 200 een proportie van ontbrekende dieptedata. Ontbrekende dieptedata kunnen dieptemetingen omvatten in de reeks waarvoor geen dieptewaarde was verkregen (bijvoorbeeld vanwege een obstructie voldoende dichtbij de sensor 105 om zo te vermijden dat de sensor 105 een lezing kan verkrijgen), of dieptemetingen in de reeks die waren verworpen. Wanneer bijvoorbeeld een lader of andere occlusie dichtbij de sensor 105 is, kunnen de dieptewaarden verkregen onder een vooraf gedefinieerde minimumafstandsdrempel liggen, en zal vermoed worden inaccuraat te zijn en worden verworpen.

Bij blok 410, wanneer de proportie boven een vooraf gedefinieerde drempel ligt (bijvoorbeeld 50-60%) is de preprocessor 200 ingericht om dedieptedata te verwerpen en terug te keren naar blok 305 van de werkwijze 300 om nieuwe dieptedata te verkrijgen.

Wanneer de proportie onder de vooraf gedefinieerde drempel ligt, is de preprocessor 200 ingericht om door te gaan naar blok 415. Bij blok 415 1s de preprocessor 200 ingericht om de dieptedata te kalibreren en de puntenwolk te roteren zodat het vlak van de pakketwand 112 haaks op de kijkhoek staat van het beeldvormend apparaat 103. In het onderhavige voorbeeld gebruikt de preprocessor 200 twee iteraties van willekeurige monster consensus (RANSAC) vlak-fitten.

Bij de eerste iteratie wordt RANSAC vlak-fitten toegepast op de volledige verzameling dieptedata zoals verkregen bij blok 305 om een deelverzameling van dieptedata te verkrijgen die locaties bij benadering geven van de grotere vlakken die de container definiëren (dat wil zeggen de container zijwanden, vloer en plafond). Bij de tweede iteratie wordt RANSAC vlak-fitten toegepast op de deelverzameling van dieptedata om een accuratere vlakfit te verkrijgen.

De preprocessor 200 bepaalt dan een hoek van één of meerdere van de vlakken (bijvoorbeeld het vlak van de achterwand) en vergelijkt het met een vooraf ingestelde hoek (bijvoorbeeld 90 graden ten opzichte van de dieptesensor 105) om een rotatiehoek te bepalen.

De preprocessor 200 roteert dan de puntenwolk met de rotatiehoek.

Dus in het onderhavige voorbeeld wordt het vlak van de achterwand geroteerd om orthogonaal te zijn met de camerahoek.

Bij blok 420 is de preprocessor 200 ingericht om ruis te filteren uit de dieptedata.

Specifiek selecteert de preprocessor 200 voor een gegeven punt in de puntenwolk een straal en een drempelaantal punten voor het toepassen van een straal uitschieter-filter.

Voor het gegeven punt bepaalt de preprocessor 200 of er ten minste het drempelaantal punten in de puntenwolk is binnen een bol gecentreerd op het gegeven punt en met de geselecteerde straal.

Wanneer het gegeven punt niet ten minste het drempelaantal punten in de puntenwolk met de bol met geselecteerde straalheeft wordt het gegeven punt als ruis beoordeeld, en wordt de dieptewaarde verworpen. In sommige voorbeelden wordt de ruisfiltering bij blok 420 uitgevoerd voorafgaand aan blok 405 om de proportie te bepalen van ontbrekende dieptedata met het oog op de verworpen ruis.

In het onderhavige voorbeeld is de preprocessor 200 verder ingericht om parameters van het straaluitschieterfilter te variëren gebaseerd op de dieptewaarde van het geselecteerde punt om rekening te houden met afstand vanaf de dieptesensor 105. Voor punten dichter bij de dieptesensor 105 is de straal kleiner, en het drempelaantal punten is hoger.

Voor punten verder van de dieptesensor 105 is de straal groter en het drempelaantal punten is lager.

FIG. 5 toont een toepassing van het variabele straal- uitschieterfilter door de preprocessor 200. In het bijzonder wordt het variabele-straal uitschieterfilter toegepast op een eerste punt 512-1 en een tweede punt 512-2 in een pakketruimte 510. In het voorbeeld van FIG. 5 is het eerste punt 512-1 nabij de pakketwand, terwijl het tweede punt 512-2 nabij het laaduiteinde van de pakketruimte 510 is, dus het punt 512-1 ligt verder van de dieptesensor 105 dan het punt 512-2.

FIG. 5 toont verder vergrote illustraties van gebieden 514-1 en 2514-2 van de puntenwolk die respectievelijk het eerste punt 512-1 en het tweede punt 512-2 bevatten. Aangezien het gebied 514-1 verder weg is van de dieptesensor 105 dan het gebied 514-2, 1s de puntenwolk van het gebied 514-1 dunbevolkter en heeft een lagere dieptepixel-dichtheid dan de puntenwolk van het gebied 514-2. Dat wil zeggen, elk punt in de puntenwolk van het gebied 514-1 representeert een groter fysiek gebied dan een punt in de puntenwolk van het gebied 514-2. Aldus worden de straal- uitschieterfilters 516-1 en 516-2 gevarieerd om de verschillen in dieptedata- korreligheid te accommoderen en om een verglijkbare ruisfilteringkwaliteit te kunnen onderhouden. Het straal-uitschieterfilter 516-1 voor het punt 512-1 kan bijvoorbeeld een straal r1 van 8cm hebben en een drempelaantalpunten van 4. In het voorbeeld van FIG. 5 heeft het punt 512-1 5 punten binnen de straal r1 van het straaluitschieterfilter 516-1 en dus is het punt 512-1 een geldig punt. Daarentegen kan het straaluitschieterfilter 516-2 voor het punt 512-1 een straal r2 van 2cm en een drempelaantal punten van 50 hebben. In het voorbeeld van FIG. 5 heeft het punt 512-2 ook 5 punten binnen de straal ra van het straaluitschieterfilter 516-2 en wordt dus al ruis beschouwd. Dat wil zeggen, aangezien het punt 512-2 een hogere puntenwolkdichtheid heeft, wordt verwacht dat voor een geldig punt een groter aantal punten dichtbij zal zijn (dat wil zeggen binnen een bol gecentreerd rondom het punt 512-2).

Terugkerend naar FIG, 3 wordt de besturmgsapplicatie 128 dan ingericht om door te gaan naar blok 315. Bij blok 315 is de besturingsmodule 120 en meer specifiek de occlusiebeheermodule 204 ingericht om te bepalen of een geoccludeerd gedeelte van de voorbewerkte dieptedata is gedetecteerd. Het geoccludeerde gedeelte representeert een gebied van de pakketruimte dat wordt geobstrueerd door een occlusie, specifiek, de lader 108. Wanneer een geoccludeerd gedeelte is gedetecteerd, gaat de besturingsapplicatie 128 door naar blok 320. Bij blok 320 is de occlusiebeheermodule 204 ingericht om het geoccludeerde gedeelte te vervangen door niet geobstrueerde data om gepatchte data te genereren.

Met betrekking tot FIG. 6, wordt een werkwijze 600 getoond voor het detecteren en vervangen van een geoccludeerd gedeelte. In het bijzonder is de occlusiebeheermodule 204 ingericht om de werkwijze 600 uit te voeren gebruikmakend van de voorbewerkte dieptedata die is gegenereerd bij blok

310. De uitvoering van de werkwijze 600 resulteert in een reeks 700 van beelddata en dieptedata resultaten getoond in FIG. 7. Dienovereenkomstig zullen de werkwijze 600 van FIG. 6 en de reeks 700 van FIG. 7 samen worden beschreven.

Bij blok 605 is de occlusiebeheermodule 204 ingericht om beelddata 705 te verkrijgen die zijn opgenomen door de beeldsensor 104 encorresponderen met de pakketruimte 110. In het onderhavige voorbeeld representeren de beelddata 705 een pakketruimte omvattende pakketten 114 en 116 en een lader 108. De beelddata 705 die zijn verkregen bij blok 605 zijn bijvoorbeeld opgenomen door de beeldsensor 104 tegelijkertijd met de dieptedata opgenomen door de dieptesensor 105 en opgeslagen in de geheugenmodule 132. De occlusiebeheermodule 204 is daarom ingericht in het bovenstaande voorbeeld om de beelddata te verkrijgen door het ophalen van de beelddata uit de geheugenmodule 132.

Bij blok 610 is de occlusiebeheermodule 204 ingericht om de beelddata 705 verkregen bij blok 605 bij te snijden om bijgesneden beelddata 710 te genereren. Specifiek kan de occlusiebeheermodule 204 de beelddata 705 bijsnijden overeenkomstig een aspectratio die wordt verwacht door een occlusiedetector van de occlusiebeheermodule 204. Door het bijsnijden van de beelddata en rekening te houden met de aspectratio van de occlusiedetector wordt vorm-vervorming en krimping van de beelddata gereduceerd.

In sommige voorbeelden kan de occlusiebeheermodule 204 zijn ingericht om te bepalen of een eerdere occlusie was gedetecteerd in een eerder frame. De occlusiebeheermodule 204 kan bijvoorbeeld naar eerdere dieptedata opgeslagen in de geheugenmodule 132 verwijzen. Wanneer een eerdere occlusie was gedetecteerd kan de occlusiebeheermodule 204 een bijsnijdcentrum instellen op een centrum van de eerdere occlusie. De occlusiebeheermodule 204 stelt bijsnijdafmetingen in op basis van de afmetingen van de eerdere occlusie, een vooraf gedefinieerde mimimum paddinghoeveelheid en de aspectratio die wordt verwacht door de occlusiedetector. Voor bijvoorbeeld een systeem dat frames opneemt met 3 frames per seconde (fps) kan de minimumpaddinghoeveelheid 100 pixels zijn. Bij een frame-snelheid van 3fps en gebaseerd op een maximumafstand die een mens kan overbruggen in die tijd, staat deze minimumpaddinghoeveelheid de occlusiebeheermodule 204 toe om veiligaan te nemen dat de lader 108 in de bijgesneden beelddata 710 zal blijven. In andere voorbeelden kunnen systemen die werken met verschillende framesnelheden een andere minimumpaddinghoeveelheid gedefinieerd hebben om uit te kunnen gaan van de aanname dat de lader 108 in de bijgesneden beelddata 710 zal blijven. In sommige voorbeelden kan de minimumpaddinghoeveelheid ook worden gevarieerd op basis van de dieptewaarde van de eerdere occlusie. Aldus volgt de occlusiebeheermodule 204 de occlusie over opeenvolgende uitvoeringen van de werkwijze 300, via opname van afzonderlijke frames (bijvoorbeeld een lader die beweegt naar verschillende posities in de pakketruimte 110). Het volgen van de occlusie stelt de occlusiebeheermodule 204 in staat om bijgesneden beelddata 710 te verschaffen overeenkomstig de aspectratio die wordt verwacht door de occlusiedetector, terwijl de occlusie binnen de bijgesneden beelddata wordt gehouden.

In het voorbeeld van FIG. 7 volgt de bijgesneden beelddata 710 de eerdere occlusie en is dus gecentreerd rondom het punt 711, dat het centrum van de eerdere occlusie representeert. De bijsnijdafmetingen worden ingesteld op basis van de eerdere occlusie en gepad door ten minste de minimumpaddinghoeveelheid. De bijsnijdafmetingen kunnen verder worden opgevuld om aan de aspectratio te voldoen die wordt verwacht door de occlusiedetector.

In andere voorbeelden kan de occlusiebeheermodule 204 de beelddata bijsnijden overeenkomstig vooraf gedefinieerde standaardafmetingen en gebaseerd op een centrum van de bijgesneden beelddata. Wanneer het systeem bijvoorbeeld initialiseert, wanneer geen eerdere occlusie was gedetecteerd (bijvoorbeeld omdat de lader 108 uit het zich van het beeldvormende apparaat 103 is bewogen) of wanneer het volgen van occlusies anderszins niet is gebruikt (bijvoorbeeld wanneer de beeld/diepte data in-frequent worden opgenomen) snijdt de occlusiebeheermodule 204 de beelddata bij overeenkomstig voorafgedefinieerde standaardafmetingen rondom het centrum van de opgenomen beelddata en overeenkomstig de aspectratio die wordt verwacht door de occlusiedetector. Voor bijvoorbeeld een beeldsensor met een resolutie van 1920x 1080 kunnen de vooraf gedefinieerde standaardafmetingen 1000x1000 pixels zijn. Bij blok 615 verschaft de occlusiebeheermodule 204 de bijgesneden beelddata 710 aan de occlusiedetector om een voorlopig gebied 715 te genereren dat de locatie van een occlusie benadert. De occlusiedetector accepteert beelddata met een vooraf gedefinieerde resolutie.

Dienovereenkomstig worden de bijgesneden beelddata 710 gegenereerd bij blok 610 bijgesneden op basis van de vooraf gedefinieerde resolutie. In sommige voorbeelden kunnen de bijgesneden beelddata 710 worden bijgesneden om dezelfde aspectratio te hebben, dus bij blok 615 kan de occlusiebeheermodule 204 de bijgesneden beelddata 710 verkleinen voorafgaand aan het verschaffen van de bijgesneden beelddata 710 aan de occlusiedetector. In andere voorbeelden kan de bijgesneden beelddata 710 worden bijgesneden tot de vooraf gedefinieerde resolutie die wordt geaccepteerd door de occlusiedetector. In het voorbeeld van FIG. 7 is de occlusie geïdentificeerd door het voorlopige gebied 715 de lader 702.

De occlusiedetector kan een GPU omvatten die machine-learning algoritmes gebruikt om een voorlopig gebied te genereren dat een occlusie representeert, specifiek de lader 108, in de pakketruimte 110. De occlusiedetector kan bijvoorbeeld een convolutioneel neuraal netwerk gebruiken zoals, YOLO (You Only Look Once) of Darknet, dat is ingericht om menselijke gestaltes te identificeren. In sommige voorbeelden kan het neurale netwerk of een ander geschikt machine learning algortime specifiek zijn getraind om de lader 108 te identificeren binnen een laadomgeving zoals de pakketruimte 110. In sommige voorbeelden kan het voorlopige gebied 715 twee of meer gedeeltes omvatten, waarbij elk gedeelte eenmenselijk gestalte representeert dat is geïdentificeerd door de occlusiedetector.

Wanneer geen occlusie wordt gedetecteerd bij blok 615 is de besturingsapplicatie 128 ingericht om verder te gaan naar blok 325 van de werkwijze 300, zoals hierna in meer detail zal worden beschreven. Wanneer een occlusie wordt gedetecteerd en het voorlopige gebied 715 is gegenereerd door de occlusiebeheermodule 204 gaat de besturingsapplicatie 128 door naar blok 620. Bij blok 620 haalt de occlusiebeheermodule 204 een deelverzameling van de dieptedata 720 op die corresponderen met de beelddata binnen het voorlopige gebied 715. De occlusiebeheermodule 204 kan bijvoorbeeld de afbeelding van de beelddata naar dieptedata opzoeken die is opgeslagen in de geheugenmodule 132 om de dieptedata 720 op te halen.

Bij blok 625 detecteert de occlusiebeheermodule 204 het geoccludeerde gedeelte 725 uit de deelverzameling van de dieptedata 720. Specifiek selecteert de occlusiebeheermodule 204 clusters van de dieptedata 720 door het vergelijken van de dieptedata 720 met vooraf gedefinieerde occlusie-identificeerders die structurele eigenschappen van een verwachte occlusie definiëren. In het voorbeeld van FIG. 7 kunnen de occlusie identificeerders gemiddelde hoogte, breedte en diepte-bereiken van een menselijk figuur omvatten om clusters te selecteren die de lader 108 representeren. De occlusiebeheermodule 204 kan bijvoorbeeld in een eerste stadium Euclidische clustering gebruiken om kandidaat-clusters te vinden in de deelverzameling 720 van de puntenwolk. In een tweede stadium vergelijkt de occlusiebeheermodule 204 attributen van de kandidaat-clusters met de occlusie-identificeerders voor selectie. Specifiek selecteert de occlusiebeheermodule 204 clusters overeenkomstig een vooraf gedefinieerde minimum- en maximumhoogte, breedte en diepte, en overeenkomstig een minimum aantal punten in het cluster. De occlusiebeheermodule 204 kanbijvoorbeeld een enkel cluster selecteren met een hoogte van tussen 1 meter (m) en 2 m, een breedte tussen 0.5 m en 1 m en een diepte tussen 0.5 m en 1 m. In andere voorbeelden kan de occlusiebeheermodule 204 meer dan een cluster selecteren overeenkomstig menselijke lichaamsdelen (bijvoorbeeld een hoofdcluster, een torsocluster, en één of meerdere ledematenclusters). Aldus benaderen de geselecteerde clusters (dat wil zeggen geoccludeerd gedeelte 725) een menselijk figuur. In het onderhavige voorbeeld wordt het geoccludeerde gedeelte 725 getoond als een doos, echter in andere voorbeelden kan het geoccludeerde gedeelte 725 de gebieden zijn die worden gerepresenteerd door de geselecteerde clusters.

Wanneer het voorlopige gebied 715 twee of meerdere gedeeltes omvat, is de occlusiebeheermodule 204 ingericht om clusters te selecteren die een benadering van een menselijk figuur in ieder gedeelte representeren. Met andere woorden, de occlusiebeheermodule 204 controleert voor een lader 702 in elk gedeelte van het voorlopig gebied. Wanneer geen clusters worden geselecteerd bij blok 625 (dat wil zeggen geen clusters binnen het voorlopige gebied voldoen aan de drempel- clusteridentificeerderwaarden), bepaalt de occlusiebeheermodule 204 bij blok 315 van de werkwijze 300 dat geen occlusie 1s gedetecteerd en gaat door naar blok 325 van de werkwijze 300. Als er clusters worden geselecteerd bij blok 625 dan gaat de besturingsapplicatie 128 door naar blok 630.

Bij blok 630 haalt de occlusiebeheermodule 204 opgeslagen niet- geobstrueerde dieptedata op die het gebied van de pakketruimte representeren in afwezigheid van de occlusie (dat wil zeggen het gebied dat de lader 108 bevat). De occlusiebeheermodule 204 haalt bijvoorbeeld niet- geobstrueerde dieptedata op die is opgeslagen in de geheugenmodule 132. Het updaten van de niet-geobstrueerde dieptedata zal hierna in meer detail worden beschreven. In het bijzonder wordt aangenomen dat het beeldvormende apparaat 103 stationair zal zijn ten opzichte van de pakketruimte 110, en dus wordt aangenomen dat pixels met dezelfdepixelcoördinaten in het pixelrooster hetzelfde gebied representeren van de pakketruimte. Dienovereenkomstig is de occlusiebeheermodule 204 ingericht om een gedeelte 730 van de niet-geobstrueerde dieptedata te verkrijgen met dezelfde pixelcoördinaten als het geoccludeerde gedeelte 725.

In sommige voorbeelden kan de occlusiebeheermodule 204 verder opgeslagen niet-geobstrueerde dieptedata ophalen die worden geassocieerd met de niet-geobstrueerde dieptedata 730, bijvoorbeeld zoals gedefinieerd door de afbeelding van beelddata naar dieptedata opgeslagen in de geheugenmodule 132. In het onderhavige voorbeeld omvat het gedeelte 730 een pakket 114 dat geoccludeerd was door de lader 108.

Bij blok 635 vervangt de occlusiebeheermodule 204 het geoccludeerde gedeelte 725 met het gedeelte 730 van niet-geobstrueerde dieptedata om gepatchte dieptedata 735 te genereren. Waar de occlusiebeheermodule 204 de niet-geobstrueerde beelddata ophaalt, vervangt de occlusiebeheermodule 204 de beelddata die wordt geassocieerd met het geoccludeerde gedeelte door de niet-geobstrueerde beelddata 736. Aldus genereert de occlusiebeheermodule 204 gepatchte dieptedata en beelddata die de pakketruimte representeren in afwezigheid van de occlusie. De besturingsapplicatie 128 is dan ingericht om door te gaan naar blok 330 van de werkwijze 300.

Terugkerend naar FIG. 3, wanneer geen occlusie wordt gedetecteerd bij blok 315, en in het bijzonder bij blok 615 van de werkwijze 600, 1s de besturingsapplicatie 128 ingericht om door te gaan naar blok 325. Bij blok 325 is de besturingsmodule 120 en in het bijzonder de occlusiebeheermodule 204 ingericht om te bepalen of een occlusie was gedetecteerd in een drempelaantal eerdere verzamelingen van dieptedata. In het bijzonder, voorafgaand aan het opnemen van actuele dieptedata, verkrijgt de besturingsmodule 120 een meervoudig aantal eerdere verzamelingen dieptedata (bijvoorbeeld uit eerdere frames). Wanneer geen occlusie wordt gedetecteerd voor de actuele dieptedata en geen occlusie werdgedetecteerd voor een drempelaantal van het meervoudig aantal eerdere verzamelingen dieptedata, is de besturingsapplicatie 128 ingericht om door te gaan naar blok 330. Na bijvoorbeeld 5 seconden van het niet-detecteren van de lader 108 (dat wil zeggen een drempelaantal van 15 verzamelingenvan dieptedata bij een framesnelheid van 3fps), wordt aangenomen dat de lader 108 niet in de pakketruimte 110 is.

Bij blok 330 slaat de occlusiebeheermodule 204 de actuele dieptedata op (dat wil zeggen de dieptedata zoals oorspronkelijk opgenomen, waarin geen occlusie was gedetecteerd of de gepatchte data, zoals hierna verder wordt beschreven) alsde niet-geobstrueerde dieptedata.

Bijkomend kan de actuele beelddata worden opgeslagen als niet-geobstrueerde beelddata.

Als bijvoorbeeld bij blok 315 de occlusiebeheermodule 204 een fout-negatief resultaat produceert (dat wil zeggen de occlusiebeheermodule 204 detecteert geen occlusie, maar een occlusie is aanwezig), verschaft blok 325 een controle om de waarschijnlijkheid te reduceren van het opslaan van het fout-negatieve resultaat als geüpdatete niet-geobstrueerde data en behoudt de zuiverheid van de niet-geobstrueerde dieptedata.

Specifiek, als een occlusie was gedetecteerd in het eerdere frame, is het onwaarschijnlijk dat dat de occlusie volledig het zichtveld van het beeldvormende apparaat 103 heeft verlaten (bijvoorbeeld bij een framesnelheid van 3fps, kan een lader niet voldoende snel bewegen om in één frame aanwezig te zijn en in het volgende afwezig), dus gaat de besturingsapplicatie 128 door naar blok 305 om nieuwe dieptedata te verkrijgen.

Aan de andere kant, als bij blok 325 geen occlusie was gedetecteerd voor een drempelaantal verzamelingen van dieptedata, kan redelijkerwijs worden aangenomen dan geen occlusie aanwezig is (de lader heeft bijvoorbeeld inderdaad het gezichtsveld van het beeldvormende apparaat 103 verlaten), en dus gaat de besturingsapplicatie 128 door naar blok 330 om de actuele dieptedata op te slaan als de niet- geobstrueerde dieptedata.

In sommige voorbeelden kan het drempelaantal van eerdere verzamelingen van dieptedata worden gevarieerd op basis van de afstand van meeste recent gedetecteerde occlusie tot de rand van het frame en/of de frequentie van het opnemen van dieptedata. Als een lader bijvoorbeeld dichtbij de rand van het frame is, is het aantal frames dat nodig is om het gezichtsveld van het beeldvormend apparaat 103 te verlaten kleiner dan als de lader in het centrum van het frame is.

In het bovenstaande voorbeeld kan de werkwijze 300 nog steeds resulteren in gevallen van fout-negatieven die worden opgeslagen als niet- geobstrueerde data (dat wil zeggen, het opslaan van frames waar een lader zichtbaar is als niet-geobstrueerde data), met als gevolg dat de volgende beelden worden gepatcht met de “vieze” niet-geobstrueerde data. De beweging van de lader in de pakketruimte zal echter met tijd ervoor zorgen dat de “vieze” niet-geobstrueerde data worden gepatcht met schone niet- geobstrueerde data.

In andere voorbeelden update bij blok 330 de occlusiebeheermodule 204 alleen de niet-geobstrueerde data met gepatchte data. Met andere woorden, van frames waarin geen lader was gedetecteerd wordt aangenomen dat ze niet-geobstrueerde data representeren. In dit voorbeeld kan de werkwijze 300 een initialisatie stap omvatten om de eerste opgenomen dieptedata en beelddata als de niet-geobstrueerde data op te slaan, waarbij het eerste frame wordt aangenomen niet-geobstrueerd te zijn. De initialisatie stap kan bijvoorbeeld worden uitgevoerd bij opstarten van het rekenapparaat 101. De initialisatie stap kan verder het tonen van een bericht omvatten, bijvoorbeeld op het feedback-apparaat 106 om de lader te instrueren om uit de trailer te blijven om een eerste niet-geobstrueerd frame op te nemen. De geoccludeerde gedeeltes van volgende frames worden daarom gepatcht gebruikmakend van de niet-geobstrueerde data, en de gepatchte beelden (dat wil zeggen met de geoccludeerde gedeeltes vervangendoor de niet-geobstrueerde data) worden opgeslagen als niet-geobstrueerde data voor toekomstige frames.

Bij blok 335 verkrijgt de besturingsmodule 120, en in het bijzonder de pakketplaatsingsmodule 208, een locatie voor het pakket gescand bij blok 303.

Met betrekking tot FIG. 8 wordt een werkwijze 800 voor het verkrijgen van een locatie voor het pakket getoond. In het bijzonder is de pakketplaatsingsmodule 208 ingericht om de werkwijze 800 uit te voeren gebruikmakend van de niet-geobstrueerde dieptedata 735 van blok 330. De uitvoering van de werkwijze 800 resulteert in een volgorde van beelddata en dieptedata resultaten getoond in FIG. 7. Dienovereenkomstig zullen de werkwijze 800 van FIG. 8 en de volgorde 900 van FIG. 9 samen worden beschreven.

Bij blok 805 detecteert de pakketplaatsingsmodule 208 een pakketwanordegedeelte van de niet-geobstrueerde dieptedata. In het onderhavige voorbeeld representeren de niet geobstrueerde dieptedata de pakketruimte 110 inclusief pakketwand 112, en een pakketwanordegedeelte

905. De pakketplaatsingsmodule 208 detecteert de pakketwand 112 van de pakketruimte, bijvoorbeeld gebruikmakend van een k-means clusteringsalgoritme op de puntenwolk van de pakketruimte 110 om verschillende objecten te identificeren (bijvoorbeeld pakketten 116 of de pakketwand 112) in de puntenwolk. De pakketwand 112 wordt dan geïdentificeerd op basis van kwaliteiten van het object. De pakketwand 112 kan bijvoorbeeld worden geïdentificeerd als het object of groep van objecten met de hoogste dieptewaarden of het grootste object of andere geschikte identificeerders. De pakketplaatsingsmodule 208 is verder ingericht om een afstandsdrempel in te stellen. De pakketplaatsingsmodule 208 kan bijvoorbeeld een enkele afstandswaarde definiëren die representatief is voor de pakketwand 112 zoals geïdentificeerd uit de k-means clustering. De afstandswaarde kan bijvoorbeeld de gemiddelde dieptewaarde zijn vanpunten geassocieerd met de pakketwand 112, of de minimumafstandswaarde van punten geassocieerd de pakketwand 112. De pakketplaatsingsmodule 208 stelt dan de afstandsdrempel in gebaseerd op de afstandswaarde van de pakketwand en een afstand-paddingwaarde. De afstand-paddingwaarde kan bijvoorbeeld een vooraf gedefinieerde meting zijn (bijvoorbeeld 5 cm voor de pakketwand). In andere voorbeelden kan de afstand paddingwaarde variabel zijn, bijvoorbeeld, een berekende standaarddeviatie van alle punten in de puntenwolk. In dit voorbeeld kan de afstandpaddingwaarde de afstand van de pakketwand 112 tot de dieptesensor 105 accommoderen door rekening te houden met alle andere punten in de puntenwolk. De pakketplaatsingsmodule 208 identificeert de punten van de niet geobstrueerde dieptedata met kleinere afstand afstand dan de afstandsdrempel. Deze punten definiëren het pakketwanordegedeelte 905. In sommige voorbeelden kan het pakketwanordegedeelte 905 geplaatste en in de wachtrij geplaatste pakketten omvatten. In andere voorbeelden kan het pakketwanordegedeelte 905 gedeeltes van de container omvatten, inclusief de zijwanden, vloer en plafond.

Bij blok 810 snijdt de pakketplaatsingsmodule 208 het pakketwanordegedeelte 905 uit om bijgesneden dieptedata 910 te genereren. Aangezien pakketten zullen worden geladen bij of nabij de pakketwand 112, verschaft het pakketwanordegedeelte externe data die niet relevant is voor het plaatsen van het pakket. Dus genereert de pakketplaatsingsmodule 208 de bijgesneden dieptedata 910 die focust op de pakketwand voor het verwerken bij blok 815.

Bij blok 815 genereert de pakketplaatsingsmodule 208 een 2D bezettingsmatrix gebaseerd op de bijgesneden dieptedata 910. De pakketplaatsingsmodule 208 kan bijvoorbeeld de dieptemetingen van elk punt in de bijgesneden dieptedata 910 extraheren om een 2D dieptekaart te genereren (dat wil zeggen de bezettingsmatrix). De pakketplaatsingsmodule

208 segmenteert dan de pakketwand 112 in gebieden 915 van de bezettingsmatrix. De gebieden 915 kunnen bijvoorbeeld worden gedetecteerd in 2D ruimte gebruikmakend van een gemiddelde- verschuivings segmentatie functie. Specifiek identificeert de gemiddelde- verschuivings segmentatiefunctie verschillende objecten in de 2D bezettingsmatrix. In het voorbeeld van FIG. 9 correspondeert het gebied 915-1 met het pakket 114-1, het gebied 915-2 correspondeert met het pakket 114-2, en het gebied 915-3 correspondeert met het gedeelte van de achterwand van de container zonder geladen pakketten 114 die daarvoor zijn gestapeld. Elk gebied 915 wordt vervormd om gaten te sluiten en ruis te elimineren, bijvoorbeeld door het toepassen van een morfologische erosie- operatie gevolgd door een dilatatie operatie. De gebieden 915 worden dan gefit op veelhoeken van 3 of meer lijnsegmenten. De pakketplaatsingsmodule 208 identificeert substantieel horizontale lijnsegmenten 916 die platte oppervlakken representeren voor pakketplaatsing.

Bij blok 820 verkrijgt de pakketplaatsingsmodule 208 een locatie in de pakketruimte voor plaatsing van het pakket. In het bijzonder gebruikt de pakketplaatsingsmodule 208 de bezettingsmatrix, de gebieden 915 en de horizontale lijnsegmenten 916 met het oog op de metadata van pakket (bijvoorbeeld de pakketafmetingen, gewicht, bestemming, etc. verkregen bij blok 303) om een locatie te verkrijgen voor plaatsing van het pakket.

Terugkerend naar FIG. 3, wordt de besturingsapplicatie 128 dan ingericht om door te gaan naar blok 340. Bij blok 340 is de besturingsmodule 120 en in het bijzonder de uitvoermodule ingericht om een indicatie te presenteren van de locatie verkregen bij blok 335.

In het bijzonder is de uitvoermodule 212 ingericht om te communiceren met het feedbackapparaat 106 om de indicatie te presenteren. In sommige voorbeelden kan het feedbackapparaat een smartphone, tablet, draagbaar apparaat, etc. omvatten en de indicatiepresenteren omvat het tonen van een augmented reality beeld op het apparaat. Dat wil zeggen, het apparaat 106 toont de niet-geobstrueerde beelddata en legt een indicatie er overheen, zoals een omtrek of een digitaal weergegeven pakket op de locatie gegenereerd bij blok 335. In andere voorbeelden kan het feedback apparaat 106 een stuurbaar aanwijsapparaat zijn dat is ingericht om de indicatie te projecteren in de pakketruimte. Het stuurbare aanwijsapparaat kan bijvoorbeeld beweegbaar zijn gekoppeld aan een navigatieframe, en de uitvoermodule 212 kan zijn ingericht om de beweging van het stuurbare aanwijsapparaat te regelen en te richten. Het stuurbare aanwijsapparaat omvat daarom ook een weergave-element zoals een projector, een meervoudig aantal laser-aanwijzers, of dergelijke, om een indicatie van het pakket te projecteren, zoals een omtrek of een digitaal weergegeven pakket, direct op de locatie in de pakketruimte 110. In nog verdere voorbeelden kan het feedbackapparaat 106 een audio-apparaat omvatten, bijvoorbeeld speakers die zijn verbonden met het rekenapparaat 101 of geïntegreerd met een tablet, smartphone, draagbaar apparaat, etc. De uitvoermodule 212 kan zijn ingericht om de speaker de regelen om een audio-communicatie te verschaffen als de indicatie.

Variaties van de bovenstaande systemen en werkwijze worden overwogen. Het systeem 100 kan bijvoorbeeld worden ingezet in een omgeving waarin een meervoudig aantal containers, die elk een respectievelijke pakketruimte 100 hebben, worden gevuld vanuit een gemeenschappelijke aanvoer van pakketten. In een dergelijke implementatie kan het systeem een meervoudig aantal beeldvormende apparaten omvatten, die elk zijn ingericht om data op te nemen voor een container. Verder kan het rekenapparaat 101 zijn ingericht om parallel opgenomen data te verwerken uit het meervoudig aantal containers en om een plaatsingslocatie voor een gegeven pakket te selecteren uit één van de containers.

Met andere woorden, volgend op de uitvoering van blok 303 kan het rekenapparaat 101 zijn ingericht om een meervoudig aantal keer blokken 305-330 parallel uit te voeren (één keer per container). Het rekenapparaat 101 kan verder zijn ingericht om, na afronding van de parallel uitvoer van blokken 305-330, blokken 335 en 340 uit te voeren voor het enkele pakket gescand bij blok 303 gebaseerd op een meervoudig aantal aparte dieptekaarten. Aldus kan een locatie worden geselecteerd en worden aangegeven voor een pakket uit één van het meervoudig aantal containers. De indicatie aangegeven bij blok 340 kan daarom niet alleen de geselecteerde locatie binnen een gegeven pakketruimte 110 omvatten, maar ook een identificeerder van welke pakketruimte (bijvoorbeeld één van een verzameling vooraf gedefinieerde containeridentificeerders) het pakket in moet worden geplaatst.

In verdere uitvoeringsvormen kan het data-opname apparaat, in plaats van te zijn gepositioneerd bij of nabij het laaduiteinde van een container zoals eerder vermeld, bevestigd zijn bij de lader 108. De lader kan bijvoorbeeld zijn voorzien van een augmented reality apparaat omvattende niet alleen een scherm maar ook een dieptecamera of andere geschikte sensoren (bijvoorbeeld een heads-up scherm dat een dieptesensor en een camera incorporeert). Het apparaat 101 is ingericht om een locatie van de lader (meer specifiek van het augemented reality apparaat) tezamen met diepte en beelddata die zijn opgenomen door het apparaat te verkrijgen. Zo’n apparaat kan het vaste beeldvormende apparaat 103 hiervoor genoemd aanvullen of vervangen.

In de voorgaande beschrijving zijn specifieke uitvoeringsvormen beschreven. Opgemerkt wordt echter dat verscheidene aanpassingen en veranderingen kunnen worden gemaakt zonder buiten de beschermingsomvang van de uitvinding zoals uiteen gezet in de conclusies hierna te treden. Dienovereenkomstig dienen de beschrijving en figuren te worden beschouwd op een illustratieve wijze in plaats van in eenbeperkende zin, en alle dergelijke aanpassingen zijn bedoeld om te zijn omvat binnen de beschermingsomvang van de onderhavige leer.

De voordelen, oplossingen voor problemen en ieder element dat kan leiden tot enig voordeel, of oplossing die plaats heeft of meer utgesproken wordt, moeten niet worden geïnterpreteerd als een kritieke, benodigde, of essentiële maatregel of element van één van de of alle conclusies. De uitvinding wordt alleen gedefinieerd door de bijgevoegde conclusies inclusief aanpassingen die worden gemaakt gedurende het hangende zijn van deze aanvrage en alle equivalenten van die verleende conclusies. Voor het doel van helderheid en een beknopte beschrijving, worden maatregelen hierin beschreven als deel van dezelfde of separate uitvoeringsvormen. Opgemerkt wordt echter dat de beschermingsomvang van de uitvinding uitvoeringsvormen kan omvatten die combinaties hebben van alle of enkele van de maatregelen die hierin zijn beschreven.

Verondersteld mag worden dat de getoonde uitvoeringsvormen gelijke of gelijkwaardige componenten omvatten, afgezien van waar deze zijn beschreven als anders.

Bovendien kunnen in dit document betrekkelijke termen zoals eerste en tweede, bovenkant en onderkant, en dergelijke alleen worden gebruikt om één entiteit of actie te onderscheiden van een andere entiteit of actie zonder dat noodzakelijkerwijs één van deze feitelijke relaties of ordes tussen dergelijke entiteiten of acties nodig is of wordt geïmpliceerd. De termen “omvat”, “omvattende”, “heeft”, “hebbende”, “bevat”, “bevattende” of iedere andere variatie daarvan, zijn bedoeld om een niet-uitsluitende inclusie te dekken, zodanig dat een proces, werkwijze, artikel, of inrichting die een lijst van elementen omvat, heeft, bevat niet alleen die elementen omvat, maar ook andere elementen kan omvatten die niet uitdrukkelijk zijn vermeld of inherent zijn aan een dergelijk proces, werkwijze, artikel of inrichting. Een element voorafgegaan door “omvat … een”, “heeft … een”, “bevat … een” sluit niet, zonder meer beperkingen, het bestaan uit vanadditionele identieke elementen in het proces, de werkwijze, het artikel, of de inrichting die het element omvat, heeft, bevat. De term “een” is gedefinieerd als één of meer, tenzij dat hierin expliciet anders is aangegeven. De termen “in hoofdzaak”, “essentieel”, “ongeveer”, of iedere andere versie daarvan, zijn gedefinieerd als zijnde dichtbij, zoals begrepen door de vakman, en in één niet beperkende uitvoeringsvorm is de term gedefinieerd als zijnde binnen 10%, in een andere uitvoeringsvorm als zijnde binnen 5%, in een andere uitvoeringsvorm als zijnde binnen 1% en in een andere uitvoeringsvorm als zijnde binnen 0.5%. De term “gekoppeld” zoals hierin gebruikt is gedefinieerd als verbonden, hoewel niet noodzakelijkerwijs direct en niet noodzakelijkerwijs mechanisch. Een apparaat of structuur die is “geconfigureerd” op een zekere manier is geconfigureerd op ten minste die manier, maar kan ook worden geconfigureerd op manieren die niet zijn aangegeven.

Opgemerkt wordt dat enkele uitvoeringsvormen één of meerdere generieke of gespecialiseerde processoren (of “verwerkingsapparaten”) kunnen omvatten, zoals microprocessoren, digitale signaal processoren, customized processoren, en veldprogrammeerbare gate arrays (FPGAs) en uniek opgeslagen programma instructies (omvattende zowel software als hardware) die de één of meerdere processoren besturen, om in combinatie met bepaalde niet-processor circuits, enkele, de meeste, of alle functies te implementeren van de werkwijze en/of inrichting die hierin is beschreven. Als alternatief zouden enkele of alle functies kunnen worden geïmplementeerd door een toestandsmachine die geen opgeslagen programma instructies heeft, of in één of meerdere applicatie-specifieke geïntegreerde circuits (ASICs), waarin elke functie of enkele combinaties van zekere functies zijn geïmplementeerd als custom logic (op maat gemaakt). Uiteraard zou een combinatie van de twee aanpakken kunnen worden gebruikt.

Bovendien kan een uitvoeringsvorm worden geïmplementeerd als een door een computer leesbaar opslagmedium met daarop opgeslagen een door een computer leesbare code voor het programmeren van een computer (bijvoorbeeld omvattende een processor) om een werkwijze uit te voeren zoals hierin wordt beschreven en geclaimd.

Voorbeelden van dergelijke door een computer leesbare opslagmedia omvatten, maar zijn niet beperkt tot, een harde schijf, een CD-ROM, een optisch opslagapparaat, een magnetisch opslagapparaat, een ROM (read-only memory), een PROM (programmable read-only memory), een EPROM (erasable programmable read-only memory), een EEPROM (electrically erasable programmable read-only memory) en een flash geheugen.

Verder wordt opgemerkt dat men ondanks mogelijk significante inspanning en vele ontwerpkeuzes die gemotiveerd zijn door, bijvoorbeeld, beschikbare tijd, huidige technologie, en economische overwegingen, wanneer geleid door de concepten en principes die hierin zijn beschreven gemakkelijk in staat zal zijn tot het genereren van dergelijke software instructies en programma’s en IC’s met minimaal experimenteren.

De samenvatting van de beschrijving wordt verschaft om de lezer in staat te stellen snel achter de aard van de technische beschrijving te komen.

Het wordt ingediend in de veronderstelling dat het niet zal worden gebruikt om de conclusies te interpreteren of de beschermingsomvang daarvan te beperken.

Bijkomend kunnen in de voorgaande uitgebreide beschrijving verscheidene maatregelen samen zijn gegroepeerd in verscheidene uitvoeringsvormen voor het doel van het stroomlijnen van de beschrijving.

Deze wijze van beschrijving dient niet te worden geïnterpreteerd als reflecterende een intentie dat de uitvoeringsvormen die worden geclaimd meer maatregelen nodig hebben dan uitdrukkelijk worden opgesomd in elke conclusie.

In plaats daarvan ligt het onderwerp van de uitvinding, zoals de volgende conclusies uitdrukken, in minder dan alle maatregelen van een enkele beschreven uitvoeringsvorm.

Zo zijn de volgende conclusies hierbij ingelijfd in de uitgebreide beschrijving, waarbijelke conclusie op zichzelf staat als separate geclaimde materie.

Louter het feit dat bepaalde maatregelen worden benoemd in onderling verschillende conclusies geeft niet aan dat een combinatie van deze maatregelen niet kan worden gebruikt voor een voordeel.

Een groot aantal varianten zal duidelijk zijn voor de vakman.

Alle varianten worden geacht te zijn omvat binnen de beschermingsomvang van de uitvinding zoals gedefinieerd in de volgende conclusies.

Claims (22)

Conclusies

1. Werkwijze voor het bepalen van een plaatsingslocatie van een pakket in een beeldvormende besturingsmodule omvattende: het verkrijgen van dieptedata die een pakketruimte representeren; het detecteren van een geoccludeerd gedeelte van de dieptedata dat een gebied representeert van de pakketruimte dat wordt geobstrueerd door een occlusie; het verkrijgen van opgeslagen niet geobstrueerde dieptedata die het gebied van de pakketruimte representeren in de afwezigheid van de occlusie; het vervangen van het geoccludeerde gedeelte met de niet geobstrueerde dieptedata om gepatchte dieptedata te genereren; het verkrijgen, gebaseerd op de gepatchte dieptedata, van een locatie in de pakketruime voor plaatsing van een pakket; en het presenteren van een indicatie van de locatie.

2. Werkwijze volgens conclusie 1, verder omvattende: het detecteren van een pakket-wanordegedeelte van de dieptedata, waarbij het pakket-wanordegedeelte één of meerdere geplaatste of in de wachtrij geplaatste pakketten in de pakketruimte representeert; en het snijden van het pakket-wanordegedeelte uit de dieptedata.

3. Werkwijze volgens conclusie 2, waarbij het detecteren van het pakketwanordegedeelte van de dieptedata omvat: het detecteren van een pakketwand van de pakketruimte; het instellen van een afstandsdrempel; en het identificeren van één of meerdere deelverzamelingen van de dieptedata met een afstand kleiner dan de afstandsdrempel, waarbij de deelverzamelingen het pakketwanordegedeelte definiëren.

4. Werkwijze volgens één van de voorgaande conclusies, waarbij het detecteren omvat: het verkrijgen van beelddata van de pakketruimte; het identificeren van een voorlopig gebied dat de occlusie bevat gebruikmakend van de beelddata; het verkrijgen van een deelverzameling van de dieptedata corresponderend met de beelddata in het voorlopige gebied; en het detecteren van het geoccludeerde gedeelte in de deelverzameling van de dieptedata.

5. Werkwijze volgens conclusie 4, waarbij het identificeren van het voorlopige gebied omvat: het bijsnijden van de beelddata; en het verschaffen van de bijgesneden beelddata aan een occlusiedetector om het voorlopige gebied te genereren.

6. Werkwijze volgens conclusie 4 of conclusie 5, waarbij het detecteren van het geoccludeerde gedeelte omvat: het selecteren van clusters van de dieptedata door het vergelijken van de dieptedata met vooraf gedefinieerde occlusie-identificeerders die structurele eigenschappen van een verwachte occlusie definiëren.

7. Werkwijze volgens één van de voorgaande conclusies, verder omvattende het opslaan van de gepatchte dieptedata als de niet geobstrueerde dieptedata.

8. Werkwijze volgens één van de voorgaande conclusies, verder omvattende, voorafgaand aan het opnemen van de dieptedata: het verkrijgen van een meervoudig aantal eerdere verzamelingen van dieptedata; het verkrijgen van tussen-dieptedata die de pakketruimte representeren; en wanneer geen occlusie werd gedetecteerd voor de tussen- dieptedata, en geen occlusie werd gedetecteerd voor een drempelaantal vanhet meervoudig aantal eerdere verzamelingen dieptedata, het opslaan van de tussen-dieptedata als de niet geobstrueerde dieptedata.

9. Werkwijze volgens één van de voorgaande conclusies, verder omvattende: voorafgaand aan het detecteren van het geoccludeerde gedeelte, het bepalen van een proportie van ontbrekende dieptedata; wanneer de proportie onder een vooraf gedefinieerde drempel ligt, het detecteren van het geoccludeerde gedeelte; en wanneer de proportie boven de vooraf gedefinieerde drempel ligt, het verwerpen van de dieptedata.

10. Werkwijze volgens één van de voorgaande conclusies, waarbij het presenteren van de indicatie ten minste één van de volgende omvat: het tonen van een augmented-reality beeld, het projecteren van de indicatie via een stuurbaar aanwijsapparaat, en het verschaffen van een audio- communicatie.

11. Werkwijze volgens één van de voorgaande conclusies, verder omvattende: voorafgaand aan het verkrijgen van de locatie, het ontvangen van een barcodescan van het pakket.

12. Rekenapparaat voor het bepalen van een locatie voor plaatsing van een pakket, het rekenapparaat omvattende: een communicatie-interface gekoppeld aan een data- opnameapparaat; een geheugen; en een beeldvormende besturingsmodule die is verbonden met het geheugen en de communicatie-interface, waarbij de beeldvormende besturingsmodule is ingericht om: dieptedata te verkrijgen die een pakketruimte representeren; een geoccludeerd gedeelte te detecteren van de dieptedata dat een gebied van de pakketruimte representeert geobstrueerd door een occlusie;

opgeslagen niet geobstrueerde dieptedata te verkrijgen die een gebied van de pakketruimte representeren in de afwezigheid van de occlusie; het geoccludeerde gedeelte te vervangen door de niet geobstrueerde dieptedata om gepatchte dieptedata te genereren; op basis van de gepatchte dieptedata, een locatie te verkrijgen in de pakketruimte voor plaatsing van een pakket; en een indicatie van de locatie te presenteren.

13. Rekenapparaat volgens conclusie 12, waarbij de beeldvormende besturingsmodule verder is ingericht om: een pakket-wanordegedeelte van de dieptedata te detecteren, waarbij het pakket-wanordegedeelte één of meerdere geplaatste of in de wachtrij geplaatste pakketten representeert in de pakketruimte; en het pakketwanordegedeelte uit de dieptedata te snijden.

14. Rekenapparaat volgens conclusie 13, waarbij de beeldvormende module verder is ingericht om het pakketwanordegedeelte van de dieptedata te detecteren door: een pakketwand van de pakketruimte te detecteren; een afstandsdrempel in te stellen; en één of meerdere deelverzamelingen van de dieptedata te identificeren met een kleinere afstand dan de afstandsdrempel, waarbij de deelverzamelingen het pakketwanordegedeelte definiëren.

15. Rekenapparaat volgens conclusie 12 of conclusie 13, waarbij de beeldvormende besturingsmodule verder is ingericht om geoccludeerd gedeelte door: beelddata van de pakketruimte te verkrijgen; een voorlopig gebied te identificeren dat de occlusie bevat gebruikmakend van de beelddata; een deelverzameling van de dieptedata te verkrijgen corresponderend met de beelddata in het voorlopige gebied; enhet geoccludeerde gedeelte te detecteren in de deelverzameling van de dieptedata.

16. Rekenapparaat volgens conclusie 15, waarbij de beeldvormende besturingsmodule verder is ingericht om het voorlopige gebied te identificeren door: de beelddata bij te snijden; en de bijgesneden beelddata aan een occlusiedetector te verschaffen om het voorlopige gebied te genereren.

17. Rekenapparaat volgens conclusie 15 of conclusie 16, waarbij de beeldvormende besturingsmodule verder 1s ingericht om het geoccludeerde gedeelte te detecteren door: clusters van de dieptedata te selecteren door het vergelijken van de dieptedata met vooraf gedefinieerde occlusie-identificeerders die structurele eigenschappen van een verwachte occlusie definiëren.

18. Rekenapparaat volgens één van de voorgaande conclusie 12-17, waarbij de beeldvormende besturingsmodule verder is ingericht om de gepatchte dieptedata op te slaan in het geheugen als de niet geobstrueerde dieptedata.

19. Rekenapparaat volgens één van de voorgaande conclusie 12-18, waarbij de beeldvormende besturingsmodule verder is ingericht om, voorafgaand aan het opnemen van de dieptedata: een meervoudig aantal eerdere verzamelingen van dieptedata te verkrijgen; tussen-dieptedata te verkrijgen die de pakketruimte representeren; en wanneer geen occlusie werd gedetecteerd voor de tussen- dieptedata, en geen occlusie werd gedetecteerd voor een drempelaantal van het meervoudig aantal eerdere verzamelingen van dieptedata, de tussen- dieptedata op te slaan als niet geobstrueerde dieptedata.

20. Rekenapparaat volgens één van de voorgaande conclusie 12-19, waarbij de beeldvormende besturingsmodule verder is ingericht om:

voorafgaand aan het detecteren van het geoccludeerde gedeelte, een proportie van ontbrekende dieptedata te bepalen; wanneer de proportie onder een vooraf gedefinieerde drempel ligt, het geoccludeerde gedeelte te detecteren; en wanneer de proportie boven de vooraf gedefinieerde drempel ligt, de dieptedata te verwerpen.

21. Rekenapparaat volgens één van de voorgaande conclusies 12-20, waarbij de beeldvormende module verder is ingericht om de indicatie te presenteren door ten minste één van de volgende te regelen: een scherm om een augmented-reality beeld te tonen dat de indicatie bevat; een stuurbaar aanwijsapparaat om de indicatie te projecteren; en een luidspreker om een hoorbare indicatie te genereren.

22. Rekenapparaat volgens één van de voorgaande conclusies 12-21, waarbij de beeldvormende besturingsmodule verder is ingericht om voorafgaand aan het verkrijgen van de locatie, een barcodescan te ontvangen van het pakket.