BE1029791B1

BE1029791B1 - System und verfahren zum detektieren der kalibrierung eines 3d- sensors

Info

Publication number: BE1029791B1
Application number: BE20225819A
Authority: BE
Inventors: Sanjeewa Thimirachandra
Original assignee: Zebra Technologies
Priority date: 2021-10-12
Filing date: 2022-10-11
Publication date: 2023-12-13
Also published as: WO2023064148A1; BE1029791A1; US20230112666A1

Abstract

Eine beispielhafte Rechenvorrichtung umfasst: einen dreidimensionalen Sensor (3D-Sensor), der dazu ausgelegt ist, Punktwolkendaten aus einem Sichtfeld zu erfassen; einen Hilfssensor, der dazu ausgelegt ist, eine Referenztiefenmessung zu erfassen, die einer Oberfläche innerhalb des Sichtfelds entspricht; einen Prozessor, der mit dem 3D-Sensor und dem Hilfssensor verbunden ist, wobei der Prozessor zu Folgendem ausgelegt ist: Ansteuern des 3D-Sensors und des Hilfssensors zum Erfassen der Punktwolkendaten und der Referenztiefenmessung; Auswählen eines Bereichs der Punktwolkendaten, der eine Position der Referenztiefenmessung enthält; Bestimmen eines repräsentativen Tiefenwerts des Bereichs der Punktwolkendaten zum Vergleichen mit der Referenztiefenmessung; Bestimmen, ob der repräsentative Tiefenwert innerhalb einer Ähnlichkeitsschwelle zu der Referenztiefenmessung liegt.

Description

1 BE2022/5819

SYSTEM UND VERFAHREN ZUM DETEKTIEREN DER

KALIBRIERUNG EINES 3D- SENSORS

HINTERGRUND

Stereobildgebungsanordnungen und/oder andere dreidimensionale

Sensoren können — beispielsweise auf mobilen Rechenvorrichtungen — dazu eingesetzt werden, Objekte, wie Verpackungen, zu dimensionieren, drei- dimensionale Darstellungen von Szenen zu erzeugen und dergleichen.

Solche dreidimensionalen Sensoren sind möglicherweise anfällig dafür, im

Laufe der Zeit aufgrund von Umgebungsbedingungen, physischen Be- schädigungen und dergleichen, ihre Kalibrierung zu verlieren, was zu einer verringerten Genauigkeit bei der Dimensionierung von Objekten und dergleichen führt.

KURZDARSTELLUNG

Gemäß einem Aspekt der Offenbarung wird eine Rechenvorrich- tung bereitgestellt, die Folgendes umfasst: einen dreidimensionalen Sensor (3D-Sensor), der dazu ausgelegt ist, Punktwolkendaten aus einem Sichtfeld zu erfassen; einen Hilfssensor, der dazu ausgelegt ist, eine Referenztiefen- messung zu erfassen, die einer Oberfläche innerhalb des Sichtfelds ent- spricht; einen Prozessor, der mit dem 3D-Sensor und dem Hilfssensor ver- bunden ist, wobei der Prozessor zu Folgendem ausgelegt ist: Ansteuern des 3D-Sensors und des Hilfssensors zum Erfassen der Punktwolkendaten beziehungsweise der Referenztiefenmessung; Auswählen eines Bereichs der

Punktwolkendaten, der eine Position der Referenztiefenmessung enthält;

Bestimmen eines repräsentativen Tiefenwerts des Bereichs der Punkt- wolkendaten zum Vergleichen mit der Referenztiefenmessung; Bestimmen, ob der repräsentative Tiefenwert innerhalb einer Ähnlichkeitsschwelle zu der Referenztiefenmessung liegt; und Bestimmen, ob die Punktwolkendaten für einen Dimensionierungsvorgang verwendet werden sollen, in Abhängig- keit davon, ob der repräsentative Tiefenwert innerhalb der Ähnlichkeits- schwelle zu der Referenztiefenmessung liegt.

9 BE2022/5819

Der 3D-Sensor kann ferner eine Stereokameraanordnung umfas- sen. Der Hilfssensor kann einen Entfernungsmesser umfassen.

Der Prozessor kann ferner dazu ausgelegt sein, die Punktwolken- daten zum Dimensionieren eines Objekts innerhalb des Sichtfelds des 3D-

Sensors zu verwenden, wenn der repräsentative Tiefenwert innerhalb der

Ähnlichkeitsschwelle zu der Referenztiefenmessung liegt.

Der Prozessor kann ferner dazu ausgelegt sein, zu bestimmen, dass der 3D-Sensor nicht mehr kalibriert ist und ein Rekalibrierungsverfahren zum Rekalibrieren des 3D-Sensors auszuführen, wenn der repräsentative

Tiefenwert außerhalb der Ähnlichkeitsschwelle zu der Referenztiefenmes- sung liegt.

In einem Beispiel kann der Prozessor zum Auswählen des Bereichs zu Folgendem ausgelegt sein: Identifizieren der Position der Referenztiefen- messung im Sichtfeld des 3D-Sensors; und Definieren des Bereichs als Kreis mit einem vordefinierten Radius um die Position der Referenztiefenmes- sung.

Zum Identifizieren der Position der Referenztiefenmessung kann der Prozessor zu Folgendem ausgelegt sein: Abrufen einer ersten vorgespei- cherten Position und einer zweiten vorgespeicherten Position, die einem ersten beziehungsweise einem zweiten Basislinienabstand entsprechen; und

Interpolieren der Position der Referenztiefenmessung auf Basis der ersten vorgespeicherten Position und der zweiten vorgespeicherten Position.

In einem weiteren Beispiel kann der Prozessor dazu ausgelegt sein, zum Bestimmen des repräsentativen Tiefenwerts einen durchschnittlichen

Tiefenwert von Punkten innerhalb des Bereichs der Punktwolke zu berech- nen.

Ferner kann der Prozessor zu Folgendem ausgelegt sein: Berech- nen einer Standardabweichung von Tiefenwerten von Punkten innerhalb des Bereichs; und Vergleichen des repräsentativen Tiefenwerts mit der

3 BE2022/5819

Referenztiefenmessung, wenn die Standardabweichung unterhalb einer

Schwellenstandardabweichung liegt.

Alternativ und/oder zusätzlich kann der Prozessor dazu ausgelegt sein, den 3D-Sensor und den Hilfssensor dazu anzusteuern, gleichzeitig die

Punktwolkendaten beziehungsweise die Referenztiefenmessung zu erfassen.

Gemäß einem Aspekt der Offenbarung wird ein Verfahren bereit- gestellt, das Folgendes umfasst: Ansteuern eines 3D-Sensors und eines

Hilfssensors zum Erfassen von Punktwolkendaten beziehungsweise einer

Referenztiefenmessung; Auswählen eines Bereichs der Punktwolkendaten, der eine Position der Referenztiefenmessung enthält; Bestimmen eines repräsentativen Tiefenwerts des Bereichs der Punktwolkendaten zum Ver- gleichen mit der Referenztiefenmessung; Bestimmen, ob der repräsentative

Tiefenwert innerhalb einer Ahnlichkeitsschwelle zu der Referenztiefenmes- sung liegt; und Bestimmen, ob die Punktwolkendaten für einen Dimen- sionierungsvorgang verwendet werden sollen, in Abhängigkeit davon, ob der repräsentative Tiefenwert innerhalb der Ähnlichkeitsschwelle zu der

Referenztiefenmessung liegt.

Das Verfahren kann ferner das Verwenden der Punktwolkendaten zum Dimensionieren eines Objekts innerhalb des Sichtfelds des 3D-Sensors umfassen, wenn der repräsentative Tiefenwert innerhalb der Ahnlichkeits- schwelle zu der Referenztiefenmessung liegt.

Ferner kann das Verfahren das Bestimmen, dass der 3D-Sensor nicht mehr kalibriert ist und das Ausführen eines Rekalibrierungsverfah- rens zum Rekalibrieren des 3D-Sensors umfassen, wenn der repräsentative

Bei dem Verfahren kann das Auswählen des Bereichs Folgendes umfassen: Identifizieren der Position der Referenztiefenmessung in einem

Sichtfeld des 3D-Sensors; und Definieren des Bereichs als Kreis mit einem vordefinierten Radius um die Position der Referenztiefenmessung.

4 BE2022/5819

Bei dem Verfahren kann das Identifizieren der Position der Refe- renztiefenmessung Folgendes umfassen: Abrufen einer ersten vorgespei- cherten Position und einer zweiten vorgespeicherten Position, die einem ersten beziehungsweise einem zweiten Basislinienabstand entsprechen; und

Das Verfahren kann zum Bestimmen des repräsentativen Tiefen- werts das Berechnen eines durchschnittlichen Tiefenwerts von Punkten innerhalb des Bereichs der Punktwolke umfassen.

Alternativ und/oder zusätzlich kann das Verfahren ferner Folgen- des umfassen: Berechnen einer Standardabweichung von Tiefenwerten von

Punkten innerhalb des Bereichs; und Vergleichen des repräsentativen

Tiefenwerts mit der Referenztiefenmessung, wenn die Standardabweichung unterhalb einer Schwellenstandardabweichung liegt.

In dem Verfahren kann ferner das Ansteuern des 3D-Sensors und des Hilfssensors zum gleichzeitigen Erfassen der Punktwolkendaten beziehungsweise der Referenztiefenmessung umfasst sein.

KURZE BESCHREIBUNG DER VERSCHIEDENEN ANSICHTEN

DER ZEICHNUNGEN

Die FIG. 1 ist eine schematische Darstellung, die ein System zum

Detektieren der Kalibrierung eines 3D-Sensors einer mobilen Rechenvor- richtung darstellt.

Die FIG. 2 ist ein Diagramm, das eine Rückansicht der mobilen

Rechenvorrichtung der FIG. 1 zeigt.

Die FIG. 3 ist ein Blockdiagramm bestimmter interner Hardware- komponenten der mobilen Rechenvorrichtung der FIG. 1.

Die FIG. 4 ist ein Ablaufdiagramm eines Verfahrens zum Detek- tieren der Kalibrierung eines 3D-Sensors.

Die Fig. 5 ist ein Ablaufdiagramm eines Verfahrens zum Identifi- zieren einer Position einer Referenztiefenmessung bei Block 410 des Ver- fahrens der FIG. 4.

Die FIG. 6 ist eine schematische Darstellung, welche eine Durch- 5 führung des Verfahrens der FIG. 5 darstellt.

Die FIG. 7 ist eine schematische Darstellung, die eine während des

Verfahrens von 4 analysierte Punktwolke darstellt.

Fachleute werden erkennen, dass Elemente in den Figuren zur

Vereinfachung und Verdeutlichung dargestellt sind und nicht unbedingt maßstabsgetreu gezeichnet wurden. So können beispielsweise die Abmes- sungen einiger Elemente in den Figuren im Vergleich zu anderen Elemen- ten übertrieben dargestellt sein, um zu einem besseren Verständnis von

Ausführungsformen der vorliegenden Erfindung beizutragen.

Die Bestandteile der Vorrichtung und des Verfahrens wurden in den Zeichnungen, soweit zweckdienlich, durch herkömmliche Symbole dargestellt, wobei nur die spezifischen Einzelheiten gezeigt sind, die für das

Verständnis der Ausführungsformen der vorliegenden Erfindung relevant sind, um die Offenbarung nicht mit Einzelheiten zu überladen, die Durch- schnittsfachleuten auf dem Gebiet, denen die hier folgende Beschreibung vorliegt, ohne Weiteres bekannt sein werden.

AUSFÜHRLICHE BESCHREIBUNG

Die hier offenbarten Beispiele richten sich auf eine Rechenvorrich- tung , die Folgendes umfasst: einen dreidimensionalen Sensor (3D-Sensor), der dazu ausgelegt ist, Punktwolkendaten aus einem Sichtfeld zu erfassen; einen Hilfssensor, der dazu ausgelegt ist, eine Referenztiefenmessung zu erfassen, die einer Oberfläche innerhalb des Sichtfelds entspricht; einen

Prozessor, der mit dem 3D-Sensor und dem Hilfssensor verbunden ist, wobei der Prozessor zu Folgendem ausgelegt ist: Ansteuern des 3D-Sensors und des Hilfssensors zum Erfassen der Punktwolkendaten beziehungsweise der Referenztiefenmessung; Auswählen eines Bereichs der Punktwolken-

6 BE2022/5819 daten, der eine Position der Referenztiefenmessung enthält; Bestimmen eines repräsentativen Tiefenwerts des Bereichs der Punktwolkendaten zum

Vergleichen mit der Referenztiefenmessung; Bestimmen, ob der repräsenta- tive Tiefenwert innerhalb einer Ähnlichkeitsschwelle zu der Referenztiefen- messung liegt; und Bestimmen, ob die Punktwolkendaten für einen Dimen- sionierungsvorgang verwendet werden sollen, in Abhängigkeit davon, ob der repräsentative Tiefenwert innerhalb der Ähnlichkeitsschwelle zu der

Referenztiefenmessung liegt.

Weitere hier offenbarte Beispiele richten sich auf ein Verfahren, das Folgendes umfasst: Ansteuern eines 3D-Sensors und eines Hilfssensors zum Erfassen von Punktwolkendaten beziehungsweise einer Referenztiefen- messung; Auswählen eines Bereichs der Punktwolkendaten, der eine Posi- tion der Referenztiefenmessung enthält; Bestimmen eines repräsentativen

Tiefenwerts des Bereichs der Punktwolkendaten zum Vergleichen mit der

Referenztiefenmessung; Bestimmen, ob der repräsentative Tiefenwert innerhalb einer Ähnlichkeitsschwelle zu der Referenztiefenmessung liegt; und Bestimmen, ob die Punktwolkendaten für einen Dimensionierungs- vorgang verwendet werden sollen, in Abhängigkeit davon, ob der repräsen- tative Tiefenwert innerhalb der Ähnlichkeitsschwelle zu der Referenztiefen- messung liegt.

Weitere hier offenbarte Beispiele richten sich auf ein nicht-flüchti- ges computerlesbares Medium, auf dem eine Mehrzahl von computerlesba- ren Anweisungen, die von einem Prozessor ausführbar sind, gespeichert sind, wobei das Ausführen der Anweisungen den Prozessor zu Folgendem konfiguriert: Ansteuern eines 3D-Sensors und eines Hilfssensors zum Erfas- sen von Punktwolkendaten beziehungsweise einer Referenztiefenmessung;

Auswählen eines Bereichs der Punktwolkendaten, der eine Position der

Referenztiefenmessung enthält; Bestimmen eines repräsentativen Tiefen- werts des Bereichs der Punktwolkendaten zum Vergleichen mit der

Referenztiefenmessung; Bestimmen, ob der repräsentative Tiefenwert

7 BE2022/5819 innerhalb einer Ähnlichkeitsschwelle zu der Referenztiefenmessung liegt; und Bestimmen, ob die Punktwolkendaten für einen Dimensionierungsvor- gang verwendet werden sollen, in Abhängigkeit davon, ob der repräsenta- tive Tiefenwert innerhalb der Ähnlichkeitsschwelle zu der Referenztiefen- messung liegt.

Die FIG. 1 zeigt ein der Lehre dieser Offenbarung gemäßes System 100 zum Detektieren, ob ein 3D-Sensor einer mobilen Rechenvorrichtung nicht mehr kalibriert ist. Das System 100 umfasst eine Rechenvorrichtung 104 (hier auch einfach als „Vorrichtung 104“ bezeichnet), die in der Lage ist,

Punktwolkendaten unter Verwendung eines dreidimensionalen Sensors (3D-Sensors), wie z.B. einer Stereokameraanordnung, einer Lichtlaufzeit- kamera („time-of-flight (Tof) camera“), eines Lidarsensors oder dergleichen, zu erfassen. Die Punktwolkendaten können für unterschiedlichste Zwecke, einschließlich der Erzeugung dreidimensionaler Darstellungen von Szenen und/oder der Detektion von Objekten innerhalb solcher Szenen verwendet werden. Im vorliegenden Beispiel ermöglichen die Punktwolkendaten, dass die Vorrichtung 104, Objekte, wie etwa ein in der Fig. 1 dargestelltes Objekt 108, detektiert. Die Vorrichtung 104 kann eine mobile Rechenvorrichtung sein, wie etwa eine Hand-Dimensionierungsvorrichtung oder dergleichen, oder die Vorrichtung 104 kann ortsfest sein, damit die Sensoren die Daten durchgängig mit demselben Bildfeldrahmen erfassen können. Das Objekt 108 kann beispielsweise ein Paket oder eine Ansammlung von Paketen (z.B. auf einer Palette) in einer Transport- und Logistikeinrichtung sein.

Die Vorrichtung 104 kann dann Merkmale des Objekts 108, wie etwa Abmessungen, darunter eine Höhe „H“, eine Breite „W“ und eine Tiefe „D“ des Objekts 108, bestimmen. Die von der Vorrichtung 104 erzeugten

Abmessungen können dazu eingesetzt werden, eine das Objekt 108 umge- bende Begrenzungsbox zu erzeugen, die von anderen, der Vorrichtung 104 zugeordneten Rechenvorrichtungen — z.B. zum Optimieren der Raum- nutzung in einem zum Versand des Objekts 108 genutzten Container, zum

8 BE2022/5819

Bestimmen der Versandkosten für das Objekt 108 und dergleichen — ver- wendet werden kann. Die Vorrichtung 104 kann die Abmessungen sowie eine Vielzahl weiterer Informationen auf einem Display 112 darstellen.

In der FIG. 2, auf die nun Bezug genommen wird, ist die Vorrich- tung 104 von der Rückseite (die der Seite mit dem Display 112 gegenüber- liegt) dargestellt. Wie in der FIG. 2 gezeigt, umfasst die Vorrichtung 104 ein

Gehäuse 200, das die verschiedenen Komponenten der Vorrichtung 104 trägt. Zu den von dem Gehäuse 200 getragenen Komponenten gehört das in der FIG. 1 gezeigte Display 112, das einen integrierten Touchscreen umfas- sen kann. Die Vorrichtung 104 kann zusätzlich zu dem oben genannten

Display 112 und dem Touchscreen oder anstelle derselben auch andere

Eingabe- und/oder Ausgabekomponenten umfassen. Beispiele für solche

Komponenten umfassen Lautsprecher, Mikrofone, Tastenfelder und der- gleichen.

Im vorliegenden Beispiel ist der 3D-Sensor der Vorrichtung 104 als eine Stereokameraanordnung 201 mit einer ersten Kamera 202-1 und einer zweiten Kamera 202-2, die voneinander beabstandet an dem Gehäuse 200 der Vorrichtung 104 angebracht sind, ausgeführt. Die Kameras 202 umfas- sen jeweils einen geeigneten Bildsensor oder eine Kombination von Bild- sensoren, optischen Komponenten (z.B. Linsen) und dergleichen. Die

Kameras 202-1 und 202-2, die zusammen als Kameras 202 bezeichnet werden, weisen jeweilige Sichtfelder (FOV) 204-1 bzw. 204-2 auf, die sich von einer Rückfläche 208 der Vorrichtung 104 weg erstrecken. Die FOVs 204-1 und 204-2, die zusammen als FOVs 204 bezeichnet werden, erstre- cken sich im dargestellten Beispiel im Wesentlichen senkrecht zu der

Rückfläche 208.

Wie in der FIG. 2 dargestellt, überlappen sich die FOVs 204 und ermöglichen so der Vorrichtung 104, Punktwolkendaten für Objekte innerhalb der FOVs 204 zu erfassen und Informationen, wie die zuvor erwähnten Abmessungen für solche Objekte, zu bestimmen. Der in der FIG.

9 BE2022/5819 2 dargestellte Überlappungsgrad dient lediglich der Veranschaulichung. In anderen Beispielen können sich die FOVs 204 stärker oder weniger stark überlappen als dargestellt. Die FOVs 204 können zusammen als ein Sicht- feld 204 der Stereokameraanordnung 201 bezeichnet werden, obwohl offen- sichtlich ist, dass sich ein solches Sichtfeld aus der Kombination der beiden

FOVs 204 ergibt.

Die Vorrichtung 104 kann auch eine zusätzliche Kamera oder einen anderen Bildsensor zum Erfassen von Bildern umfassen. In einigen

Beispielen können die Kameras 202 auch unabhängig voneinander dazu angesteuert werden, zweidimensionale Bilder zu erfassen, die nicht verar- beitet werden müssen, um Punktwolkendaten zu ergeben.

Die von der Stereokameraanordnung 201 der Vorrichtung 104 erfassten Punktwolkendaten können — beispielsweise aufgrund einer Ver- schiebung der optischen Komponenten oder dergleichen — im Laufe der Zeit an Genauigkeit einbüßen. Umwelteinflüsse wie Auswirkungen von Fall- ereignissen, extremen Temperaturen und dergleichen können eine solche verschlechterte Leistungsfähigkeit verursachen oder beschleunigen. Die

Vorrichtung 104 kann dazu ausgelegt sein, um eine genaue Erzeugung von

Punktwolkendaten aufrechtzuerhalten oder wiederherzustellen, ein Rekali- brierungsverfahren zum Rekalibrieren der Stereokameraanordnung 201 auszuführen, wenn es detektiert, dass die Stereokameraanordnung 201 nicht mehr kalibriert 1st. Die Vorrichtung 104 kann Beschleunigungs- messer, Temperatursensoren und andere Sensoren zum Detektieren von

Triggerereignissen, die dazu führen können, dass die Stereokameraanord- nung 201 die Kalibrierung verliert, umfassen. In einigen Fällen kann die

Stereokameraanordnung 201 die Kalibrierung jedoch 1m Laufe der Zeit, oder bei Ereignissen mit geringer Auswirkung (z.B. Fallereignisse mit geringer Auswirkung) verlieren, die nicht extrem genug sind, um das

Ereignis als erhebliches Ereignis — wie etwa ein Fallereignis, eine extreme

Temperaturveränderung oder dergleichen — zu identifizieren.

10 BE2022/5819

Dementsprechend kann die Vorrichtung 104 gemäß der vorliegen- den Offenbarung ein Kalibrierungsdetektionsverfahren durchführen, um die

Kalibrierung der Stereokameraanordnung 201 regelmäßig und/oder wäh- rend des regelmäßigen Gebrauchs zu bestimmen. Um die Kalibrierung der

Stereokameraanordnung 201 zu bestimmen, kann die Vorrichtung 104 insbesondere einen repräsentativen Tiefenwert aus der Stereokameraanord- nung 201 bestimmen und den repräsentativen Tiefenwert mit einer

Referenztiefenmessung oder einfach einer Referenztiefe vergleichen. Die

Referenztiefenmessung wird unabhängig von den Stereokameras 202-1 und 202-2 selbst erhalten und wird dazu eingesetzt, zu bestimmen, wann die

Stereokameraanordnung 201 (oder ein anderer 3D-Sensor) nicht mehr kalibriert ist und somit dazu, zu bestimmen, ob die Punktwolkendaten für einen Dimensionierungsvorgang verwendet oder verworfen werden sollen.

Zu diesem Zweck umfasst die Vorrichtung 104 ferner an ihrer

Rückfläche 208 einen Hilfssensor 212. Der Hilfssensor 212 ermöglicht es der

Vorrichtung 104, eine Referenztiefe zwischen der Vorrichtung 104 selbst und einer Bezugsfläche, wie dem Boden, einem Objekt in den FOVs 204 oder dergleichen, zu bestimmen. Wie in der FIG. 2 zu sehen ist, weist der

Hilfssensor 212 ein Sichtfeld 216 auf, das sich mit den FOVs 204 der Stereo- kameras 202 überlappt. Folglich kann der Hilfssensor 212 eine Referenz- tiefe erfassen, die einer auch für die Stereokameraanordnung 201 sichtba- ren Oberfläche entspricht.

Im vorliegenden Beispiel ist der Hilfssensor ein Entfernungs- messer, wie etwa ein Laserentfernungsmesser auf Infrarot- oder Nahinfra- rotbasis. Verschiedene andere Hilfssensoren, einschließlich Ultraschallsen- soren, Lichtlaufzeitsensoren und dergleichen, werden jedoch ebenfalls in

Betracht gezogen. Wie für Fachleute ersichtlich, ist die erfolgreiche

Bestimmung der Kalibrierung der Stereokameraanordnung 201 von der

Genauigkeit der Referenztiefe abhängig. Die Genauigkeit von durch den

Hilfssensor 212 erfassten Tiefenmessungen kann basierend auf einer Reihe

11 BE2022/5819 von Bedingungen, einschließlich der Oberflächeneigenschaften der Bezugs- fläche (z.B. Farbe, Reflexionsgrad und dergleichen), der Ausrichtung des

Hilfssensors 212 relativ zu der Oberfläche und dergleichen, variieren.

Bevor die durch die Vorrichtung 104 umgesetzte Funktionalität weiter erläutert wird, werden bestimmte Komponenten der Vorrichtung 104 unter Bezugnahme auf die FIG. 3 beschrieben.

Es wird auf die FIG. 3 Bezug genommen, in der ein Blockdia- gramm bestimmter Komponenten der Vorrichtung 104 dargestellt ist.

Zusätzlich zu dem Display 112 (in diesem Beispiel mit integriertem

Touchscreen), den Kameras 202 und dem Hilfssensor 212, umfasst die

Vorrichtung 104 eine Spezialsteuerung — wie etwa einen Prozessor 300 — die mit einem nichtflüchtigen computerlesbaren Speichermedium, z.B. einem

Speicher 304, verbunden ist. Der Speicher 304 kann eine Kombination aus flüchtigem Speicher (z.B. Direktzugriffsspeicher oder RAM) und nichtflüch- tigem Speicher (z.B. Festwertspeicher oder ROM, Electrically Erasable

Programmable Read Only Memory oder EEPROM, Flash-Speicher) umfas- sen. Der Prozessor 300 und der Speicher 304 können jeweils eine oder mehrere integrierte Schaltungen umfassen.

In dem Speicher 304 sind computerlesbare Anweisungen zur

Ausführung durch den Prozessor 300 gespeichert. Insbesondere ist in dem

Speicher 304 eine Kalibrierungsdetektionsanwendung 316 gespeichert, die hier auch einfach als Anwendung 316 bezeichnet wird. Wenn die Anwen- dung 316 von dem Prozessor 300 ausgeführt wird, konfiguriert sie den

Prozessor 300 dazu, die Kameras 202 und den Hilfssensor 212 dazu anzu- steuern, Daten für den Einsatz beim Detektieren des Kalibrierstatus der

Stereokameraanordnung 201 zu sammeln.

Wenn der Prozessor 300 durch das Ausführen der Anwendung 316 so konfiguriert ist, kann er auch als eine Steuerung bezeichnet werden.

Fachleuten ist klar, dass die von dem Prozessor 300 durch das Ausführen der Anwendung 316 implementierte Funktionalität in anderen Ausfüh-

12 BE2022/5819 rungsformen auch durch eine oder mehrere speziell entwickelte Hardware- und Firmware-Komponenten, wie FPGAs, ASICs und dergleichen, imple- mentiert werden kann. In einigen Beispielen kann zumindest ein Teil der nachstehend beschriebenen Funktionalität von einer eigenen, in die Kame- ras 202 integrierten Steuerung ausgeführt werden.

Die von der Vorrichtung 104 implementierte Funktionalität wird nun unter Bezugnahme auf die FIG. 4 näher erläutert. Die FIG. 4 veran- schaulicht ein Verfahren 400 zum Detektieren des Kalibrierungsstatus eines 3D-Sensors, wie etwa der Stereokameraanordnung 201. Im Folgenden wird das Verfahren 400 in Verbindung mit seiner Durchführung durch die

Vorrichtung 104 — über das Ausführen der Anwendung 316 — erläutert. In anderen Beispielen kann das Verfahren 400 von anderen geeigneten Vor- richtungen oder Systemen durchgeführt werden.

Bei Block 405 steuert der Prozessor 300 die Stereokameraanord- nung 201 und den Hilfssensor 212 zum Erfassen von Punktwolkendaten beziehungsweise einer Referenztiefenmessung an. Der Block 405 kann beispielsweise während eines Dimensionierungsvorgangs zum Dimensio- nieren des Objekts 108 in dem FOV 204 der Vorrichtung 104 initiiert werden. Der Dimensionierungsvorgang kann in Abhängigkeit von Eingaben eines Bedieners der Vorrichtung 104 ausgelöst werden. Zum Durchführen des Dimensionierungsvorgangs, kann der Prozessor 300 somit die Stereo- kameraanordnung 201 zum Erfassen der Punktwolkendaten, die das Objekt 108 und seine umliegende Umgebung repräsentieren, ansteuern. Während des Erfassens der Punktwolkendaten kann der Prozessor 300 vor dem

Analysieren der Punktwolkendaten zum Bestimmen der Abmessungen des

Objekts 108 außerdem den Hilfssensor 212 dazu ansteuern, die Referenz- tiefenmessung für den Einsatz beim Verifizieren, dass die Stereokamera- anordnung 201 richtig kalibriert ist, zu erfassen. Wenn die Vorrichtung 104 eine mobile Vorrichtung ist, kann der Prozessor 300 die Stereokamera- anordnung 201 und den Hilfssensor 212 dazu ansteuern, die Punktwolken-

13 BE2022/5819 daten beziehungsweise die Referenztiefenmessung gleichzeitig zu erfassen, um sicherzustellen, dass die Tiefenwerte aus der Stereokameraanordnung 201 und aus dem Hilfssensor 212 genau verglichen werden können.

In anderen Beispielen kann das Verfahren 400 unabhängig von einem Dimensionierungsvorgang — beispielsweise auf Anforderung eines

Benutzers, in vorbestimmten Zeitintervallen der Benutzung der Vorrich- tung 104 oder dergleichen — ausgelöst werden.

Bei Block 410 identifiziert der Prozessor 300 die Position der

Referenztiefenmessung innerhalb des FOV 204 der Stereokameraanord- nung 201. In einigen Beispielen kann die Position der Referenztiefenmes- sung eine (z.B. in dem Speicher 304 der Vorrichtung 104 gespeicherte) vorgespeicherte Position sein, die auf einer Werkskalibrierung des Hilfs- sensors 212 und der Stereokameraanordnung 201 basiert. In solchen

Beispielen kann der Prozessor 300 einfach die vorgespeicherte Position aus dem Speicher 304 abrufen.

In anderen Beispielen kann die Position der Referenztiefenmes- sung auf Basis der erfassten Daten dynamisch bestimmt werden. Wenn der

Hilfssensor 212 beispielsweise einen Laser mit sichtbarem Licht (z.B. rotes oder grünes Licht) verwendet, kann der Prozessor 300 eines oder beide der von den Kameras 202 erfassten Bilder (d.h. der zum Erzeugen der Punkt- wolkendaten verwendeten Bilder) verwenden und eine oder mehrere Bild- verarbeitungstechniken einsetzen, um die Position der Referenztiefenmes- sung zu identifizieren.

In noch weiteren Beispielen kann der Prozessor 300 den Wert der

Referenztiefenmessung selbst dazu verwenden, die Position der Referenz- tiefenmessung auf Basis vorgespeicherter, werkseitig kalibrierter Tiefen und Positionen zu bestimmen. Zum Beispiel ist unter Bezugnahme auf die

FIG. 5 ein beispielhaftes Verfahren 500 zum Identifizieren der Position der

Referenztiefenmessung dargestellt.

14 BE2022/5819

Bei Block 505 ruft der Prozessor 300 eine erste vorgespeicherte

Position und eine zweite vorgespeicherte Position ab, die dem ersten beziehungsweise dem zweiten Basislinienabstand des Hilfssensors 212 entsprechen. Das heißt, die erste vorgespeicherte Position und die zweite vorgespeicherte Position repräsentieren Positionen einer Lichtquelle des

Hilfssensors 212 wenn diese auf Oberflächen gerichtet ist, die sich in dem ersten Basislinienabstand beziehungsweise in dem zweiten Basislinienab- stand befinden.

Zum Beispiel ist unter Bezugnahme auf die FIG. 6 ein beispielhaf- tes Sichtfeld 600 der Stereokameraanordnung 201 dargestellt. Das Sichtfeld 600 umfasst eine erste vorgespeicherte Position 604-1 mit den Koordinaten (x1,y1) und eine zweite vorgespeicherte Position 604-2 mit den Koordinaten (x2,y2). Die erste vorgespeicherte Position 604-1 repräsentiert die Position (x1,y1) innerhalb des Sichtfeldes 600, an der das von dem Hilfssensor 212 ausgesendete Licht erscheint, wenn der Hilfssensor 212 auf eine Oberfläche gerichtet ist, die um einen Abstand D1 entfernt ist. Die zweite vorgespei- cherte Position 604-2 repräsentiert die Position (x2,y2) innerhalb des Sicht- feldes 600, an der das von dem Hilfssensor 212 ausgesendete Licht erscheint, wenn der Hilfssensor 212 auf eine Oberfläche gerichtet ist, die um einen Abstand D2 entfernt ist.

Mit anderen Worten, der Hilfssensor 212 emittiert ein Licht, wie beispielsweise einen Laserstrahl, in Richtung einer Oberfläche und verwen- det die Laufzeit, um den Abstand der Oberfläche zu bestimmen. Wenn die

Oberfläche um den Abstand D1 von dem Hilfssensor 212 entfernt ist, erscheint der Laserstrahl auf der Oberfläche an der Position 604-1. Die

Position 604-1 hat bezogen auf den Bildfeldrahmen 600 der Stereokamera- anordnung 201 die Koordinaten (x1,y1). Wenn die Oberfläche um den Ab- stand D2 von dem Hilfssensor 212 entfernt ist, erscheint der Laserstrahl auf der Oberfläche gleichermaßen an der Position 604-2, die sich in Abhängig- keit von Abweichungen der Winkel und/oder der Positionierung des Hilfs-

15 BE2022/5819 sensors 212 an der Vorrichtung 104 von der Position 604-1 unterscheiden kann. Die Position 604-2 hat bezogen auf den Bildfeldrahmen 600 der

Stereokameraanordnung 201 die Koordinaten (x2,y2).

Als Abstände D1 und D2 können (z.B. ausgewählt basierend auf den erwarteten Erfassungsbereichen der Vorrichtung 104) relativ nahe und relativ ferne Abstände, beispielsweise 0,5 m und 5 m, gewählt werden, um eine Streuung der Positionen 604-1 und 604-2 ausreichend zu bestimmen.

Die den Abständen D1 und D2 zugeordneten Positionen 604-1 und 604-2, können beispielsweise während der Werkskalibrierung der Vorrichtung 104 bestimmt und dann zur Verwendung bei der Berechnung der Position einer

Referenztiefenmessung aufgezeichnet und in dem Speicher 304 der Vorrich- tung 104 gespeichert werden.

Auf die FIG. 5 zurückkommend verwendet der Prozessor 300 bei

Block 510 die den Abständen D1 beziehungsweise D2 entsprechenden vor- gespeicherten Positionen 604-1 und 604-2 und interpoliert auf Basis der

Referenztiefenmessung, um die Position der Referenztiefenmessung zu identifizieren.

In der FIG. 6, auf die erneut Bezug genommen wird, ist beispiels- weise auch eine Detailansicht 610 dargestellt. Da die Positionen 604-1, 604- 2 die Detektionspositionen D1 und D2 des Hilfssensors im Nahabstand und im Fernabstand repräsentieren, ist zu erwarten, dass bei einer Referenztie- fenmessung 614 zwischen D1 und D2 die Position der Referenztiefenmes- sung auf der Linie zwischen den Positionen 604-1 und 604-2 liegt. Dement- sprechend kann der Prozessor 300 auf Basis der Beziehung zwischen der

Referenztiefenmessung 614 und D1 und D2 die Referenztiefenmessung 614 entlang der Linie zwischen den Positionen 604-1 und 604-2 bei den Koordi- naten (x,y) lokalisieren. Es ist offenkundig, dass der Prozessor 300 die

Position der Referenztiefenmessung in ähnlicher Weise durch Verlängern der Linie zwischen den Positionen 604-1 und 604-2 extrapolieren kann,

16 BE2022/5819 wenn die Referenztiefenmessung außerhalb des Bereichs von D1 und D2 liegt.

Nunmehr zurückkommend auf die FIG. 4 wählt der Prozessor 300, nachdem er die Position der Referenztiefenmessung in dem FOV 204 identi- fiziert hat, bei Block 415 einen Bereich der Punktwolkendaten aus, der die

Position der Referenztiefenmessung enthält. Das heißt, die bei Block 410 identifizierte Position der Referenztiefenmessung kann weiterhin eine

Schätzung sein und ist möglicherweise nicht genau, weshalb der Prozessor 300 einen größeren Bereich der Punktwolkendaten auswählen kann, um die

Wahrscheinlichkeit zu erhöhen, dass der Bereich die Position der Referenz- tiefenmessung enthält. Der Bereich kann beispielsweise ein Kreis mit einem vordefinierten Radius sein, der an der identifizierten oder angenommenen

Position der Referenztiefenmessung zentriert ist. In anderen Beispielen kann der Bereich in anderen Formen definiert sein und/oder muss nicht um die Position der Referenztiefenmessung zentriert sein.

Beispielsweise ist unter Bezugnahme auf die FIG. 7 eine beispiel- hafte Punktwolke 700 dargestellt. Wie zu erkennen ist, enthält die Punkt- wolke 700 eine Repräsentation des Objekts 108. Der Prozessor 300 kann bei

Block 410 — beispielsweise unter Einsatz des Verfahrens 500 — die Position 614 der Referenztiefenmessung relativ zu der Punktwolke 700 identifizie- ren. Dementsprechend kann der Prozessor 300 bei Block 415 einen Bereich 704 auswählen, der die Position 614 enthält. Im vorliegenden Beispiel ist der Bereich 704 ein Kreis, der an der Position 614 zentriert ist.

In einigen Beispielen muss der Prozessor 300 bei Block 410 die

Position der Referenztiefenmessung nicht identifizieren und kann direkt zu

Block 415 voranschreiten. In solchen Beispielen kann der Prozessor 300 eine Annahme treffen, dass die Position der Referenztiefenmessung etwa in der Mitte des FOV 204 der Stereokameraanordnung 201 liegt und kann einfach einen Bereich um die Mitte des FOV 204 auswählen. In solchen

Beispielen kann der Prozessor 300, um die Variabilität der Position der

17 BE2022/5819

Referenztiefenmessung zu berücksichtigen, einfach einen größeren Bereich auswählen (z.B. einen Kreis mit einem größeren vordefinierten Radius), als wenn der Ort der Referenztiefenmessung identifiziert ist.

Auf die FIG. 4 zurückkommend bestimmt der Prozessor 300 bei

Block 420 einen repräsentativen Tiefenwert für den bei Block 415 ausge- wählten Bereich. Der Prozessor 300 kann beispielsweise den durchschnitt- lichen Tiefenwert jedes Punktes in dem Bereich nehmen. In anderen Bei- spielen kann der Prozessor 300 einen einzelnen Punkt aus dem Bereich auswählen und dessen Tiefe als repräsentativen Tiefenwert verwenden. Der

Prozessor 300 kann beispielsweise einen zentralen Punkt aus dem Bereich als repräsentativen Tiefenwert auswählen, wenn eine berechnete Standard- abweichung der Tiefenwerte der Punkte in dem Bereich unter einem

Schwellenwert liegt. In anderen Beispielen kann der Prozessor 300 andere geeignete Berechnungen durchführen, um den repräsentativen Tiefenwert auszuwählen.

Bei Block 425 berechnet der Prozessor 300 eine Standardabwei- chung der Tiefenwerte der Punkte innerhalb des Bereichs der Punktwolken- daten und bestimmt, ob die bestimmte Standardabweichung unter einer

Schwellenstandardabweichung liegt. Die Standardabweichung misst die

Größe der Variation in den Tiefenwerten der Punkte innerhalb des Bereichs und kann daher dazu beitragen, zu bestimmen, ob der Bereich eine ebene

Oberfläche, die im Wesentlichen orthogonal zu einer Erfassungsrichtung der Stereokameraanordnung 201 ist, eine Oberfläche, die relativ zu der

Stereokameraanordnung 201 geneigt ist, oder mehrere Oberflächenebenen umfasst. Insbesondere eine ebene Oberfläche, die im Wesentlichen orthogo- nal zu der Stereokameraanordnung 201 ist, erzeugt eine relativ geringe

Standardabweichung, während Oberflächen, die relativ zu der Stereo- kameraanordnung 201 geneigt sind und/oder mehrere Oberflächenebenen umfassen, höhere Standardabweichungen aufweisen. Da die Position der

Referenztiefenmessung innerhalb des Bereichs weiterhin leicht variieren

18 BE2022/5819 kann, weisen Bereiche mit höheren Standardabweichungen möglicherweise keinen repräsentativen Tiefenwert auf, der genau mit der Referenztiefen- messung verglichen werden kann.

Erneut auf die FIG. 7 Bezug nehmend umfasst der Bereich 704 beispielsweise Punkte aus der Punktwolke 700, die auf einer Oberfläche 708-1 des Objekts 108 liegen. Die Oberfläche 708-1 ist im Wesentlichen orthogonal zu der Erfassungsrichtung der Stereokameraanordnung 201, und somit wäre die Standardabweichung der Punkte innerhalb des Bereichs 704 gering, da die Punkte in dem Bereich 704 im Wesentlichen die gleichen

Tiefenwerte aufweisen würden. Daher ist zu erwarten, dass der repräsenta- tive Tiefenwert genau mit der Referenztiefenmessung verglichen werden kann.

Demgegenüber wäre die Standardabweichung der Punkte höher, wenn der Bereich 704 Punkte aus der Punktwolke enthielte, die auf den relativ zu der Stereokamera 201 geneigten Oberflächen 708-2 oder 708-3 liegen, da einige Punkte höhere Tiefenwerte aufweisen (d.h. weiter von der

Vorrichtung 104 entfernt sind) und einige Punkte niedrigere Tiefenwerte aufweisen (d.h. näher an der Vorrichtung 104 sind). Folglich kann der repräsentative Tiefenwert der Referenztiefenmessung genau entsprechen, muss ihr aber nicht genau entsprechen, da die Referenztiefenmessung über- all innerhalb des Bereichs 704, der unterschiedliche Tiefenwerte aufweist, liegen kann.

Wenn der Bereich 704 sich an einer Kante 712 des Objekts 108 befände, enthielte der Bereich 704 entsprechend einige Punkte von der

Oberfläche 708-1 und einige Punkte von der umliegenden Umgebung des

Objekts 108, die andere Objekte, den Boden und/oder Wände hinter dem

Objekt 108 oder dergleichen umfassen kann. Dementsprechend wäre die

Standardabweichung der Punkte höher, da einige Punkte niedrigere Tiefen- werte aufweisen (d.h. die Oberfläche 708-1 repräsentieren), während andere

Punkte höhere Tiefenwerte aufweisen (d.h. die Umgebung des Objekts 108

19 BE2022/5819 repräsentieren, die weiter von der Vorrichtung 104 entfernt ist als die Ober- fläche 708-1). Daher kann die Referenztiefenmessung auf der Oberfläche 708-1 oder auf der umliegenden Umgebung des Objekts 108 liegen, und demzufolge entspricht der repräsentative Tiefenwert möglicherweise nicht genau der Referenztiefenmessung.

Wiederum auf die FIG. 4 zurückkommend, kann der Prozessor 300 die Punktwolkendaten und die Referenztiefenmessung dementsprechend verwerfen und zu Block 405 zurückkehren, um neue Punktwolkendaten und eine neue Referenztiefenmessung zu erfassen, wenn der Prozessor 300 bei

Block 425 bestimmt, dass die Standardabweichung über einer Schwellenab- weichung liegt (d.h., dass die durch den Bereich der Punktwolkendaten repräsentierte(n) Oberfläche(n) keine ebene Oberfläche ist/sind, die im

Wesentlichen orthogonal zu der Stereokameraanordnung 201 ist. In einigen

Beispielen kann der Prozessor 305 die Anzeige 112 dazu ansteuern, einem

Bediener der Vorrichtung 104 Anweisungen dahingehend zu präsentieren, die Vorrichtung 104 beispielsweise zu verschieben und die Vorrichtung 104 so auszurichten, dass das FOV 204 annäherungsweise auf einer ebenen, orthogonalen Oberfläche zentriert ist.

Wenn der Prozessor 300 bei Block 425 bestimmt, dass die Stan- dardabweichung unterhalb der Schwellenabweichung liegt (d.h., dass die durch den Bereich der Punktwolke repräsentierte Oberfläche eine ebene, im

Wesentlichen orthogonale Oberfläche ist), schreitet der Prozessor 300 zu

Block 430 voran. Bei Block 430 bestimmt der Prozessor 300, ob der bei Block 420 bestimmte repräsentative Tiefenwert innerhalb einer Ähnlichkeits- schwelle der Referenztiefenmessung liegt. Beispielsweise kann der Prozes- sor 300 bestimmen, ob der repräsentative Tiefenwert und die Referenz- tiefenmessung innerhalb eines Schwellenprozentsatzes (z.B. 5 %, 10 %, 3 % etc.) voneinander liegen. In anderen Beispielen können andere Ähnlich- keitsbedingungen angewendet werden. In Abhängigkeit davon, ob der repräsentative Tiefenwert innerhalb der Ähnlichkeitsschwelle zu der

20 BE2022/5819

Referenztiefenmessung liegt, kann der Prozessor 300 dann bestimmen, ob die Punktwolkendaten für einen Dimensionierungsvorgang verwendet wer- den sollen, oder ob die Punktwolkendaten verworfen werden sollen, weil bestimmt wurde, dass die Stereokameraanordnung 201 nicht mehr kalibriert ist.

Wenn der Prozessor 300 bei Block 430 bestimmt, dass der reprä- sentative Tiefenwert innerhalb der Ähnlichkeitsschwelle zu der Referenz- tiefenmessung liegt, schreitet der Prozessor 300 zu Block 435 voran. Bei

Block 435 analysiert der Prozessor 300 die Punktwolkendaten, um das

Objekt 108 innerhalb des FOV 204 der Stereokameraanordnung 201 zu dimensionieren. Das heißt, der Prozessor 300 kann die Tiefe D, die Breite W und die Höhe H des Objekts 108 bestimmen. Die bestimmten Abmessungen können in dem Speicher 304 gespeichert, an eine andere Rechenvorrich- tung, wie etwa einen entfernten Server oder einen in der Nähe befindlichen

Desktop- oder Laptop-Computer oder dergleichen, gesendet, oder auf dem

Display 112 angezeigt werden. In anderen Beispielen — etwa wenn das

Verfahren 400 unabhängig von einem Dimensionierungsvorgang abläuft — kann der Prozessor 300 einfach eine Benachrichtigung, dass die Stereo- kameraanordnung 201 richtig kalibriert ist, auf dem Display 112 anzeigen.

Wenn der Prozessor 300 bei Block 430 bestimmt, dass der reprä- sentative Tiefenwert auBerhalb der Ähnlichkeitsschwelle zu der Referenz- tiefenmessung liegt, schreitet der Prozessor 300 zu Block 440 voran. Bei

Block 440 bestimmt der Prozessor 300, dass die Stereokameraanordnung 201 nicht mehr kalibriert ist. Der Prozessor 300 kann dann ein Rekalibrie- rungsverfahren anwenden, um die Stereokameraanordnung 201 neu zu kalibrieren. Das Rekalibrierungsverfahren kann ein beliebiges geeignetes

Verfahren sein um beispielsweise die Relativposition der Kameras 202 zueinander zu bestimmen und ihre jeweiligen FOVs 204 zu vergleichen, um

Punktwolkendaten mit genauen Tiefenmessungen zu erzeugen. Zusätzlich zum Anwenden des Rekalibrierungsverfahrens kann der Prozessor 300 die

21 BE2022/5819

Anzeige 112 dazu ansteuern, eine Benachrichtigung, dass die Stereo- kameraanordnung 201 nicht mehr kalibriert ist und/oder dass ein

Rekalibrierungsverfahren angewendet wird, anzuzeigen. Die Vorrichtung 104 kann somit unabhängig von einem Auslôseereignis, das bewirkt, dass die Vorrichtung 104 die Kalibrierung verliert, detektieren, wenn es nicht mehr kalibriert ist. Zusätzlich kann die Vorrichtung 104 die Kalibrierungs- detektion während eines Dimensionierungsvorgangs als Hintergrund- prozess durchführen, um eine genaue Dimensionierung sicherzustellen.

In der vorhergehenden Beschreibung wurden spezifische Ausfüh- rungsformen beschrieben. Durchschnittsfachleute auf dem Gebiet erkennen jedoch, dass verschiedene Abwandlungen und Anderungen vorgenommen werden kännen, ohne den Schutzbereich der Erfindung, wie er in den nach- stehenden Ansprüchen dargelegt ist, zu verlassen. Dementsprechend sind die Beschreibung und die Figuren als veranschaulichend und nicht als einschränkend zu betrachten, und alle derartigen Abwandlungen sollen im

Umfang der vorliegenden Lehren enthalten sein.

Die Nutzen, Vorteile und Problemlösungen und jegliche(s)

Element(e), die dazu führen können, dass ein Nutzen, ein Vorteil oder eine

Lösung eintritt oder stärker ausgeprägt ist, sind nicht als kritische, erfor- derliche oder wesentliche Merkmale oder Elemente eines Anspruchs oder aller Ansprüche auszulegen. Die Erfindung ist ausschließlich durch die beigefügten Ansprüche definiert, einschließlich aller während der An- hängigkeit dieser Anmeldung vorgenommenen Änderungen und aller

Äquivalente dieser Ansprüche in der vorliegenden Fassung. Zum Zwecke der Nachvollziehbarkeit und einer prägnanten Beschreibung werden Merk- male hier als Teil der gleichen oder separater Ausführungsformen beschrie- ben, es versteht sich jedoch, dass der Schutzumfang der Erfindung auch

Ausführungsformen mit Kombinationen von allen oder einigen der beschrie- benen Merkmale umfassen kann. Es versteht sich, dass die dargestellten

99 BE2022/5819

Ausführungsformen die gleichen oder ähnliche Komponenten aufweisen, es sei denn, diese werden als unterschiedlich beschrieben.

Außerdem können relationale Begriffe wie „erste(r/s)“ und „zweite(r/s)“, „obere(r/s)“ und „untere(r/s)“ und dergleichen in diesem

Dokument allein dazu verwendet werden, eine Entität oder Aktion von einer anderen Entität oder Aktion zu unterscheiden, ohne notwendigerweise eine tatsächliche derartige Beziehung oder Reihenfolge zwischen solchen

Entitäten oder Aktionen zu erfordern oder zu implizieren. Die Begriffe „umfasst“, „umfassend“, „weist auf“, „aufweisend“, „beinhaltet“, „beinhaltend“, „enthält“, „enthaltend“ oder eine beliebige andere Abwand- lung derselben sollen eine nicht-ausschlieBliche Einbeziehung abdecken, sodass ein Prozess, ein Verfahren, ein Gegenstand, oder ein Gerät, der bzw. das eine Liste von Elementen umfasst, aufweist, beinhaltet, enthält, nicht nur diese Elemente beinhaltet, sondern auch andere Elemente beinhalten kann, die nicht ausdrücklich aufgeführt oder einem solchen Prozess, Verfah- ren, Gegenstand oder Gerät inhärent sind. Ein Element dem „umfasst ein/e/n“, „weist ein/e/n... auf“, „beinhaltet ein/e/n“ oder „enthält ein/e/n“ vorangestellt ist, schließt ohne weitere Einschränkungen nicht das Vorhan- densein zusätzlicher identischer Elemente in dem Prozess, dem Verfahren, dem Gegenstand oder dem Gerät aus, welcher bzw. welches das Element umfasst, aufweist, beinhaltet, enthält. Sofern hierin nicht ausdrücklich anders angegeben, sind die Begriffe „ein“ und „eine“ als „ein/e/r oder mehrere” definiert. Die Begriffe „im Wesentlichen“, „wesentlich“, „annähernd“, „circa“, oder eine beliebige andere Variante derselben, sind als „nahezu“ definiert, wie dies von Durchschnittsfachleuten verstanden wird, und in einer nicht einschränkenden Ausführungsform ist der Begriff als „innerhalb von 10% liegend“, in einer weiteren Ausführungsform als „innerhalb von 5% liegend“, in einer weiteren Ausführungsform als „innerhalb von 1% liegend“ und in einer weiteren Ausführungsform als „innerhalb von 0,5% liegend“ definiert. Wie hier verwendet, ist der Begriff

23 BE2022/5819 „gekoppelt“ als „verbunden“ — wenn auch nicht notwendigerweise direkt und nicht notwendigerweise mechanisch — definiert. Eine Vorrichtung oder eine

Struktur, die auf eine bestimmte Weise „ausgelegt“ ist, ist zumindest auf diese Weise ausgelegt, kann jedoch auch auf Weisen ausgelegt sein, die nicht aufgeführt sind.

Es versteht sich, dass einige Ausführungsformen ein oder mehrere

Spezialprozessoren (oder „Verarbeitungsvorrichtungen“), wie Mikroprozes- soren, digitale Signalprozessoren, individuell angepasste Prozessoren und feldprogrammierbare Gate-Arrays (FPGAS) und eindeutige gespeicherte

Programmanweisungen (einschließlich sowohl Software als auch Firmware) umfassen können, die den einen oder die mehreren Prozessoren dazu an- steuern, in Verbindung mit bestimmten Nicht-Prozessorschaltungen einige, die meisten oder alle Funktionen des hier beschriebenen Verfahrens und/oder Geräts zu implementieren. Alternativ könnten einige oder sämt- che Funktionen durch eine Zustandsmaschine, die keine gespeicherten

Programmanweisungen aufweist, oder in einer oder mehreren anwendungs- spezifischen integrierten Schaltungen (Application Specific Integrated

Circuits, ASICs) implementiert werden, in denen jede Funktion oder einige

Kombinationen bestimmter Funktionen als kundenspezifische Logik imple- mentiert sind. Selbstverständlich könnte auch eine Kombination der beiden

Ansätze verwendet werden.

Darüber hinaus kann eine Ausführungsform als ein computerles- bares Speichermedium implementiert werden, auf dem computerlesbarer

Code gespeichert ist, um einen Computer (der z.B. einen Prozessor umfasst) dazu zu programmieren, ein Verfahren wie hier beschrieben und bean- sprucht, durchzuführen. Beispiele für solche computerlesbaren Speicher- medien beinhalten, ohne jedoch auf diese beschränkt zu sein: eine Fest- platte, eine CD-ROM, eine optische Speichervorrichtung, eine magnetische

Speichervorrichtung, ein ROM (Read Only Memory), ein PROM (Programmable Read Only Memory), ein EPROM (Erasable Programmable

24 BE2022/5819

Read Only Memory), ein EEPROM (Electrically Erasable Programmable

Read Only Memory) und einen Flash-Speicher. Ferner ist zu erwarten, dass

Durchschnittsfachleute angeleitet durch die hier offenbarten Konzepte und

Prinzipien ungeachtet eines möglicherweise erheblichen Aufwands und vieler Konstruktionsentscheidungen, die beispielsweise durch die verfüg- bare Zeit, aktuelle Technologie und wirtschaftliche Erwägungen motiviert sind, ohne Weiteres in der Lage sein werden, derartige Softwareanwei- sungen und Programme und ICs mit minimalem Versuchsaufwand zu erzeugen.

Die Zusammenfassung der Offenbarung wird dazu bereitgestellt, den Leser in die Lage zu versetzen, rasch das Wesen der technischen

Offenbarung zu erfassen. Sie wird mit dem Verständnis vorgelegt, dass sie nicht dazu verwendet wird, den Schutzumfang oder den Sinngehalt der

Ansprüche zu interpretieren oder zu beschränken. Der vorangehenden detaillierten Beschreibung ist außerdem zu entnehmen, dass in verschiede- nen Ausführungsformen verschiedene Merkmale zusammengefasst sind, um die Offenbarung zu rationalisieren. Dieses Offenbarungsverfahren ist nicht dahingehend zu interpretieren, dass es eine Absicht widerspiegelt, dass die beanspruchten Ausführungsformen mehr Merkmale erfordern, als in jedem

Anspruch ausdrücklich aufgeführt sind. Wie die folgenden Ansprüche widerspiegeln, liegt vielmehr der erfinderische Gegenstand in weniger als allen Merkmalen einer einzelnen offenbarten Ausführungsform. Daher werden die folgenden Ansprüche hiermit in die ausführliche Beschreibung aufgenommen, wobei jeder Anspruch als ein separat beanspruchter Gegen- stand für sich allein steht.

Claims

95 BE2022/5819 ANSPRÜCHE

1. Rechenvorrichtung, Folgendes umfassend: einen dreidimensionalen Sensor (3D-Sensor), der dazu ausgelegt ist, Punktwolkendaten aus einem Sichtfeld zu erfassen; einen Hilfssensor, der dazu ausgelegt ist, eine Referenztiefenmessung zu erfassen, die einer Oberfläche innerhalb des Sichtfelds entspricht; einen Prozessor, der mit dem 3D-Sensor und dem Hilfssensor verbunden ist, wobei der Prozessor zu Folgendem ausgelegt ist: Ansteuern des 3D-Sensors und des Hilfssensors zum Erfassen der Punktwolkendaten beziehungsweise der Referenztiefenmessung; Auswählen eines Bereichs der Punktwolkendaten, der eine Position der Referenztiefenmessung enthält; Bestimmen eines repräsentativen Tiefenwerts des Bereichs der Punktwolkendaten zum Vergleichen mit der Referenztiefenmessung; Bestimmen, ob der repräsentative Tiefenwert innerhalb einer Ahnlichkeitsschwelle zu der Referenztiefenmessung liegt; und Bestimmen, ob die Punktwolkendaten für einen Dimensionierungsvorgang verwendet werden sollen, in Abhängigkeit davon, ob der repräsentative Tiefenwert innerhalb der Ahnlichkeitsschwelle zu der — Referenztiefenmessung liegt.

2. Rechenvorrichtung nach Anspruch 1, wobei der 3D-Sensor eine Stereokameraanordnung umfasst; und wobei der Hilfssensor einen Entfernungsmesser umfasst.

3. Rechenvorrichtung nach Anspruch 1 oder 2, wobei der Prozessor ferner dazu ausgelegt ist, die Punktwolkendaten zum Dimensionieren eines Objekts innerhalb des Sichtfelds des 3D-Sensors zu verwenden, wenn der repräsentative Tiefenwert innerhalb der Ahnlichkeitsschwelle zu der Referenztiefenmessung liegt.

26 BE2022/5819

4. Rechenvorrichtung nach einem der vorhergehenden Ansprüche, wobei der Prozessor ferner dazu ausgelegt ist, zu bestimmen, dass der 3D- Sensor nicht mehr kalibriert ist, und ein Rekalibrierungsverfahren zum Rekalibrieren des 3D-Sensors auszuführen, wenn der repräsentative Tiefenwert außerhalb der Ähnlichkeitsschwelle zu der Referenztiefenmessung liegt.

5. Rechenvorrichtung nach einem der vorhergehenden Ansprüche, wobei der Prozessor zum Auswählen des Bereichs zu Folgendem ausgelegt ist: Identifizieren der Position der Referenztiefenmessung im Sichtfeld des 3D-Sensors; und Definieren des Bereichs als Kreis mit einem vordefinierten Radius um die Position der Referenztiefenmessung.

6. Rechenvorrichtung nach Anspruch 5, wobei der Prozessor zum Identifizieren der Position der Referenztiefenmessung zu Folgendem ausgelegt ist: Abrufen einer ersten vorgespeicherten Position und einer zweiten vorgespeicherten Position, die einem ersten beziehungsweise einem zweiten Basislinienabstand entsprechen; und Interpolieren der Position der Referenztiefenmessung auf Basis der ersten vorgespeicherten Position und der zweiten vorgespeicherten Position.

7. Rechenvorrichtung nach einem der vorhergehenden Ansprüche, wobei der Prozessor dazu ausgelegt ist, zum Bestimmen des repräsentativen Tiefenwerts einen durchschnittlichen Tiefenwert von Punkten innerhalb des Bereichs der Punktwolke zu berechnen.

8. Rechenvorrichtung nach einem der vorhergehenden Ansprüche, wobei der Prozessor ferner zu Folgendem ausgelegt ist: Berechnen einer Standardabweichung von Tiefenwerten von Punkten innerhalb des Bereichs; und

27 BE2022/5819 Vergleichen des repräsentativen Tiefenwerts mit der Referenztiefenmessung, wenn die Standardabweichung unterhalb einer Schwellenstandardabweichung liegt.

9. Rechenvorrichtung nach einem der vorhergehenden Ansprüche, wobei der Prozessor dazu ausgelegt ist, den 3D-Sensor und den Hilfssensor dazu anzusteuern, gleichzeitig die Punktwolkendaten beziehungsweise die Referenztiefenmessung zu erfassen.

10. Verfahren, Folgendes umfassend: Ansteuern eines 3D-Sensors und eines Hilfssensors zum Erfassen von Punktwolkendaten beziehungsweise einer Referenztiefenmessung; Auswählen eines Bereichs der Punktwolkendaten, der eine Position der Referenztiefenmessung enthält; Bestimmen eines repräsentativen Tiefenwerts des Bereichs der Punktwolkendaten zum Vergleichen mit der Referenztiefenmessung; Bestimmen, ob der repräsentative Tiefenwert innerhalb einer Ähnlichkeitsschwelle zu der Referenztiefenmessung liegt; und Bestimmen, ob die Punktwolkendaten für einen Dimensionierungsvorgang verwendet werden sollen, in Abhängigkeit davon, ob der repräsentative Tiefenwert innerhalb der Ähnlichkeitsschwelle zu der Referenztiefenmessung liegt.

11. Verfahren nach Anspruch 10, ferner das Verwenden der Punktwolkendaten zum Dimensionieren eines Objekts innerhalb des Sichtfelds des 3D-Sensors umfassend, wenn der repräsentative Tiefenwert innerhalb der Ähnlichkeitsschwelle zu der Referenztiefenmessung liegt.

12. Verfahren nach Anspruch 10 oder Anspruch 11, ferner das Bestimmen, dass der 3D-Sensor nicht mehr kalibriert ist und das Ausführen eines Rekalibrierungsverfahrens zum Rekalibrieren des 3D-Sensors umfassend, wenn der repräsentative Tiefenwert auBerhalb der Ahnlichkeitsschwelle zu der Referenztiefenmessung liegt.

28 BE2022/5819

13. Verfahren nach einem der Ansprüche 10 bis 12, wobei das Auswählen des Bereichs Folgendes umfasst: Identifizieren der Position der Referenztiefenmessung in einem Sichtfeld des 3D-Sensors; und Definieren des Bereichs als Kreis mit einem vordefinierten Radius um die Position der Referenztiefenmessung.

14. Verfahren nach Anspruch 13, wobei das Identifizieren der Position der Referenztiefenmessung Folgendes umfasst: Abrufen einer ersten vorgespeicherten Position und einer zweiten vorgespeicherten Position, die einem ersten beziehungsweise einem zweiten Basislinienabstand entsprechen; und Interpolieren der Position der Referenztiefenmessung auf Basis der ersten vorgespeicherten Position und der zweiten vorgespeicherten Position.

15. Verfahren nach einem der Ansprüche 10 bis 14, wobei das Bestimmen des repräsentativen Tiefenwerts das Berechnen eines durchschnittlichen Tiefenwerts von Punkten innerhalb des Bereichs der Punktwolke umfasst.

16. Verfahren nach einem der Ansprüche 10 bis 15, ferner Folgendes umfassend: Berechnen einer Standardabweichung von Tiefenwerten von Punkten innerhalb des Bereichs; und Vergleichen des repräsentativen Tiefenwerts mit der Referenztiefenmessung, wenn die Standardabweichung unterhalb einer Schwellenstandardabweichung liegt.

17. Verfahren nach einem der Ansprüche 10 bis 16, ferner das Ansteuern des 3D-Sensors und des Hilfssensors zum gleichzeitigen Erfassen der Punktwolkendaten beziehungsweise der Referenztiefenmessung umfassend.