DE112020007687T5

DE112020007687T5 - RELIABILITY DETERMINATION DEVICE, POSITION DETERMINATION DEVICE AND RELIABILITY DEGREE DETERMINATION METHOD

Info

Publication number: DE112020007687T5
Application number: DE112020007687.3T
Authority: DE
Inventors: Noboyuki Yoshikawa
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2020-12-11
Filing date: 2020-12-11
Publication date: 2023-09-07
Also published as: WO2022123786A1; JP7221469B2; CN116547714A; TW202232433A; JPWO2022123786A1

Abstract

Eine Zuverlässigkeitsgrad-Ermittlungseinrichtung (20) ist eingerichtet, einen Zuverlässigkeitsgrad einer ermittelten Position eines Objekts, die auf Grundlage eines Kamerabilds ermittelt wird, zu ermitteln, wobei die Zuverlässigkeitsgrad-Ermittlungseinrichtung (20) umfasst: eine Merkmalsmenge-Berechnungseinheit (21) zum Berechnen einer Merkmalsmenge des Objekts auf Grundlage einer Merkmalspunktinformation über mehrere Merkmalspunkte des Objekts in dem Kamerabild; und eine Zuverlässigkeitsgrad-Berechnungseinheit (22) zum Berechnen des Zuverlässigkeitsgrades auf Grundlage der von der Merkmalsmenge-Berechnungseinheit (21) berechneten Merkmalsmenge.A reliability level determination device (20) is set up to determine a reliability level of a determined position of an object, which is determined on the basis of a camera image, wherein the reliability level determination device (20) comprises: a feature set calculation unit (21) for calculating a feature set the object based on feature point information about a plurality of feature points of the object in the camera image; and a reliability degree calculation unit (22) for calculating the reliability degree based on the feature quantity calculated by the feature quantity calculation unit (21).

Description

TECHNISCHES GEBIETTECHNICAL AREA

Die vorliegende Offenbarung bezieht sich auf eine Zuverlässigkeitsgrad-Ermittlungseinrichtung.The present disclosure relates to a reliability level determination device.

HINTERGRUND ZUM STAND DER TECHNIKBACKGROUND ART

Es wurde ein Algorithmus zur Ermittlung der dreidimensionalen Position eines Objekts auf der Grundlage eines Bildes entwickelt (in dieser Beschreibung ist die dreidimensionale Position eines Objekts gleichbedeutend mit einer dreidimensionalen Körperhaltung). In der Nichtpatentliteratur 1 wird beispielsweise ein Verfahren zur Ermittlung einer dreidimensionalen Position beschrieben, bei dem ein neuronales Netzwerkmodell auf ein Kamerabild angewendet wird, das bei der Erfassung eines Bildes eines Objekts mit einer monokularen Kamera beschafft wird, wodurch das Objekt im Kamerabild erkannt, die Position eines Merkmalspunkts des Objekts ermittelt und die dreidimensionale Position des Objekts auf der Grundlage der ermittelten Position des Merkmalspunkts ermittelt wird. Im Folgenden wird die Position eines Objekts, die unter Verwendung eines solchen Ermittlungsverfahrens einer dreidimensionalen Position ermittelt wird (z. B. die Position eines Merkmalspunkts eines Objekts, die dreidimensionale Position eines Objekts o. Ä.), als ermittelte Position bezeichnet.An algorithm for determining the three-dimensional position of an object based on an image has been developed (in this description, the three-dimensional position of an object is equivalent to a three-dimensional posture). For example, Non-patent Literature 1 describes a three-dimensional position detection method in which a neural network model is applied to a camera image obtained when capturing an image of an object with a monocular camera, thereby detecting the object in the camera image, the position a feature point of the object is determined and the three-dimensional position of the object is determined based on the determined position of the feature point. Hereinafter, the position of an object detected using such a three-dimensional position detecting method (e.g., the position of a feature point of an object, the three-dimensional position of an object, or the like) is referred to as a detected position.

REFERENZLISTEREFERENCE LIST

NICHTPATENTLITERATURNON-PATENT LITERATURE

Nichtpatentliteratur 1: S. Peng, Y. Liu, O. Huang, H. Bao, X. Zhou, „PVNet: Pixel-wise Voting Network for 6DoF Pose Estimation,“ In Computer Vision and Pattern Recognition (CVPR), 2019 .Non-patent literature 1: Peng S, Liu Y, Huang O, Bao H, Zhou X, "PVNet: Pixel-wise Voting Network for 6DoF Pose Estimation," In Computer Vision and Pattern Recognition (CVPR), 2019 .

KURZFASSUNG DER ERFINDUNGSUMMARY OF THE INVENTION

TECHNISCHES PROBLEMTECHNICAL PROBLEM

In einem herkömmlichen Ermittlungsverfahren für eine dreidimensionale Position, wie oben beschrieben, bei dem ein neuronales Netzwerkmodell auf ein Bild angewendet wird, kann der Zuverlässigkeitsgrad einer ermittelten Position unter Verwendung desselben neuronalen Netzwerkmodells wie ein maschinelles Lernmodell, das bei der Ermittlung der ermittelten Position verwendet wird, berechnet werden, und der berechnete Zuverlässigkeitsgrad kann für eine Evaluierung der ermittelten Position verwendet werden.In a conventional three-dimensional position detection method as described above in which a neural network model is applied to an image, the degree of reliability of a detected position can be estimated using the same neural network model as a machine learning model used in detecting the detected position. are calculated, and the calculated degree of confidence can be used for an evaluation of the determined position.

In diesem Fall wird davon ausgegangen, dass eine Korrelation zwischen der Zuverlässigkeit der ermittelten Position und der Zuverlässigkeit des Zuverlässigkeitsgrads selbst besteht. Somit besteht ein Problem, dass wenn die ermittelte Position unzuverlässig ist, auch die Zuverlässigkeit des Zuverlässigkeitsgrades selbst unzuverlässig wird, und die Gültigkeit der Evaluierung der ermittelten Position anhand des Zuverlässigkeitsgrades wird unsicher. In this case, it is assumed that there is a correlation between the reliability of the determined position and the reliability of the degree of reliability itself. Thus, there is a problem that when the detected position is unreliable, the reliability of the degree of reliability itself becomes unreliable, and the validity of the evaluation of the detected position based on the degree of reliability becomes uncertain.

Die vorliegende Offenbarung dient dazu, das oben erwähnte Problem zu lösen, und es ist eine Aufgabe der vorliegenden Offenbarung, eine Technik zur Verbesserung der Zuverlässigkeit des Zuverlässigkeitsgrades selbst von einer ermittelten bereitzustellen.The present disclosure is to solve the above-mentioned problem, and it is an object of the present disclosure to provide a technique for improving the reliability of the reliability level even from a detected one.

LÖSUNG DES PROBLEMSTHE SOLUTION OF THE PROBLEM

Eine Zuverlässigkeitsgrad-Ermittlungseinrichtung gemäß der vorliegenden Offenbarung ist eingerichtet, einen Zuverlässigkeitsgrad einer ermittelten Position eines Objekts, die auf Grundlage eines Kamerabilds ermittelt wird, zu ermitteln, wobei die Zuverlässigkeitsgrad-Ermittlungseinrichtung aufweist: eine Merkmalsmenge-Berechnungseinheit zum Berechnen einer Merkmalsmenge des Objekts auf Grundlage einer Merkmalspunktinformation über mehrere Merkmalspunkte des Objekts in dem Kamerabild; und eine Zuverlässigkeitsgrad-Berechnungseinheit zum Berechnen des Zuverlässigkeitsgrades auf Grundlage der von der Merkmalsmenge-Berechnungseinheit berechneten Merkmalsmenge.A degree of reliability determination device according to the present disclosure is set up to determine a degree of reliability of a determined position of an object, which is determined based on a camera image, the degree of reliability determination device comprising: a feature amount calculation unit for calculating a feature amount of the object based on a feature point information about a plurality of feature points of the object in the camera image; and a degree of reliability calculation unit for calculating the degree of reliability based on the amount of features calculated by the amount of features calculation unit.

VORTEILHAFTE WIRKUNGEN DER ERFINDUNGADVANTAGEOUS EFFECTS OF THE INVENTION

Gemäß der vorliegenden Offenbarung kann die Zuverlässigkeit des Zuverlässigkeitsgrades selbst einer ermittelten Position verbessert werden.According to the present disclosure, the reliability of the degree of reliability even of a detected position can be improved.

KURZBESCHREIBUNG DER ZEICHNUNGENBRIEF DESCRIPTION OF THE DRAWINGS

1 12 is a block diagram showing the configuration of a position detecting system according to Embodiment 1;
2 12 is a flowchart showing a reliability degree determination method implemented by a position determination device according to Embodiment 1;
3 12 is a flowchart showing the details of a feature amount calculation process in the reliability determination method implemented by the position determination device according to Embodiment 1; and
4A 12 is a block diagram showing a hardware configuration for implementing the functions of the position detection device according to Embodiment 1, and 4B Fig. 13 is a block diagram showing a hardware configuration for executing software that implements the functions of the position detection device according to Embodiment 1.

BESCHREIBUNG DER AUSFÜHRUNGSFORMENDESCRIPTION OF THE EMBODIMENTS

Nachfolgend werden Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf die beigefügten Zeichnungen erläutert, um die vorliegende Offenbarung näher zu erläutern.Hereinafter, embodiments of the present disclosure will be explained with reference to the accompanying drawings to further explain the present disclosure.

Ausführungsform 1.Embodiment 1.

1 ist ein Blockdiagramm, das die Konfiguration eines Position-Ermittlungssystems 100 gemäß Ausführungsform 1 zeigt. Wie in 1 dargestellt, umfasst das Position-Ermittlungssystem 100 eine Position-Ermittlungseinrichtung 1, N Kameras 2 (N ist eine positive ganze Zahl) und eine Speichereinrichtung 3. Die Position-Berechnungseinrichtung 1 umfasst eine Kameraauswahleinheit 40, eine Merkmalspunkt-Ermittlungseinheit 10, eine Zuverlässigkeitsgrad-Ermittlungseinrichtung 20 und eine Position-Berechnungseinheit 30. Die Zuverlässigkeitsgrad-Ermittlungseinrichtung 20 weist eine Merkmalsmenge-Berechnungseinheit 21 und eine Zuverlässigkeitsgrad-Berechnungseinheit 22 auf. 1 12 is a block diagram showing the configuration of a position detection system 100 according to Embodiment 1. FIG. As in 1 shown, the position determination system 100 comprises a position determination device 1, N cameras 2 (N is a positive integer) and a storage device 3. The position calculation device 1 comprises a camera selection unit 40, a feature point determination unit 10, a degree of reliability determination device 20 and a position calculation unit 30 . The degree of reliability determination device 20 has a feature amount calculation unit 21 and a degree of reliability calculation unit 22 .

Die N Kameras 2 umfassen die erste bis N-te Kamera 2. Jede der N Kameras 2 erfasst ein Bild eines Objekts, wodurch Kamerabilder (Kamerabilder D11 bis D1N) beschafft werden. Jede der N Kameras 2 gibt das dadurch beschaffte Kamerabild an die Kameraauswahleinheit 40 der Position-Ermittlungseinrichtung 1 aus.The N cameras 2 include the first to Nth cameras 2. Each of the N cameras 2 captures an image of an object, thereby acquiring camera images (camera images D11 to D1N). Each of the N cameras 2 outputs the camera image thus obtained to the camera selection unit 40 of the position determination device 1 .

Die Kameraauswahleinheit 40 wählt mindestens ein Kamerabild D2 aus den mehreren Kamerabildern aus. Konkreter wählt die Kameraauswahleinheit 40 in Ausführungsform 1 mindestens ein Kamerabild D2 aus den durch die N Kameras 2 beschafften mehreren Kamerabildern D11 bis D1N aus. Die Details der Konfiguration der Kameraauswahleinheit 40 werden später beschrieben. Die Kameraauswahleinheit 40 gibt das so ausgewählte Kamerabild D2 an die Merkmalspunkt-Ermittlungseinheit 10 und die Merkmalsmenge-Berechnungseinheit 21 aus.The camera selection unit 40 selects at least one camera image D2 from the plurality of camera images. More specifically, in Embodiment 1, the camera selection unit 40 selects at least one camera image D2 from the multiple camera images D11 to D1N acquired by the N cameras 2 . The details of the configuration of the camera selection unit 40 will be described later. The camera selection unit 40 outputs the camera image D2 thus selected to the feature point determination unit 10 and the feature amount calculation unit 21 .

Die Merkmalspunkt-Ermittlungseinheit 10 ermittelt Teile von Merkmalspunktinformationen über mehrere Merkmalspunkte des Objekts auf der Grundlage des Kamerabildes. Konkreter ermittelt die Merkmalspunkt-Ermittlungseinheit 10 in Ausführungsform 1 Teile von Merkmalspunktinformationen auf der Grundlage des durch die Kameraauswahleinheit 40 ausgewählten Kamerabildes D2.The feature point acquisition unit 10 acquires pieces of feature point information about a plurality of feature points of the object based on the camera image. More specifically, in Embodiment 1, the feature point acquisition unit 10 acquires pieces of feature point information based on the camera image D2 selected by the camera selection unit 40 .

Konkreter speichert die Speichereinrichtung 3 in Ausführungsform 1 ein PVNet, das ein neuronales Faltungsnetzwerkmodell für die Erfassung einer Objektposition ist. Die Merkmalspunkt-Ermittlungseinheit 10 wendet PVNet, das in der Speichereinrichtung 3 gespeichert ist, auf das Kamerabild D2 an, das von der Kameraauswahleinheit 40 ausgewählt wurde, und ermittelt dadurch jede der ermittelten Positionen D3 der mehreren Merkmalspunkte, eine Varianz D4 einer Gruppe von Kandidatenpunkten aus den Merkmalspunkten und einen Objektbereich D5, der ein Bereich ist, der von dem Objekt in dem Kamerabild eingenommen wird, als die Teile der Merkmalspunktinformationen.More specifically, in Embodiment 1, the storage device 3 stores a PVNet, which is a convolutional neural network model for detecting an object position. The feature point acquisition unit 10 applies PVNet stored in the storage device 3 to the camera image D2 selected by the camera selection unit 40, and thereby acquires each of the acquired positions D3 of the plurality of feature points, a variance D4 of a group of candidate points the feature points and an object area D5, which is an area occupied by the object in the camera image, as the pieces of feature point information.

Die Merkmalspunkt-Ermittlungseinheit 10 gibt jede der ermittelten Positionen D3 der mehreren Merkmalspunkte, die dadurch ermittelt wird, an die Position-Berechnungseinheit 30 aus. Die Merkmalspunkt-Ermittlungseinheit 10 gibt auch jede der ermittelten Positionen D3 der mehreren Merkmalspunkte, die Varianz D4 der Gruppe von Kandidatenpunkten aus den Merkmalspunkten und den Objektbereich D5, die dadurch ermittelt werden, an die Merkmalsmenge-Berechnungseinheit 21 aus.The feature point determination unit 10 outputs each of the determined positions D3 of the plurality of feature points thus determined to the position calculation unit 30 . The feature point determination unit 10 also outputs to the feature amount calculation unit 21 each of the determined positions D3 of the plurality of feature points, the variance D4 of the group of candidate points from the feature points, and the object area D5 determined thereby.

Die Merkmalsmenge-Berechnungseinheit 21 berechnet eine Merkmalsmenge des Objekts auf der Grundlage der Teile von Merkmalspunktinformationen über die mehreren Merkmalspunkte des Objekts in dem Kamerabild. Konkreter berechnet die Merkmalsmenge-Berechnungseinheit 21 in Ausführungsform 1 eine Merkmalsmenge des Objekts auf der Grundlage der Teile von Merkmalspunktinformationen, die von der Merkmalspunkt-Ermittlungseinheit 10 ermittelt werden.The feature amount calculation unit 21 calculates a feature amount of the object based on the pieces of feature point information about the multiple feature points of the object in the camera image. More specifically, in Embodiment 1, the feature amount calculation unit 21 calculates a feature amount of the object based on the pieces of feature point information acquired by the feature point acquisition unit 10 .

Konkreter umfasst die Merkmalsmenge-Berechnungseinheit 21 in Ausführungsform 1 m Merkmalsmenge-Berechnungseinheiten von einer ersten Merkmalsmenge-Berechnungseinheit 201 bis zu einer m-ten Merkmalsmenge-Berechnungseinheit 20m.More specifically, in Embodiment 1, the feature amount calculation unit 21 includes m feature amount calculation units from a first feature amount calculation unit 201 to an m-th feature amount calculation unit 20m.

Die erste Merkmalsmenge-Berechnungseinheit 201 berechnet eine Merkmalsmenge D61 des Objekts auf der Grundlage der Varianz D4 der Gruppe von Kandidatenpunkten aus den Merkmalspunkten, die von der Merkmalspunkt-Ermittlungseinheit 10 ermittelt wird. In Ausführungsform 1 ist die von der ersten Merkmalsmenge-Berechnungseinheit 201 berechnete Merkmalsmenge D61 proportional zum Kehrwert der Varianz D4 der Gruppe von Kandidatenpunkten aus den Merkmalspunkten. Mit anderen Worten ist die von der ersten Merkmalsmenge-Berechnungseinheit 201 berechnete Merkmalsmenge D61 umgekehrt proportional zu der Varianz D4 der Gruppe von Kandidatenpunkten aus den Merkmalspunkten. Die erste Merkmalsmenge-Berechnungseinheit 201 gibt die dadurch berechnete Merkmalsmenge D61 an die Zuverlässigkeitsgrad-Berechnungseinheit 22 aus.The first feature amount calculation unit 201 calculates a feature amount D61 of the object based on the variance D4 of the group of candidate points from the feature points obtained by the feature point acquisition unit 10 . In Embodiment 1, the feature amount D61 calculated by the first feature amount calculation unit 201 is proportional to the reciprocal of the variance D4 of the group of candidate points out of the feature points. In other words, the feature amount D61 calculated by the first feature amount calculation unit 201 is inversely proportional to the variance D4 of the group of candidate points out of the feature points. The first feature amount calculation unit 201 outputs the feature amount D61 calculated thereby to the reliability degree calculation unit 22 .

Die zweite Merkmalsmenge-Berechnungseinheit 202 berechnet eine Merkmalsmenge D62, die eine Funktion des Empfangens eines Bereichs, der aus den mehreren Merkmalspunkten besteht, und des Objektbereichs als Eingabe ist, auf der Grundlage jeder der ermittelten Positionen D3 der mehreren Merkmalspunkte und des Objektbereichs D5, die von der Merkmalspunkt-Ermittlungseinheit 10 ermittelt werden. In Ausführungsform 1 berechnet die zweite Merkmalsmenge-Berechnungseinheit 202 das Verhältnis der Fläche einer konvexen Oberfläche, die aus den mehreren Merkmalspunkten besteht, zur Fläche des Objektbereichs auf der Grundlage jeder der ermittelten Positionen D3 der mehreren Merkmalspunkte und des Objektbereichs D5, die von der Merkmalspunkt-Ermittlungseinheit 10 ermittelt werden, und berechnet entweder eine Merkmalsmenge, die proportional zum Kehrwert des dadurch berechneten Flächenverhältnisses ist, oder eine Merkmalsmenge D62, die proportional zum Kehrwert der Differenz zwischen dem dadurch berechneten Flächenverhältnis und 1 ist. Die hier erwähnte „konvexe Oberfläche aus den mehreren Merkmalspunkten“ ist z. B. die größte konvexe Oberfläche, die von den mehreren Merkmalspunkten aufgespannt wird, oder die kleinste konvexe Oberfläche, die alle der mehreren Merkmalspunkte enthält. Die zweite Merkmalsmenge-Berechnungseinheit 202 gibt die dadurch berechnete Merkmalsmenge D62 an die Zuverlässigkeitsgrad-Berechnungseinheit 22 aus.The second feature amount calculation unit 202 calculates a feature amount D62, which is a function of receiving an area composed of the plurality of feature points and the object area as input, based on each of the detected positions D3 of the plurality of feature points and the object area D5, the are determined by the feature point determination unit 10 . In Embodiment 1, the second feature amount calculation unit 202 calculates the ratio of the area of a convex surface composed of the multiple feature points to the area of the object area based on each of the detected positions D3 of the multiple feature points and the object area D5 obtained from the feature point determining unit 10, and calculates either a feature amount proportional to the reciprocal of the area ratio calculated thereby, or a feature amount D62 proportional to the reciprocal of the difference between the area ratio calculated thereby and 1. The “convex surface from the multiple feature points” mentioned here is e.g. B. the largest convex surface spanned by the multiple feature points, or the smallest convex surface containing all of the multiple feature points. The second feature amount calculation unit 202 outputs the feature amount D62 calculated thereby to the reliability degree calculation unit 22 .

Auf der Grundlage von mindestens einer der folgenden Informationen gilt: das von der Kameraauswahleinheit 40 ausgewählte Kamerabild D2 und jede der ermittelten Positionen D3 der mehreren Merkmalspunkte, die Varianz D4 der Gruppe von Kandidatenpunkten aus den Merkmalspunkten und der Objektbereich D5, die von der Merkmalspunkt-Ermittlungseinheit 10 ermittelt werden, jede der Merkmalsmenge-Berechnungseinheiten von der dritten Merkmalsmenge-Berechnungseinheit bis zur m-ten Merkmalsmenge-Berechnungseinheit 20m, die nicht dargestellt sind, berechnet eine Merkmalsmenge (eine entsprechende der Merkmalsmengen D63 bis D6m), die aus mindestens der einen Information berechnet werden können. Jede der Merkmalsmenge-Berechnungseinheiten von der dritten Merkmalsmenge-Berechnungseinheit bis zur m-ten Merkmalsmenge-Berechnungseinheit 20m, die nicht dargestellt sind, gibt die dadurch berechnete Merkmalsmenge an die Zuverlässigkeitsgrad-Berechnungseinheit 22 aus.Based on at least one of the following information: the camera image D2 selected by the camera selection unit 40 and each of the determined positions D3 of the plurality of feature points, the variance D4 of the group of candidate points from the feature points, and the object area D5 determined by the feature point determination unit 10 are determined, each of the feature amount calculation units from the third feature amount calculation unit to the m-th feature amount calculation unit 20m, which are not shown, calculates a feature amount (a corresponding one of the feature amounts D63 to D6m) calculated from at least one piece of information can become. Each of the feature amount calculation units from the third feature amount calculation unit to the m-th feature amount calculation unit 20m, which are not illustrated, outputs the feature amount calculated thereby to the reliability degree calculation unit 22.

Die Zuverlässigkeitsgrad-Berechnungseinheit 22 berechnet den Zuverlässigkeitsgrad der ermittelten Position des Objekts auf der Grundlage der Merkmalsmengen, die von der Merkmalsmenge-Berechnungseinheit 21 berechnet werden. In Ausführungsform 1 berechnet die Zuverlässigkeitsgrad-Berechnungseinheit 22 genauer einen Zuverlässigkeitsgrad D7, der mit einem Ermittlungsfehler der ermittelten Position des Objekts korreliert ist (z.B. einen Zuverlässigkeitsgrad D7, der eine positive Korrelation mit dem Ermittlungsfehler aufweist), auf der Grundlage der von der Merkmalsmenge-Berechnungseinheit 21 berechneten mehreren Merkmalsmengen (die Merkmalsmengen D61 bis D6m).The degree of reliability calculation unit 22 calculates the degree of reliability of the detected position of the object based on the feature amounts calculated by the feature amount calculation unit 21 . More specifically, in Embodiment 1, the reliability degree calculation unit 22 calculates a reliability degree D7 that is correlated with a detection error of the detected position of the object (e.g., a reliability degree D7 that has a positive correlation with the detection error) based on that from the feature amount calculation unit 21 calculated multiple feature sets (feature sets D61 to D6m).

In Ausführungsform 1 speichert die Speichereinrichtung 3 das neuronale Netzwerkmodell zur Berechnung eines Zuverlässigkeitsgrades aus den Merkmalsmengen. Die Zuverlässigkeitsgrad-Berechnungseinheit 22 wendet das in der Speichereinrichtung 3 gespeicherte neuronale Netzwerkmodell auf die von der Merkmalsmenge-Berechnungseinheit 21 berechneten mehreren Merkmalsmengen (die Merkmalsmengen D61 bis D6m) an, wodurch ein Zuverlässigkeitsgrad D7 berechnet wird, der umgekehrt proportional zum Ermittlungsfehler der ermittelten Position des Objekts ist. Die Zuverlässigkeitsgrad-Berechnungseinheit 22 gibt den dadurch berechneten Zuverlässigkeitsgrad D7 an die Kameraauswahleinheit 40 und an die Außenseite der Position-Ermittlungseinrichtung 1 aus.In Embodiment 1, the storage device 3 stores the neural network model for calculating a degree of reliability from the feature amounts. The reliability degree calculation unit 22 applies the neural network model stored in the storage device 3 to the plurality of feature amounts (the feature amounts D61 to D6m) calculated by the feature amount calculation unit 21, thereby calculating a reliability degree D7 which is inversely proportional to the detection error of the detected position of the object is. The reliability degree calculation unit 22 outputs the reliability degree D7 thus calculated to the camera selection unit 40 and to the outside of the position determination device 1 .

Die oben erwähnte Kameraauswahleinheit 40 wählt aus den N Kamerabildern D11 bis D1N mindestens ein Kamerabild D2 auf der Grundlage des von der Zuverlässigkeitsgrad-Berechnungseinheit 22 berechneten Zuverlässigkeitsgrads D7 aus. Die Kameraauswahleinheit 40 gibt das so ausgewählte Kamerabild D2 auf der Grundlage des Zuverlässigkeitsgrades D7 an die Merkmalspunkt-Ermittlungseinheit 10 und die Merkmalsmenge-Berechnungseinheit 21 aus.The above-mentioned camera selection unit 40 selects at least one camera image D2 from the N camera images D11 to D1N based on the reliability level D7 calculated by the reliability level calculation unit 22 . The camera selection unit 40 outputs the thus selected camera image D2 to the feature point determination unit 10 and the feature amount calculation unit 21 based on the degree of reliability D7.

Die Position-Berechnungseinheit 30 berechnet eine ermittelte Position D8 des Objekts auf der Grundlage der Teile von Merkmalspunktinformationen, die von der Merkmalspunkt-Ermittlungseinheit 10 ermittelt werden. In Ausführungsform 1 speichert die Speichereinrichtung 3 die Positionen der Merkmalspunkte des Objekts. Die Position-Berechnungseinheit 30 berechnet die ermittelte Position D8 des Objekts durch Lösen eines PnP-Problems auf der Grundlage jeder der ermittelten Positionen D3 der mehreren Merkmalspunkte, die von der Merkmalspunkt-Ermittlungseinheit 10 ermittelt wird, und der Positionen der Merkmalspunkte des Objekts, die von der Speichereinrichtung 3 gespeichert werden. Als Beispiel für die von der Position-Berechnungseinheit 30 berechnete ermittelte Position D8 wird die dreidimensionale Position (die dreidimensionale Körperhaltung) des Objekts oder dergleichen bereitgestellt. Die Position-Berechnungseinheit 30 gibt die dadurch berechnete ermittelte Position D8 an die Außenseite der Position-Ermittlungseinrichtung 1 aus.The position calculation unit 30 calculates an estimated position D8 of the object based on the pieces of feature point information acquired by the feature point acquisition unit 10 . In Embodiment 1, the storage device 3 stores the positions of the feature points of the object. The position calculation unit 30 calculates the detected position D8 of the object by solving a PnP problem based on each of the detected positions D3 of the plurality of feature points detected by the feature point detection unit 10 and the positions of the feature points of the object detected by of the storage device 3 are stored. As an example of the estimated position D8 calculated by the position calculation unit 30, the three-dimensional position (three-dimensional posture) of the object or the like is provided. The position calculation unit 30 outputs the determined position D8 thus calculated to the outside of the position determination device 1 .

Der von der Zuverlässigkeitsgrad-Berechnungseinheit 22 nach außen abgegebene Zuverlässigkeitsgrad D7 der Position-Ermittlungseinrichtung 1 wird z.B. für eine Evaluierung der von der Position-Berechnungseinheit 30 nach außen abgegebenen ermittelten Position D8 der Position-Ermittlungseinrichtung 1 verwendet.The degree of reliability D7 of the position determination device 1 output by the degree of reliability calculation unit 22 is used, for example, for an evaluation of the determined position D8 of the position determination device 1 output by the position calculation unit 30 .

Nachfolgend wird der Betrieb der Position-Ermittlungseinrichtung 1 gemäß Ausführungsform 1 anhand der Zeichnungen erläutert. 2 ist ein Ablaufschema, das ein Zuverlässigkeitsgrad-Ermittlungsverfahren, das durch die Position-Ermittlungseinrichtung 1 implementiert wird, gemäß Ausführungsform 1 zeigt. Es wird davon ausgegangen, dass jede der N Kameras 2 ein Kamerabild beschafft, indem sie ein Bild eines Objekts erfasst, und das so beschaffte Kamerabild vor jedem Schritt, der im Folgenden erläutert wird, an die Kameraauswahleinheit 40 ausgibt.Next, the operation of the position detection device 1 according to Embodiment 1 will be explained with reference to the drawings. 2 FIG. 12 is a flowchart showing a reliability degree determination method implemented by the position determination device 1 according to Embodiment 1. FIG. It is assumed that each of the N cameras 2 acquires a camera image by capturing an image of an object, and outputs the camera image thus acquired to the camera selection unit 40 before each step explained below.

Wie in 2 gezeigt, wählt die Kameraauswahleinheit 40 mindestens ein Kamerabild D2 aus den mehreren Kamerabildern aus (Schritt ST1). Die Kameraauswahleinheit 40 gibt das so ausgewählte Kamerabild D2 an die Merkmalspunkt-Ermittlungseinheit 10 und die Merkmalsmenge-Berechnungseinheit 21 aus.As in 2 1, the camera selection unit 40 selects at least one camera image D2 from the plurality of camera images (step ST1). The camera selection unit 40 outputs the camera image D2 thus selected to the feature point determination unit 10 and the feature amount calculation unit 21 .

Wenn der Zuverlässigkeitsgrad D7 nicht in einem Prozess des Schrittes ST4, der später erwähnt wird, berechnet wurde, wählt die Kameraauswahleinheit 40 in Schritt ST1 ein beliebiges Kamerabild D2 aus den mehreren Kamerabildern aus. Wenn im Gegensatz dazu der Zuverlässigkeitsgrad D7 in einem Prozess des Schrittes ST4, der später erwähnt wird, berechnet wurde, wählt die Kameraauswahleinheit 40 in Schritt ST1 zumindest ein Kamerabild D2 aus den N Kamerabildern D11 bis D1N auf der Grundlage des Zuverlässigkeitsgrades D7 aus.If the degree of reliability D7 has not been calculated in a process of step ST4 mentioned later, the camera selection unit 40 selects an arbitrary camera image D2 from the plurality of camera images in step ST1. In contrast, when the reliability degree D7 has been calculated in a process of step ST4 mentioned later, the camera selection unit 40 selects at least one camera image D2 from the N camera images D11 to D1N based on the reliability degree D7 in step ST1.

Als nächstes ermittelt die Merkmalspunkt-Ermittlungseinheit 10 jede der ermittelten Positionen D3 der mehreren Merkmalspunkte, eine Varianz D4 einer Gruppe von Kandidatenpunkten aus den Merkmalspunkten und einen Objektbereich D5 als Teile von Merkmalspunktinformationen auf der Grundlage des durch die Kameraauswahleinheit 40 ausgewählten Kamerabildes D2 (Schritt ST2). Die Merkmalspunkt-Ermittlungseinheit 10 gibt sowohl die ermittelten Positionen D3 der mehreren Merkmalspunkte, die Varianz D4 der Gruppe von Kandidatenpunkten aus den Merkmalspunkten als auch den Objektbereich D5, die dadurch ermittelt werden, an die Merkmalsmenge-Berechnungseinheit 21 aus.Next, the feature point acquisition unit 10 acquires each of the acquired positions D3 of the plurality of feature points, a variance D4 of a group of candidate points from the feature points, and an object area D5 as pieces of feature point information based on the camera image D2 selected by the camera selection unit 40 (step ST2) . The feature point determination unit 10 outputs to the feature amount calculation unit 21 the determined positions D3 of the plurality of feature points, the variance D4 of the group of candidate points from the feature points, and the object area D5 determined thereby.

Als nächstes berechnet die Merkmalsmenge-Berechnungseinheit 21 die Merkmalsmengen D61 bis D6m des Objekts auf der Grundlage mindestens eines Teils einer Information in der Merkmalsmenge-Berechnungseinheit 21 aus dem von der Kameraauswahleinheit 40 ausgewählten Kamerabild D2 und jede der ermittelten Positionen D3 der mehreren Merkmalspunkte, der Varianz D4 der Gruppe von Kandidatenpunkten aus den Merkmalspunkten und der Objektregion D5, die von der Merkmalspunkt-Ermittlungseinheit 10 ermittelt werden (Schritt ST3). Die Merkmalsmenge-Berechnungseinheit 21 gibt die dadurch berechneten Merkmalsmengen D61 bis D6m an die Zuverlässigkeitsgrad-Berechnungseinheit 22 aus.Next, the feature amount calculation unit 21 calculates the feature amounts D61 to D6m of the object based on at least a piece of information in the feature amount calculation unit 21 from the camera image D2 selected by the camera selection unit 40 and each of the detected positions D3 of the multiple feature points, the variance D4 of the group of candidate points from the feature points and the object region D5 detected by the feature point detection unit 10 (step ST3). The feature amount calculation unit 21 outputs the feature amounts D61 to D6m calculated thereby to the reliability degree calculation unit 22 .

Als nächstes berechnet die Zuverlässigkeitsgrad-Berechnungseinheit 22 einen Zuverlässigkeitsgrad D7, der mit einem Ermittlungsfehler der ermittelten Position des Objekts korreliert ist, auf der Grundlage der von der Merkmalsmenge-Berechnungseinheit 21 berechneten Merkmalsmengen D61 bis D6m (Schritt ST4). Obwohl nicht dargestellt, führt die Position-Ermittlungseinrichtung 1 wiederholt die Reihe von Prozessen der oben erwähnten Schritte ST1 bis ST4 durch.Next, the reliability degree calculation unit 22 calculates a reliability degree D7 correlated with a detection error of the detected position of the object based on the feature amounts D61 to D6m calculated by the feature amount calculation unit 21 (step ST4). Although not shown, the position detecting device 1 repeatedly performs the series of processes of the above-mentioned steps ST1 to ST4.

Nachfolgend werden Einzelheiten von Schritt ST3 erläutert. 3 ist ein Flussdiagramm, das die Einzelheiten eines Merkmalsmenge-Berechnungsverfahrens in Schritt ST3 zeigt.Details of step ST3 will be explained below. 3 14 is a flowchart showing the details of a feature amount calculation process in step ST3.

Wie in 3 gezeigt, berechnet die erste Merkmalsmenge-Berechnungseinheit 201 auf der Grundlage der Varianz D4 der Gruppe von Kandidatenpunkten aus den Merkmalspunkten, die von der Merkmalspunkt-Ermittlungseinheit 10 ermittelt werden, eine Merkmalsmenge D61 des Objekts, die proportional zum Kehrwert der Varianz D4 ist (Schritt ST31). Die erste Merkmalsmenge-Berechnungseinheit 201 gibt die dadurch berechnete Merkmalsmenge D61 an die Zuverlässigkeitsgrad-Berechnungseinheit 22 aus.As in 3 1, the first feature amount calculation unit 201 calculates a feature amount D61 of the object, which is proportional to the reciprocal of the variance D4, based on the variance D4 of the group of candidate points from among the feature points acquired by the feature point acquisition unit 10 (step ST31 ). The first feature amount calculation unit 201 outputs the feature amount D61 calculated thereby to the reliability degree calculation unit 22 .

Die zweite Merkmalsmenge-Berechnungseinheit 202 berechnet das Verhältnis der Fläche einer konvexen Oberfläche, die aus den mehreren Merkmalspunkten besteht, zur Fläche des Objektbereichs auf der Grundlage jeder der ermittelten Positionen D3 der mehreren Merkmalspunkte und des Objektbereichs D5, die von der Merkmalspunkt-Ermittlungseinheit 10 ermittelt werden, und berechnet entweder eine Merkmalsmenge, die proportional zum Kehrwert des dadurch berechneten Flächenverhältnisses ist, oder eine Merkmalsmenge D62, die proportional zum Kehrwert der Differenz zwischen dem dadurch berechneten Flächenverhältnis und 1 ist (Schritt ST32). Die zweite Merkmalsmenge-Berechnungseinheit 202 gibt die dadurch berechnete Merkmalsmenge D62 an die Zuverlässigkeitsgrad-Berechnungseinheit 22 aus.The second feature amount calculation unit 202 calculates the ratio of the area of a convex surface composed of the multiple feature points to the area of the object area based on each of the detected positions D3 of the multiple feature points and the object area D5 detected by the feature point detection unit 10 and calculates either a feature amount proportional to the reciprocal of the area ratio thereby calculated or a feature amount D62 proportional to the reciprocal of the difference between the area ratio thereby calculated and 1 (step ST32). The second feature amount calculation unit 202 outputs the feature amount D62 calculated thereby to the reliability degree calculation unit 22 .

Jede der Merkmalsmenge-Berechnungseinheiten von der dritten Merkmalsmenge-Berechnungseinheit bis zur m-ten Merkmalsmenge-Berechnungseinheit 20m berechnet die entsprechende der anderen Merkmalsmengen D63 bis D6m auf der Grundlage mindestens eines Teils von Informationen aus dem von der Kameraauswahleinheit 40 ausgewählten Kamerabild D2 und jeder der ermittelten Positionen D3 der mehreren Merkmalspunkte, der Varianz D4 der Gruppe von Kandidatenpunkten aus den Merkmalspunkten und der Objektregion D5, die von der Merkmalspunkt-Ermittlungseinheit 10 ermittelt werden (Schritt ST33). Jede der Merkmalsmenge-Berechnungseinheiten von der dritten Merkmalsmenge-Berechnungseinheit bis zur m-ten Merkmalsmenge-Berechnungseinheit 20m gibt die dadurch berechnete Merkmalsmenge an die Zuverlässigkeitsgrad-Berechnungseinheit 22 aus.Each of the feature amount calculation units from the third feature amount calculation unit to the mth feature amount calculation unit 20m calculates the corresponding one of the other feature amounts D63 to D6m based on at least a piece of information from the camera image D2 selected by the camera selection unit 40 and each of the acquired ones Positions D3 of the multiple feature points, the variance D4 of the group of candidate points from the feature points, and the object region D5 obtained by the feature point obtaining unit 10 (step ST33). Each of the feature amount calculation units from the third feature amount calculation unit to the m-th feature amount calculation unit 20m outputs the feature amount calculated thereby to the reliability degree calculation unit 22 .

Nachfolgend wird ein konkretes Beispiel für das Kameraauswahlverfahren (Schritt ST1) in dem Zuverlässigkeitsgrad-Ermittlungsverfahren, das von der Position-Ermittlungseinrichtung 1 gemäß Ausführungsform 1 implementiert wird, im Detail erläutert. Es wird davon ausgegangen, dass der Prozess des Schrittes ST1, der im Folgenden erläutert wird, erneut durchgeführt wird, nachdem die Reihe von Prozessen der Schritte ST1 bis ST4 ein oder mehrere Male durchgeführt wurde.A concrete example of the camera selection process (step ST1 ) in the reliability degree detection process implemented by the position detection device 1 according to Embodiment 1 will be explained in detail below. It is assumed that the process of step ST1 explained below is performed again after the series of processes of steps ST1 to ST4 are performed one or more times.

Im konkreten Beispiel wählt die Kameraauswahleinheit 40 in Schritt ST1 aus den N Kamerabildern D11 bis D1N mindestens ein Kamerabild D2 auf der Grundlage des von der Zuverlässigkeitsgrad-Berechnungseinheit 22 im oben erwähnten Schritt ST4 berechneten Zuverlässigkeitsgrad D7 aus. Genauer wählt die Kameraauswahleinheit 40 im konkreten Beispiel auf der Grundlage der N Kamerabilder D11 bis D1N und des von der Zuverlässigkeitsgrad-Berechnungseinheit 22 berechneten Zuverlässigkeitsgrades D7 entweder einen Modus zur Durchführung einer nachfolgenden Positionsermittlung unter Verwendung eines Kamerabildes oder einen Modus zur Durchführung einer Positionsermittlung unter Verwendung aller Kamerabilder in der Reihenfolge aus.In the concrete example, the camera selection unit 40 selects at least one camera image D2 from the N camera images D11 to D1N in step ST1 based on the reliability degree D7 calculated by the reliability degree calculation unit 22 in step ST4 mentioned above. More specifically, in the concrete example, the camera selection unit 40 selects either a mode for performing subsequent position detection using one camera image or a mode for performing position detection using all based on the N camera images D11 to D1N and the confidence level D7 calculated by the confidence level calculation unit 22 camera images in order.

Im konkreten Beispiel wählt die Kameraauswahleinheit 40 im Schritt ST1 konkreter ein Kamerabild D2 der Kamera 2 aus, das dem zuletzt ausgewählten Kamerabild entspricht, wenn der von der Zuverlässigkeitsgrad-Berechnungseinheit 22 berechnete Zuverlässigkeitsgrad D7 größer als oder gleich wie ein Schwellenwert ist. Mit anderen Worten, wenn der von der Zuverlässigkeitsgrad-Berechnungseinheit 22 berechnete Zuverlässigkeitsgrad D7 größer als oder gleich wie der Schwellenwert ist, wählt die Kameraauswahleinheit 40 ein Kamerabild D2 von der Kamera 2 aus, die das zuletzt ausgewählte Kamerabild aufgenommen hat. In diesem Fall ermittelt die Merkmalspunkt-Ermittlungseinheit 10 in dem oben erwähnten Schritt ST2 wie vorstehend erwähnt die Teile von Merkmalspunktinformationen auf der Grundlage des durch die Kameraauswahleinheit 40 ausgewählten Kamerabildes D2.More specifically, in the concrete example, the camera selection unit 40 selects a camera image D2 of the camera 2 corresponding to the last selected camera image in step ST1 when the confidence level D7 calculated by the confidence level calculation unit 22 is greater than or equal to a threshold. In other words, when the confidence level D7 calculated by the confidence level calculation unit 22 is greater than or equal to the threshold value, the camera selection unit 40 selects a camera image D2 from the camera 2 that captured the last selected camera image. In this case, the feature point acquisition unit 10 acquires the pieces of feature point information based on the camera image D2 selected by the camera selection unit 40 in the above-mentioned step ST2 as mentioned above.

Wenn dagegen der von der Zuverlässigkeitsgrad-Berechnungseinheit 22 berechnete Zuverlässigkeitsgrad unter dem Schwellenwert liegt, wählt die Kameraauswahleinheit 40 in Schritt ST1 alle der N Kamerabilder D11 bis D1N aus. Wenn die Kameraauswahleinheit 40 in Schritt ST1 alle der N Kamerabilder D11 bis D1N auswählt, ermittelt die Merkmalspunkt-Ermittlungseinheit 10 dann in dem oben erwähnten Schritt ST2 die Teile von Merkmalspunktinformationen für jedes der Kamerabilder.On the other hand, when the confidence level calculated by the confidence level calculation unit 22 is below the threshold value, the camera selection unit 40 selects all of the N camera images D11 to D1N in step ST1. When the camera selection unit 40 selects all of the N camera images D11 to D1N in step ST1, the feature point obtaining unit 10 then obtains the pieces of feature point information for each of the camera images in step ST2 mentioned above.

Als nächstes berechnet die Merkmalsmenge-Berechnungseinheit 21 im oben erwähnten Schritt ST3 die Merkmalsmengen des Objekts für jedes der Kamerabilder auf der Grundlage der durch die Merkmalspunkt-Ermittlungseinheit 10 in Schritt ST2 ermittelten Teile von Merkmalspunktinformation für jedes der Kamerabilder.Next, in the above-mentioned step ST3, the feature amount calculation unit 21 calculates the feature amounts of the object for each of the camera images based on the pieces of feature point information for each of the camera images acquired by the feature point acquisition unit 10 in step ST2.

Als nächstes berechnet die Zuverlässigkeitsgrad-Berechnungseinheit 22 im oben erwähnten Schritt ST4 den Zuverlässigkeitsgrad der ermittelten Position des Objekts für jedes der Kamerabilder auf der Grundlage der Merkmalsmengen, die von der Merkmalsmenge-Berechnungseinheit 21 für jedes der Kamerabilder berechnet werden.Next, in the above-mentioned step ST4, the degree of reliability calculation unit 22 calculates the degree of reliability of the detected position of the object for each of the camera images based on the feature amounts calculated by the feature amount calculation unit 21 for each of the camera images.

Als nächstes kehrt die Position-Ermittlungseinrichtung 1 zu dem Prozess des vorstehend erwähnten Schritts ST1 zurück und wenn die Zuverlässigkeitsgrad-Berechnungseinheit 22 den Zuverlässigkeitsgrad für jedes der Kamerabilder berechnet, wählt die Kameraauswahleinheit 40 mindestens ein Kamerabild D2 aus den N Kamerabildern D11 bis D1N auf der Grundlage des höchsten von der Zuverlässigkeitsgrad-Berechnungseinheit 22 berechneten Zuverlässigkeitsgrades für jedes der Kamerabilder aus. Im Detail gilt, wenn die Zuverlässigkeitsgrad-Berechnungseinheit 22 den Zuverlässigkeitsgrad für jedes der Kamerabilder berechnet, wählt die Kameraauswahleinheit 40 beispielsweise das von der Kamera 2 erfasste Kamerabild D2 entsprechend des höchsten von der Zuverlässigkeitsgrad-Berechnungseinheit 22 berechneten Zuverlässigkeitsgrades für jedes der Kamerabilder aus.Next, the position determiner 1 returns to the process of the above-mentioned step ST1, and when the reliability degree calculation unit 22 calculates the reliability degree for each of the camera images, the camera selection unit 40 selects at least one camera image D2 from the N camera images D11 to D1N based on that of the highest degree of reliability calculated by the degree of reliability calculation unit 22 for each of the camera images. In detail, when the reliability degree calculation unit 22 calculates the reliability degree for each of the camera images, the camera selection unit 40 selects, for example, the camera image D2 captured by the camera 2 according to the highest reliability degree calculated by the reliability degree calculation unit 22 for each of the camera images.

Jede der Funktionen der Kameraauswahleinheit 40, der Merkmalspunkt-Ermittlungseinheit 10, der Merkmalsmenge-Berechnungseinheit 21 und der Zuverlässigkeitsgrad-Berechnungseinheit 22 der Zuverlässigkeitsgrad-Ermittlungseinrichtung 20 sowie der Position-Berechnungseinheit 30, die in der Position-Ermittlungseinrichtung 1 enthalten sind, wird durch eine Verarbeitungsschaltung implementiert. Genauer gesagt enthält die Position-Ermittlungseinrichtung 1 eine Verarbeitungsschaltung, um den Prozess jedes der in den 2 und 3 dargestellten Schritte durchzuführen. Diese Verarbeitungsschaltung kann entweder zweckgebundene Hardware oder eine zentrale Verarbeitungseinheit (CPU), die ein in einem Speicher gespeichertes Programm ausführt, sein.Each of the functions of the camera selection unit 40, the feature point determination unit 10, the feature quantity calculation unit 21 and the reliability degree calculation unit 22 of the reliability degree determination device 20 and the position calculation unit 30, which are included in the position determination device 1, is performed by a processing circuit imple commented. More specifically, the position detecting device 1 includes a processing circuit to process each of the 2 and 3 carry out the steps shown. This processing circuitry can either be dedicated hardware or a central processing unit (CPU) executing a program stored in memory.

4A ist ein Blockdiagramm, das eine Hardwarekonfiguration zum Implementieren der Funktionen der Position-Ermittlungseinrichtung 1 zeigt. 4B ist ein Blockdiagramm, das eine Hardwarekonfiguration zum Ausführen von Software zeigt, welche die Funktionen der Position-Ermittlungseinrichtung 1 implementiert. 4A FIG. 14 is a block diagram showing a hardware configuration for implementing the functions of the position detecting device 1. FIG. 4B FIG. 14 is a block diagram showing a hardware configuration for executing software that implements the functions of the position detecting device 1. FIG.

Falls die oben erwähnte Verarbeitungsschaltung eine in 4A gezeigte Verarbeitungsschaltung 50 ist, die Hardware zur exklusiven Verwendung ist, ist die Verarbeitungsschaltung 50 beispielsweise eine einzelne Schaltung, eine zusammengesetzte Schaltung, ein programmierbarer Prozessor, ein parallel programmierbarer Prozessor, eine anwendungsspezifische integrierte Schaltung (Application Specific Integrated Circuit, ASIC), eine im Feld programmierbare Gatteranordnung (Field-Programmable Gate Array, FPGA) oder eine Kombination dieser Schaltungen.If the processing circuit mentioned above has an in 4A processing circuit 50 shown is exclusive-use hardware, processing circuit 50 is, for example, a single circuit, a composite circuit, a programmable processor, a parallel programmable processor, an Application Specific Integrated Circuit (ASIC), an in-field programmable gate array (FPGA) or a combination of these circuits.

Jede der Funktionen der Kameraauswahleinheit 40, der Merkmalspunkt-Ermittlungseinheit 10, der Merkmalsmenge-Berechnungseinheit 21 und der Zuverlässigkeitsgrad-Berechnungseinheit 22 der Zuverlässigkeitsgrad-Ermittlungseinrichtung 20 sowie der Position-Berechnungseinheit 30, die in der Position-Ermittlungseinrichtung 1 enthalten sind, können durch separate Verarbeitungsschaltungen implementiert sein oder diese Funktionen können gemeinsam durch eine einzelne Verarbeitungsschaltung implementiert sein.Each of the functions of the camera selection unit 40, the feature point determination unit 10, the feature quantity calculation unit 21 and the degree of reliability calculation unit 22 of the degree of reliability determination device 20 and the position calculation unit 30, which are included in the position determination device 1, can be performed by separate processing circuits be implemented or these functions can be implemented together by a single processing circuit.

Wenn die oben erwähnte Verarbeitungsschaltung ein in 4B gezeigter Prozessor 51 ist, wird jede der Funktionen der Kameraauswahleinheit 40, der Merkmalspunkt-Ermittlungseinheit 10, der Merkmalsmenge-Berechnungseinheit 21 und der Zuverlässigkeitsgrad-Berechnungseinheit 22 der Zuverlässigkeitsgrad-Ermittlungseinrichtung 20 sowie der Position-Berechnungseinheit 30, die in der Position-Ermittlungseinrichtung 1 enthalten sind, durch Software, Firmware oder eine Kombination aus Software und Firmware implementiert.If the processing circuit mentioned above is an in 4B shown processor 51, each of the functions of the camera selection unit 40, the feature point determination unit 10, the feature quantity calculation unit 21 and the reliability degree calculation unit 22 of the reliability degree determination device 20 and the position calculation unit 30 contained in the position determination device 1 are implemented by software, firmware, or a combination of software and firmware.

Die Software oder Firmware wird als Programm beschrieben und das Programm wird in einem Speicher 52 gespeichert.The software or firmware is described as a program and the program is stored in a memory 52 .

Der Prozessor 51 implementiert jede der Funktionen der Kameraauswahleinheit 40, der Merkmalspunkt-Ermittlungseinheit 10, der Merkmalsmenge-Berechnungseinheit 21 und der Zuverlässigkeitsgrad-Berechnungseinheit 22 der Zuverlässigkeitsgrad-Ermittlungseinrichtung 20 sowie der Position-Berechnungseinheit 30, die in der Position-Ermittlungseinrichtung 1 enthalten sind, durch Auslesen und Ausführen von in dem Speicher 52 gespeicherten Programmen. Genauer gesagt enthält die Position-Ermittlungseinrichtung 1 den Speicher 52, um Programme zu speichern, in denen der Prozess jedes der in den 2 und 3 dargestellten Schritte als Ergebnis durchgeführt wird, wenn jede dieser Funktionen vom Prozessor 51 ausgeführt wird.The processor 51 implements each of the functions of the camera selection unit 40, the feature point determination unit 10, the feature amount calculation unit 21 and the degree of reliability calculation unit 22 of the degree of reliability determination device 20 and the position calculation unit 30, which are contained in the position determination device 1, by reading and executing programs stored in memory 52. More specifically, the position detecting device 1 includes the memory 52 for storing programs in which the process of each of the 2 and 3 steps shown is performed as a result when each of these functions is performed by the processor 51.

Diese Programme veranlassen einen Computer, Abläufe oder Verfahren durchzuführen, von denen jede von der Kameraauswahleinheit 40, der Merkmalspunkt-Ermittlungseinheit 10, der Merkmalsmenge-Berechnungseinheit 21 und der Zuverlässigkeitsgrad-Berechnungseinheit 22 der Zuverlässigkeitsgrad-Ermittlungseinrichtung 20 sowie der Position-Berechnungseinheit 30, die in der Position-Ermittlungseinrichtung 1 enthalten sind, durchgeführt wird. Der Speicher 52 kann ein computerlesbares Speichermedium sein, in dem die Programme, die einen Computer veranlassen, als die Kameraauswahleinheit 40, die Merkmalspunkt-Ermittlungseinheit 10, die Merkmalsmenge-Berechnungseinheit 21 und die Zuverlässigkeitsgrad-Berechnungseinheit 22 der Zuverlässigkeitsgrad-Ermittlungseinrichtung 20 sowie die Position-Berechnungseinheit 30, die in der Position-Ermittlungseinrichtung 1 gespeichert sind, zu arbeiten.These programs cause a computer to perform processes or methods, each of which is selected from the camera selection unit 40, the feature point determination unit 10, the feature quantity calculation unit 21 and the reliability degree calculation unit 22 of the reliability degree determination device 20 and the position calculation unit 30, which are shown in the position determination device 1 are included, is carried out. The memory 52 can be a computer-readable storage medium in which the programs that cause a computer, as the camera selection unit 40, the feature point determination unit 10, the feature quantity calculation unit 21 and the reliability degree calculation unit 22 of the reliability degree determination device 20 and the position Calculation unit 30, which are stored in the position-determining device 1 to work.

Der Prozessor 51 ist zum Beispiel eine zentrale Verarbeitungseinheit (CPU), eine Verarbeitungseinrichtung, eine arithmetische Einrichtung, ein Prozessor, ein Mikroprozessor, ein Mikrocomputer, oder ein Digitalsignalprozessor (DSP).The processor 51 is, for example, a central processing unit (CPU), a processing device, an arithmetic device, a processor, a microprocessor, a microcomputer, or a digital signal processor (DSP).

Der Speicher 52 ist zum Beispiel ein nichtflüchtiger oder flüchtiger Halbleiterspeicher, wie z. B. ein Arbeitsspeicher (random access memory, RAM), ein Festwertspeicher (read only memory, ROM), ein Flash-Speicher, ein löschbarer programmierbarer ROM (erasable programmable ROM, EPROM) oder ein elektrischer EPROM (electrically EPROM, EEPROM), eine Magnetplatte, wie beispielsweise eine Festplatte oder eine flexible Platte, eine flexible Platte, eine optische Platte, eine Compact Disc, eine Mini-Disc oder eine DVD (digital versatile disc).The memory 52 is, for example, a non-volatile or volatile semiconductor memory, such as. B. a working memory (random access memory, RAM), a read only memory (ROM), a flash memory, an erasable programmable ROM (erasable programmable ROM, EPROM) or an electrical EPROM (electrically EPROM, EEPROM), a Magnetic disc such as a hard disc or a flexible disc, a flexible disc, an optical disc, a compact disc, a mini disc or a DVD (digital versatile disc).

Einige der Funktionen der Kameraauswahleinheit 40, der Merkmalspunkt-Ermittlungseinheit 10, der Merkmalsmenge-Berechnungseinheit 21 und der Zuverlässigkeitsgrad-Berechnungseinheit 22 der Zuverlässigkeitsgrad-Ermittlungseinrichtung 20 sowie der Position-Berechnungseinheit 30, die in der Position-Ermittlungseinrichtung 1 enthalten sind, können durch Hardware zur ausschließlichen Verwendung implementiert sein einige der Funktionen können durch Software oder Firmware implementiert sein.Some of the functions of the camera selection unit 40, the feature point determination unit 10, the feature quantity calculation unit 21 and the reliability degree calculation unit 22 of the reliability degree determination device 20 and the position calculation unit 30, which are described in of the position detecting device 1 may be implemented by hardware for exclusive use, some of the functions may be implemented by software or firmware.

Beispielsweise werden die Funktionen der Kameraauswahleinheit 40, der Merkmalspunkt-Ermittlungseinheit 10 und der Position-Berechnungseinheit 30 durch eine Verarbeitungsschaltung als Hardware zur ausschließlichen Verwendung implementiert. Die Funktionen der Merkmalsmenge-Berechnungseinheit 21 und der Zuverlässigkeitsgrad-Berechnungseinheit 22 der Zuverlässigkeitsgrad-Ermittlungseinrichtung 20 können durch das Lesen und Ausführen eines im Speicher 52 gespeicherten Programms durch den Prozessor 51 implementiert werden.For example, the functions of the camera selection unit 40, the feature point acquisition unit 10, and the position calculation unit 30 are implemented by a processing circuit as exclusive-use hardware. The functions of the feature quantity calculation unit 21 and the degree of reliability calculation unit 22 of the degree of reliability determiner 20 can be implemented by the processor 51 reading and executing a program stored in the memory 52 .

Auf diese Weise kann die Verarbeitungsschaltung jede der obengenannten Funktionen unter Verwendung von Hardware, Software, Firmware oder einer Kombination von Hardware, Software und Firmware implementieren.In this way, the processing circuitry can implement any of the above functions using hardware, software, firmware, or a combination of hardware, software, and firmware.

Wie oben erwähnt, umfasst die Zuverlässigkeitsgrad-Ermittlungseinrichtung 20 gemäß Ausführungsform 1, die den Zuverlässigkeitsgrad einer ermittelten Position eines Objekts ermittelt, wobei die Position auf der Grundlage eines Kamerabildes ermittelt wird, Folgendes: die Merkmalsmenge-Berechnungseinheit 21 zum Berechnen einer Merkmalsmenge des Objekts auf der Grundlage von Teilen von Merkmalspunktinformationen über mehrere Merkmalspunkte des Objekts in dem Kamerabild; und die Zuverlässigkeitsgrad-Berechnungseinheit 22 zum Berechnen des Zuverlässigkeitsgrades der ermittelten Position des Objekts auf der Grundlage der Merkmalsmenge, die von der Merkmalsmenge-Berechnungseinheit 21 berechnet wird.As mentioned above, the degree of reliability determiner 20 according to Embodiment 1, which determines the degree of reliability of a detected position of an object, the position being detected based on a camera image, includes: the feature amount calculation unit 21 for calculating a feature amount of the object on the based on pieces of feature point information about a plurality of feature points of the object in the camera image; and the degree of reliability calculation unit 22 for calculating the degree of reliability of the detected position of the object based on the feature amount calculated by the feature amount calculation unit 21 .

Gemäß der oben beschriebenen Konfiguration wird der Zuverlässigkeitsgrad der ermittelten Position des Objekts auf der Grundlage der Merkmalsmenge des Objekts berechnet, die aus den Teilen von Merkmalspunktinformationen berechnet wird. Da die Zuverlässigkeit des Zuverlässigkeitsgrades selbst der ermittelten Position nicht von der Zuverlässigkeit der ermittelten Position abhängt, kann die Zuverlässigkeit des Zuverlässigkeitsgrades der ermittelten Position selbst folglich verbessert werden, verglichen mit dem Fall, dass der Zuverlässigkeitsgrad direkt aus der ermittelten Position berechnet wird. So kann zum Beispiel auch bei der Eingabe eines Bildes, bei dem die Ermittlung der Position schwierig ist, die Zuverlässigkeit des Zuverlässigkeitsgrades selbst der ermittelten Position verbessert werden.According to the configuration described above, the degree of reliability of the detected position of the object is calculated based on the feature amount of the object calculated from the pieces of feature point information. Consequently, since the reliability of the degree of reliability of the detected position itself does not depend on the reliability of the detected position, the reliability of the degree of reliability of the detected position itself can be improved as compared with the case that the degree of reliability is calculated directly from the detected position. For example, even when inputting an image where it is difficult to detect the position, the reliability of the degree of reliability even of the detected position can be improved.

Die Teile von Merkmalspunktinformationen in der Zuverlässigkeitsgrad-Ermittlungseinrichtung 20 gemäß Ausführungsform 1 enthalten eine Varianz einer Gruppe von Kandidatenpunkten aus den Merkmalspunkten, und die Merkmalsmenge-Berechnungseinheit 21 berechnet die Merkmalsmenge des Objekts auf der Grundlage der Varianz der Gruppe von Kandidatenpunkten aus den Merkmalspunkten. The pieces of feature point information in the reliability degree determination device 20 according to Embodiment 1 include a variance of a group of candidate points from the feature points, and the feature amount calculation unit 21 calculates the feature amount of the object based on the variance of the group of candidate points from the feature points.

Gemäß der oben beschriebenen Konfiguration wird der Zuverlässigkeitsgrad der ermittelten Position des Objekts auf der Grundlage der Merkmalsmenge des Objekts berechnet, die aus der Varianz der Gruppe von Kandidatenpunkten aus den Merkmalspunkten berechnet wird. Als Folge kann die Zuverlässigkeit des Zuverlässigkeitsgrades selbst der ermittelten Position angemessen verbessert werden.According to the configuration described above, the degree of reliability of the detected position of the object is calculated based on the feature amount of the object calculated from the variance of the group of candidate points out of the feature points. As a result, the reliability of the degree of reliability even of the detected position can be appropriately improved.

Die Merkmalsmenge-Berechnungseinheit 21 in der Zuverlässigkeitsgrad-Ermittlungseinrichtung 20 gemäß Ausführungsform 1 berechnet eine Merkmalsmenge, die proportional zu dem Kehrwert der Varianz ist.The feature amount calculation unit 21 in the reliability degree determination device 20 according to Embodiment 1 calculates a feature amount proportional to the reciprocal of the variance.

Gemäß der oben beschriebenen Konfiguration wird der Zuverlässigkeitsgrad der ermittelten Position des Objekts auf der Grundlage der Merkmalsmenge, die proportional zu dem Kehrwert der Varianz ist, berechnet. Als Folge kann die Zuverlässigkeit des Zuverlässigkeitsgrades selbst der ermittelten Position angemessen verbessert werden.According to the configuration described above, the degree of reliability of the detected position of the object is calculated based on the feature amount that is proportional to the inverse of the variance. As a result, the reliability of the degree of reliability even of the detected position can be appropriately improved.

Die Teile von Merkmalspunktinformationen in der Zuverlässigkeitsgrad-Ermittlungseinrichtung 20 gemäß Ausführungsform 1 enthalten jeweils ermittelte Positionen der mehreren Merkmalspunkte und einen Objektbereich, der ein Bereich ist, der von dem Objekt in dem Kamerabild eingenommen wird, und die Merkmalsmenge-Berechnungseinheit 21 berechnet eine Merkmalsmenge, die eine Funktion des Empfangens, als eine Eingabe, eines Bereichs ist, der aus den mehreren Merkmalspunkten und dem Objektbereich besteht, auf der Grundlage jeder der ermittelten Positionen der mehreren Merkmalspunkte und des Objektbereichs.The pieces of feature point information in the reliability degree determination device 20 according to Embodiment 1 each include detected positions of the plurality of feature points and an object area that is an area occupied by the object in the camera image, and the feature amount calculation unit 21 calculates a feature amount that is a function of receiving, as an input, an area made up of the plurality of feature points and the object area based on each of the determined positions of the plurality of feature points and the object area.

Gemäß der oben beschriebenen Konfiguration wird der Zuverlässigkeitsgrad der ermittelten Position des Objekts auf der Grundlage der Merkmalsmenge berechnet, die die Funktion des Empfangens der Region, die aus den mehreren Merkmalspunkten besteht, und der Objektregion als Eingabe ist. Als Folge kann die Zuverlässigkeit des Zuverlässigkeitsgrades selbst der ermittelten Position angemessen verbessert werden.According to the configuration described above, the degree of reliability of the detected position of the object is calculated based on the feature amount that is the function of receiving the region composed of the plurality of feature points and the object region as input. As a result, the reliability of the degree of reliability even of the detected position can be appropriately improved.

Die Teile von Merkmalspunktinformationen in der Zuverlässigkeitsgrad-Ermittlungseinrichtung 20 gemäß Ausführungsform 1 enthalten jeweils die ermittelten Positionen der mehreren Merkmalspunkte, und einen Objektbereich, der ein von dem Objekt in dem Kamerabild eingenommener Bereich ist, die Merkmalsmenge-Berechnungseinheit 21 berechnet das Verhältnis der Fläche einer konvexen Oberfläche, die aus den mehreren Merkmalspunkten besteht, zur Fläche des Objektbereichs auf der Grundlage jeder der ermittelten Positionen der mehreren Merkmalspunkte und des Objektbereichs, und berechnet entweder eine Merkmalsmenge, die proportional zum Kehrwert des dadurch berechneten Flächenverhältnisses ist, oder eine Merkmalsmenge, die proportional zum Kehrwert der Differenz zwischen dem dadurch berechneten Flächenverhältnis und 1 ist.The pieces of feature point information in the reliability degree determination device 20 according to Embodiment 1 each include the detected positions of the multiple feature points, and an object area that is an area occupied by the object in the camera image, the feature amount calculation unit 21 calculates the ratio of the area of a convex surface composed of the multiple feature points to the area of the object area each of the determined positions of the plurality of feature points and the object region, and calculates either a feature amount that is proportional to the reciprocal of the area ratio calculated thereby, or a feature amount that is proportional to the reciprocal of the difference between the area ratio calculated thereby and 1.

Gemäß der oben beschriebenen Konfiguration wird der Zuverlässigkeitsgrad der ermittelten Position des Objekts entweder auf der Grundlage der Merkmalsmenge, die proportional zum Kehrwert des Flächenverhältnisses ist, die aus jeder der ermittelten Positionen der mehreren Merkmalspunkte und des Objektbereichs, oder der Merkmalsmenge, die proportional zum Kehrwert der Differenz zwischen dem Flächenverhältnis und 1 ist, berechnet. Als Folge kann die Zuverlässigkeit des Zuverlässigkeitsgrades selbst der ermittelten Position angemessen verbessert werden.According to the configuration described above, the degree of reliability of the detected position of the object is determined based on either the feature amount proportional to the reciprocal of the area ratio obtained from each of the detected positions of the plurality of feature points and the object area, or the feature amount proportional to the reciprocal of the difference between the area ratio and 1 is calculated. As a result, the reliability of the degree of reliability even of the detected position can be appropriately improved.

Die Merkmalsmenge-Berechnungseinheit 21 in der Zuverlässigkeitsgrad-Ermittlungseinrichtung 20 gemäß Ausführungsform 1 berechnet mehrere Merkmalsmengen des Objekts und die Zuverlässigkeitsgrad-Berechnungseinheit 22 berechnet einen Zuverlässigkeitsgrad, der mit einem Ermittlungsfehler der ermittelten Position des Objekts korreliert ist, auf der Grundlage der von der Merkmalsmenge-Berechnungseinheit 21 berechneten Merkmalsmengen.The feature amount calculation unit 21 in the reliability degree determination device 20 according to Embodiment 1 calculates a plurality of feature amounts of the object, and the reliability degree calculation unit 22 calculates a reliability degree, which is correlated with a determination error of the determined position of the object, based on the data from the feature quantity calculation unit 21 calculated feature sets.

Gemäß der oben beschriebenen Konfiguration kann die ermittelte Position des Objekts anhand des Zuverlässigkeitsgrads bewertet werden, der mit dem Ermittlungsfehler der ermittelten Position des Objekts korreliert.According to the configuration described above, the detected position of the object can be evaluated based on the degree of reliability that correlates with the detection error of the detected position of the object.

Die Position-Ermittlungseinrichtung 1 gemäß Ausführungsform 1 umfasst: die Zuverlässigkeitsgrad-Ermittlungseinrichtung 20 gemäß Ausführungsform 1; die Merkmalspunkt-Ermittlungseinheit 10 zum Ermitteln einer Merkmalspunktinformation auf der Grundlage eines Kamerabildes; und die Position-Berechnungseinheit 30 zum Berechnen einer ermittelten Position des Objekts auf der Grundlage der von der Merkmalspunkt-Ermittlungseinheit 10 ermittelten Merkmalspunktinformation, und die Merkmalmenge-Berechnungseinheit 21 berechnet eine Merkmalmenge des Objekts auf der Grundlage der von der Merkmalspunkt-Ermittlungseinheit 10 ermittelten Merkmalspunktinformation.The position determination device 1 according to Embodiment 1 includes: the degree of reliability determination device 20 according to Embodiment 1; the feature point acquisition unit 10 for acquiring feature point information based on a camera image; and the position calculation unit 30 for calculating an estimated position of the object based on the feature point information acquired by the feature point acquisition unit 10, and the feature amount calculation unit 21 calculates a feature amount of the object based on the feature point information acquired by the feature point acquisition unit 10.

Gemäß der oben erwähnten Konfiguration kann jeder der oben erwähnten vorteilhaften Effekte, die von der Zuverlässigkeitsgrad-Ermittlungseinrichtung 20 gemäß Ausführungsform 1 bereitgestellt werden, in der Position-Ermittlungseinrichtung 1 implementiert werden. Zum Beispiel kann die Position-Ermittlungseinrichtung 1 gemäß Ausführungsform 1 auf eine Ermittlung der Position eines Objekts unter Verwendung eines Kamerabildes angewendet werden. Die Position-Ermittlungseinrichtung kann zum Beispiel für ein autonomes Fahrzeug in der prallen Sonne oder für ein FA-Gerät wie einen Roboterarm verwendet werden.According to the configuration mentioned above, each of the above-mentioned advantageous effects provided by the reliability degree determination device 20 according to Embodiment 1 can be implemented in the position determination device 1 . For example, the position detection device 1 according to Embodiment 1 can be applied to detection of the position of an object using a camera image. The position detection device can be used, for example, for an autonomous vehicle in the blazing sun or for an FA device such as a robot arm.

Wenn zum Beispiel ein Objekt unter Verwendung eines Roboterarms gehalten wird, muss die Position des Objekts erfasst werden. Daher kann durch die Anwendung eines Bildes, das unter Verwendung einer am Arm angebrachten monokularen Kamera oder ähnlichem aufgenommen wurde, als das oben erwähnte Kamerabild auf die Zuverlässigkeitsgrad-Ermittlungseinrichtung 20 gemäß Ausführungsform 1 der oben erwähnte Zuverlässigkeitsgrad mit hoher Zuverlässigkeit berechnet werden, selbst wenn ein Bild eingegeben wird, das unter schlechten Bedingungen aufgenommen wurde und schwer für die Positionsermittlung zu verwenden ist, und die ermittelte Position kann auf der Grundlage des Zuverlässigkeitsgrades evaluiert werden. Dadurch wird es möglich, eine stabile eine Robotersteuerung zu implementieren.For example, when holding an object using a robotic arm, the position of the object needs to be detected. Therefore, by applying an image captured using an arm-mounted monocular camera or the like as the above-mentioned camera image to the reliability degree determination device 20 according to Embodiment 1, the above-mentioned reliability degree can be calculated with high reliability even if an image is input, which was taken under bad conditions and is difficult to use for position detection, and the detected position can be evaluated based on the degree of reliability. This makes it possible to implement stable robot control.

Die Position-Ermittlungseinrichtung 1 gemäß Ausführungsform 1 umfasst ferner die Kameraauswahleinheit 40, um mindestens ein Kamerabild aus mehreren Kamerabildern auf der Grundlage des von der Zuverlässigkeitsgrad-Berechnungseinheit 22 berechneten Zuverlässigkeitsgrads auszuwählen, und die Merkmalspunkt-Ermittlungseinheit 10 ermittelt die Merkmalspunktinformation auf der Grundlage des von der Kameraauswahleinheit 40 ausgewählten Kamerabilds.The position determination device 1 according to Embodiment 1 further includes the camera selection unit 40 to select at least one camera image from a plurality of camera images based on the degree of reliability calculated by the degree of reliability calculation unit 22, and the feature point determination unit 10 determines the feature point information based on the degree of reliability calculated by the Camera selection unit 40 selected camera image.

Gemäß der oben beschriebenen Konfiguration wird die Merkmalspunktinformation aus dem Kamerabild, das auf der Grundlage des Zuverlässigkeitsgrades der ermittelten Position ausgewählt wird, ermittelt. Als Folge kann die Zuverlässigkeit der ermittelten Merkmalspunktinformation verbessert werden. Daher können die Zuverlässigkeit der ermittelten Position und der Zuverlässigkeitsgrad, die jeweils auf der Merkmalspunktinformation beruhen, verbessert werden.According to the configuration described above, the feature point information is acquired from the camera image selected based on the degree of reliability of the acquired position. As a result, the reliability of the obtained feature point information can be improved. Therefore, the reliability of the detected position and the degree of reliability each based on the feature point information can be improved.

Die Kameraauswahleinheit 40 in der Position-Ermittlungseinrichtung 1 gemäß Ausführungsform 1 wählt ein Kamerabild von einer Kamera 2 aus, das einem zuletzt ausgewählten Kamerabild entspricht, wenn der von der Zuverlässigkeitsgrad-Berechnungseinheit 22 berechnete Zuverlässigkeitsgrad größer als oder gleich wie ein Schwellenwert ist, während die Kameraauswahleinheit alle mehreren Kamerabilder auswählt, wenn der von der Zuverlässigkeitsgrad-Berechnungseinheit 22 berechnete Zuverlässigkeitsgrad kleiner als der Schwellenwert ist.The camera selection unit 40 in the position determination device 1 according to Embodiment 1 selects a camera image from a camera 2 corresponding to a camera image selected last when the reliability calculated by the reliability degree calculation unit 22 degree is greater than or equal to a threshold value, while the camera selection unit selects every plural camera images when the degree of reliability calculated by the degree of reliability calculation unit 22 is smaller than the threshold value.

Entsprechend der oben beschriebenen Konfiguration kann ein Kamerabild angemessen ausgewählt werden, das für die Ermittlung der ermittelten Position geeignet ist. Daher können die Zuverlässigkeit der Merkmalspunktinformation, die Zuverlässigkeit der ermittelten Position und der Zuverlässigkeitsgrad verbessert werden, wobei die Merkmalspunktinformation, die ermittelte Position und der Zuverlässigkeitsgrad auf dem Kamerabild basieren.According to the configuration described above, a camera image suitable for detecting the detected position can be appropriately selected. Therefore, the reliability of the feature point information, the reliability of the detected position, and the degree of reliability can be improved where the feature point information, the detected position, and the degree of reliability are based on the camera image.

Wenn die Kameraauswahleinheit 40 alle der mehreren Kamerabilder auswählt, ermittelt die Merkmalspunkt-Ermittlungseinheit 10 in der Position-Ermittlungseinrichtung 1 gemäß Ausführungsform 1 die Merkmalspunktinformation für jedes der Kamerabilder, berechnet die Merkmalsmenge-Berechnungseinheit 21 eine Merkmalsmenge des Objekts für jedes der Kamerabilder auf der Grundlage der durch die Merkmalspunkt-Ermittlungseinheit 10 ermittelten Merkmalspunktinformation für jedes der Kamerabilder, berechnet die Zuverlässigkeitsgrad-Berechnungseinheit 22 den Zuverlässigkeitsgrad der ermittelten Position des Objekts für jedes der Kamerabilder auf der Grundlage der Merkmalsmenge, die von der Merkmalsmenge-Berechnungseinheit 21 für jedes der Kamerabilder berechnet wird, und wenn die Zuverlässigkeitsgrad-Berechnungseinheit 22 den Zuverlässigkeitsgrad für jedes der Kamerabilder berechnet, wählt die Kameraauswahleinheit 40 mindestens ein Kamerabild aus den mehreren Kamerabildern auf der Grundlage des höchsten Zuverlässigkeitsgrades jedes der Kamerabilder aus, wobei der Zuverlässigkeitsgrad durch die Zuverlässigkeitsgrad-Berechnungseinheit 22 berechnet wird.When the camera selection unit 40 selects all of the multiple camera images, the feature point acquisition unit 10 in the position acquisition device 1 according to Embodiment 1 acquires the feature point information for each of the camera images, the feature amount calculation unit 21 calculates a feature amount of the object for each of the camera images based on the feature point information acquired by the feature point acquisition unit 10 for each of the camera images, the degree of reliability calculation unit 22 calculates the degree of reliability of the detected position of the object for each of the camera images based on the feature amount calculated by the feature amount calculation unit 21 for each of the camera images, and when the reliability degree calculation unit 22 calculates the reliability degree for each of the camera images, the camera selection unit 40 selects at least one camera image from the plurality of camera images based on the highest reliability degree of each of the camera images, the reliability degree being calculated by the reliability degree calculation unit 22.

Entsprechend der oben beschriebenen Konfiguration kann, selbst wenn das zuletzt ausgewählte Kamerabild nicht für die Ermittlung der ermittelten Position geeignet ist, ein Kamerabild, das für die Ermittlung der ermittelten Position geeignet ist, beim nächsten Mal ausgewählt werden. Daher können die Zuverlässigkeit jeder der Merkmalspunktinformation, der ermittelten Position und des Zuverlässigkeitsgrades, die jeweils auf dem Kamerabild beruhen, verbessert werden.According to the configuration described above, even if the last selected camera image is not suitable for detecting the detected position, a camera image suitable for detecting the detected position can be selected next time. Therefore, the reliability of each of the feature point information, the detected position, and the degree of reliability based on the camera image, respectively, can be improved.

Das Zuverlässigkeitsgrad-Ermittlungsverfahren gemäß Ausführungsform 1, das den Schritt des Ermittelns des Zuverlässigkeitsgrades einer ermittelten Position eines Objekts aufweist, wobei die Position auf der Grundlage eines Kamerabildes ermittelt wird, weist auf: einen Merkmalsmenge-Berechnungsschritt des Berechnens einer Merkmalsmenge des Objekts auf der Grundlage von Teilen von Merkmalspunktinformationen über mehrere Merkmalspunkte des Objekts in dem Kamerabild; und einen Zuverlässigkeitsgrad-Berechnungsschritt des Berechnens des Zuverlässigkeitsgrades auf der Grundlage der im Merkmalsmenge-Berechnungsschritt berechneten Merkmalsmenge.The degree of reliability determination method according to Embodiment 1, comprising the step of determining the degree of reliability of a detected position of an object, the position being detected based on a camera image, comprises: a feature amount calculation step of calculating a feature amount of the object based on sharing feature point information about a plurality of feature points of the object in the camera image; and a degree of reliability calculation step of calculating the degree of reliability based on the feature amount calculated in the feature amount calculation step.

Gemäß der oben erwähnten Konfiguration werden die gleichen vorteilhaften Effekte wie die oben erwähnten und durch die Zuverlässigkeitsgrad-Ermittlungseinrichtung 20 gemäß Ausführungsform 1 bereitgestellten bereitgestellt.According to the configuration mentioned above, the same advantageous effects as those mentioned above and provided by the reliability degree determination device 20 according to Embodiment 1 are provided.

Es versteht sich, dass eine beliebige Komponente in der Ausführungsform verändert werden kann, oder eine beliebige Komponente in der Ausführungsform weggelassen werden kann.It is understood that any component in the embodiment can be changed, or any component in the embodiment can be omitted.

GEWERBLICHE ANWENDBARKEITCOMMERCIAL APPLICABILITY

Da die Zuverlässigkeitsgrad-Ermittlungseinrichtung gemäß der vorliegenden Offenbarung die Zuverlässigkeit des Zuverlässigkeitsgrads selbst einer ermittelten Position verbessern kann, kann die Zuverlässigkeitsgrad-Ermittlungseinrichtung für Position-Ermittlungseinrichtungen verwendet werden.Since the reliability degree determining device according to the present disclosure can improve the reliability of the reliability degree even of a detected position, the reliability degree determining device can be used for position determining devices.

BEZUGSZEICHENLISTEREFERENCE LIST

11: Position-Ermittlungseinrichtung,position determination device,
22: Kamera,Camera,
33: Speichereinrichtung,storage device,
1010: Merkmalspunkt-Ermittlungseinheit,feature point determination unit,
2020: Zuverlässigkeitsgrad-Ermittlungseinrichtung,degree of reliability determination device,
2121: Merkmalsquantität-Berechnungseinheit,feature quantity calculation unit,
2222: Zuverlässig- keitsgrad-Berechnungseinheit,confidence level calculation unit,
3030: Position-Berechnungseinheit,position calculation unit,
4040: Kamera-auswahleinheit,camera selection unit,
5050: Verarbeitungsschaltung,processing circuit,
5151: Prozessor,Processor,
5252: Speicher,Storage,
100100: Position-Ermittlungssystem,position detection system,
201201: Erste Merkmalsmenge-Berechnungseinheit,First characteristic quantity calculation unit,
202202: Zweite Merkmalsmenge-Berechnungseinheit, undsecond feature quantity calculation unit, and
20m20m: M-te Merkmals- menge-Berechnungseinheit.M-th feature quantity calculation unit.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturNon-patent Literature Cited

Peng S, Liu Y, Huang O, Bao H, Zhou X, "PVNet: Pixel-wise Voting Network for 6DoF Pose Estimation," In Computer Vision and Pattern Recognition (CVPR), 2019 [0003]

Claims

Degree of reliability determination device that is set up to determine a degree of reliability of a determined position of an object, which is determined on the basis of a camera image, the degree of reliability determination device comprising: a feature amount calculation unit for calculating a feature amount of the object based on feature point information about a plurality of feature points of the object in the camera image; and a degree of reliability calculation unit for calculating the degree of reliability based on the feature amount calculated by the feature amount calculation unit.

Degree of reliability determination device claim 1 , wherein the feature point information includes a variance of a group of candidate points out of the feature points, and the feature amount calculation unit is configured to calculate the feature amount based on the variance of the group of candidate points out of the feature points.

Degree of reliability determination device claim 2 , wherein the feature amount calculation unit is configured to calculate a feature amount that is proportional to an inverse of the variance.

Degree of reliability determination device claim 1 , wherein the feature point information includes each detected position of the feature points and an object area that is an area occupied by the object in the camera image, and the feature amount calculation unit is configured to calculate the feature amount as a function to take as input an area that the contains feature points, and to receive the object area based on each determined position of the feature points and the object area.

Degree of reliability determination device claim 1 , wherein the feature quantity calculation unit is set up to calculate a plurality of feature quantities of the object, and the degree of reliability calculation unit is set up to calculate a degree of reliability which is correlated with a determination error of the determined position of the object, on the basis of the plurality of characteristic quantities which are determined by the characteristic quantity Calculation unit are calculated to calculate.

Position determination device, comprising: the degree of reliability determination device according to claim 1 ; a feature point acquisition unit for acquiring feature point information based on the camera image; and a position calculation unit for calculating the determined position of the object based on the feature point information determined by the feature point determination unit, wherein the feature amount calculation unit is configured to calculate the feature amount based on the feature point information determined by the feature point determination unit.

Position determination device after claim 6 , further comprising a camera selection unit to select at least one camera image from a plurality of camera images based on the reliability level calculated by the reliability level calculation unit, wherein the feature point determination unit is set up to determine the feature point information based on the camera image selected by the camera selection unit.

Position determination device after claim 7 , wherein the camera selection unit is configured to select a camera image from a camera that corresponds to a last selected camera image when the reliability level calculated by the reliability level calculation unit is greater than or equal to a threshold value, and to select all of the plurality of camera images when the level of reliability calculated by the Reliability level calculation unit calculated reliability level is less than the threshold.

Position determination device after claim 8 , wherein when the camera selection unit selects all of the plurality of camera images, the feature point acquisition unit acquires the feature point information for each of the camera images, the feature amount calculation unit calculates a feature amount for each of the camera images based on the feature point information acquired by the feature point acquisition unit for each of the camera images that Reliability level calculation unit calculates the reliability level for each of the camera images based on the feature amount calculated by the feature amount calculation unit for each of the camera images, and when the reliability level calculation unit calculates the reliability level for each of the camera images, the camera selection unit at least one camera image from the plurality of camera images selects each of the camera images based on the highest degree of reliability, the degree of reliability being calculated by the degree of reliability calculation unit.

Reliability degree determination method for determining a degree of reliability of a determined position of an object, which is determined on the basis of a camera image, comprising: a feature amount calculation step of calculating a feature amount of the object based on feature point information about a plurality of feature points of the object in the camera image; and a degree of reliability calculation step of calculating the degree of reliability based on the feature amount calculated in the feature amount calculation step.