DE102017205499A1 - Method and apparatus for detecting ambiguities in a matrix of a 2D structure - Google Patents
Method and apparatus for detecting ambiguities in a matrix of a 2D structure Download PDFInfo
- Publication number
- DE102017205499A1 DE102017205499A1 DE102017205499.9A DE102017205499A DE102017205499A1 DE 102017205499 A1 DE102017205499 A1 DE 102017205499A1 DE 102017205499 A DE102017205499 A DE 102017205499A DE 102017205499 A1 DE102017205499 A1 DE 102017205499A1
- Authority
- DE
- Germany
- Prior art keywords
- matrix
- similarity
- comparison
- image
- elements
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 194
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000011156 evaluation Methods 0.000 claims abstract description 77
- 238000012545 processing Methods 0.000 claims description 34
- 230000004927 fusion Effects 0.000 claims description 2
- 238000012886 linear function Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 28
- 230000003287 optical effect Effects 0.000 description 11
- 230000000737 periodic effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000007792 addition Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000007630 basic procedure Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Abstract
Die vorliegende Erfindung betrifft ein Verfahren zum Detektieren von Mehrdeutigkeiten in einer Struktur, das mehrere Schritte umfasst und eine Vorrichtung, beispielsweise ein Chip, etwa in einem Fahrerassistenzsystem, zum Detektieren von Mehrdeutigkeiten in einer Struktur. In einem ersten Schritt (S100) des Verfahrens wird eine Matrix einer 2D-Struktur bereitgestellt. Die Matrix hat mehrere Matrixelemente. In einem weiteren Schritt (S200) wird eine Vergleichsmatrix mit mehreren Vergleichsmatrixelementen bereitgestellt. Ein Schritt (S300) umfasst das Vergleichen der Matrix mit der Vergleichsmatrix mittels eines Vergleichsalgorithmus. In einem anschließenden Schritt (S400) wird eine Ähnlichkeitsmatrix mit Ähnlichkeitselementen aus dem Ergebnis des Vergleichs gebildet. Ein Schritt (S500) umfasst das Auswerten der Ähnlichkeitsmatrix mittels einer Auswertefunktion entlang eines Pfades der eine Mehrzahl von Ähnlichkeitselementen einschließt. Ein Schritt (S600) sieht das Erzeugen eines Auswerteergebnisses als Maß einer in der Matrix der ersten 2D-Struktur vorhandenen Mehrdeutigkeit vor.The present invention relates to a method for detecting ambiguities in a structure comprising a plurality of steps and a device, for example a chip, such as in a driver assistance system, for detecting ambiguities in a structure. In a first step (S100) of the method, a matrix of a 2D structure is provided. The matrix has several matrix elements. In a further step (S200) a comparison matrix having a plurality of comparison matrix elements is provided. A step (S300) involves comparing the matrix with the comparison matrix by means of a comparison algorithm. In a subsequent step (S400), a similarity matrix with similarity elements is formed from the result of the comparison. A step (S500) includes evaluating the similarity matrix using an evaluation function along a path that includes a plurality of similarity elements. A step (S600) provides for generating an evaluation result as a measure of ambiguity present in the matrix of the first 2D structure.
Description
Stand der TechnikState of the art
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Detektieren von Mehrdeutigkeiten in einer Matrix einer 2D-Struktur. Eine 2D-Struktur kann beispielsweise ein Bild eines Sensors oder einer Kamera sein.The present invention relates to a method and apparatus for detecting ambiguities in a 2D structure matrix. A 2D structure may be, for example, an image of a sensor or a camera.
Bei kamerabasierten Systemen werden zur Auswertung der Bilder Matchingverfahren verwendet, beispielsweise um Bildpunkte in verschiedenen Bildausschnitten zu erkennen oder die Bewegung von Bildpunkten zu schätzen oder zu detektieren. Damit die entsprechenden Algorithmen zur Bewegungsschätzung oder von Templatematchings zuverlässig arbeiten, müssen periodische Strukturen und Kanten innerhalb von Bildern erkannt werden. Die Algorithmen müssen, wenn möglich, auf diese Strukturen angepasst werden. Um beispielsweise Zaunstrukturen innerhalb von Bildern zu erkennen, sind Verfahren bekannt, die auf einer diskreten Fouriertransformation und einer Wavelettransformation beruhen. Daneben sind weitere Verfahren bekannt, um eine Kantendetektion durchzuführen.In camera-based systems, matching methods are used to evaluate the images, for example to detect pixels in different image sections or to estimate or detect the movement of pixels. For the corresponding algorithms for motion estimation or template matching to work reliably, periodic structures and edges within images must be detected. The algorithms must, if possible, be adapted to these structures. For example, to detect zest structures within images, methods based on a discrete Fourier transform and a wavelet transformation are known. In addition, other methods are known to perform an edge detection.
Die
Die
Offenbarung der ErfindungDisclosure of the invention
Das erfindungsgemäße Verfahren zum automatischen Detektieren von Mehrdeutigkeiten in einer Matrix einer ersten 2D-Struktur sieht in einem ersten Schritt das Bereitstellen einer Matrix einer ersten 2D-Struktur mit mehreren Matrixelementen vor. Dies kann mittels einer ersten Verarbeitungseinheit erfolgen. Ein weiterer Schritt betrifft das Bereitstellen einer Vergleichsmatrix einer zweiten 2D-Struktur mit Vergleichsmatrixelementen, wobei die erste 2D-Struktur und die zweite 2D-Struktur gleich sein können. Das Bereitstellen der Vergleichsmatrix kann mittels einer zweiten Verarbeitungseinheit erfolgen. Es folgt ein Schritt des Vergleichens der Matrix mit der Vergleichsmatrix mittels eines Vergleichsalgorithmus, bevorzugt mittels einer Vergleichereinheit. In einem weiteren Schritt wird aus den Ergebnissen dieses Vergleichs eine Ähnlichkeitsmatrix mit Ähnlichkeitselementen gebildet. Ein weiterer Schritt sieht vor, dass die Ähnlichkeitsmatrix mittels einer Auswertefunktion entlang eines Pfades, der eine Mehrzahl von Ähnlichkeitselementen einschließt, ausgewertet wird. Das Auswerten kann in einer Auswerteeinheit erfolgen. Das Erzeugen eines Auswerteergebnisses als Maß einer in der Matrix der ersten 2D-Struktur vorhandenen Mehrdeutigkeit ist ein weiterer Schritt des Verfahrens. Beispielsweise kann das Auswerteergebnis innerhalb eines Matchingsverfahrens zur Berechnung des optischen Flusses verwendet werden.The method according to the invention for automatically detecting ambiguities in a matrix of a first 2D structure provides, in a first step, for providing a matrix of a first 2D structure with a plurality of matrix elements. This can be done by means of a first processing unit. Another step involves providing a comparison matrix of a second 2D structure with comparison matrix elements, wherein the first 2D structure and the second 2D structure may be the same. The comparison matrix can be provided by means of a second processing unit. This is followed by a step of comparing the matrix with the comparison matrix by means of a comparison algorithm, preferably by means of a comparator unit. In a further step, a similarity matrix with similarity elements is formed from the results of this comparison. A further step provides that the similarity matrix is evaluated by means of an evaluation function along a path that includes a plurality of similarity elements. The evaluation can be done in an evaluation unit. The generation of an evaluation result as a measure of an ambiguity present in the matrix of the first 2D structure is a further step of the method. For example, the evaluation result can be used within a matching method for calculating the optical flow.
Auf diese Weise ist es möglich, mehrdeutige Bildstrukturen mit einem einfachen Algorithmus zu detektieren. Das Verfahren bietet sich deshalb vorteilhaft insbesondere für das Erkennen mehrdeutiger Strukturen wie periodische Formen oder Kanten an, wie sie bei Fahrerassistenzsystemen notwendig sind. Es ist von Vorteil, dass lediglich die Ähnlichkeitsmatrix mit ihren Ähnlichkeitselementen ausgewertet werden muss, um eine Mehrdeutigkeit in der ersten 2D-Struktur bzw. in dem Bild zu erkennen. Dies ermöglicht eine einfache und effiziente Verarbeitung. Das Verfahren kann vorteilhafterweise in ein Matchingverfahren eingebettet sein. Die Matrix aus Ähnlichkeitswerten wird in einem Matchingverfahren in der Regel ebenfalls gebildet und kann wie hier beschrieben genutzt werden. Das Verfahren hat weiterhin den Vorteil, dass es sich sehr kostengünstig in Hardware, z.B. in einem ASIC, einem FPGA oder Chip implementieren lässt. Insbesondere ist die Leistungsaufnahme einer solchen Hardware (ASIC) recht gering. Insbesondere wenn das erfindungsgemäße Verfahren Teil eines Matchingverfahrens ist, das schon in Hardware realisiert ist, ist die Leistungsaufnahme für diesen Zusatzalgorithmus sehr gering. Das Verfahren ist dann auch deutlich günstiger als die bekannten, auf Fouriertransformationen beruhenden Verfahren. Ist das Verfahren z.B. in ein Matchingverfahren eingebettet, lässt es sich im einfachsten Fall z.B. mit wenigen Additionen und Vergleichen in der Hardware, also im Chip, realisieren. Das Verfahren ermöglicht auch eine schnelle Abarbeitung einer Vielzahl von 2D-Strukturen, die Bilder eines Kamerasensors (z.B. Fahrerassistenzkamera eines Fahrerassistenzsystems) sein können, so dass etwa eine Vielzahl von Full-HD-Bildern in kürzester Zeit verarbeitet werden können, um ein Echtzeitsystem zu realisieren. Beispielsweise lassen sich mit dem erfindungsgemäßen Verfahren in dem Gesamtsystem 50 Full-HD-Bilder pro Sekunde in allen in der Praxis relevanten Fällen zuverlässig und robust verarbeiten. In der Regel ist eine Verarbeitung von 60 Full-HD-Bildern pro Sekunde und mehr zuverlässig möglich. Das Verfahren kann auch in einem Chip implementiert sein, der in einem Fahrerassistenzsystem, einem Roboter (mobil oder stationär), einem autonomen System, in einer Anlage zur industriellen Bildverarbeitung, in Überwachungssystemen oder in industriellen optischen Messsystemen verbaut sein kann.In this way it is possible to detect ambiguous image structures with a simple algorithm. The method is therefore advantageous in particular for the recognition of ambiguous structures such as periodic shapes or edges, as are necessary in driver assistance systems. It is advantageous that only the similarity matrix with its similarity elements has to be evaluated in order to detect ambiguity in the first 2D structure or in the image. This allows easy and efficient processing. The method may advantageously be embedded in a matching method. The matrix of similarity values is usually also formed in a matching method and can be used as described here. The method also has the advantage that it can be implemented very cost-effectively in hardware, for example in an ASIC, an FPGA or a chip. In particular, the power consumption of such hardware (ASIC) is quite low. In particular, if the method according to the invention is part of a matching method that is already implemented in hardware, the power consumption for this additional algorithm is very low. The method is then also significantly cheaper than the known, based on Fourier transform methods. If, for example, the method is embedded in a matching method, it can be implemented in the simplest case, for example, with a few additions and comparisons in the hardware, ie in the chip. The method also allows a fast processing of a plurality of 2D structures, which may be images of a camera sensor (eg driver assistance camera of a driver assistance system), so that about a plurality of full HD images can be processed in a very short time to realize a real-time system , For example, with the method according to the invention, full HD images per second can be processed reliably and robustly in all cases relevant in practice. As a rule, a processing of 60 full HD images per second and more reliably possible. The method may also be implemented in a chip that is used in a driver assistance system, a robot (mobile or stationary), an autonomous system, in an industrial imaging system, in surveillance systems or in industrial optical measuring systems.
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.The dependent claims show preferred developments of the invention.
Es ist vorteilhaft, wenn die erste 2D-Struktur ein Bild ist bzw. ein Bild repräsentiert, dass von einem Kamerasensor aufgenommen und bereitgestellt wird, und die Matrix einen Bildausschnitt aus der ersten 2D-Struktur bzw. aus dem Bild ist. Vorteilhafterweise ist die Vergleichsmatrix ein Vergleichsbild aus der zweiten 2D-Struktur bzw. repräsentiert ein Vergleichsbild oder einen Ausschnitt aus der zweiten 2D-Struktur. Diese zweite 2D-Struktur ist bevorzugt ebenfalls ein Bild eines Kamerasensors. Bevorzugt ist das Vergleichsbild größer oder gleich dem Bildausschnitt. Die Elemente der Matrix und der Vergleichsmatrix müssen nicht zwangsläufig auf einem rechteckigen oder quadratischen Gitter angeordnet sein. Auch eine Anordnung auf einem hexagonalen Gitter oder Ähnlichem ist möglich. Dies hängt bevorzugt von dem Bildausschnitt und dem Vergleichsbild ab. Bildausschnitt und Vergleichsbild können in beliebiger Form vorliegen, beispielsweise als Ellipse, Quadrat, in sparse-abgetasteter Form oder in nicht zusammenhängender und/oder nicht konvexer Form. Das Vergleichsbild kann bevorzugt ebenfalls ein Ausschnitt (Bildregion) aus einem Bild sein. Beispielsweise kann das Auswerteergebnis in einem Chip oder ASIC weiterverarbeitet werden, bevorzugt in einem Fahrerassistenzsystem. Das Verfahren findet bevorzugt in einem Chip oder ASIC eines Fahrerassistenzsystems Anwendung, wenn Strukturen und Mehrdeutigkeiten in Bildern erkannt werden sollen. Besonders vorteilhaft ist eine Einbettung dieses Verfahrens z.B. in ein Matchingverfahren.It is advantageous if the first 2D structure is an image or image that is acquired and provided by a camera sensor, and the matrix is an image section from the first 2D structure or from the image. Advantageously, the comparison matrix is a comparison image from the second 2D structure or represents a comparison image or a section from the second 2D structure. This second 2D structure is preferably also an image of a camera sensor. Preferably, the comparison image is greater than or equal to the image detail. The elements of the matrix and the comparison matrix do not necessarily have to be arranged on a rectangular or square grid. An arrangement on a hexagonal grid or the like is also possible. This depends preferably on the image detail and the comparison image. Image detail and comparison image can be in any form, for example as an ellipse, square, in sparse-scanned form or in non-contiguous and / or non-convex form. The comparison image may preferably also be a section (image region) from an image. For example, the evaluation result can be further processed in a chip or ASIC, preferably in a driver assistance system. The method preferably finds application in a chip or ASIC of a driver assistance system when structures and ambiguities in images are to be recognized. Particularly advantageous is an embedding of this method, e.g. in a matching procedure.
Vorteilhaft weist die erste 2D-Struktur eine Mehrzahl von Strukturelementen auf. Bei einem Bild, z.B. aufgenommen von einem Sensor, einer Kamera, z.B. eines Roboters, oder von einer Fahrerassistenzkamera, kann das Strukturelement ein Pixel oder Bildpunkt sein. Für jedes Strukturelement wird ein Auswerteergebnis als Maß einer Mehrdeutigkeit erzeugt.Advantageously, the first 2D structure has a plurality of structural elements. For an image, e.g. taken by a sensor, a camera, e.g. a robot, or from a driver assistance camera, the structure element may be a pixel or pixel. For each structural element, an evaluation result is generated as a measure of ambiguity.
Ebenso ist vorteilhaft, dass das Matrixelement einen Pixel oder einen Bildpunkt in einem Bild repräsentiert. Die Position des Matrixelements stellt dann die Position eines Bildpunktes in dem Bildausschnitt dar. Der Wert des Matrixelements repräsentiert ein Merkmal des Pixels oder Bildpunktes. Ein derartiges Merkmal kann beispielsweise ein Grauwert oder ein Farbwert oder bevorzugt ein komplexer Wert sein, der auch die Umgebung eines Pixels und/oder Nachbarschaftsbeziehungen zu anderen Pixeln umfassen kann.It is also advantageous that the matrix element represents a pixel or a pixel in an image. The position of the matrix element then represents the position of a pixel in the image detail. The value of the matrix element represents a feature of the pixel or pixel. Such a feature may be, for example, a gray value or a color value or preferably a complex value, which may also include the environment of one pixel and / or neighborhood relationships to other pixels.
Es ist weiterhin vorteilhaft, wenn der Vergleichsalgorithmus auf eine Mehrzahl von Matrixelementen angewendet wird, um die Matrix mit der Vergleichsmatrix zu vergleichen. Bevorzugt werden alle Matrixelemente der Matrix bearbeitet und mit den entsprechenden Vergleichsmatrixelementen der Vergleichsmatrix verglichen. Hierdurch entsteht vorteilhafter Weise ein sehr aussagekräftiger und robuster „Vergleichswert“ als Wert je eines Ähnlichkeitselements der Ähnlichkeitsmatrix. Bei Einbettung des Verfahrens in ein Matchingverfahren kann die Erstellung der Ähnlichkeitsmatrix einen Zwischenschritt des Matchingverfahrens darstellen. Als Vergleichsfunktion bzw. Vergleichsalgorithmus können beliebig dimensionale Funktionen verwendet werden. Diese Vergleichsoperation wird für alle möglichen Teilmatrizen der Vergleichsmatrix angewendet, die die Größe der Matrix aufweisen. Nach Abarbeiten aller Teilmatrizen ist die Ähnlichkeitsmatrix fertiggestellt. Besonders vorteilhaft ist es also, wenn die Ähnlichkeitsmatrix eines anderen Algorithmus (z.B. eines Matchingalgorithmus) genutzt werden kann.It is furthermore advantageous if the comparison algorithm is applied to a plurality of matrix elements in order to compare the matrix with the comparison matrix. Preferably, all matrix elements of the matrix are processed and compared with the corresponding comparison matrix elements of the comparison matrix. This advantageously results in a very meaningful and robust "comparison value" as the value of each similarity element of the similarity matrix. When embedding the method in a matching method, the creation of the similarity matrix can represent an intermediate step of the matching method. As a comparison function or comparison algorithm arbitrary dimensional functions can be used. This comparison operation is applied to all possible sub-matrices of the comparison matrix having the size of the matrix. After processing all partial matrices, the similarity matrix is completed. Thus, it is particularly advantageous if the similarity matrix of another algorithm (for example a matching algorithm) can be used.
Auch ist es vorteilhaft, dass das Auswerteergebnis einen Extremwert, z.B. ein Minimum, einnimmt, wenn in der Matrix keine Mehrdeutigkeiten vorhanden sind. Das Minimum wird vorzugsweise in Bezug auf einen Threshold-Wert oder vorgegebenen Bewertungswert bezogen. Vorteilhafterweise wird das Vorhandensein keiner Mehrdeutigkeit erkannt, wenn das Auswerteergebnis unterhalb eines vorgegebenen Thresholds liegt. Auch ist es möglich, eine Kante oder eine periodische Struktur zu erkennen, wenn die Auswerteergebnisse in einer bestimmten Beziehung zu einem vorgegebenen Grenzwert oder Threshold stehen.It is also advantageous that the evaluation result has an extreme value, e.g. a minimum, if there are no ambiguities in the matrix. The minimum is preferably related to a threshold value or predetermined evaluation value. Advantageously, the presence of no ambiguity is recognized if the evaluation result is below a predetermined threshold. It is also possible to detect an edge or a periodic structure if the evaluation results are in a certain relationship to a predetermined limit or threshold.
Es ist vorteilhaft, wenn die Auswertefunktion mehrere Ähnlichkeitselemente gemäß einer vorgegebenen Nachbarschaftsbeziehung auswertet. Beispielsweise können direkt benachbarte Ähnlichkeitselemente miteinander in Beziehung gesetzt und miteinander verknüpft werden. Es ist jedoch auch möglich, Ähnlichkeitselemente auszuwerten, die voneinander beabstandet sind und zwischen denen andere Ähnlichkeitselemente angeordnet sind, die für eine Auswertung nicht berücksichtigt werden sollen. Insbesondere können also nicht nur direkte Nachbarn miteinander in Beziehung gesetzt werden. Hierdurch ergibt sich eine große Anpassungsfähigkeit des Verfahrens an die gegebenen Umstände.It is advantageous if the evaluation function evaluates a plurality of similarity elements in accordance with a predetermined neighborhood relationship. For example, directly adjacent similarity elements can be related to each other and linked together. However, it is also possible to evaluate similarity elements which are spaced apart from each other and between which other similarity elements are arranged which are not to be considered for an evaluation. In particular, not only direct neighbors can be related to each other. This results in a great adaptability of the method to the given circumstances.
Es ist ebenso vorteilhaft, wenn die Auswertefunktion eine lineare oder nichtlineare Funktion umfasst. Beispielsweise kann die Auswertefunktion in der Auswerteeinheit eine Funktion aus der Gruppe von Addition, Subtraktion, Multiplikation und Division sein. Derartige Berechnungen sind bevorzugt. Beispielsweise können die positiven Differenzen von direkt benachbarten Ähnlichkeitselementen für die Auswertung verwendet werden. Die Summe über diese positiven Differenzen kann als Maß für die Mehrdeutigkeit herangezogen werden. Die Auswertefunktion wird hierbei entlang des Pfades über mehrere Ähnlichkeitselemente angewandt. Je nach verfügbarer Rechenkapazität und Speicherkapazität sind auch kompliziertere Berechnungen zum Auswerten der Ähnlichkeitsmatrix denkbar.It is also advantageous if the evaluation function comprises a linear or non-linear function. For example, the evaluation function in the evaluation unit may be a function of the group of addition, subtraction, multiplication and division. Such calculations are preferred. For example, the positive differences of directly adjacent similarity elements for the Evaluation can be used. The sum over these positive differences can be used as a measure of ambiguity. The evaluation function is applied along the path over several similarity elements. Depending on the available computing capacity and storage capacity, more complex calculations for evaluating the similarity matrix are conceivable.
Es ist vorteilhaft, wenn der Pfad, der sich über mehrere Ähnlichkeitselemente erstreckt und entlang dessen die Auswertefunktion ausgeführt wird, ein geschlossener Pfad ist. Auch in diesem Fall spielt es keine Rolle, in welcher Richtung der Pfad durchlaufen wird. Vorteilhaft ist es, wenn der Pfad in einer festgelegten Reihenfolge abgearbeitet wird. Beispielsweise kann sich der Pfad entlang aller Randelemente der Ähnlichkeitsmatrix erstrecken. Auf diese Weise lässt sich eine schnelle und wenig speicherintensive Auswertung der Matrix bzw. Ähnlichkeitsmatrix durchführen.It is advantageous if the path which extends over a plurality of similarity elements and along which the evaluation function is carried out is a closed path. Also in this case, it does not matter in which direction the path is passed. It is advantageous if the path is processed in a fixed sequence. For example, the path may extend along all edge elements of the similarity matrix. In this way, a fast and low-memory-intensive evaluation of the matrix or similarity matrix can be performed.
Vorteilhaft ist es, wenn die Ähnlichkeitsmatrix quadratisch ist. Andere Matrixformen sind denkbar. Insbesondere können die Ähnlichkeitselemente der Ähnlichkeitsmatrix auf einem Hexagonalgitter angeordnet sein. Die Form der Matrix und der Vergleichsmatrix korrespondiert in der Regel. Auch diese Matrizen können nicht nur kartesische Formen sondern auch eine Hexagonalform aufweisen. Andere Formen sind möglich. Im Bereich der Bildverarbeitung hängt die Matrix und Vergleichsmatrix und somit auch die Ähnlichkeitsmatrix von der gewählten Form des Bildausschnittes und dem Vergleichsbild ab. Diese können durchaus auch rund oder elliptisch sein oder eine andere Form aufweisen und müssen nicht notwendigerweise rechteckig oder quadratisch sein.It is advantageous if the similarity matrix is square. Other matrix forms are conceivable. In particular, the similarity elements of the similarity matrix can be arranged on a hexagonal lattice. The shape of the matrix and the comparison matrix usually corresponds. These matrices can not only have Cartesian forms but also a hexagonal shape. Other shapes are possible. In the field of image processing, the matrix and comparison matrix and thus also the similarity matrix depend on the selected form of the image detail and the comparison image. These may well be round or elliptical or have a different shape and need not necessarily be rectangular or square.
Weiterhin ist es vorteilhaft, wenn der Pfad, entlang dessen die Auswertefunktion ausgeführt wird, entlang des Randes der Ähnlichkeitsmatrix verläuft und nur die Ähnlichkeitselemente ausgewertet werden, die den Rand der Ähnlichkeitsmatrix bilden. Bevorzugt werden bei einer rechteckigen Ähnlichkeitsmatrix nur die Ähnlichkeitswerte der obersten und untersten Zeile sowie die der rechten und linken Spalte der Ähnlichkeitsmatrix verwendet. Es ist auch möglich, schon beim Vergleich der Matrix mit der Vergleichsmatrix nur die Ähnlichkeitselemente zu bilden, die am Rand der Ähnlichkeitsmatrix positioniert sind. Auf diese Weise lässt sich die Verarbeitung beschleunigen, Rechenzeit sparen oder die Prozessorleistung heruntersetzen.Furthermore, it is advantageous if the path along which the evaluation function is carried out runs along the edge of the similarity matrix and only the similarity elements forming the edge of the similarity matrix are evaluated. Preferably, in a rectangular similarity matrix, only the similarity values of the top and bottom lines and the right and left columns of the similarity matrix are used. It is also possible, even when comparing the matrix with the comparison matrix, to form only the similarity elements which are positioned at the edge of the similarity matrix. This can speed up processing, save processing time or reduce processor performance.
Insgesamt ist die Auswertung der Ähnlichkeitselemente der Ähnlichkeitsmatrix sehr effizient und lässt sich kostengünstig in Hardware implementieren. Dies gilt insbesondere dann, wenn die Berechnung der Ähnlichkeitsmatrix schon als Zwischenergebnis eines anderen, bereits in Hardware implementierten Algorithmus (z.B. eines Matchingverfahrens) implementiert ist und direkt verwendet werden kann. Es ist vorteilhaft, die Mehrdeutigkeitsmaße in Wertebereiche zu quantisieren, so dass die Werte der Mehrdeutigkeitsmaße den Wertebereichen zugeordnet werden. Beispielsweise ist es möglich den Gesamtwertebereich in unterschiedliche Intervalle aufzuteilen und den jeweiligen Intervallen etwa eine Zahl [0, 1, 2, 3] zuzuweisen und zu codieren. In diesem Beispiel könnten vier Intervalle verwendet werden. Das Mehrdeutigkeitsmaß kann dann auf zwei Bit codiert werden und anschließend verwendet werden, beispielsweise in einem Matchingverfahren, in dem das Finden der Mehrdeutigkeiten eingebettet ist, um Ergebnisse zu bewerten bzw. zu verwerfen. Auf diese Weise lassen sich die Bitbreiten der Mehrdeutigkeitsmaße für eine mögliche Übertragung oder Speicherung weiter reduzieren. Die Speicherbandbreite sinkt also. Der verwendete Speicherbedarf wird reduziert. Das Verfahren wird beschleunigt.Overall, the evaluation of the similarity elements of the similarity matrix is very efficient and can be implemented cost-effectively in hardware. This applies in particular if the calculation of the similarity matrix is already implemented as an intermediate result of another algorithm already implemented in hardware (for example a matching method) and can be used directly. It is advantageous to quantize the ambiguity measures into value ranges so that the values of the ambiguity measures are assigned to the value ranges. For example, it is possible to divide the total value range into different intervals and assign and code the respective intervals approximately a number [0, 1, 2, 3]. In this example, four intervals could be used. The ambiguity measure can then be encoded to two bits and subsequently used, for example, in a matching method in which the finding of ambiguities is embedded to evaluate or discard results. In this way, the bit widths of the ambiguity measures can be further reduced for possible transmission or storage. The memory bandwidth decreases. The memory required is reduced. The process is accelerated.
Vorteilhaft ist es, wenn die erste 2D-Struktur und die zweite 2D-Struktur (jeweils Bilder eines Kamerasensors) skalierbar sind, wobei die Größe der Matrix und der Vergleichsmatrix bevorzugt unverändert bleiben, also nicht skaliert werden. Für jede skalierte erste 2D-Struktur wird für jedes Strukturelement - wie bei der unskalierten 2D-Struktur- durch Vergleich der Matrix mit der Vergleichsmatrix in der zweiten 2D-Struktur eine Ähnlichkeitsmatrix mit Ähnlichkeitselementen nach dem erfindungsgemäßen Verfahren gebildet. Es wird also für jede Teilmatrix der Vergleichsmatrix, die der Größe der Matrix entspricht, ein Vergleich durchgeführt. Die Ähnlichkeitselemente werden ausgewertet und zu einem Auswerteergebnis verarbeitet, um ein Maß für eine vorhandene Mehrdeutigkeit zu erzeugen, also einen Ähnlichkeitswert. Besonders vorteilhaft ist es, wenn die Ähnlichkeitswerte bzw. Ähnlichkeitsmatrix schon als Zwischenergebnis eines anderen Algorithmus vorliegt. Sie können dann vorteilhafterweise weiterverarbeitet werden, beispielsweise automatisch in einem Fahrerassistenzsystem, um z.B. aufgrund des Vorhandenseins von Mehrdeutigkeiten eventuell falsche Ergebnisse zu verwerfen. Es wird also vorteilhafterweise für jedes Strukturelement jeder skalierten erste 2D-Struktur ein Auswerteergebnis als Maß einer Mehrdeutigkeit erzeugt.It is advantageous if the first 2D structure and the second 2D structure (in each case images of a camera sensor) are scalable, the size of the matrix and the comparison matrix preferably remaining unchanged, ie not scaled. For each scaled first 2D structure, a similarity matrix with similarity elements is formed for each structure element - as in the unscaled 2D structure - by comparing the matrix with the comparison matrix in the second 2D structure according to the method according to the invention. Thus, a comparison is made for each sub-matrix of the comparison matrix corresponding to the size of the matrix. The similarity elements are evaluated and processed into an evaluation result in order to generate a measure of an existing ambiguity, that is to say a similarity value. It is particularly advantageous if the similarity values or similarity matrix already exist as an intermediate result of another algorithm. They can then advantageously be further processed, for example automatically in a driver assistance system, for example by means of a driver assistance system. due to the presence of ambiguity, may discard incorrect results. Thus, an evaluation result as a measure of ambiguity is advantageously generated for each structural element of each scaled first 2D structure.
Durch die Wahl der Skalierung der ersten 2D-Struktur und zweiten 2D-Struktur können auch Mehrdeutigkeiten erkannt werden, die zunächst in der unskalierten ersten 2D-Struktur (entsprechend dem Bild) selbst nicht erkannt werden können. Bei der Bildverarbeitung, bei der die Matrix einem Bildausschnitt und die Vergleichsmatrix einer Vergleichsregion entsprechen und die erste 2D-Struktur einem Bild und die zweite 2D-Struktur einem Vergleichsbild entsprechen, können mittels skalierter (mit downsampling erzeugter) und in der Größe angepasster 2D-Strukturen Mehrdeutigkeiten erkannt werden, die sich nur durch die Skalierung aufdecken lassen. Es lassen sich unterschiedlich skalierte Mehrdeutigkeiten in den einzelnen skalierten Bildern detektieren, weiterverarbeiten und bewerten, z.B. um Ergebnisse anderer Algorithmen zu verwerfen.By choosing the scaling of the first 2D structure and the second 2D structure, it is also possible to detect ambiguities which, in the first instance, can not be recognized in the unscaled first 2D structure (corresponding to the image) itself. In image processing, where the matrix corresponds to an image detail and the comparison matrix of a comparison region, and the first 2D structure corresponds to one image and the second 2D structure to a comparison image, scaled (down-sampled) and resized 2D structures ambiguities can be detected, which can be revealed only by scaling. Different scaled ambiguities in the individual scaled images can be detected, further processed and evaluated, eg to discard the results of other algorithms.
Vorteilhaft ist es, wenn Mehrdeutigkeiten für das Gesamtbild (unskalierte 2D-Struktur) zu ermitteln sind, dass für die einzelnen skalierten 2D-Strukturen (Bilder) die Ergebnisse der Mehrdeutigkeitsanalyse gespeichert werden. Die Ergebnisse dieser Auswertung können weiterverarbeitet werden, beispielsweise direkt in Algorithmen eingesetzt werden, um eine Mehrdeutigkeit in dem (unskalierten) Bild zu erkennen und zu bewerten.It is advantageous if ambiguities for the overall image (unscaled 2D structure) are to be determined, that the results of the ambiguity analysis are stored for the individual scaled 2D structures (images). The results of this evaluation can be further processed, for example, used directly in algorithms to detect and evaluate an ambiguity in the (unscaled) image.
Es ist ebenso vorteilhaft, wenn für jede skalierte 2D-Struktur die Auswerteergebnisse als Maß einer Mehrdeutigkeit in der skalierten 2D-Struktur fusioniert werden und die fusionierten Auswerteergebnisse bewertet oder ausgewertet werden, um ein Fusionsmaß einer Mehrdeutigkeit für eine beliebig skalierte oder bevorzugt die unskalierte 2D-Struktur zu bilden. Im Bereich der Bildverarbeitung können durch die skalierten Bilder und die dort ermittelten Mehrdeutigkeiten schließlich Mehrdeutigkeiten in einem Gesamtbild ermittelt werden. Die Ergebnisse der einzelnen skalierten Bilder werden auf eine gemeinsame Auflösung gebracht, bevorzugt mittels Upsampling, indem beispielsweise für jeden Bildpunkt beispielsweise die maximal vorhandene Summe der positiven Randdifferenzen der Ähnlichkeitselemente aller skalierten Bilder verwendet wird. Andere Fusionsstrategien, die auch entlang anderer Pfade eine Auswertung vorsehen, sind denkbar. Durch das Fusionieren der Auswerteergebnisse lässt sich für jedes Pixel eines Bildes beispielsweise das maximale Mehrdeutigkeitsmaß aller skalierten ersten 2D-Strukturen ermitteln.It is also advantageous if, for each scaled 2D structure, the evaluation results are fused as a measure of ambiguity in the scaled 2D structure and the merged evaluation results are evaluated or evaluated to obtain a merger measure of ambiguity for any scaled or preferably the unscaled 2D Structure to form. In the field of image processing, the scaled images and the ambiguities determined there can finally be used to determine ambiguities in an overall image. The results of the individual scaled images are brought to a common resolution, preferably by means of upsampling, for example by using for each pixel, for example, the maximum sum of the positive edge differences of the similarity elements of all scaled images. Other fusion strategies, which also provide an evaluation along other paths, are conceivable. By fusing the evaluation results, for example, the maximum ambiguity measure of all scaled first 2D structures can be determined for each pixel of an image.
Vorteilhaft ist es eine Mehrzahl von skalierten ersten 2D-Strukturen für die Auswertung zu verwenden, um die Zahl der detektierbaren Mehrdeutigkeiten zu erhöhen. Das Ergebnis kann in anschließenden Algorithmen weiterverwendet werden. Ist das beschriebene Verfahren z.B. in einem Matchingverfahren eingebettet, so ist es sinnvoll, die Mehrdeutigkeitsmaße auch in dem Matchingverfahren zu verwenden, etwa als Information, wie sicher einige Ergebnisse sein können. Es lässt sich auch derart auswerten, dass durch einzelne Mehrdeutigkeitswerte Ergebnisse anderer Algorithmen bewertet oder verworfen werden. In Bildern ist es beispielsweise möglich, Mehrdeutigkeiten zu detektieren, die sich aus dem einzelnen nicht skalierten Bild nicht ohne weiteres detektieren lassen.It is advantageous to use a plurality of scaled first 2D structures for the evaluation in order to increase the number of detectable ambiguities. The result can be used in subsequent algorithms. If the described method is e.g. embedded in a matching method, it makes sense to use the ambiguity measures also in the matching method, for example as information on how certain some results can be. It can also be evaluated in such a way that results of other algorithms are evaluated or rejected by individual ambiguity values. In pictures, for example, it is possible to detect ambiguities that can not be readily detected from the individual non-scaled image.
Eine Vorrichtung zum automatischen Detektieren von Mehrdeutigkeiten in einer Matrix, die eine erste Verarbeitungseinheit zum Bereitstellen einer Matrix aus einer ersten 2D-Struktur aus Sensordaten eines Sensors und eine zweite Verarbeitungseinheit zum Bereitstellen einer Vergleichsmatrix umfasst und die eine Vergleichereinheit mit Vergleichsalgorithmus zum Vergleichen und Bilden einer Ähnlichkeitsmatrix aufweist sowie eine Auswerteeinheit zum Ausführen einer Auswertefunktion entlang eines Pfades, der eine Mehrzahl von Ähnlichkeitselementen der Ähnlichkeitsmatrix einschließt, und die zum Erzeugen eines Auswerteergebnisses als Maß einer in der Matrix vorhandenen Mehrdeutigkeit dient, ist vorteilhaft und eignet sich zum Ausführen des erfindungsgemäßen Verfahrens. Insbesondere eine Vorrichtung, die dazu eingerichtet ist, das erfindungsgemäße Verfahren auszuführen, ist vorteilhaft und weist alle Vorteile des Verfahrens auf. Eine derartige Vorrichtung lässt sich beispielsweise in einem Embedded System oder in einem Chip, etwa in einem ASIC oder FPGA, implementieren und ermöglicht somit eine schnelle Verarbeitung einer Vielzahl von Matrizen bei einer geringen Gesamtleistungsaufnahme. Der Chip oder der ASIC kann ein Bestandteil eines optischen, insbesondere kamerabasierten Systems, Sensors oder Sensorsystems sein. Derartige ASICs oder Sensoren können beispielsweise in Fahrerassistenzkameras, in Fahrerassistenzsystemen, autonomen Systemen, optischen Überwachungssystemen, Robotern oder bei Systemen der industriellen Bildverarbeitung eingesetzt und verwendet werden. Der erfindungsgemäße Chip, ASIC oder Sensor weist gegenüber den bekannten Chips eine deutlich reduzierte Leistungsaufnahme auf, insbesondere wenn das oben beschriebene Verfahren bzw. der oben beschriebene Algorithmus implementiert ist. Wird das oben beschriebene Verfahren in ein Matchingverfahren eingebettet, z.B. in einem Templatematching oder zur Berechnung eines optischen Flusses, so weist der Algorithmus zum Detektieren von Mehrdeutigkeiten, der auf einem Chip implementiert ist, eine deutlich reduzierte Leistungsaufnahme auf, da im einfachsten Fall z.B. nur wenige Additionen (eventuell in Kombination mit wenigen Vergleichen) im Chip zusätzlich notwendig sind.An apparatus for automatically detecting ambiguities in a matrix comprising a first processing unit for providing a matrix of a first 2D structure of sensor data of a sensor and a second processing unit for providing a comparison matrix, and the comparator unit with comparison algorithm for comparing and forming a similarity matrix and an evaluation unit for carrying out an evaluation function along a path, which includes a plurality of similarity elements of the similarity matrix, and which serves to generate an evaluation result as a measure of an ambiguity present in the matrix, is advantageous and is suitable for carrying out the method according to the invention. In particular, a device which is adapted to carry out the method according to the invention is advantageous and has all the advantages of the method. Such a device can be implemented, for example, in an embedded system or in a chip, for example in an ASIC or FPGA, and thus enables rapid processing of a multiplicity of matrices with a low overall power consumption. The chip or the ASIC can be a component of an optical, in particular camera-based system, sensor or sensor system. Such ASICs or sensors can be used and used, for example, in driver assistance cameras, in driver assistance systems, in autonomous systems, in optical monitoring systems, in robots or in industrial image processing systems. The chip, ASIC or sensor according to the invention has a significantly reduced power consumption compared to the known chips, in particular if the method described above or the algorithm described above is implemented. If the method described above is embedded in a matching method, e.g. In a template matching or optical flow calculation, the ambiguity detection algorithm implemented on a chip has a significantly reduced power consumption since, in the simplest case, e.g. only a few additions (possibly in combination with a few comparisons) are additionally necessary in the chip.
Vorteilhafterweise sind die erste Verarbeitungseinheit und/oder die zweite Verarbeitungseinheit und/oder die Vergleichereinheit und/oder die Auswerteeinheit in einem ASIC oder Chip implementiert. Dies kann z.B. bei der Implementierung in einem Matchingverfahren vorgesehen sein. Die Einheiten und/oder der ASIC bzw. Chip sind vorteilhafterweise Teil eines Fahrerassistenzsystems, eines (mobilen) Roboters, eines Überwachungssystems oder eines industriellen Bildverarbeitungssystems. Sie können beispielsweise auch in eine Kamera oder Fahrerassistenzkamera integriert sein.Advantageously, the first processing unit and / or the second processing unit and / or the comparator unit and / or the evaluation unit are implemented in an ASIC or chip. This can e.g. be provided in the implementation in a matching process. The units and / or the ASIC or chip are advantageously part of a driver assistance system, a (mobile) robot, a monitoring system or an industrial image processing system. For example, they can also be integrated in a camera or driver assistance camera.
Figurenliste list of figures
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:
-
1 Ein Ablaufschema des Verfahrens; -
2 eine Prinzipskizze der erfindungsgemäßen Vorrichtung; -
3a -3c ein Prinzipbild zur Erläuterung des Verfahrensablaufs für drei unterschiedliche Matrizen.
-
1 A flow chart of the process; -
2 a schematic diagram of the device according to the invention; -
3a -3c a schematic diagram for explaining the procedure for three different matrices.
In einem Schritt S 200 wird in einer zweiten Verarbeitungseinheit eine Vergleichsmatrix mit Vergleichsmatrixelementen bereitgestellt. Im Falle einer Bildverarbeitung entspricht die Matrix einem Bildausschnitt eines Bildes (
Nach einem Schritt S 300 wird mittels eines Vergleichsalgorithmus in einer Vergleichereinheit ein Vergleich der Matrix mit der Vergleichsmatrix durchgeführt. Die Vergleichsfunktion kann auf Verarbeitungsschritte angepasst sein. Der Vergleich der Matrix mit der Vergleichsmatrix kann beispielsweise für jedes Matrixelement erfolgen. Eine mögliche Vergleichsfunktion oder Vergleichsalgorithmus könnte eine Hamming-Distanzfunktion sein, die beispielsweise matrixelementweise Distanzen von zum Beispiel binären Deskriptoren auf skalare Ähnlichkeiten abbildet. Diese Ähnlichkeiten werden teilweise als Hamming-Kosten bezeichnet. Diese Schritte S 100 bis S 300 können beispielsweise auch Teil eines Matchingverfahrens sein.After a
In einem Schritt S 400 wird aus den Ergebnissen des Vergleichs eine Ähnlichkeitsmatrix mit Ähnlichkeitselementen gebildet. Bevorzugt wird für jedes Matrixelement oder für jede Teilmatrix der Vergleichsmatrix, die der Größe der Matrix entspricht, ein Ähnlichkeitselement gebildet. In einem weiteren Schritt S 500 erfolgt in einer Auswerteeinheit ein Auswerten der Ähnlichkeitsmatrix mittels einer Auswertefunktion entlang eines Pfades, der eine Mehrzahl von Ähnlichkeitselementen einschließt. Ein Schritt S 600 sieht das Erzeugen eines Auswerteergebnisses vor. Das Auswerteergebnis kann ein Maß für eine in der Matrix der ersten 2D-Struktur vorhandene Mehrdeutigkeit sein.In a
Eine Verarbeitungseinheit
Eine Vergleichereinheit
Die
In der gezeigten Ausführungsform sind der zu vergleichende Bildausschnitt
Der Bildausschnitt
Bei der hier verwendeten (nicht notwendigerweise) quadratischen zweidimensionalen Matrix
Im nächsten Schritt wird nun der Bildausschnitt
Beim Vergleich der Matrix
Gemäß
Ist in dem zu vergleichenden Bildausschnitt
Anschließend erfolgt eine Auswertung der Ähnlichkeitsmatrix
Vergleicht man die Bildausschnitte
Handelt es sich bei dem durchgeführten Matchingverfahren z.B. um eine Bestimmung des optischen Flusses, so enthalten beispielsweise die im Schritt S400 gemäß
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 102012012636 A1 [0003]DE 102012012636 A1 [0003]
- DE 4123983 A1 [0004]DE 4123983 A1 [0004]
Claims (16)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17198999.9A EP3327629B1 (en) | 2016-11-23 | 2017-10-27 | Method and apparatus for detecting ambiguities in a matrix of a 2d structure |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102016223081 | 2016-11-23 | ||
DE102016223081.6 | 2016-11-23 |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102017205499A1 true DE102017205499A1 (en) | 2018-05-24 |
Family
ID=62068669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102017205499.9A Ceased DE102017205499A1 (en) | 2016-11-23 | 2017-03-31 | Method and apparatus for detecting ambiguities in a matrix of a 2D structure |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102017205499A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4123983A1 (en) | 1990-09-11 | 1992-03-12 | Head Acoustics Gmbh | Iterative extrapolation and high resolution spectral analysis - performing iterations exclusively in frequency domain and expanding windowedsignal in time domain |
DE102012012636A1 (en) | 2012-06-26 | 2014-01-02 | Daimler Ag | Method for fuel supply of fuel cell system for e.g. omni bus, involves pulsating fuel subflow relative to volume flow and/or pressure, and adding pulsations of subflows so that common fuel flow is not pulsated before division into subflows |
-
2017
- 2017-03-31 DE DE102017205499.9A patent/DE102017205499A1/en not_active Ceased
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4123983A1 (en) | 1990-09-11 | 1992-03-12 | Head Acoustics Gmbh | Iterative extrapolation and high resolution spectral analysis - performing iterations exclusively in frequency domain and expanding windowedsignal in time domain |
DE102012012636A1 (en) | 2012-06-26 | 2014-01-02 | Daimler Ag | Method for fuel supply of fuel cell system for e.g. omni bus, involves pulsating fuel subflow relative to volume flow and/or pressure, and adding pulsations of subflows so that common fuel flow is not pulsated before division into subflows |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102014209137B4 (en) | Method and device for calibrating a camera system of a motor vehicle | |
DE102018116111A1 (en) | A uniform deep convolution neural network for the estimation of free space, the estimation of the object recognition and the object position | |
DE102016013274A1 (en) | IMAGE PROCESSING DEVICE AND METHOD FOR RECOGNIZING AN IMAGE OF AN OBJECT TO BE DETECTED FROM ENTRY DATA | |
DE102016120775A1 (en) | System and method for detecting lines in an image with a vision system | |
DE112011103452T5 (en) | Method for matching pixels of a distance representation | |
WO2007107214A2 (en) | Method and device for determining correspondence, preferably for the three-dimensional reconstruction of a scene | |
DE102013112040B4 (en) | System and method for finding saddle-point like structures in an image and determining information therefrom | |
DE102017209700A1 (en) | Method and device for detecting edges in a camera image, and vehicle | |
DE102013002889A1 (en) | Method for modeling road edge of road for vehicle, involves determining road curvature using two curvature corrected inspection of search area in image, where inspection is corrected according to two different road curvature hypotheses | |
DE102023113166A1 (en) | Image processing method and device | |
EP3327629B1 (en) | Method and apparatus for detecting ambiguities in a matrix of a 2d structure | |
EP3142068B1 (en) | Method for three-dimensional recording of objects | |
EP3214602B1 (en) | Method for three-dimensional recording of objects | |
DE102017205499A1 (en) | Method and apparatus for detecting ambiguities in a matrix of a 2D structure | |
DE102008059551A1 (en) | Method for determining the change in position of a camera system and device for capturing and processing images | |
EP3685352B1 (en) | Method and device for evaluating images, operating assistance method, and operating device | |
DE102020116774A1 (en) | Automatic visual perception using an artificial neural network | |
DE102018208604A1 (en) | Determining a recording behavior of a recording unit | |
DE102018121317A1 (en) | Method and device for estimating direction information conveyed by a free space gesture for determining user input at a human-machine interface | |
DE102016223079B4 (en) | Method and device for determining an association between a matrix element of a matrix and a comparison matrix element of a comparison matrix using a correspondence table | |
DE102012025463A1 (en) | Method for determining e.g. pitch angle change of passenger car to determine proper motion of car in six different degrees of freedom, involves determining parameter based on pair of image features and associated image features of images | |
DE102017217156B4 (en) | Method and device for controlling a driver assistance system using a stereo camera system with a first and a second camera | |
DE102006013598A1 (en) | Image area`s spatial correspondence determining method for three-dimensional reconstruction of scene, involves using parameters of parameterize functions for formation of similarity measurement between image areas of several image sequences | |
DE102020202973A1 (en) | Method and apparatus for processing images | |
DE102021111706A1 (en) | Method, measuring device and computer program product |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G06K0009640000 Ipc: G06V0030192000 |
|
R002 | Refusal decision in examination/registration proceedings | ||
R003 | Refusal decision now final |