DE102015115795B4 - Verfahren und system zur verarbeitung einer sequenz von bildern - Google Patents

Verfahren und system zur verarbeitung einer sequenz von bildern Download PDF

Info

Publication number
DE102015115795B4
DE102015115795B4 DE102015115795.0A DE102015115795A DE102015115795B4 DE 102015115795 B4 DE102015115795 B4 DE 102015115795B4 DE 102015115795 A DE102015115795 A DE 102015115795A DE 102015115795 B4 DE102015115795 B4 DE 102015115795B4
Authority
DE
Germany
Prior art keywords
images
sequence
pixels
radial velocity
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102015115795.0A
Other languages
English (en)
Other versions
DE102015115795A1 (de
Inventor
Inna Stainvas Olshansky
Igal Bilik
Oded Bialer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102015115795A1 publication Critical patent/DE102015115795A1/de
Application granted granted Critical
Publication of DE102015115795B4 publication Critical patent/DE102015115795B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023Details of receivers
    • G01S7/52034Data rate converters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

An einem Computer realisiertes Verfahren zur Verarbeitung einer Sequenz von Bildern, das umfasst, dass:
eine Sequenz von Bildern empfangen wird, wobei jedes Bild eine Vielzahl von Pixeln umfasst, wobei jedes der Pixel eine Radialgeschwindigkeitsinformation umfasst;
durch einen Computer die Sequenz von Bildern auf der Grundlage der Radialgeschwindigkeitsinformation komprimiert wird; und
die komprimierte Sequenz von Bildern in einer Speichereinrichtung gespeichert wird;
wobei das Komprimieren der Sequenz von Bildern umfasst, dass:
ein Satz von Pixeln in einem Bild in der Sequenz von Bildern identifiziert wird;
ein Ort eines anderen Satzes von Pixeln in einem anderen Bild in der Sequenz von Bildern auf der Grundlage der Radialgeschwindigkeitsinformation des einen Satzes von Pixeln identifiziert wird; und
der eine Satz von Pixeln basierend auf dem anderen Satz von Pixeln komprimiert wird; und
wobei die Radialgeschwindigkeitsinformation eine Radialgeschwindigkeit des Pixels angibt, die durch ein Radar (102) basierend auf einer Bewegung eines Objekts (150) relativ zu dem Radar (102) gemessen wird.

Description

  • GEBIET DER ERFINDUNG
  • Die vorliegende Erfindung bezieht sich auf die Verarbeitung einer Sequenz von Bildern und spezieller auf die Verwendung einer Radialgeschwindigkeitsinformation der Pixel der Bilder in der Sequenz, um die Sequenz von Bildern zu komprimieren.
  • HINTERGRUND
  • Die durch ein hochauflösendes bildgebendes Radar erzeugten Bilder können viel mehr Information tragen als die durch ein herkömmliches Radarsystem erzeugten Bilder oder die durch ein herkömmliches Kamerasystem erzeugten Bilder. Das heißt, die Größe der Daten für ein Bild, das durch ein hochauflösendes bildgebendes Radar erzeugt wird, ist häufig viel größer als die Größe eines Bilds, das durch ein herkömmliches Radarsystem oder ein herkömmliches Kamerasystem erzeugt wird. Die Verarbeitung, Speicherung oder Übertragung von Bildern mit größeren Größen dauert wegen der Größen länger. Dementsprechend ist es wünschenswert, Verfahren und Systeme bereitzustellen, die die Bilder, die durch ein hochauflösendes bildgebendes Radar erzeugt werden, für eine schnellere Verarbeitung der Bilder und für weniger Speicherplatz zur Speicherung der Bilder komprimieren.
  • US 2012 / 0 027 315 A1 offenbart ein Verfahren zum Komprimieren von Videobildern, wobei Doppler-Techniken verwendet werden.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Aufgabe der Erfindung ist es, ein verbessertes Verfahren und System zur Verarbeitung einer Sequenz von Bildern bereitzustellen.
  • Zur Lösung der Aufgabe sind ein Verfahren mit den Merkmalen des Anspruchs 1 und ein System mit den Merkmalen des Anspruchs 4 vorgesehen. Vorteilhafte Ausbildungen der Erfindung sind den Unteransprüchen, der Beschreibung und den Zeichnungen zu entnehmen.
  • Bei einer beispielhaften Ausführungsform der Erfindung wird ein Verfahren zum Verarbeiten einer Sequenz von Bildern bereitgestellt. Das Verfahren empfängt eine Sequenz von Bildern. Jedes Bild umfasst eine Vielzahl von Pixeln. Jedes Pixel umfasst eine Radialgeschwindigkeitsinformation. Das Verfahren komprimiert die Sequenz von Bildern auf der Grundlage der Radialgeschwindigkeitsinformation. Das Verfahren speichert die komprimierte Sequenz von Bildern in einer Speichereinrichtung. Das Komprimieren der Sequenz von Bildern umfasst, dass ein Satz von Pixeln in einem Bild in der Sequenz von Bildern identifiziert wird, ein Ort eines anderen Satzes von Pixeln in einem anderen Bild in der Sequenz von Bildern auf der Grundlage der Radialgeschwindigkeitsinformation des einen Satzes von Pixeln identifiziert wird, und der eine Satz von Pixeln basierend auf dem anderen Satz von Pixeln komprimiert wird. Die Radialgeschwindigkeitsinformation gibt eine Radialgeschwindigkeit des Pixels an, die durch ein Radar basierend auf einer Bewegung eines Objekts relativ zu dem Radar gemessen wird.
  • Bei einer anderen beispielhaften Ausführungsform der Erfindung wird ein System zum Verarbeiten einer Sequenz von Bildern bereitgestellt. Das System umfasst ein Radar, das ausgestaltet ist, um eine Sequenz von Bildern zu erzeugen. Jedes Bild umfasst eine Vielzahl von Pixeln und jedes Pixel umfasst eine Radialgeschwindigkeitsinformation. Das System umfasst ferner einen Codierer, der ausgestaltet ist, um die Sequenz von Bildern auf der Grundlage der Radialgeschwindigkeitsinformation zu komprimieren. Das System umfasst eine Speichereinrichtung, die ausgestaltet ist, um die komprimierte Sequenz von Bildern zu speichern. Das Komprimieren der Sequenz von Bildern umfasst, dass ein Satz von Pixeln in einem Bild in der Sequenz von Bildern identifiziert wird, ein Ort eines anderen Satzes von Pixeln in einem anderen Bild in der Sequenz von Bildern auf der Grundlage der Radialgeschwindigkeitsinformation des einen Satzes von Pixeln identifiziert wird, und der eine Satz von Pixeln basierend auf dem anderen Satz von Pixeln komprimiert wird. Die Radialgeschwindigkeitsinformation gibt eine Radialgeschwindigkeit des Pixels an, die durch ein Radar basierend auf einer Bewegung eines Objekts relativ zu dem Radar gemessen wird.
  • Die obigen Merkmale und Vorteile und andere Merkmale und Vorteile der Erfindung werden aus der folgenden detaillierten Beschreibung der Erfindung in Verbindung mit den begleitenden Zeichnungen leicht ersichtlich.
  • Figurenliste
  • Andere Merkmale, Vorteile und Details werden, lediglich beispielhaft, in der folgenden detaillierten Beschreibung von Ausführungsformen ersichtlich, wobei sich die detaillierte Beschreibung auf die Zeichnungen bezieht, in denen:
    • 1 ein Radar und ein Bildverarbeitungssystem gemäß Ausführungsformen der Erfindung zeigt;
    • 2 ein Blockdiagramm eines Codierers und eines Decodierers gemäß Ausführungsformen der Erfindung zeigt; und
    • 3 ein Flussdiagramm, das ein Verfahren zum Verarbeiten einer Sequenz von Bildern darstellt, gemäß Ausführungsformen der Erfindung ist.
  • BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
  • Die folgende Beschreibung ist lediglich beispielhafter Natur und beabsichtigt nicht, die vorliegende Offenbarung, ihre Anwendung oder Verwendungen zu beschränken. Es ist zu verstehen, dass in den Zeichnungen entsprechende Bezugszeichen gleiche oder entsprechende Teile und Merkmale angeben.
  • Wie oben erläutert können die durch ein hochauflösendes bildgebendes Radar erzeugten Bilder mehr Information tragen als die durch ein herkömmliches Radarsystem erzeugten Bilder oder die durch ein herkömmliches Kamerasystem erzeugten Bilder. Dies liegt daran, dass ein Objekt, das in einem durch ein hochauflösendes bildgebendes Radar erzeugten Bild gezeigt ist, durch eine größere Anzahl von Pixeln, die mehr Details des Objekts zeigt, dargestellt wird, während ein Objekt, das in einem durch ein herkömmliches Radarsystem erzeugten Bild gezeigt ist, ein Bild mit niedrigerer Auflösung umfasst, bei dem eine kleinere Anzahl von Pixeln (z.B. ein Punkt) das Objekt darstellen kann. Ferner trägt ein durch ein hochauflösendes bildgebendes Radar erzeugtes Bild mehr Information als ein durch ein herkömmliches Kamerasystem erzeugtes Bild, da ein herkömmliches Kamerasystem keine Radialgeschwindigkeitsinformation für die Pixel in dem Bild aufweist.
  • Bei Ausführungsformen umfasst ein durch ein hochauflösendes bildgebendes Radar erzeugtes Bild eine Radialgeschwindigkeitsinformation zusätzlich zu einer Entfernungsinformation, einer Höheninformation, einer Azimutinformation und einer Intensitätsinformation, welche ein durch ein herkömmliches Radar erzeugtes Bild umfasst. Im Speziellen umfasst bei Ausführungsformen jedes Pixel in einem durch ein hochauflösendes Bildradar erzeugten Bild eine Radialgeschwindigkeitsinformation, eine Entfernungsinformation, eine Höheninformation, eine Azimutinformation und eine Intensitätsinformation. Die Radialgeschwindigkeitsinformation für ein Pixel gibt eine Radialgeschwindigkeit des Pixels, gemessen durch das Radar auf der Grundlage einer Bewegung eines Objekts relativ zu dem Radar, an. Die Entfernungsinformation für ein Pixel gibt eine Distanz zwischen dem Objekt und dem Radar an. Die Höheninformation gibt einen Höhenwinkel von dem Radar zu dem Objekt an. Die Azimutinformation gibt einen Azimutwinkel von dem Radar zu dem Objekt an. Die Intensitätsinformation gibt einen Betrag und eine Phase eines Radarsignals an, das durch das Objekt reflektiert wird. Im Allgemeinen verwenden die Verfahren und Systeme der Ausführungsformen der Erfindung die Radialgeschwindigkeitsinformation für ein Pixel in einem Bild, um die Sequenz von Bildern zu komprimieren.
  • Gemäß einer beispielhaften Ausführungsform der Erfindung zeigt 1 ein Bildverarbeitungssystem 100 und ein Radar 102. Bei Ausführungsformen umfasst das Bildverarbeitungssystem 100 ein oder mehrere Module und Submodule, wie beispielsweise einen Codierer 104, einen Decodierer 106, einen Datenspeicher 108, ein Verarbeitungsmodul 110 und einen Transceiver 112. Wie hierin verwendet bezieht sich der Ausdruck „Modul“ oder „Submodul“ auf einen anwendungsspezifischen Schaltkreis (ASIC von application specific integrated circuit), einen elektronischen Schaltkreis, einen Prozessor (gemeinsam genutzt, zugeordnet oder gruppiert) und einen Speicher, die ein oder mehrere Software- oder Firmwareprogramme ausführen, einen Schaltkreis mit kombinatorischer Logik und/oder andere geeignete Bauteile, die die beschriebene Funktionalität bereitstellen. Bei einer Realisierung in Software kann ein Modul oder ein Submodul in einem Speicher als ein nicht transitorisches maschinenlesbares Speichermedium ausgeführt sein, das durch einen Verarbeitungsschaltkreis gelesen werden kann und Anweisungen zur Ausführung durch den Verarbeitungsschaltkreis zum Durchführen eines Verfahrens speichert. Ferner können die in 1 gezeigten Module und Submodule kombiniert und/oder weiter aufgeteilt werden. Bei Ausführungsformen arbeiten das Bildverarbeitungssystem 100 und das Radar 102 in einem Fahrzeug oder einer mobilen Plattform. Nicht einschränkende Ausführungsformen des Fahrzeugs oder der mobilen Plattform umfassen bemannte oder unbemannte Landfahrzeuge, bemannte oder unbemannte Wasserfahrzeuge, bemannte oder unbemannte Luftfahrzeuge und bemannte oder unbemannte Raumfahrzeuge.
  • Das Radar 102 erzeugt hochauflösende Bilder (oder Frames) der Umgebung um das Bildverarbeitungssystem 100 herum. Das Radar 102 erfasst sequenzielle Bilder 114 von Radardaten, die für eine Bildverarbeitung und Analyse an den Codierer 104 oder das Verarbeitungsmodul 110 weitergeleitet werden. Bei Ausführungsformen ist das Radar 102 ausgestaltet, um eine Doppler-Analyse an einem oder mehreren sich bewegenden Objekten 150, die in der Reichweite des Radars 102 vorhanden sein können, durchzuführen, um eine Radialgeschwindigkeitsinformation für jedes Pixel eines Bilds, das das Radar 102 erfasst, zu erzeugen. Das Radar 102 erzeugt zusätzlich zu der Radialgeschwindigkeitsinformation auch eine Entfernungsinformation, eine Höheninformation und eine Azimutinformation für jedes Pixel des Bilds. Ferner erzeugt das Radar 102 eine Intensitätsinformation für jedes Pixel, die einen oder mehrere Intensitätswerte des Pixels angibt. Bei Ausführungsformen liegt die Intensitätsinformation in Form einer komplexen Zahl vor, um den Betrag und die Phase des reflektierten Radarsignals anzugeben.
  • Der Codierer 104 komprimiert die Sequenz 114 von Bildern, die von dem Radar 102 empfangen werden, um die Datengröße der Sequenz von Bildern zu reduzieren. Bei Ausführungsformen verwendet der Codierer 104 die Radialgeschwindigkeitsinformation für ein Pixel in einem Bild, um die Sequenz von Bildern zu komprimieren. Im Speziellen verwendet der Codierer 104 für jedes Pixel eines Bilds in der Sequenz die Radialgeschwindigkeitsinformation, um einen Ort eines anderen Pixels in einem anderen Bild der Sequenz, der dem Pixel entspricht, zu identifizieren. Der Codierer 104 reduziert die Datengröße jedes Pixels in einem Bild auf der Grundlage des entsprechenden Pixels in einem anderen Bild. Mit dem identifizierten Ort des entsprechenden Pixels erzeugt der Codierer 104 einen Vektor, der auf den Ort des entsprechenden Pixels zeigt (z.B. der Bildidentifikator oder eine Frame-Nummer des Bilds, das das entsprechende Pixel enthält, die Koordinaten des entsprechenden Pixels in dem Bild etc.). Der Codierer 104 ersetzt die Intensitätsinformation des Pixels durch den Vektor und eine Differenz der Intensitäten zwischen dem Pixel und dem entsprechenden Pixel. Da ein Vektor und eine Intensitätsdifferenz viel kleinere Datengrößen aufweisen als die Intensitätsinformation des Pixels, wird eine Reduzierung der Datengröße des Pixels erreicht. Ferner kann der Codierer 104 auch die Radialgeschwindigkeitsinformation selbst komprimieren, um die Datengröße des Pixels zu reduzieren. Der Codierer 104 speichert die komprimierte Sequenz von Bildern in dem Datenspeicher 108. Weitere Details hinsichtlich des Codierers 104 werden nachstehend mit Bezugnahme auf 2 weiter beschrieben.
  • Der Transceiver 112 kann auf die komprimierte Sequenz von Bildern in dem Datenspeicher 108 zugreifen, um die komprimierte Sequenz von Bildern über ein oder mehrere Netze (nicht gezeigt) an ein entferntes System (z.B. ein anderes Fahrzeug, einen entfernten Telematikserver, ein Cloud-System etc.) zu übertragen. Der Transceiver 112 empfängt auch eine komprimierte Sequenz von Bildern von einem entfernten System über ein oder mehrere Netze und speichert diese Bilder in dem Datenspeicher 108.
  • Der Decodierer 106 kann auf die komprimierte Sequenz von Bildern, die in dem Datenspeicher 108 gespeichert ist, zugreifen, um die Bilder zu dekomprimieren. Wie oben erwähnt kann die komprimierte Sequenz von Bildern durch den Codierer 104 erzeugt oder von einem entfernten System durch den Transceiver 112 empfangen werden. Für ein Pixel in einem Bild in der komprimierten Sequenz von Bildern verwendet der Decodierer 106 einen Vektor für ein Pixel, um ein entsprechendes Pixel in dem gleichen Bild oder in einem anderen Bild zu lokalisieren, und fügt er die Intensitätsdifferenz für das Pixel und einen Intensitätswert des entsprechenden Pixels hinzu, um den Intensitätswert des Pixels neu zu speichern. Weitere Details hinsichtlich des Decodierers 106 werden nachstehend mit Bezugnahme auf 2 weiter beschrieben.
  • Das Verarbeitungsmodul 110 verarbeitet die nicht komprimierte Sequenz von Bildern, die von dem Decodierer 106 empfangen werden. Beispielsweise analysiert das Verarbeitungsmodul 100 die nicht komprimierten Bilder, um jegliche Objekte in den Bildern zu identifizieren und zu lokalisieren.
  • 2 zeigt ein Blockdiagramm des Codierers 104 und des Decodierers 106 von 1. Im Speziellen zeigt die obere Hälfte von 2 den Codierer 104, und die untere Hälfte von 2 zeigt den Decodierer 106. Bei Ausführungsformen umfasst der Codierer 104 ein oder mehrere Submodule, wie beispielsweise eine Vorhersageeinrichtung 202, einen Quantisierer 204, einen Subtrahierer 208 und einen Symbolcodierer 206.
  • Die Vorhersageeinrichtung 202 empfängt die Sequenz 114 von Bildern von dem Radar 102 (in 2 nicht gezeigt). Die Vorhersageeinrichtung 202 führt eine Zwischenbild-Vorhersagecodierung (d.h. zeitliche Codierung) durch. Das heißt, die Vorhersageeinrichtung 202 identifiziert für jedes bestimmte Pixel eines bestimmten Bilds in der Sequenz 114 einen Ort eines anderen Bilds in der Sequenz, das ein entsprechendes Pixel umfassen kann. Beispielsweise ermittelt die Vorhersageeinrichtung 202 einen zeitlichen Abstand zwischen jeweils zwei aufeinanderfolgenden Bildern in der Sequenz auf der Grundlage einer Frame-Rate, mit der das Radar 102 die Bilder erfasste, und verwendet sie diese zeitlichen Abstände und die Radialgeschwindigkeitsinformation des Pixels, um einen Ort des anderen Bilds in der Sequenz zu identifizieren. Dann identifiziert die Vorhersageeinrichtung 202 ein Pixel des identifizierten Bilds, das einen ähnlichen Intensitätswert/ähnliche Intensitätswerte aufweist, als das entsprechende Pixel.
  • Bei Ausführungsformen kann die Vorhersageeinrichtung 202 unter Verwendung der Radialgeschwindigkeitsinformation des bestimmten Pixels auch eine bildinterne Vorhersagecodierung (d.h. räumliche Codierung) durchführen. Das heißt, die Vorhersageeinrichtung 202 kann unter Verwendung der Radialgeschwindigkeitsinformation des bestimmten Pixels ein entsprechendes Pixel in dem bestimmten Bild identifizieren. Beispielsweise kann die Vorhersageeinrichtung 202 einen Satz von anderen Pixeln in dem bestimmten Bild identifizieren, der eine ähnliche Radialgeschwindigkeitsinformation aufweist, und ein Pixel in dem Satz identifizieren, das einen ähnlichen Intensitätswert/ähnliche Intensitätswerte aufweist wie das entsprechende Pixel.
  • Bei Ausführungsformen kann die Vorhersageeinrichtung 202 eine Gruppe von entsprechenden Pixeln für eine Gruppe von nebeneinanderliegenden Pixeln des bestimmten Bilds unter Verwendung der Radialgeschwindigkeitsinformation für die Gruppe von Pixeln identifizieren. Das heißt, bei diesen Ausführungsformen führt die Vorhersageeinrichtung 202 eine Vorhersagecodierung auf einer Pro-Pixelgruppe-Basis und nicht auf einer Pro-Pixel-Basis durch. Bei Ausführungsformen ist eine Gruppe von Pixeln für die Vorhersageeinrichtung 202 ein Block einer minimalen codierten Einheit (MCU von minimum coded unit) (z.B. 8 mal 8, 16 mal 8 oder 16 mal 16 Pixel). Bei Ausführungsformen ist eine Gruppe von Pixeln, die die Vorhersageeinrichtung 202 verarbeitet, ein Makroblock.
  • Die Vorhersageeinrichtung 202 erzeugt für jedes bestimmte Pixel oder jede bestimmte Pixelgruppe eines bestimmten Bilds in der Sequenz einen Vektor, der auf das entsprechende Pixel oder die entsprechende Pixelgruppe zeigt. Dieser Vektor gibt den Ort eines Bilds (d.h. des bestimmten Bilds oder eines anderen Bilds in der Sequenz), das das entsprechende Pixel oder die entsprechende Pixelgruppe enthält, sowie den Ort des Pixels oder der Pixelgruppe in diesem Bild an.
  • Der Quantisierer 204 rundet die Intensitätswerte der entsprechenden Pixel auf die nächsten ganzen Zahlen auf. Der Subtrahierer 208 subtrahiert diese aufgerundeten Intensitätswerte 210 von den Intensitätswerten der Pixel in der Sequenz 114 von Bildern, um die Intensitätsdifferenzen bei 212 zu berechnen, welche dem Symbolcodierer 206 geliefert werden. Bei Ausführungsformen quantisiert der Quantisierer 204 die Intensitätsdifferenzen bei 212 zusätzlich zu oder anstelle der Quantisierung der Intensitätswerte der Pixel.
  • Ähnlich rundet der Quantisierer 204 bei Ausführungsformen die Radialgeschwindigkeitswerte (d.h. sowohl die Betrags- als auch die Phasenwerte) der entsprechenden Pixel auf die nächsten ganzen Zahlen auf. Der Subtrahierer 208 subtrahiert diese aufgerundeten Radialgeschwindigkeitswerte 210 von den Radialgeschwindigkeitswerten der Pixel in der Sequenz 114 von Bildern, um die Radialgeschwindigkeitsintensitätsdifferenzen 212 zu berechnen, welche dem Symbolcodierer 206 geliefert werden. Bei Ausführungsformen quantisiert der Quantisierer 204 die Radialgeschwindigkeitsdifferenzen bei 212 zusätzlich zu oder anstelle der Quantisierung der Radialgeschwindigkeitswerte der Pixel.
  • Bei Ausführungsformen führt der Symbolcodierer 206 eine Entropiecodierung (z.B. Huffman-Codierung, arithmetische Codierung etc.) hinsichtlich der Intensitäts- und Radialgeschwindigkeitsdifferenzen bei 212 zur weiteren Reduzierung der Datengröße jedes Bilds in der Sequenz durch. Der Ausgang 214 des Symbolcodierers 206 stellt die komprimierte Sequenz von Bildern dar.
  • Wie es zu erkennen ist, sind eine Vorhersageeinrichtung, ein Quantisierer und ein Symbolcodierer übliche Komponenten herkömmlicher Videocodierungssysteme zum Komprimieren einer Sequenz von Bildern. Weitere Merkmale einer Vorhersageeinrichtung, eines Quantisierers und eines Symbolcodierers der herkömmlichen Videocodierungssysteme sind bekannt und werden daher zur Vereinfachung der Beschreibung und Darstellung in dieser Offenbarung nicht beschrieben. Beispielsweise wird eine diskrete Cosinus-Transformation (DCT), die an den Pixeln der Bilder in der Sequenz durchgeführt werden kann, nicht beschrieben. Im Gegensatz zu einer Vorhersageeinrichtung der herkömmlichen Videocodierungssysteme führt die Vorhersageeinrichtung 202 jedoch eine Vorhersagecodierung durch Verwenden der Radialgeschwindigkeitsinformation durch. Ferner führt der Symbolcodierer 206 im Gegensatz zu einem Symbolcodierer der herkömmlichen Videocodierungssysteme eine Entropiecodierung an der Radialgeschwindigkeitsinformation der Pixel durch. Somit kann das Bildverarbeitungssystem 100 eine oder mehrere herkömmliche Videokompressionstechniken einsetzen, indem die Techniken angepasst oder modifiziert werden, um die Radialgeschwindigkeitsinformation der Pixel der Bilder in der Sequenz zu verwenden. Beispiele für die herkömmlichen Videokompressionstechniken umfassen MPEG- (Moving Picture Experts Group-) und HEVC- (High Efficiency Video Coding-) Techniken, die in dem H.261-, H.263-, H.264- oder H.265-Standard spezifiziert sind.
  • In der unteren Hälfte von 2 ist der Decodierer 106 gezeigt, der bei Ausführungsformen einen Symboldecodierer 218, einen Addierer 220 und eine Vorhersageeinrichtung 222 umfasst. Wie oben erwähnt ruft der Decodierer 106 eine komprimierte Sequenz von Bildern (z.B. eine komprimierte Sequenz 216 von Bildern) von dem Datenspeicher 108 (in 2 nicht gezeigt) ab. Die komprimierte Sequenz von Bildern kann durch den Codierer 104 komprimiert worden sein oder kann von einem entfernten System (in 2 nicht gezeigt) stammen. Der Decodierer 106 setzt die Codierungsprozesse, die ein Codierer (z.B. der Codierer 104) an einer Sequenz von Bildern durchgeführt hat, zurück oder macht diese rückgängig, um die komprimierte Sequenz von Bildern zu dekomprimieren.
  • Der Symboldecodierer 218 führt eine Entropiedecodierung (z.B. Huffman-Codierung, arithmetische Codierung etc.) an der komprimierten Sequenz 216 von Bildern durch. Die komprimierte Sequenz 216 von Bildern kann entropiecodierte Differenzen zwischen den ursprünglichen Intensitäts- und Radialgeschwindigkeitswerten von Pixeln in den Bildern und den Intensitäts- und Radialgeschwindigkeitswerten der entsprechenden Pixel umfassen. Daher umfasst der Ausgang des Symboldecodierers 218 die Intensitäts- und Radialgeschwindigkeitsdifferenzen.
  • Für jedes Pixel oder jede Pixelgruppe ermittelt die Vorhersageeinrichtung 222 die Intensitäts- und Radialgeschwindigkeitswerte der entsprechenden Pixelgruppe unter Verwendung eines Vektors, der den Ort eines Bilds in der Sequenz, das das entsprechende Pixel oder die entsprechende Pixelgruppe umfasst, sowie den Ort des entsprechenden Pixels oder der entsprechenden Pixelgruppe angibt. Der Addierer 220 addiert die Intensitäts- und Radialgeschwindigkeitsdifferenzen und die Intensitäts- und Radialgeschwindigkeitswerte des entsprechenden Pixels oder der entsprechenden Pixelgruppe, um die Intensitäts- und Radialgeschwindigkeitswerte des Pixels oder der Pixelgruppe neu zu speichern. Somit wird eine nicht komprimierte Sequenz von Bildern von dem Decodierer 106 ausgegeben.
  • Nun auf 3 Bezug nehmend und mit weiterer Bezugnahme auf 1 und 2 zeigt ein Flussdiagramm ein Verfahren zum Komprimieren einer Sequenz von Bildern. Bei Ausführungsformen kann das Verfahren durch das Bildverarbeitungssystem 100 von 1 und 2 durchgeführt werden. Wie es angesichts der Offenbarung zu erkennen ist, ist die Reihenfolge der Operationen in dem Verfahren nicht auf die sequentielle Ausführung wie in 3 dargestellt beschränkt, sondern kann nach Bedarf und gemäß der vorliegenden Offenbarung eine Durchführung in einer oder mehreren verschiedenen Reihenfolgen erfolgen. Bei Ausführungsformen kann geplant sein, dass das Verfahren auf der Grundlage von vorbestimmten Ereignissen ausgeführt wird und/oder während des Betriebs des Bildverarbeitungssystems 100 kontinuierlich ausgeführt wird.
  • In Kasten 310 empfängt das Bildverarbeitungssystem 100 eine Sequenz von Bildern von dem Radar 102. Die Sequenz von Bildern umfasst eine Radialgeschwindigkeitsinformation, eine Entfernungsinformation, eine Höheninformation, eine Azimutinformation und eine Intensitätsinformation, die durch das Radar 102 für jedes Pixel eines Bilds in der Sequenz erzeugt werden.
  • In Kasten 320 komprimiert das Bildverarbeitungssystem 100 die Sequenz von Bildern auf der Grundlage der Radialgeschwindigkeitsinformation. Im Speziellen verwendet das Bildverarbeitungssystem 100 für jedes bestimmte Pixel oder jede bestimmte Pixelgruppe in einem bestimmten Bild in der Sequenz die Radialgeschwindigkeitsinformation des Pixels oder der Pixelgruppe, um einen Ort eines anderen Bilds in der Sequenz zu identifizieren, das ein entsprechendes Pixel oder eine entsprechende Pixelgruppe umfassen kann. Das Bildverarbeitungssystem 100 identifiziert dann ein Pixel oder eine Pixelgruppe des identifizierten Bilds, das oder die ähnliche Intensitätswerte aufweist wie das entsprechende Pixel oder die entsprechende Pixelgruppe. Das Bildverarbeitungssystem 100 kann auch ein entsprechendes Pixel oder eine entsprechende Pixelgruppe in dem bestimmten Bild unter Verwendung der Radialgeschwindigkeitsinformation des bestimmten Pixels oder der bestimmten Pixelgruppe identifizieren. Das Bildverarbeitungssystem 100 ermittelt die Differenzen zwischen den Intensitätswerten des bestimmten Pixels oder der bestimmten Pixelgruppe und den Intensitätswerten des entsprechenden Pixels oder der entsprechenden Pixelgruppe. Das Bildverarbeitungssystem 100 ermittelt auch die Differenzen zwischen den Radialgeschwindigkeitswerten des bestimmten Pixels oder der bestimmten Pixelgruppe und den Radialgeschwindigkeitswerten des entsprechenden Pixels oder der entsprechenden Pixelgruppe. Das Bildverarbeitungssystem 100 quantisiert die Intensitäts- und Radialgeschwindigkeitsdifferenzen beispielsweise durch Aufrunden der Intensitäts- und Radialgeschwindigkeitsdifferenzen auf die nächsten ganzen Zahlen. Das Bildverarbeitungssystem 100 führt dann eine Entropiecodierung hinsichtlich der Intensitäts- und Radialgeschwindigkeitsdifferenzen durch.
  • In Kasten 330 speichert das Bildverarbeitungssystem 100 die komprimierte Sequenz von Bildern in dem Datenspeicher 108. In einigen Fällen überträgt das Bildverarbeitungssystem 100 die komprimierte Sequenz von Bildern an ein entferntes System.
  • Während die Erfindung in Bezug auf beispielhafte Ausführungsformen beschrieben wurde, wird Fachleuten deutlich, dass verschiedene Änderungen durchgeführt und Elemente durch Äquivalente von diesen ersetzt werden können, ohne vom Schutzumfang der Erfindung abzuweichen. Zusätzlich können viele Abwandlungen durchgeführt werden, um eine bestimmte Situation oder ein bestimmtes Material an die Lehren der Erfindung anzupassen, ohne von dem wesentlichen Schutzumfang dieser abzuweichen. Daher soll die Erfindung nicht auf die bestimmten offenbarten Ausführungsformen beschränkt sein, sondern die Erfindung umfasst alle Ausführungsformen, die innerhalb des Schutzumfangs der Anmeldung liegen.

Claims (8)

  1. An einem Computer realisiertes Verfahren zur Verarbeitung einer Sequenz von Bildern, das umfasst, dass: eine Sequenz von Bildern empfangen wird, wobei jedes Bild eine Vielzahl von Pixeln umfasst, wobei jedes der Pixel eine Radialgeschwindigkeitsinformation umfasst; durch einen Computer die Sequenz von Bildern auf der Grundlage der Radialgeschwindigkeitsinformation komprimiert wird; und die komprimierte Sequenz von Bildern in einer Speichereinrichtung gespeichert wird; wobei das Komprimieren der Sequenz von Bildern umfasst, dass: ein Satz von Pixeln in einem Bild in der Sequenz von Bildern identifiziert wird; ein Ort eines anderen Satzes von Pixeln in einem anderen Bild in der Sequenz von Bildern auf der Grundlage der Radialgeschwindigkeitsinformation des einen Satzes von Pixeln identifiziert wird; und der eine Satz von Pixeln basierend auf dem anderen Satz von Pixeln komprimiert wird; und wobei die Radialgeschwindigkeitsinformation eine Radialgeschwindigkeit des Pixels angibt, die durch ein Radar (102) basierend auf einer Bewegung eines Objekts (150) relativ zu dem Radar (102) gemessen wird.
  2. Verfahren nach Anspruch 1, ferner umfassend, dass ein Ort des anderen Bilds in der Sequenz von Bildern basierend auf der Radialgeschwindigkeitsinformation des einen Satzes von Pixeln identifiziert wird.
  3. Verfahren nach Anspruch 1, wobei jedes Pixel des Bilds ferner umfasst: eine Entfernungsinformation, die eine Distanz zwischen dem Objekt (150) und dem Radar (102) angibt; eine Höheninformation, die einen Höhenwinkel von dem Radar (102) zu dem Objekt (150) angibt; eine Azimutinformation, die einen Azimutwinkel von dem Radar (102) zu dem Objekt (150) angibt; und eine Intensitätsinformation, die einen Betrag und eine Phase eines Radarsignals, das durch das Objekt (150) reflektiert wird, angibt.
  4. System zur Verarbeitung einer Sequenz von Bildern, umfassend: ein Radar (102), das ausgestaltet ist, um eine Sequenz von Bildern zu erzeugen, wobei jedes Bild eine Vielzahl von Pixeln umfasst, wobei jedes der Pixel eine Radialgeschwindigkeitsinformation umfasst; einen Codierer (104), der ausgestaltet ist, um die Sequenz von Bildern auf der Grundlage der Radialgeschwindigkeitsinformation zu komprimieren; und eine Speichereinrichtung, die ausgestaltet ist, um die komprimierte Sequenz von Bildern zu speichern; wobei das Komprimieren der Sequenz von Bildern umfasst, dass: ein Satz von Pixeln in einem Bild in der Sequenz von Bildern identifiziert wird; ein Ort eines anderen Satzes von Pixeln in einem anderen Bild in der Sequenz von Bildern auf der Grundlage der Radialgeschwindigkeitsinformation des einen Satzes von Pixeln identifiziert wird; und der eine Satz von Pixeln basierend auf dem anderen Satz von Pixeln komprimiert wird; und wobei die Radialgeschwindigkeitsinformation eine Radialgeschwindigkeit des Pixels angibt, die durch ein Radar (102) basierend auf einer Bewegung eines Objekts (150) relativ zu dem Radar (102) gemessen wird.
  5. System nach Anspruch 4, ferner umfassend einen Sender, der ausgestaltet ist, um die komprimierte Sequenz von Bildern an ein entferntes System zu übertragen.
  6. System nach Anspruch 5, wobei das entfernte System ein Fahrzeug oder ein Telematiksystem oder ein Cloud-System umfasst.
  7. System nach Anspruch 4, wobei der Codierer (104) ausgestaltet ist, um eine Videokompressionstechnik zu verwenden, die modifiziert ist, um die Radialgeschwindigkeitsinformation zu verwenden, um die Sequenz von Bildern zu komprimieren.
  8. System nach Anspruch 4, ferner umfassend einen Decodierer (106), der ausgestaltet ist, um: eine komprimierte Sequenz von Bildern zu empfangen, wobei jedes komprimierte Bild eine Vielzahl von Pixeln umfasst, wobei jedes der Pixel ferner eine komprimierte Radialgeschwindigkeitsinformation umfasst; und die komprimierte Sequenz von Bildern durch Dekomprimieren der Radialgeschwindigkeitsinformation zu dekomprimieren.
DE102015115795.0A 2014-09-19 2015-09-18 Verfahren und system zur verarbeitung einer sequenz von bildern Active DE102015115795B4 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462052700P 2014-09-19 2014-09-19
US62/052,700 2014-09-19
US14/855,480 2015-09-16
US14/855,480 US10234553B2 (en) 2014-09-19 2015-09-16 Doppler-based compression of imaging radar data

Publications (2)

Publication Number Publication Date
DE102015115795A1 DE102015115795A1 (de) 2016-03-24
DE102015115795B4 true DE102015115795B4 (de) 2022-03-17

Family

ID=55444933

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015115795.0A Active DE102015115795B4 (de) 2014-09-19 2015-09-18 Verfahren und system zur verarbeitung einer sequenz von bildern

Country Status (3)

Country Link
US (1) US10234553B2 (de)
CN (1) CN105554499B (de)
DE (1) DE102015115795B4 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102399539B1 (ko) * 2017-08-28 2022-05-19 삼성전자주식회사 오브젝트 식별 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120027315A1 (en) 1998-12-21 2012-02-02 Zin Stai Pte. In, Llc Compression with doppler enhancement

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5390133A (en) * 1992-09-30 1995-02-14 Martin Marietta Corporation Image processor for target detection and tracking
JP3679426B2 (ja) * 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
JP3231618B2 (ja) * 1996-04-23 2001-11-26 日本電気株式会社 3次元画像符号化復号方式
US5845004A (en) * 1996-06-28 1998-12-01 Siemens Medical Systems, Inc. Method and apparatus for performing frame interpolation in an ultrasound imaging system
US20070280507A1 (en) * 2006-06-01 2007-12-06 Beddhu Murali Apparatus and Upwind Methods for Optical Flow Velocity Estimation
JP2008017060A (ja) * 2006-07-04 2008-01-24 Sony Corp 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム
US8559763B2 (en) * 2010-12-14 2013-10-15 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for motion-compensated interpolation (MCI) with conservative motion model
GB201204792D0 (en) * 2012-03-19 2012-05-02 Qinetiq Ltd Detection techniques
CN102901956B (zh) * 2012-09-27 2014-08-06 电子科技大学 一种雷达微弱目标检测方法
CN103364783B (zh) * 2013-07-04 2015-01-28 西安电子科技大学 基于单通道sar的运动目标径向速度无模糊估计方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120027315A1 (en) 1998-12-21 2012-02-02 Zin Stai Pte. In, Llc Compression with doppler enhancement

Also Published As

Publication number Publication date
US10234553B2 (en) 2019-03-19
CN105554499A (zh) 2016-05-04
DE102015115795A1 (de) 2016-03-24
US20160084955A1 (en) 2016-03-24
CN105554499B (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
Li et al. Learning convolutional networks for content-weighted image compression
DE112017006657B4 (de) Adaptive planare Prädiktion mit ungleichen Gewichten
DE69836696T2 (de) Verfahren und vorrichtung zur durchführung einer hierarchischen bewegungsschätzung unter verwendung einer nicht-linearen pyramide
DE112018005250T5 (de) Punktwolkenkomprimierung
DE69817460T2 (de) Bildsequenzdekodierungsverfahren
DE102019218837A1 (de) VERFAHREN UND SYSTE M ZUR NEURONALNETZ WERK-SCHLEIFENFILTERUNG ZUR VlDEOCODIERUNG
DE69839100T2 (de) Verbesserte Videokodierung unter Verwendung von adaptiven Blockparametern für kodierte/unkodierte Blöcke
DE102016125379B4 (de) Bewegungsvektoraufteilung des letzten Frames
DE202016008175U1 (de) Adaptive gerichtete Intra-Prädiktion mit Blockgröße
DE102009017436B4 (de) Erkennung einer Änderung zwischen Bildern oder in einer Sequenz von Bildern
DE102016120173A1 (de) Verfahren zum Codieren von Videodaten, Videocodierer, welcher dasselbe durchführt und elektronisches System mit demselben
DE112007002493T5 (de) Verfahren zum Zerlegen eines Videosequenzrahmens
DE102013015821B4 (de) System und Verfahren zur Verbesserung der Videokodierung unter Verwendung von Inhaltsinformation
DE102013105461A1 (de) Ratensteuerverfahren für mehrschichtige Videocodierung, sowie Videocodiervorrichtung und Videosignalverarbeitungsvorrichtung, welche das Ratensteuerverfahren verwenden
KR20220163941A (ko) 비디오 송신 방법, 비디오 송신 장치, 비디오 수신 방법, 비디오 수신 장치
EP3434015B1 (de) Datenkompression mittels adaptiven unterabtastens
EP3101898B1 (de) Videokompression mit verbesserter wiedergabetreue in der nähe des horizonts
CN103796011A (zh) 基于jpeg2000和帧间补偿的无人机侦察图像通用压缩方法
WO1998034196A1 (de) Verfahren und anordnung zur codierung und decodierung eines digitalisierten bildes
KR20110123699A (ko) 화상 시퀀스 코딩 방법, 그 대응 재구성 방법, 및 이 화상 시퀀스를 대표하는 코딩된 데이터 스트림
DE102016015996B3 (de) Anpassungsfähige Kachel-Daten-Grössenkodierung für Video- und Bildkompression
DE102015115795B4 (de) Verfahren und system zur verarbeitung einer sequenz von bildern
EP3844965A1 (de) Historische bewegungsvektorvorhersage mit rücksetzliste
US9986260B2 (en) Census transform data compression methods and systems
DE102011006036B4 (de) Verfahren und Vorrichtungen zur Bildung eines Prädiktionswertes

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final