DE69534399T2 - Verfahren und Gerät zur Bestimmung von Merkmalpunkten - Google Patents

Verfahren und Gerät zur Bestimmung von Merkmalpunkten Download PDF

Info

Publication number
DE69534399T2
DE69534399T2 DE1995634399 DE69534399T DE69534399T2 DE 69534399 T2 DE69534399 T2 DE 69534399T2 DE 1995634399 DE1995634399 DE 1995634399 DE 69534399 T DE69534399 T DE 69534399T DE 69534399 T2 DE69534399 T2 DE 69534399T2
Authority
DE
Germany
Prior art keywords
pixels
blocks
gradient
pixel
gradients
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE1995634399
Other languages
English (en)
Other versions
DE69534399D1 (de
Inventor
Min-sub Yongdeungpo-Ku Lee
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WiniaDaewoo Co Ltd
Original Assignee
Daewoo Electronics Co Ltd
Dongbu Daewoo Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daewoo Electronics Co Ltd, Dongbu Daewoo Electronics Corp filed Critical Daewoo Electronics Co Ltd
Publication of DE69534399D1 publication Critical patent/DE69534399D1/de
Application granted granted Critical
Publication of DE69534399T2 publication Critical patent/DE69534399T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/54Motion estimation other than block-based using feature points or meshes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Description

  • Gebiet der Erfindung
  • Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bestimmen von Merkmalspunkten; und insbesondere ein Verfahren und eine Vorrichtung zum Bestimmen von Merkmalspunkten basierend auf Pixelintensitätsgradienten und deren Varianzen.
  • Beschreibung des Standes der Technik
  • Wie bekannt können mit der Übertragung digitalisierter Bildsignale Videobilder mit sehr viel höherer Qualität als mit der Übertragung analoger Signale erzielt werden. Wenn ein Bildsignal, das eine Folge von Bild-"Frames" umfaßt, in digitaler Form ausgedrückt wird, wird eine erhebliche Datenmenge für die Übertragung erzeugt, insbesondere im Falle eines hochauflösenden Fernsehsystems. Da jedoch die verfügbare Frequenzbandbreite eines herkömmlichen Übertragungskanals beschränkt ist, um die erheblichen Mengen digitaler Daten dort hindurch zu übertragen, ist es unausweichlich, das Volumen der Übertragungsdaten zu komprimieren oder zu reduzieren. Unter den verschiedenen Videokomprimierungstechniken, ist die sog. hybride Kodierungstechnik, die zeitliche und räumliche Komprimierungstechniken zusammen mit einer statistischen Kodierungstechnik kombiniert, bekanntermaßen am effektivsten.
  • Die meisten hybriden Kodierungstechniken wenden eine bewegungskompensierte DPCM (differential pulse coded modulation, d.h. Differenzpulskodierte Modulation) an, die ein Verfahren ist, bei dem die Bewegung eines Objektes zwischen einem aktuellen Frame und dessen vorhergehenden Frame geschätzt wird, und der aktuelle Frame entsprechend dem Bewegungsfluß des Objektes vorhergesagt wird, um ein Differenzsignal zu erzeugen, daß die Differenz zwischen dem aktuellen Frame und dessen Vorhersage darstellt. Dieses Verfahren ist beispielsweise in Staffan Ericsson, "Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding", IEEE Transactions on Communications, COM-33, Nr. 12 (Dezember 1985) und in Ninomiya und Ohtsuka, "A Motion-Compensated Interframe Coding Scheme for Television Pictures", IEEE Transactions on Communications, COM-30, Nr. 1 (Januar 1982) beschrieben.
  • In der bewegungskompensierten DPCM werden Daten des aktuellen Frames aus den entsprechenden Daten des vorhergehenden Frames basierend auf einer Schätzung der Bewegung zwischen dem aktuellen und dem vorhergehenden Frame vorhergesagt. Eine solche geschätzte Bewegung kann anhand zweidimensionaler Bewegungsvektoren beschrieben werden, die die Verschiebung von Pixeln zwischen dem vorhergehenden und dem aktuellen Frame darstellen.
  • Es hat zwei grundsätzliche Ansätze gegeben, die Verschiebung von Pixeln eines Objektes zu schätzen: Einer ist eine blockweise Schätzung und der andere ist ein pixelweiser Ansatz.
  • In der blockweisen Bewegungsschätzung wird ein Block in einem aktuellen Frame mit Blöcken in dessen vorhergehenden Frame verglichen, bis eine beste Übereinstimmung gefunden wird. Hieraus kann ein Interframe-Verschiebungsvektor (der darstellt, wie weit sich der Pixelblock zwischen den Frames bewegt hat) für den gesamten Block für den aktuellen, übertragenen Frame geschätzt werden. Jedoch können bei der blockweisen Bewegungsschätzung schlechte Schätzungen resultieren, falls sich nicht alle Pixel im Block in gleicher Weise bewegen, wodurch die gesamte Bildqualität abnimmt.
  • Unter Anwendung des pixelweisen Ansatzes wird andererseits eine Verschiebung für jeden und für alle Pixel bestimmt. Diese Technik erlaubt eine genauere Schätzung des Pixelwertes und kann mit Skalierungsänderungen (z.B. Zoomen, Bewegungen senkrecht zur Bildebene) leicht umgehen. Da beim pixelweisen Ansatz jedoch ein Bewegungsvektor für jeden und für alle Pixel bestimmt wird, ist es nahezu unmöglich, all die Bewegungsvektoren einem Empfänger zu übertragen.
  • Eine der Techniken, die zum Verbessern des Problems mit den überschüssigen oder überflüssigen, aus dem pixelweisen Ansatz stammenden Übertragungsdaten eingeführt wurde, ist ein auf Merkmalspunkten basiertes Bewegungsschätzverfahren. In dem auf Merkmalspunkten basierten Bewegungsschätzverfahren wird ein Satz ausgewählter Pixel, d.h. Merkmalspunkte, bei einem Kodierer an einem Übertragungsende und einem Dekodierer an einem Empfangsende in identischer Weise bestimmt und Bewegungsvektoren für die Merkmalspunkte dem Empfänger übertragen, ohne Positionsdaten für diese Merkmalspunkte, wobei die Merkmalspunkte als Pixel eines vorhergehenden Frames oder eines aktuellen Frames definiert sind, die Bewegungen eines Objektes in einem Videosignal so darstellen können, daß Bewegungsvektoren für all die Pixel des aktuellen Frames aus denjenigen der Merkmalspunkte im Empfänger wiedergewonnen oder genähert werden können. In einem Kodierer, der die auf Merkmalspunkten basierte Bewegungsschätzung anwendet, die in einem mitanhängigen US-Patent Nr. 4020925 des gleichen Inhabers, mit dem Titel "Method and Apparatus for Encoding a Video Signal Using Pixel-by-Pixel Motion Estimation" offenbart ist, wird zuerst eine Anzahl an Merkmalspunkten aus all den im vorgehenden Frame enthaltenen Pixeln ausgewählt. Dann werden Bewegungsvektoren für die ausgewählten Merkmalspunkte bestimmt, wobei jeder der Bewegungsvektoren eine räumliche Verschiebung zwischen einem Merkmalspunkt im vorhergehenden Frame und einem entsprechenden passenden Punkt, d.h. einem ähnlichs ten Pixel, im aktuellen Frame darstellt. Genauer gesagt, wird der passende Punkt für jeden der Merkmalspunkte in einem Suchbereich innerhalb des aktuellen Frames gesucht, wobei der Suchbereich als ein Bereich mit einem vorbestimmten Gebiet definiert ist, das die Position des entsprechenden Merkmalspunkt umgibt. In der auf Merkmalspunkten basierten Bewegungsschätztechnik ist es wichtig, da der aktuelle Frame aus dem vorhergehenden Frame basierend auf diesen Bewegungsvektoren für einen Satz Merkmalspunkte vorhergesagt wird, die Merkmalspunkte auszuwählen, die die Bewegung des Objektes korrekt wiedergeben können.
  • Typischerweise werden in einem Kodierer und einem Dekodierer, die die auf Merkmalspunkten basierte Bewegungsschätzung anwenden, eine Anzahl an Merkmalspunkten unter Anwendung einer Gittertechnik oder einer Kombination einer Kantendetektionstechnik und der Gittertechnik ausgewählt.
  • In der Gittertechnik, die verschiedene Gittertypen anwendet, z.B. ein rechteckiges oder ein hexagonales Gitter, werden die Knoten, d.h. Gitterpunkte des Gitters als die Merkmalspunkte bestimmt. Bei der Kombination der Kantendetektionstechnik und der Gittertechnik werden Schnittpunkte des Gitters und der Kante des Objektes als die Merkmalspunkte ausgewählt. Die Gitterpunkte oder die Schnittpunkte geben jedoch nicht immer die Bewegung des Objektes korrekt wieder, was zu einer schlechten Bewegungsschätzung des Objektes führt.
  • Die Druckschrift US-5,144,688 zeigt ein Verfahren zum Kodieren eines digitalen Bildes, bei dem ein mittlerer Intensitätswert und ein Bildgradientbetrag für jeden Block in dem digitalen Bild berechnet werden. Die Blöcke werden anschließend entsprechend ihrer Gradientenbeträge, die kleiner oder oberhalb eines vorbestimmten Minimums lie gen, entsprechend des jeweiligen mittleren Intensitätswertes kodiert.
  • Zusammenfassung der Erfindung
  • Es ist daher ein primäres Ziel der vorliegenden Erfindung, ein verbessertes Verfahren und eine verbesserte Vorrichtung zum Bestimmen von Merkmalspunkten unter Verwendung von Pixelintensitätsgradienten und Varianzen der Pixel auf Objekträndern bereitzustellen.
  • Gemäß der Erfindung ist eine Vorrichtung zur Verwendung in einem Videosignalprozessor, der eine merkmalspunktbasierte Bewegungskompensationstechnik anwendet, zum Bestimmen von Merkmalspunkten geschaffen, wobei die Merkmalspunkte Pixel sind, die Bewegungen von Objekten in einem Videoframe darstellen können, wobei die Vorrichtung folgendes umfaßt: ein Mittel zum Bereitstellen von Richtungsgradienten und einem Gradientenbetrag für jeden Pixel im Bildframe; ein Mittel zum Normalisieren der Richtungsgradienten durch Teilen der Richtungsgradienten durch den Gradientenbetrag; ein Mittel zum Erzeugen einer ersten Kantenkarte, die den Gradientenbetrag für jeden Pixel umfaßt; ein Mittel zum Erzeugen einer zweiten Kantenkarte, die die normalisierten Richtungsgradienten für jeden Pixel umfaßt; ein Mittel zum Aufteilen der ersten Kantenkarte in eine Vielzahl von Blöcken identischer Größe, wobei die Blöcke sich nicht gegenseitig überlappen und jeder Block einen Gradientenbetrag enthält, der jedem der Pixel darin entspricht; ein Mittel zum Bereitstellen, für jeden der Blöcke, von normalisierten Richtungsgradienten für jeden der im Block enthaltenen Pixel, wobei die normalisierten Richtungsgradienten aus einem Satz einer vorbestimmten Anzahl von Pixeln aus der zweiten Kantenkarte ausgewählt werden, und der Pixelsatz jeden der Pixel umfaßt; ein Mittel zum Ermitteln einer Varianz, für jeden der in jedem der Blöcke enthaltenen Pixel, der be reitgestellten normalisierten Richtungsgradienten in dem Satz an Pixeln, die jedem der in jedem der Blöcke enthaltenen Pixel entsprechen; und ein Mittel zum Bestimmen eines Merkmalspunktes für jeden der Blöcke durch Auswahl eines Pixels im Block, dessen Gradientenbetrag und Varianz eine vorbestimmte Bedingung erfüllen.
  • Kurze Beschreibung der Zeichnung
  • Die obigen und weiteren Ziele der vorliegenden Erfindung werden auf der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele mit Bezug auf die beigefügte Zeichnung verdeutlicht, in der
  • 1 ein Blockdiagramm der erfindungsgemäßen Vorrichtung zum Bestimmen von Merkmalspunkten darstellt;
  • 2A und 2B einen horizontalen und einen vertikalen Sobeloperator zeigen;
  • 3 beispielhafte Punkte zeigen, die durch Anwenden eines rechteckförmigen Gitters erzeugt werden; und
  • 4 ein Diagramm darstellt, das das in der vorliegenden Erfindung angewandte Merkmalspunktbestimmungsverfahren erläutert.
  • Detaillierte Beschreibung der bevorzugten Ausführungsbeispiele
  • Bezugnehmend auf 1 ist eine Vorrichtung zur Verwendung in einem Kodierer und einem Dekodierer dargestellt, der eine merkmalspunktbasierte Bewegungskompensationstechnik anwendet, zum Bestimmen von Merkmalspunkten gemäß der vorliegenden Erfindung, wobei die Merkmalspunkte als Pixel definiert sind, die Bewegungen von Objekten in einem Videosignal darstellen können. Ein digitales Videosignal eines Bildframes, z.B. eines vorhergehenden oder eines aktuellen Frames, wird einem Gradientenberechnungsblock 100 zugeführt.
  • Beim Gradientenberechnungsblock 100 werden Pixelintensitätsgradienten für all die Pixel im Bildframe unter Anwendung eines Gradientenoperators, z.B. eines Sobeloperators berechnet. Der Sobeloperator berechnet horizontal und vertikale Differenzen lokaler Summen und hat die wünschenswerte Eigenschaft, Nullen für gleichförmige Bereiche zu ergeben. In 2A und 2B sind ein horizontaler und ein vertikaler Sobeloperator, Sobel(x) und Sobel(y) beispielhaft dargestellt, wobei jedes eingerahmte Element den Ausgangsort anzeigt. Der horizontale und der vertikale Sobeloperator messen den Gradienten eines Bildes I(x,y) in zwei orthogonalen Richtungen. Richtungsgradienten, z.B. horizontale und vertikale Gradienten Gx(x, y) und Gy(y, y) bei den Pixelorten (x, y) sind wie folgt definiert:
    Figure 00070001
    wobei h(x)(i, j) und h(y)(i, j) Sobelkoeffizienten an den Orten (i, j) des horizontalen bzw. des vertikalen Sobeloperators sind.
  • Ein Gradientenbetrag g(x, y) am Pixelort (x, y) ist dann wie folgt gegeben:
  • Figure 00080001
  • Der Gradientenbetrag g(x, y) wird einem Kantendetektionsblock 200 zum Detektieren von Kantenpunkten auf Objekträndern zugeführt und dann werden die Richtungsgradienten Gx(x, y) und Gy(x, y) einem Normalisierungsblock 300 für deren Normalisierung zugeführt.
  • Der Kantendetektionsblock 200 bestimmt Kantenpunkte im Bildframe durch Vergleich eines Gradientenbetrages für jeden Pixel im Bildframe mit einem vorbestimmten Schwellwert TH. Das heißt, daß der Pixelort (x, y) ein Kantenpunkt ist, falls g(x, y) den Wert TH überschreitet.
  • Typischerweise kann der vorbestimmte Schwellwert TH unter Anwendung des kumulativen Histogramms von g(x, y) ausgewählt werden, so daß 5 bis 10% der Pixel mit den größten Gradientenbeträgen als Kanten bestimmt werden. Die Orte der detektierten Kantenpunkte bilden eine erste Kantenkarte E(x, y), die wie folgt definiert ist:
  • Figure 00080002
  • Das heißt, daß die Kantenkarte durch Zuordnen von Gradientenbeträgen zu ihren jeweiligen Kantenpunkten und von "Nullen" zu Nicht-Kantenpunkten aufgestellt wird. Die Kantenkarte liefert Randinformation zum Verfolgen der Objektränder im Bild, wobei die Randinformation Positionsdaten der Pixel im Bildframe und Gradientenbeträge ent sprechend den jeweiligen Pixelpositionen umfaßt. Die vom Kantendetektionsblock 200 erzeugte Randinformation wird einem Framespeicher 500 zugeführt und dort als erste Kanntenkarte gespeichert.
  • Beim Normalisierungsblock 300 werden die vom Gradientenberechnungsblock 100 zugeführten Richtungsgradienten Gx(x, y) und Gy(x, y) wie folgt normalisiert:
    Figure 00090001
    wobei Ux(x, y) und Uy(x, y) die normalisierten horizontalen und vertikalen Gradienten der jeweiligen Gradienten Gx(x, y) und Gy(x, y) am Pixelort (x, y) darstellen. Die Positionsdaten der Pixel und der normalisierten Gradienten Ux(x, y) und Uy(x, y), die den jeweiligen Pixelpositionen entsprechen, werden einem Framespeicher 400 zugeführt und dort als zweite Kantenkarte gespeichert.
  • Zwischenzeitlich stellt ein Gitterpunkterzeugungsblock 600 eine Vielzahl an Gitterpunkten einem Adreßgenerator 700 zur Verfügung. Die Gitterpunkte sind Pixelpositionen, z.B. A bis F, die an den Knoten eines Gitters angeordnet sind, z.B. einem rechteckförmigen Gitter, das wie in 3 gezeigt, mit gepunkteten Linien dargestellt ist, wobei jeder Gitterpunkt N Pixel von seinen benachbarten Gitterpunkten in der horizontalen und der vertikalen Richtung entfernt ist, und N eine gerade ganze Zahl ist. Der Adreßgenerator 700 erzeugt für jeden Gitterpunkt einen Satz erster Adreßdaten, die Orten von (N+1) × (N+1), z.B. 9 × 9, Pixeln entsprechen, die einen ersten Verarbeitungsblock bilden, wobei der erste Verarbeitungsblock den Gitterpunkt in seinem Zentrum hat, und erzeugt (N+1) × (N+1) Sätze zweiter Adreßdaten, wobei jeder Satz zweiter Adreßdaten Orte von (2M+1) × (2M+1), z.B. 11 × 11, Pixeln darstellen (M ist eine ungerade ganze Zahl), die einen zweiten Verarbeitungsblock bilden, wobei der zweite Verarbeitungsblock jeden der (N+1) × (N+1) Pixel, die im ersten Verarbeitungsblock enthalten sind, an seinem Zentrum enthält. Der Satz erster Adreßdaten und die Sätze zweiter Adreßdaten für jeden Gitterpunkt werden den Framespeichern 500 bzw. 400 zugeführt.
  • In Antwort auf den Satz erster Adreßdaten für jeden Gitterpunkt vom Adreßgenerator 700 werden Daten der ersten Kantenkarte, die dem ersten Verarbeitungsblock entsprechen, aus dem Framespeicher 500 wiedergewonnen und einem Varianzberechnungsblock 800 zugeführt, wobei die Daten der ersten Kantenkarte Positionsdaten der (N+1) × (N+1) Pixel, die im ersten Verarbeitungsblock enthalten sind, und Gradientenbeträge darstellen, die den jeweiligen Pixelpositionen entsprechen. Zwischenzeitlich werden in Antwort auf jeden Satz vom Adreßgenerator 700 erzeugter zweiter Adreßdaten Daten der zweiten Kantenkarte, die jedem der (N+1) × (N+1) zweiten Verarbeitungsblöcke entsprechen, vom Framespeicher 400 wiedergewonnen und dem Varianzberechnungsblock 800 zugeführt, wobei die Daten der zweiten Kantenkarte Positionsdaten der (2M+1) × (2M+1) im zweiten Verarbeitungsblock enthaltenen Pixel und diesen Pixelpositionen entsprechende, normalisierte Richtungsgradienten darstellen.
  • Beim Varianzberechnungsblock 800 wird eine Varianz der normalisierten Richtungsgradienten, die in jedem der (N+1) × (N+1) zweiten Verarbeitungsblöcken enthalten sind, berechnet und auf eine Varianz für einen Pixel in deren Zentrum gesetzt. Wie wohl bekannt ist, ist eine Varianz ein Maß der Abweichung der Abtastwerte von ihrem Mittelwert, was impliziert, daß die Varianz umso größer ist, je größer der Grad der Verteilung der Gradienten ist, d.h. um so komplizierter die Randkonfiguration um den Zentrumspixel ist.
  • Eine Varianz Var(x, y) an einer Position (x, y) kann dann wie folgt definiert werden:
    Figure 00110001
    wobei Ux(x+i, y+j) und Uy(x+i, y+j) normalisierte horizontale und vertikale Gradienten am Pixelort innerhalb eines zweiten Verarbeitungsblocks mit einer Pixelposition (x, y) an dessen Zentrum sind.
  • U x(x,y) und U Y(x,y) sind Mittelwerte der normalisierten horizontalen vertikalen Gradienten, die im zweiten Verarbeitungsblock enthalten sind, die wie folgt definiert werden können:
  • Figure 00110002
  • Danach stellt der Varianzberechnungsblock 800 Daten einer dritten Kantenkarte für jeden ersten Verarbeitungsblock einer ersten Auswahleinheit 900 bereit, wobei die Daten der ersten Kantenkarte Daten der Pixelpositionen der (N+1) × (N+1) Pixel innerhalb des ersten Verarbeitungs blockes und Gradientenbeträge und berechnete Varianzen Var(x, y) umfassen, die den jeweiligen im ersten Verarbeitungsblock enthaltenen Pixelpositionen entsprechen.
  • Die erste Auswahleinheit 900 wählt eine maximale Anzahl von P, z.B. 5, Pixeln in der Reihenfolge ihrer Varianzbeträge aus, beginnend mit einem größten Varianzbetrag, wobei P eine vorbestimmte Zahl größer als 1 ist. Genauer gesagt werden, falls der erste Verarbeitungsblock P oder mehr Pixel mit Gradientenbeträgen vom Wert ungleich Null enthält, P Pixel hieraus in einer absteigenden Reihenfolge ihrer Varianzen ausgewählt; falls weniger als P Pixel mit Gradientenbeträgen vom Wert ungleich Null existieren, werden all diese Pixel ausgewählt; und falls alle Pixel im ersten Verarbeitungsblock Gradientenbeträge vom Wert Null haben, wird kein Pixel ausgewählt.
  • Bezugnehmend auf 4 ist ein Diagramm dargestellt, daß das in der vorliegenden Erfindung angewandte Merkmalspunktbestimmungsverfahren erläutert. Angenommen, eine Verschiebung eines Objektes zwischen zwei Bildframes ist MV und zwei Merkmalspunkte FP1 und FP2 werden auf dem Rand des Objektes ausgewählt. Normalerweise wird ein Bewegungsvektor eines Merkmalspunkts unter Anwendung eines Blocksuchalgorithmus bestimmt. Das heißt, daß ein Bewegungsvektor für einen Suchblock von z.B. 5 × 5 Pixel, der den Merkmalspunkt in seinem Zentrum hat, unter Anwendung des herkömmlichen Blocksuchalgorithmus bestimmt wird, und der Bewegungsvektor des Suchblockes einem Bewegungsvektor des Merkmalspunktes zugeordnet wird. In einem solchen Fall kann, da der Merkmalspunkt FP1 auf einem ziemlich komplizierten Abschnitt des Objektrandes liegt, ein passender Punkt des Merkmalspunktes FP1 eindeutig an einem wirklich passenden Punkt FP1' bestimmt werden. Andererseits ist die Randkonfiguration um den Merkmalspunkt FP2 relativ einfach, so daß ein passender Punkt des Merkmalspunkts FP2 einem Punkt, z. B. FP2'' , FP2' oder FP2''', auf einer ähnlichen Randkonfiguration zugeordnet werden kann.
  • Dementsprechend ist die Chance größer, daß der Bewegungsvektor für den Merkmalspunkt FP1 mit einer größeren Varianz der Gradienten die wirkliche Bewegung des Objektes eher wiedergibt als der Merkmalspunkt FP2 mit einer geringeren Varianz.
  • Danach stellt die erste Auswahleinheit 900 Daten einer vierten Kantenkarte einer zweiten Auswahleinheit 1000 bereit, wobei die Daten der vierten Kantenkarte Positionsdaten der ausgewählten maximal P Pixel und einen Gradientenbetrag, der jedem der ausgewählten maximal P Pixel entspricht, enthalten.
  • Die zweite Auswahleinheit 1000 vergleicht die Gradientenbeträge in den von der ersten Auswahleinheit 900 gelieferten Daten der vierten Kantenkarte und wählt einen Pixel mit einem größten Gradientenbetrag aus, wodurch der Pixel als ein ausgewählter Merkmalspunkt gesetzt wird. Eine Ausgabe von der zweiten Auswahleinheit 1000 sind Positionsdaten des ausgewählten Merkmals.
  • Gemäß der vorliegenden Erfindung wird für jeden Block, der ein oder mehrere Pixel mit Gradientenbeträgen vom Wert ungleich Null enthält, ein Pixel mit dem größten Betrag unter den Pixeln mit den größten Varianzen im Block als ein Merkmalspunkt des Blockes ausgewählt. Als Folge wird jeder Merkmalspunkt auf einem Abschnitt der Objektränder bestimmt, die eine komplizierte Konfiguration haben, was für eine bessere Schätzung der Bewegungsvektoren für die Merkmalspunkte förderlich ist.
  • Auch wenn die bevorzugten Ausführungsbeispiele der Erfindung mit Bezug auf die ersten Verarbeitungsblöcke von (N+1) × (N+1) Pixeln mit einem Gitterpunkt an ihrem Zentrum beschrieben worden sind, ist es für den Durchschnittsfachmann selbstverständlich, daß der erste Verarbeitungsblock auch N1 × N2 Pixel haben kann, solange ein Satz erster Verarbeitungsblöcke den Bildframe aufstellen kann, wobei N1 und N2 positive ganze Zahlen sind.
  • Auch wenn die vorliegende Erfindung mit Bezug auf die speziellen Ausführungsbeispiele gezeigt und beschrieben worden ist, ist es für den Durchschnittsfachmann selbstverständlich, daß zahlreiche Änderungen und Modifikationen daran durchgeführt werden können, ohne den Bereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.

Claims (4)

  1. Vorrichtung zur Verwendung in einem Videosignalprozessor, der eine Merkmalspunkt-basierte Bewegungskompensationstechnik anwendet, zum Bestimmen von Merkmalspunkten, wobei diese Merkmalspunkte Pixel sind, die geeignet sind, Bewegungen von Objekten in einem Bildframe darzustellen, mit: einem Mittel zum Bereitstellen von Richtungsgradienten und einem Gradientenbetrag für jeden Pixel im Bildframe; einem Mittel zum Normalisieren der Richtungsgradienten durch Teilen der Richtungsgradienten durch den Gradientenbetrag; einem Mittel zum Erzeugen einer ersten Kantenkarte, die den Gradientenbetrag für jeden Pixel umfaßt; einem Mittel zum Erzeugen einer zweiten Kantenkarte, die die normalisierten Richtungsgradienten für jeden Pixel umfaßt; einem Mittel zum Aufteilen der ersten Kantenkarte in eine Vielzahl von Blöcken identischer Größe, wobei die Blöcke sich nicht gegenseitig überlappen und jeder Block einen Gradientenbetrag enthält, der jedem der Pixel darin entspricht; einem Mittel zum Bereitstellen, für jeden der Blöcke, von normalisierten Richtungsgradienten für jeden der im Block enthaltenen Pixel, wobei die normalisierten Richtungsgradienten aus einem Satz einer vorbestimmten Anzahl von Pixeln aus der zweiten Kantenkarte ausgewählt werden, und der Pixelsatz jeden der Pixel umfaßt; einem Mittel zum Ermitteln einer Varianz, für jeden der in jedem der Blöcke enthaltenen Pixel, der bereitgestellten normalisierten Richtungsgradienten in dem Satz an Pixeln, die jedem der in jedem der Blöcke enthaltenen Pixel entsprechen; und einem Mittel zum Bestimmen eines Merkmalpunktes für jeden der Blöcke durch Auswahl eines Pixels im Block, dessen Gradientenbetrag und Varianz eine vorbestimmte Bedingung erfüllen.
  2. Vorrichtung nach Anspruch 1, bei der die Bestimmungsmittel folgendes umfassen: ein Mittel zum Auswählen von maximal P Pixeln, für jeden der Blöcke, in der Reihenfolge ihrer Varianzen, beginnend mit der größten, wobei P eine vorbestimmte Zahl größer als 1 ist, so daß, falls P oder mehr Pixel mit Gradientenbeträgen vom Wert ungleich Null in jedem der Blöcke enthalten sind, P Pixel in einer abfallenden Reihenfolge ihrer Varianzen ausgewählt werden, und falls weniger als P Pixel mit Gradientenbeträgen vom Wert ungleich Null existieren, all diese Pixel ausgewählt werden, und falls alle Pixel in jedem der Blöcke den Gradientenbetrag vom Wert Null haben, kein Pixel ausgewählt wird; und ein Mittel zum Bestimmen eines Pixels mit einem größten Gradientenbetrag unter den maximal ausgewählten Pixeln als den Merkmalspunkt für jeden der Blöcke.
  3. Verfahren, zur Anwendung in einem Bildsignalprozessor, der eine Merkmalspunkt-basierte Bewegungskompensationstechnik anwendet, zum Bestimmen von Merkmalspunkten, wobei die Merkmalspunkte Pixel sind, die geeignet sind, die Bewegung eines Objektes in einem Bildframe darzustellen, wobei das Verfahren die folgenden Schritte umfaßt: (a) Bereitstellen von Richtungsgradienten und einem Gradientenbetrag für jeden Pixel im Bildframe; (b) Normalisieren der Richtungsgradienten durch Teilen der Richtungsgradienten durch den Gradientenbetrag; (c) Erzeugen einer ersten Kantenkarte, die den Gradientenbetrag für jeden Pixel umfaßt; (d) Erzeugen einer zweiten Kantenkarte, die die normalisierten Richtungsgradienten für jeden Pixel umfaßt; (e) Aufteilen der ersten Kantenkarte in eine Vielzahl an Blöcken identischer Größe, wobei die Blöcke sich nicht ge genseitig überlappen und jeder Block einen Gradientenbetrag aufweist, der jedem der Pixel darin entspricht; (f) Bereitstellen, für jeden der Blöcke, von normalisierten Richtungsgradienten für jeden der im Block enthaltenen Pixel, wobei die normalisierten Richtungsgradienten aus einem Satz einer vorbestimmten Anzahl an Pixeln aus der zweiten Kantenkarte ausgewählt werden, und der Satz an Pixeln jeden der Pixel umfaßt; (g) für jeden der in jedem der Blöcke enthaltenen Pixel, Ermitteln einer Varianz der bereitgestellten normalisierten Richtungsgradienten im Satz an Pixeln, die jedem der in jedem der Blöcke enthaltenen Pixel entsprechen; (h) Bestimmen eines Merkmalspunktes für jeden der Blöcke durch Auswählen eines Pixels im Block, dessen Gradientenbetrag und Varianz eine vorbestimmte Bedingung erfüllen.
  4. Verfahren nach Anspruch 3, bei dem der Schritt (h) die folgenden Schritte umfaßt: (h1) Auswählen von maximal P Pixeln, für jeden der Blöcke, in der Reihenfolge ihrer Varianzen, beginnend mit einer größten, wobei P eine vorbestimmte Zahl größer als 1 ist, so daß, falls P oder mehr Pixel mit Gradientenbeträgen vom Wert ungleich Null in jedem der Blöcke enthalten sind, P Pixel in einer abfallenden Reihenfolge ihrer Varianzen ausgewählt werden, falls weniger als P Pixel mit Gradientenbeträgen vom Wert ungleich Null existieren, all diese Pixel ausgewählt werden, und falls all die Pixel in jedem der Blöcke einen Gradientenbetrag vom Wert Null haben, kein Pixel ausgewählt wird; und (h2) Bestimmen eines Pixels mit dem größten Gradientenbetrag unter den ausgewählten maximalen Pixeln als den Merkmalspunkt für jeden der Blöcke.
DE1995634399 1995-03-20 1995-05-05 Verfahren und Gerät zur Bestimmung von Merkmalpunkten Expired - Lifetime DE69534399T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1019950005857A KR0171147B1 (ko) 1995-03-20 1995-03-20 그레디언트 변화를 이용한 특징점 선정장치
KR9505857 1995-03-20

Publications (2)

Publication Number Publication Date
DE69534399D1 DE69534399D1 (de) 2005-09-29
DE69534399T2 true DE69534399T2 (de) 2006-03-16

Family

ID=19410184

Family Applications (1)

Application Number Title Priority Date Filing Date
DE1995634399 Expired - Lifetime DE69534399T2 (de) 1995-03-20 1995-05-05 Verfahren und Gerät zur Bestimmung von Merkmalpunkten

Country Status (6)

Country Link
US (1) US5694487A (de)
EP (1) EP0733996B1 (de)
JP (1) JP3621152B2 (de)
KR (1) KR0171147B1 (de)
CN (1) CN1098596C (de)
DE (1) DE69534399T2 (de)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5970173A (en) * 1995-10-05 1999-10-19 Microsoft Corporation Image compression and affine transformation for image motion compensation
US6037988A (en) * 1996-03-22 2000-03-14 Microsoft Corp Method for generating sprites for object-based coding sytems using masks and rounding average
US8625665B2 (en) * 1996-09-20 2014-01-07 At&T Intellectual Property Ii, L.P. Video coder providing implicit coefficient prediction and scan adaptation for image coding and intra coding of video
US6408109B1 (en) * 1996-10-07 2002-06-18 Cognex Corporation Apparatus and method for detecting and sub-pixel location of edges in a digital image
US6647146B1 (en) 1997-08-05 2003-11-11 Canon Kabushiki Kaisha Image processing apparatus
GB2328127B (en) * 1997-08-05 2002-04-10 Canon Kk Image processing apparatus
JP3853034B2 (ja) * 1997-08-13 2006-12-06 シスメックス株式会社 物体の境界決定方法および装置並びに物体の境界決定プログラムを記録した記録媒体
US6289112B1 (en) * 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6975764B1 (en) * 1997-11-26 2005-12-13 Cognex Technology And Investment Corporation Fast high-accuracy multi-dimensional pattern inspection
US6229578B1 (en) * 1997-12-08 2001-05-08 Intel Corporation Edge-detection based noise removal algorithm
US6400831B2 (en) 1998-04-02 2002-06-04 Microsoft Corporation Semantic video object segmentation and tracking
US6173083B1 (en) * 1998-04-14 2001-01-09 General Electric Company Method and apparatus for analyzing image structures
US7016539B1 (en) 1998-07-13 2006-03-21 Cognex Corporation Method for fast, robust, multi-dimensional pattern recognition
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6898319B1 (en) * 1998-09-11 2005-05-24 Intel Corporation Method and system for video frame enhancement using edge detection
US6314201B1 (en) * 1998-10-16 2001-11-06 Agilent Technologies, Inc. Automatic X-ray determination of solder joint and view delta Z values from a laser mapped reference surface for circuit board inspection using X-ray laminography
US6697497B1 (en) 1998-12-22 2004-02-24 Novell, Inc. Boundary identification and characterization through density differencing
JP4496595B2 (ja) * 1999-03-29 2010-07-07 ソニー株式会社 画像処理装置および画像処理方法、並びに記録媒体
JP4344964B2 (ja) * 1999-06-01 2009-10-14 ソニー株式会社 画像処理装置および画像処理方法
FI110743B (fi) * 1999-06-28 2003-03-14 Valtion Teknillinen Menetelmä ja järjestelmä liike-estimoinnin suorittamiseksi
KR100415266B1 (ko) * 2000-05-11 2004-01-16 가부시끼가이샤 도시바 물체영역정보 기술방법과 물체영역정보 생성장치 및 기록매체
US7430303B2 (en) * 2002-03-29 2008-09-30 Lockheed Martin Corporation Target detection method and system
US7308136B2 (en) * 2002-07-01 2007-12-11 Xerox Corporation Weak edge repositioning in a MRC segmentor
DE10239343A1 (de) * 2002-08-28 2004-03-11 Philips Intellectual Property & Standards Gmbh Verfahren zur Verarbeitung eines Hautabdruckbildes
EP1418546A1 (de) * 2002-11-07 2004-05-12 Mitsubishi Electric Information Technology Centre Europe B.V. Verfahren und Gerät zur Darstellung von sich bewegenden Objekten in einer Bildsequenz
US8081820B2 (en) 2003-07-22 2011-12-20 Cognex Technology And Investment Corporation Method for partitioning a pattern into optimized sub-patterns
US7190834B2 (en) 2003-07-22 2007-03-13 Cognex Technology And Investment Corporation Methods for finding and characterizing a deformed pattern in an image
US7343048B2 (en) * 2003-09-18 2008-03-11 Arcsoft, Inc. Edge based alignment algorithm
US7289147B2 (en) * 2004-02-03 2007-10-30 Hewlett-Packard Development Company, L.P. Method for providing image alignment feedback for panorama (composite) images in digital cameras using edge detection
US8437502B1 (en) 2004-09-25 2013-05-07 Cognex Technology And Investment Corporation General pose refinement and tracking tool
US7620241B2 (en) * 2004-11-30 2009-11-17 Hewlett-Packard Development Company, L.P. Artifact reduction in a digital video
CN1797429A (zh) * 2004-12-29 2006-07-05 鸿富锦精密工业(深圳)有限公司 二维图像分析处理系统及方法
JP4581733B2 (ja) * 2005-02-17 2010-11-17 ソニー株式会社 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム、画像処理システム
US7440608B2 (en) * 2005-05-31 2008-10-21 Hewlett-Packard Development Company, L.P. Method and system for detecting image defects
US7965774B2 (en) * 2006-01-06 2011-06-21 International Business Machines Corporation Method for visual signal extrapolation or interpolation
US8212717B2 (en) * 2006-10-26 2012-07-03 Raytheon Company Radar imaging system and method using second moment spatial variance
US8054217B2 (en) 2006-10-26 2011-11-08 Raytheon Company Radar imaging system and method using gradient magnitude second moment spatial variance detection
JPWO2008081853A1 (ja) * 2006-12-28 2010-04-30 アルプス電気株式会社 画像処理方法
US8103085B1 (en) 2007-09-25 2012-01-24 Cognex Corporation System and method for detecting flaws in objects using machine vision
US20100166257A1 (en) * 2008-12-30 2010-07-01 Ati Technologies Ulc Method and apparatus for detecting semi-transparencies in video
JP2010193186A (ja) * 2009-02-18 2010-09-02 Nikon Corp 画像編集装置、撮像装置、および画像編集プログラム
JP5115497B2 (ja) * 2009-02-27 2013-01-09 富士通セミコンダクター株式会社 画像処理プログラム、画像処理装置および画像処理方法
EP2481012A2 (de) 2009-12-02 2012-08-01 Tata Consultancy Services Limited Kosteneffektives system und verfahren zur erkennung, klassifizierung und verfolgung von fussgängern mittels einer infrarotkamera
US8553933B2 (en) 2010-11-10 2013-10-08 Raytheon Company Edge diversity object detection
JP5663283B2 (ja) 2010-12-02 2015-02-04 オリンパス株式会社 内視鏡画像処理装置及びプログラム
CN103177421B (zh) * 2011-12-26 2017-02-15 深圳市蓝韵实业有限公司 超声医学图像的降噪处理方法
US9679224B2 (en) 2013-06-28 2017-06-13 Cognex Corporation Semi-supervised method for training multiple pattern recognition and registration tool models
US9554086B1 (en) * 2014-01-03 2017-01-24 Pixelworks, Inc. True motion vector editing tool
KR102574175B1 (ko) * 2017-06-05 2023-09-04 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5626626B2 (de) * 1973-09-19 1981-06-19
US4499598A (en) * 1982-07-02 1985-02-12 Conoco Inc. Edge and line detection in multidimensional noisey, imagery data
US4910786A (en) * 1985-09-30 1990-03-20 Eichel Paul H Method of detecting intensity edge paths
JPS62172867A (ja) * 1986-01-25 1987-07-29 Minolta Camera Co Ltd 画像処理装置
US4838685A (en) * 1987-04-03 1989-06-13 Massachusetts Institute Of Technology Methods and apparatus for motion estimation in motion picture processing
US5144688A (en) * 1990-03-23 1992-09-01 Board Of Regents, The University Of Texas System Method and apparatus for visual pattern image coding

Also Published As

Publication number Publication date
CN1134077A (zh) 1996-10-23
KR0171147B1 (ko) 1999-03-20
DE69534399D1 (de) 2005-09-29
EP0733996B1 (de) 2005-08-24
JPH08265745A (ja) 1996-10-11
US5694487A (en) 1997-12-02
EP0733996A3 (de) 1998-07-08
CN1098596C (zh) 2003-01-08
EP0733996A2 (de) 1996-09-25
KR960036703A (ko) 1996-10-28
JP3621152B2 (ja) 2005-02-16

Similar Documents

Publication Publication Date Title
DE69534399T2 (de) Verfahren und Gerät zur Bestimmung von Merkmalpunkten
EP0293644B1 (de) Verfahren zur Ermittlung von Bewegungsvektorfeldern aus digitalen Bildsequenzen
DE69812882T2 (de) Verfahren zur bewegungskompensierten Mehrhalbbildverbesserung von Videostandbildern
DE69722637T2 (de) Bewegungsschätzungssystem und -verfahren für einen videokodierer
DE60014444T2 (de) Verfahren und vorrichtung zur bewegungsschätzung unter verwendung von nachbarmacroblöcken
DE69533870T2 (de) Vorrichtung zur Bilddekodierung
DE69824554T2 (de) Verfahren und anordnung zum erzeugen eines standbildes mit hoher auflösung
DE69836696T2 (de) Verfahren und vorrichtung zur durchführung einer hierarchischen bewegungsschätzung unter verwendung einer nicht-linearen pyramide
DE102004007637A1 (de) Verfahren zum Erzeugen eines Bildes mit erhöhter Auflösung unter Verwendung einer Mehrzahl von Bildern mit niedriger Auflösung
DE19743202B4 (de) Verfahren zum Codieren eines Bewegungsvektors
EP0309669A2 (de) Verfahren zur szenenmodellgestützten Bilddatenreduktion für digitale Fernsehsignale
DE69732865T2 (de) Kodierer mit Mitteln zur Ergänzung eines digitalen Bildes mit Bildelementen
DE19618984B4 (de) Verfahren zur Bewegungsbewertung in Bilddaten sowie Vorrichtung zur Durchführung dieses Verfahrens
DE19704439A1 (de) Verfahren und Vorrichtung zur Bewegungsschätzung in einem digitalen Videocodierer unter Verwendung von Trajektorien
EP0468279B1 (de) Verfahren zum Bestimmen von Bewegungsvektoren für Teilbildbereiche einer Quellbildsequenz
DE60022018T2 (de) Verfahren und vorichtung zur bewegungsvektorfeldkodierung
DE4342305A1 (de) Verfahren zur hierarchischen Bewegungsschätzung in einem Fernsehsignal
DE69721979T2 (de) Gradientbasierte bewegungsschätzung
DE69531364T2 (de) Verfahren und Vorrichtung zum Bildvergleich
DE60032452T2 (de) Verfahren zur globalen bewegungsschätzung
EP0941613B1 (de) Verfahren zur bildcodierung eines digitalisierten bildes
DE69723325T2 (de) Verfahren und Vorrichtung zur Codierung und Decodierung von Bildern
WO2000069178A1 (de) Verfahren und anordnungen zur rechnergestützten bewegungskompensation eines digitalisierten bildes sowie computerprogramm-erzeugnisse und computerlesbare speichermedien
DE19753444C2 (de) Lokalrelaxationsverfahren zur Bestimmung des optischen Flusses
EP1110407B1 (de) Verfahren und anordnung zur codierung und decodierung eines digitalisierten bildes mit anwendung eines gesamtbewegungsvektors

Legal Events

Date Code Title Description
8364 No opposition during term of opposition