DE60203056T2 - Räumlich -temporales Modell der visuellen Aufmerksamkeit für eine Video Vollbild -Sequence - Google Patents

Räumlich -temporales Modell der visuellen Aufmerksamkeit für eine Video Vollbild -Sequence Download PDF

Info

Publication number
DE60203056T2
DE60203056T2 DE60203056T DE60203056T DE60203056T2 DE 60203056 T2 DE60203056 T2 DE 60203056T2 DE 60203056 T DE60203056 T DE 60203056T DE 60203056 T DE60203056 T DE 60203056T DE 60203056 T2 DE60203056 T2 DE 60203056T2
Authority
DE
Germany
Prior art keywords
spatial
meaning
areas
temporal
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60203056T
Other languages
English (en)
Other versions
DE60203056D1 (de
Inventor
Wilfried M Portland Osberger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tektronix Inc
Original Assignee
Tektronix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tektronix Inc filed Critical Tektronix Inc
Application granted granted Critical
Publication of DE60203056D1 publication Critical patent/DE60203056D1/de
Publication of DE60203056T2 publication Critical patent/DE60203056T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Description

  • STAND DER TECHNIK
  • Die vorliegende Erfindung betrifft die Analyse der Videoqualität und im Besonderen ein verbessertes Modell der visuellen Aufmerksamkeit zur automatischen Bestimmung von relevanten Bereichen in Bildern eines Videosignals.
  • Richtig abgestimmte erste Modelle visueller Systeme sehen eine präzise Prädiktion der Position sichtbarer Verzerrungen in komprimierten natürlichen Bildern vor. Zur Erzeugung einer Schätzung der subjektiven Qualität aus Abbildungen der Wiedergabetreue führen dem Stand der Technik entsprechende metrische Qualitätssysteme eine einfache Summierung aller sichtbaren Fehler vor. Dabei werden keine Faktoren auf höherer Ebene oder kognitive Faktoren berücksichtigt, von denen bekannt ist, dass sie während der subjektiven Beurteilung der Bildqualität auftreten.
  • Es ist bekannt, dass der Einfluss, den eine Verzerrung auf die Bildqualität insgesamt hat, durch deren Position im Verhältnis zu dem Szeneninhalt stark beeinflusst wird. Die Eigenschaft der variablen Auflösung des Human Visual Systems (HVS) bzw. des menschlichen Sehvermögens bedeutet, dass eine hohe Sehschärfe nur in der Fovea zur Verfügung steht, die einen Durchmesser von ungefähr zwei Grad aufweist. Die Kenntnis über eine Szene wird über regelmäßige Augenbewegungen erlangt, um den Bereich unter Fovea-Ansicht neu zu positionieren. Frühe Visionsmodelle bzw. Sehfeldmodelle gehen von einer unendlichen Fovea aus, d. h. die Szene wird in der Annahme verarbeitet, dass alle Bereiche durch die Fovea mit hoher Sehschärfe betrachtet werden. Allerdings belegen Studien zur Augenbewegung, dass Betrachter nicht alle Bereiche in einer Szene gleichermaßen scharf sehen. Stattdessen werden einige wenige Bereiche durch Prozesse der menschlichen visuellen Aufmerksamkeit als relevante Bereiche (englische Abkürzung ROI für Region of Interest) identifiziert, und Betrachter neigen dazu, diese ROIs wiederholt zurückzuführen, anstatt andere Bereiche, die nicht am schärfsten gesehen werden. Es ist bekannt, dass die Wiedergabetreue des Bilds in diesen ROIs den stärksten Einfluss auf die Bildqualität insgesamt aufweist.
  • Das Wissen um die menschliche visuelle Aufmerksamkeit und die Augenbewegungen sieht in Verbindung mit selektiven und in Korrelation stehenden Augenbewegungsmustern von Personen bei der Betrachtung natürlicher Szenen ein Grundgerüst für die Entwicklung von Rechenmodellen in Bezug auf die menschliche visuelle Aufmerksamkeit vor. Die Studien haben gezeigt, dass die Aufmerksamkeit von Menschen durch eine Reihe unterschiedlicher Merkmale beeinflusst wird, die in dem Bild vorhanden sind – Bewegung, Luminanzkontrast, Farbkontrast, Objektgröße, Objektform, Menschen und Gesichter, Position in dem Bild bzw. in der Szene und ob das Objekt bzw. Motiv Bestandteil des Vorder- oder des Hintergrunds ist. Eine Hand voll einfacher visueller Aufmerksamkeitsmodelle wurden in der Literatur vorgeschlagen. Diese Modelle zielen darauf ab, die ROIs in einer Szene auf unüberwachte Art und Weise zu detektieren. Sie wurden allgemein zur Verwendung in Verbindung mit unkomplizierten Standbildern entwickelt. Diese Modelle weisen eine Reihe von Unzulänglichkeiten auf, die deren Einsatz als solide Aufmerksamkeitsmodelle für typische Unterhaltungsvideos verhindern. Dazu zählen: die begrenzte Anzahl der verwendeten Aufmerksamkeitsmerkmale; die fehlende Anwendung unterschiedlicher Gewichtungen für die unterschiedlichen Merkmale; die fehlende Zuverlässigkeit der Segmentierungstechniken; das Fehlen eines temporalen bzw. zeitlichen Modells; und die zur Extrahierung der Aufmerksamkeitsmerkmale verwendeten zu stark vereinfachten Algorithmen. Keines dieser vorgeschlagenen Modelle offenbarte eine zuverlässige Arbeitsweise bzw. Funktionsweise über einen umfassenden Bereich von Bildinhalten, und es wurde über keine Korrelation zu den Augenbewegungen von Menschen berichtet.
  • Gemäß den Ausführungen in "A Perceptually Based Quantization Technique for MPEG Encoding", Proceedings SPIE 3299 – Human Vision and Electronic Imaging III, San Jose, USA, Seiten 48 bis 159, Januar 1998, von Wilfried Osberger, Anthony J. Maeder and Neil Bergmann, wird eine Technik zur automatischen Bestimmung der visuell wichtigen Bereiche in einer Szene als Abbildungen der Bedeutung (englische Abkürzung IM für Importance Map) offenbart. Diese Abbildungen werden durch die Verknüpfung von Faktoren erzeugt, von denen bekannt ist, dass sie die menschliche visuelle Aufmerksamkeit und Augenbewegungen beeinflussen, wie dies vorstehend im Text ausgeführt worden ist. Für die Codierung wird visuell bedeutenden Bereichen eine niedrigere Quantisierung zugewiesen, und Bereichen mit geringerer visueller Bedeutung wird eine gröbere Quantisierung zugewiesen. Die Ergebnisse zeigen eine subjektive Verbesserung der Bildgüte bzw. der Bildqualität.
  • Bei dieser Technik gemäß dem Stand der Technik wird die Segmentierung unter Verwendung einer klassischen rekursiven Segmentierung mit Teilen und Zusammenführen vorgenommen. Nach der Segmentierung wurden die Ergebnisse durch fünf räumliche Merkmale verarbeite, um Abbildungen der räumlichen Bedeutung zu erzeugen: Kontrast, Größe, Form, Position und Hintergrund. Die Bewegung wurde ebenfalls zur Erzeugung einer Abbildung der temporalen Bedeutung berücksichtigt. Jede dieser einzelnen Abbildungen der Bedeutung wurde ins Quadrat gesetzt, um Bereiche hoher Bedeutung zu verstärken, und wobei sie danach zur Erzeugung einer fertigen Abbildung der Bedeutung (IM) gleichmäßig gewichtet wurden. Allerdings wurde festgestellt, dass diese Technik nicht ausreichend zuverlässig ist.
  • Benötigt wird eine automatische Möglichkeit zur Vorhersage der wahrscheinlichen Position von ROIs in einer natürlichen Szene eines kennzeichnenden Unterhaltungsvideos unter Verwendung der Eigenschaften der menschlichen Aufmerksamkeit und der Augenbewegungen, wobei diese Technik zuverlässiger ist als frühere Techniken.
  • KURZE ZUSAMMENFASSUNG DER ERFINDUNG
  • Vorgesehen ist gemäß der vorliegenden Erfindung somit ein Verfahren zur automatischen Identifikation von relevanten Bereichen in einem Videobild unter Verwendung eines Modells der visuellen Aufmerksamkeit. Ein aktueller Frame wird auf der Basis der Farbe und der Luminanz adaptiv in Bereiche segmentiert. Jeder Bereich wird parallel durch eine Mehrzahl von Algorithmen räumlicher Merkmale verarbeitet, einschließlich der Farbe und der Haut, so dass entsprechende Abbildungen der räumlichen Bedeutung erzeugt werden. Die Abbildungen der räumlichen Bedeutung werden so kombiniert bzw. verknüpft, dass eine Abbildung der räumlichen Bedeutung insgesamt erzeugt wird, wobei die Verknüpfung auf Gewichtungen basiert, die von Augenbewegungsstudien abgeleitet werden. Der aktuelle Frame und ein vorheriger Frame werden auch verarbeitet, um Bewegungsvektoren für den aktuellen Frame zu erzeugen, woraufhin die Bewegungsvektoren für die Kamerabewegung berichtigt werden, bevor sie in eine Abbildung der temporalen Bedeutung umgewandelt werden. Die Abbildung der räumlichen Bedeutung insgesamt und die Abbildung der temporalen Bedeutung werden durch lineare Gewichtung verknüpft, um eine Abbildung der Bedeutung insgesamt für den aktuellen Frame zu erzeugen, wobei die lineare Gewichtungskonstante aus den Augenbewegungsstudien abgeleitet wird.
  • Die Aufgaben, Vorteile und weitere neuartige Merkmale der vorliegenden Erfindung werden aus der folgenden genauen Beschreibung deutlich, wenn diese in Verbindung mit den anhängigen Ansprüchen und den beigefügten Zeichnungen gelesen wird.
  • KURZE BESCHREIBUNG DER VERSCHIEDENEN ANSICHTEN DER ZEICHNUNGEN
  • Es zeigen:
  • 1 eine Blockdiagrammansicht eines verbesserten Modells der visuellen Aufmerksamkeit gemäß der vorliegenden Erfindung;
  • 2(a) eine Bildansicht eines aktuellen Frames und
  • 2(b) eine Abbildung der Bedeutung insgesamt für die gemäß der vorliegenden Erfindung erreichte Bildansicht;
  • 3 eine grafische Ansicht der Veränderung eines Schwellenwerts gemäß der Luminanz für eines der räumlichen Merkmale gemäß der vorliegenden Erfindung;
  • 4 eine grafische Ansicht, welche die Änderung der Parameterwerte mit Farbton für das räumliche Merkmal Haut gemäß der vorliegenden Erfindung veranschaulicht; und
  • 5 eine Blockdiagrammansicht zur Erzeugung einer Abbildung der temporalen Bedeutung gemäß der vorliegenden Erfindung.
  • GENAUE BESCHREIBUNG DER VORLIEGENDEN ERFINDUNG
  • Hierin wird eine Technik der Abbildung der Bedeutung (IM) beschrieben, die auf einem auf Bereichen basierenden Aufmerksamkeitsmodell basiert. Das Aufmerksamkeitsmodell auf Bereichsbasis erleichtert es, eine größere Anzahl von Merkmalen bzw. Eigenschaften in das Modell zu integrieren, da viele Bereiche, welche die Aufmerksamkeit beeinflussen, inhärent Eigenschaften von Bereichen sind, wie etwa die Größe und die Form, oder da sie natürlich ganzen Objekten in einer Szene zugeordnet sein können, wie etwa der Bewegung, der Farbe, dem Kontrast und der Textur. Die Abbildung aus 1 zeigt ein Modell der visuellen Aufmerksamkeit mit einem räumlichen Aufmerksamkeitsmodell 10 und einem temporalen Aufmerksamkeitsmodell 20. Das räumliche Modell weist als Eingabe einen aktuellen Videoframe auf. Das Bild wird zuerst durch einen Segmentierungsalgorithmus 30 in homogene Bereiche unter Verwendung von Luminanz- und Farbinformationen segmentiert. Danach wird die Bedeutung jedes Bereichs berechnet, einschließlich der Farbe, des Kontrasts, der Größe, der Form, der Position, des Hintergrunds und der Haut, von denen bekannt ist, dass sie die visuelle Aufmerksamkeit beeinflussen. Die flexible Eigenschaft der Bildverarbeitungsalgorithmen der Merkmale ermöglicht den einfachen Einschluss zusätzlicher Merkmale. Die Merkmale werden auf der Basis einer Kalibrierung der Augenbewegungen von Personen gewichtet, die experimentell in Bezug auf menschliche Augenbewegungen zusammengetragen worden sind. Die Gewichtungen der Merkmale bzw. der Eigenschaften werden danach in einen Verknüpfungsalgorithmus 40 eingegeben, um eine Abbildung der räumlichen Bedeutung (IM) für die Szene des aktuellen Frames zu erzeugen.
  • Das Bewegungsmodell 20 weist parallel als Eingaben in einen Bewegungsvektoralgorithmus 22 den aktuellen Frame und den vorherigen Frame auf. Danach werden die Bewegungsvektoren aus dem Bewegungsvektoralgorithmus 20 durch einen Bewegungsbedeutungsalgorithmus 24 für jedes Objekt in der Szene auf der Basis der Stärke der Bewegung gewichtet. Die Bewegungsgewichtungen werden ferner mit räumlichen Gewichtungen unter Verwendung von Daten verknüpft, die durch Augenverfolgungsexperimente gesammelt worden sind, um eine Gesamtabbildung der Bedeutung für den aktuellen Frame zu erzeugen.
  • Die Abbildung aus 2(a) zeigt einen aktuellen Frame und dessen entsprechende IM ist in der Abbildung aus 2(b) dargestellt. Die als von hoher Bedeutung identifizierten IM-Bereiche sind hell schattiert, während dunkle Bereiche die Bestandteile einer Szene darstellen, die wahrscheinlich keine Aufmerksamkeit auf sich ziehen.
  • Zu den vorstehenden Verbesserungen gegenüber dem Stand der Technik zählen eine verbesserte Segmentierung, eine Erweiterung der Merkmale des räumlichen Kontexts, die Verbesserungen der Verarbeitungsalgorithmen für räumliche und temporale bzw. zeitliche Merkmale, und Verbesserungen der Kalibrierungs- und Verknüpfungsalgorithmen.
  • In dem Segmentierungsprozess wird eine beschnittene Version des Videoframes als Eingabe verwendet, um die Effekte zu vermeiden, die Bildränder bzw. Bildbegrenzungen auf spätere Aspekte des Modells aufweisen, wobei ein beschnittener Rand im Bereich von 24 Pixeln gute Ergebnisse liefert. Die Funktion Split bzw. Unterteilen verwendet Farbinformationen sowie Luminanzinformationen zur Bestimmung, wenn Unterteilungs/Zusammenführungsoperationen auftreten. Als ein Beispiel kann der Farbraum L*u*v* verwendet werden. Die Bedingung für die Unterteilung lautet nun:
    Wenn: ((variancelum(Ri) > thsplitlum & (variancecol(Ri) > thsplitcol) & (size(Ri) > thsize))Dann: Unterteilung in vier Quadranten
    mit: variancecol(Ri) = SQRT(variance(Ri(u*))2 + variance(Ri(v*))2)
  • Mögliche Schwellenwerte: thsplitlum = 250 et thsplitcol = 120.
  • Zusätzliche Änderungen erfolgen auch für die Funktion Zusammenführen (Merge). Zum das Problem zu verhindern, dass die Segmentierung große Bereiche mit einer blockähnlichen Form erzeugt, ist der Schwellenwert für die Zusammenführung abhängig von der Blockgröße unter Verwendung eines Parameters scalefactormerge adaptiv, der zunimmt, wenn große Bereiche zusammengeführt werden, wobei dies speziell gilt, wenn zwei zusammengeführte Bereiche nahezu die gleiche Größe aufweisen: thmergelumnew = scalefactormerge*thmergelumold mit: scalefactormerge = (kmerge*sizemerge + kreduc + 1)/(sizemerge + kmerge + kreduc) sizemerge = max(kmin*(1/n)ROOT(size(R1)n + size(R2)n)/size(frame)
  • Mögliche Werte für die konstanten Parameter sind: kmin = 256, n = 0,25, kmerge = 3, kreduc = 10 und thmergelumold = 500.
  • Die gleiche Technik wird zur Modifikation des Schwellenwerts thmergecol für die Farbzusammenführung eingesetzt, mit der Ausnahme, dass die folgenden Parameter verwendet werden können: kmincol = 256, ncol = 0,5, kmergecol = 1,5, kreduccol = 0 und thmergecolold = 120.
  • Die vorstehende Zusammenführungsfunktion hat Bereiche mit geringer Textur im Vergleich zu Bereichen mit hoher Textur zu leicht zusammengeführt. Somit werden die mittlere Luminanz und die Farbe des Bereichs berücksichtigt, wenn bestimmt wird, ob zwei Bereiche zusammengeführt oder nicht zusammengeführt werden sollen. Die Schwellenwerte für die Zusammenführung für die mittlere Farbe und die mittlere Luminanz sind jeweils voneinander abhängig, so dass die Schwellenwerte für die Zusammenführung adaptiv abhängig von der mittleren Farbe und der mittleren Luminanz des Bereichs berechnet werden:
    Wenn: ((Δcol < thΔcol) & (colmax > thBW))Dann: thmeanmergelumnew = thmeanmergelumold + ((thΔcol – Δcol)/thΔcol)*(thΔlum_max – thmeanmergelumold)mit: Δlum = |gl(R1) – gl(R2)| Δcol = SQRT((u*R1 – u*R2)2 + (v*R1 – v*R2)2) colmax = max(u*R1, u*R2, v*R1, v*R2)wobei gl(Ri) den mittleren Graupegel des Bereichs Ri bezeichnet. Die Werte für die Konstanten können wie folgt gegeben sein: thΔcol = 14,0, thBW = 7,0 und thΔlum_max = 70,0.
  • Der Schwellenwert für die Zusammenführung für Bereiche mit niedriger Luminanz wird erhöht, da die Farbe in Bereichen mit niedriger Luminanz häufig sehr hohe Werte annimmt. Dies wird gemäß der Abbildung aus 3 implementiert. Die Werte für die Konstanten können wie folgt lauten: thlowlum1 = 10, thlowlum2 = 25, thcol = 14 et thcol_lowlum = 40.
  • Somit wird die modifizierte Bedingung für die Zusammenführung wie folgt:
    Wenn: S1 : ((var(glR12) < thmergelumnew) & (var(colR12) < thmergecolnew) & (Δlum < thmeanmergelumnew) & (Δcol < thmeanmergecolnew))ODER ((Δlum < thlumlow) & (Δcol < thcollow)Dann: Verknüpfung der beiden Bereiche zu einem Bereich
    Sonst: Die Bereiche bleiben getrennt
    Ende
  • Die Werte für die Konstanten können wie folgt lauten: thlumlow = 12 und thcollow = 5.
  • Ferner werden Änderungen in Bezug auf die kleine Bereichsentfernungsprozedur vorgenommen, um den Prozess unabhängig von der Bildauflösung zu machen und um kleine Bereiche mit ihren am besten passenden Nachbar wie folgt zusammenzuführen:
    Wenn: size(Ri) < (1/ksmall)*size(frame)
    Dann: Ri mit dem Nachbar zusammenführen, der den ähnlichsten Wert L* aufweist
    Ende
    wobei ksmall auf 4096 gesetzt werden kann. Auf diese Weise wird die Segmentierung adaptiv gestaltet und wird zuverlässiger.
  • Das Größenmerkmal für die IM ändert sich von einer einfachen Implementierung mit zwei Schwellenwerten zu einer Implementierung mit vier Schwellenwerten, so dass zu kleine oder zu große Bereiche so gering wie möglich gehalten werden, anstatt nur die zu kleinen Bereiche. In ähnlicher Weise wird das Hintergrundmerkmal geändert, da der Rand des Frames unter Verwendung des Minimums der Anzahl an Pixel in dem Bereich, die sich einen 4-Verbundenheits-Rand mit einem anderen Bereich teilen oder der Anzahl der Pixel in dem Bereich, die auch an den abgeschnittenen Rand angrenzen. Ferner wird das Positionsmerkmal so geändert, dass nicht nur das zentrale Viertel des Frames berücksichtigt wird, sondern auch verschiedene Zonen um die Mitte mit niedrigeren Gewichtungen abhängig von der Zone, abfallend von der Mitte.
  • Die ursprüngliche Kontrastbedeutung war definiert als die Differenz zwischen dem mittleren Graupegel für den Bereich Ri abzüglich des mittleren Graupegels für die Bereiche, die eine 4-Verbundenheits-Grenze mit Ri gemeinsam haben. Zuerst basiert der Vergleich des mittleren Graupegels von Ri mit dessen Nachbarn auf dem Absolutwert für jeden Nachbar, so dass Nachbarn mit höheren und niedrigeren mittleren Graupegeln als Ri sich gegenseitig nicht annullieren. Der Einflussbereich, den ein Nachbar auf den Kontrast aufweist, ist auf eine Konstante multipliziert mit der Anzahl der benachbarten Pixel mit 4-Verbundenheit der beiden Bereiche begrenzt. Dies verhindert es, dass große benachbarte Bereiche und Bereiche mit weniger benachbarten Pixeln einen übermäßigen Einfluss auf die Kontrastbedeutung ausüben. Die Kontrastbedeutung wird unter Verwendung eines Größenskalierungsfaktors ferner für große Bereiche reduziert. Zur Berücksichtigung von Weber- und deVries-Rose-Effekten wird der Kontrast bei höheren Graupegeln ferner in Bezug auf den Kontrast bei niedrigeren Graupegeln reduziert. Schließlich wird der Kontrast auf den Bereich von 0–1 adaptiv abhängig von der Stärke des Kontrasts in dem Bereich normalisiert. Dadurch wird die Kontrastbedeutung eines Bereichs mit einem bestimmten Kontrast in Frames reduziert, die Bereiche mit sehr hohem Kontrast aufweisen, und wobei die Bedeutung in Frames erhöht wird, in denen der höchste Kontrast klein ist. I = cont(Ri) = (3j=1–J|gl(Ri) – gl(Rj)|*min(kborder*Bij,size(Ri))) /3j=1–Jmin(kborder*Bij,size(Ri))wobei für j = Bereiche 1–J, die eine 4-Verbundenheits-Begrenzung mit Ri gemeinsam haben, kborder eine Konstante zur Beschränkung des Ausmaßes des Einflusses von Nachbarn darstellt (zum Beispiel auf zehn (10) festgelegt), und wobei Bij die Anzahl der Pixel in Rj darstellt, die eine 4-Verbundenheits-Begrenzung mit Ri gemeinsam haben. I@cont(Ri) = ksizescale*I = cont(Ri), wobei ksizescale mit der Größe des Bereichs variiert, und für kleine Bereiche groß ist und klein für große Bereiche. I@ = cont(Ri) = I@cont(Ri)/max(gl(Ri),thdevries)powweber wobei thdevries den Graupegel des ungefähren Beginns Bereichs des deVries-Rose-Bereichs darstellt (auf 50 gesetzt), und wobei powweber die nicht-lineare Weber-Potenz (gesetzt auf 0,3) darstellt.
  • Die Normalisierungsschwellenwerte für 1@= werden wie folgt berechnet: thcont1 = thbase1weber + (min(I@cont) – thbase1weber)*thweight thcont2 = thbase2weber + (max(I@cont) – thbase2weber)*thweight2high, max(I@cont > thbase2 oder = thbase2weber + (max(I@cont) – thbase2weber)*thweight2low, max(I@cont#thbase2 mit:
    thbase1weber = thbase1/128powweber
    thbase2weber = thbase2/128powweber
    thbase1 = 20
    thbase2 = 120
    thweight1 = 0,5
    thweight2high = 0,25
    thweight2low = 0,75
  • Das Merkmal Form wird so angepasst, dass die Formbedeutung in Bereichen reduziert wird, die viele benachbarte Bereiche aufweisen, so dass Bereichen keine zu hohe Formbedeutung zugewiesen wird, und die Formbedeutung wird unter Verwendung eines adaptiven Normalisierungsprozesses auf den Bereich von 0 bis 1 normalisiert.
  • Die vorliegende Erfindung ergänzt das visuelle Aufmerksamkeitsmodell um Farbmerkmale. RGB-Dateien werden als Eingaben akzeptiert und auf den Farbraum L*u*v* umgewandelt. Die Farbbedeutung wird auf ähnliche Art und Weise berechnet wie die Kontrastbedeutung, da die beiden Merkmale bzw. Eigenschaften praktisch eine gleiche Operation ausführen, wobei eine den Luminanzkontrast eines Bereichs im Verhältnis zu dessen Hintergrund berechnet, während die andere den Farbkontrast eines Bereichs in Bezug auf dessen Hintergrund berechnet. Die Berechnung der Farbbedeutung beginnt mit der separaten Berechnung des Farbkontrasts für u* und v*. Iu*(Ri) = 3j=1–J|u*(Ri) – u*(Ri)|*min(kborder*Bij,size(Rj))/ 3j=1–Jmin(kborder*Bij,size(Rj)) Iv*(Ri) = 3j=1–J|v*(Ri) – v*(Ri)|*min(kborder*Bij,size(Rj))/ 3j=1–Jmin(kborder*Bij,size(Rj))
  • Danach werden die beiden Berechnungen der Farbbedeutung als die Quadratwurzel der Summe der Quadrate verknüpft und für große Bereiche unter Verwendung eines Skalierungsfaktors reduziert. Die Farbbedeutung wird adaptiv auf den Bereich 0 bis 1 normalisiert, abhängig von der Stärke der Farbbedeutung in dem Frame. Dadurch wird die Farbbedeutung eines Bereichs mit einer bestimmten Farbbedeutung in Frames reduziert, die Bereiche mit sehr hohem Farbkontrast aufweisen, und sie wird in Frames erhöht, in denen der höchste Farbkontrast sehr gering ist.
  • Schließlich wird ein Hautmerkmal hinzugefügt, so dass Hautbereiche anhand ihrer Farbe detektiert werden. Möglich ist dies, da die Farbe der menschlichen Haut, selbst die verschiedener Hautfarben bzw. Rassen, innerhalb eines engen Wertebereichs liegt. Es könnten zwar auch andere Farbräume verwendet werden, jedoch wird der Farbraum Farbton-Sättigungs-Wert (englische Abkürzung HSV für Hue-Saturation-Value) ausgewählt, da die Farbe der menschlichen Haut in einen engen Bereich von HSV-Werten stark gruppiert ist. Jedes Pixel wird einzeln geprüft, um zu bestimmen, ob dessen Farbe mit der der Haut übereinstimmt oder nicht. Ein Pixel xij wird als Haut klassifiziert, wenn dessen HSV-Werte (hij, sij, vij) innerhalb des folgenden Bereichs liegen:
    Xij = Haut, wenn ((Hmin#hij#Hmax) & (Smin#Sij#Smax) & (Vmin#vij#Vmax)
  • Aus einer großen Datenbank von Testbildern werden die besten Werte für die Grenzwerte der Klassifizierung bestimmt. Vier der Schwellenwerte können durch die folgenden Konstanten dargestellt werden: Hmin = 350°, Hmax = 40°, Smin = 0,2 und Vmin = 0,35. Die anderen beiden Schwellenwerte Smax und Vmax werden bestimmt, wenn H von dem Graphen aus der Abbildung aus 4 abweicht.
  • Für die Verknüpfung wurden vorher die Abbildungen der Bedeutung des räumlichen Merkmals ins Quadrat gesetzt und gleich gewichtet, um eine finale räumliche IM zu erzeugen, die danach skaliert wurde, so dass der Bereich der höchsten Impedanz einen Wert von 1,0 aufwies. Zur Erleichterung eines abrupten Wechsels zwischen einem Bereich mit hoher Bedeutung und einem Bereich mit niedrigerer Bedeutung wurde eine Blockverarbeitung vorgenommen, bei der jedem Pixel in dem Block eine maximale Bedeutung in einem n × n Block zugewiesen wurde. Um den relativen Einfluss der verschiedenen Merkmale allerdings zu verstehen, wurde eine Augenverfolgungsstudie durchgeführt. Die Augenbewegungen einer Gruppe von Personen wurde aufgezeichnet, während diese viele verschiedene Standbilder ungefähr jeweils fünf Sekunden lang und bewegte Bilder zwei Minuten lang betrachteten. Zur Bestimmung, welche Merkmale die Augenbewegungen am meisten beeinflussten, wurde die Korrelation zwischen der Fixierung der Personen und jeder einzelnen IM eines Merkmals berechnet. Dies erfolgte durch Berechnung des prozentualen Anteils der Fixierungen, die in den Bereichen landeten, die durch das Merkmal als am wichtigsten klassifiziert wurden. Die Ergebnisse daraus zeigten, dass drei der räumlichen Merkmale – Position, Haut und Vordergrund/Hintergrund – eine sehr hohe Korrelation mit Fixierungen aufwiesen. Drei andre Merkmale – Form, Farbe und Kontrast – hatten einen geringeren wenngleich signifikanten Einfluss auf Fixierungen, während die Größe einen deutlich geringeren Einfluss als die anderen Merkmale ausübte. Unter Verwendung der bei diesem Versuch gemessenen Fixierungskorrelationen wird gemäß der vorliegenden Erfindung eine neue Gewichtung der Merkmale verwendet: Ispatial(Ri) = 3f=1–7(wf poww*If(Rf)powf)wobei:
    wf die Merkmalsgewichtung aus dem Augenverfolgungsexperiment darstellt, d. h. (0,193 0,176 0,172 0,130 0,121 0,114 0,094) für (Position, Vordergrund/Hintergrund, Haut, Form, Kontrast, Farbe, Größe).
    poww den Exponenten der Merkmalsgewichtung zur Regelung des relativen Einflusses von wf darstellt, d. h. zum Beispiel 3,0; und
    powf den IM-Gewichtungsexponenten darstellt, d. h. zum Beispiel 2,0 für alle Merkmale. Die räumliche IM wird danach skaliert, so dass der Bereich mit der höchsten Bedeutung einen Wert von 1,0 aufweist, gefolgt von einer Blockbearbeitung gemäß vorstehender Beschreibung.
  • Die resultierenden räumlichen IMs können von Frame zu Frame Störungen aufweisen, so dass zur Reduzierung dieser Störungen bzw. dieses Rauschens und zur Verbesserung der temporalen Konstanz der IMs eine temporale Glättungsoperation auf Pixelebene durchgeführt wird. Unter Verwendung eines Zeitfensters von (t – m, ..., t + n) Frames, wird die Ausgangs-IM an der Position (x, y) als die k-höchste IM an der Position (x, y) aus dem Zeitfenster verwendet. Durch das Festlegen von k > 1 werden Störbereiche hoher Bedeutung entfernt. Ein Beispiel entspricht n = m = 5 Frames und k = 2.
  • Vorher wurden für die Abbildung der temporalen bzw. zeitlichen Bedeutung Bewegungsvektoren für jeden Block unter Verwendung einer hierarchischen Technik der Blockanpassung berechnet, wobei die resultierenden Vektoren direkt für die Berechnung der zeitlichen Bedeutung verwendet wurden. Bereichen sehr geringer und sehr hoher Bewegung wurde eine niedrige Bedeutung zugeordnet, während Bereichen mit mittlerer Bewegung die höchste Bedeutung zugeordnet wurde. In Bezug auf diese frühere Technik gab es zwei wesentliche Probleme: (i) es gab keine Möglichkeit zur Unterscheidung der Kamerabewegung von echter Objektbewegung, so dass das Modell fehlschlug, wenn Kamerabewegung (Schwenken, Neigen, Zoomen, Drehen) gegeben war, während das Video aufgenommen wurde; und (ii) es wurden bei der Zuordnung der Bedeutung zu einer bestimmten Bewegung feste Schwellenwerte verwendet, wobei sich diese Schwellenwerte jedoch an die Bewegung in dem Video anpassen müssen, da das Ausmaß der Bewegung bei den verschiedenen Videoszenen erheblich variiert.
  • Nachstehend wird Bezug auf die Abbildung aus 5 genommen, die ein Blockdiagramm des zeitlichen Aufmerksamkeitsmodells zeigt. Ebenso wie bei dem früheren temporalen Prozess wurden die aktuellen und vorherigen Frames in einem Prozess der hierarchischen Blockanpassung zur Berechnung von Bewegungsvektoren verwendet. Diese Bewegungsvektoren werden von einem Schätzalgorithmus für die Kamerabewegung verwendet, um vier Parameter in Bezug auf die Kamerabewegung zu bestimmen – Schwenkung, Neigung, Zoom und Rotation. Diese Parameter werden danach zur Kompensation der Bewegungsvektoren verwendet, so dass die echte Objektbewegung in der Szene erfasst wird. Da Bewegungsvektore in flachen Bereichen in Bezug auf die Textur nicht zuverlässig sind, werden die kompensierten Bewegungsvektoren in diesen Bereichen auf Null gesetzt. Ein 8 × 8-Block gilt als flach, wenn die Differenz zwischen den minimalen und maximalen Graupegeln in dem Block niedriger ist als ein Schwellenwert thflat, wie etwa 45. Schließlich werden die kompensierten Bewegungsvektoren in verschiedenen Schritten in ein Maß der temporalen Bedeutung umgewandelt.
  • Der Kamerabewegungs-Schätzalgorithmus detektiert stärkere Ruckbewegungen der temporalen Bewegung, wie diese etwa durch Szenenschnitte, durch ein 3 : 2-Fortschaltungen und temporales Unterabtasten bewirkt werden, d. h. fallen gelassene Frames. Wenn diese temporalen Unterbrechungen auftreten, werden die Bewegungsinformationen für den vorherigen Frame verwendet, für den zuverlässige Bewegungsinformationen vorhanden sind, an Stelle der Verwendung der Bewegungsinformationen für den Frame mit der temporalen Unterbrechung. Es können die Bewegungsinformationen der letzten zehn Frames verwendet werden, wenn eine temporale Unterbrechung in dem aktuellen Frame erkannt wird. Danach wird eine temporale Glättung auf ähnliche Art und Weise verwendet wie bei der räumlichen IM, wie dies vorstehend im Text beschrieben worden ist. Frames, die Teil einer geschnittenen Szene sind oder Teil einer anderen Aufnahme, sind nicht Bestandteil in dem Zeitfenster. Als nächstes wird Bereichen einer geringen Textur eine zeitliche bzw. temporale Bedeutung von Null zugeordnet, da Bewegungsvektoren von diesen Bereichen unzuverlässig sind. Die "flache" Bestimmung entspricht der vorstehenden Beschreibung, mit der Ausnahme, dass die Berechnungen über ein Zeitfenster von +/– einem Frame vorgenommen werden. Schließlich wird eine adaptive Schwellenwertermittlung verwendet, wobei die Schwellenwerte adaptiv abhängig von dem Ausmaß der Objektbewegung in der Szene berechnet werden. Szenen mit wenigen sich bewegenden Objekten und mit sich langsam bewegenden Objekten weisen niedrigere Schwellenwerte auf als Szenen mit vielen sich schnell bewegenden Objekten, da das menschliche Wahrnehmungsvermögen nicht durch diese zahlreichen sich schnell bewegenden Objekte maskiert wird. Ein Schätzwert der Stärke der Bewegung in einer Szene wird unter Verwendung des m-ten Perzentils wie etwa des 98. Perzentils, der um die Kamerabewegung kompensierten Abbildung des Bewegungsvektors ermittelt. Da die Bewegung in Grad/Sek. gemessen wird, muss bzw. müssen die Auflösung des Monitors – der Pixelabstand und die Betrachtungsentfernung – bekannt sein. Ein typischer Pixelabstand entspricht 0,25 mm, und für SDTV-Betrachtungen entspricht der Betrachtungsabstand fünf Bildhöhen. In Szenen, bei denen ein sich schnell bewegendes Objekt durch eine schnelle Schwenk- oder Neigungsbewegung verfolgt wird, kann die Bewegung des Objekts größer sein als ein bestimmter Schwellenwert, und somit kann die entsprechende temporale Bedeutung auf einen Wert von weniger als 1,0 reduziert werden. Damit dies verhindert werden kann, wird eine besondere Situation geschaffen. Schließlich wird eine Blockverarbeitung auf der 16 × 16-Pixelebene wie für die räumliche IM durchgeführt. Da die temporale IM bereits eine Auflösung von 8 × 8 Pixel aufweist, wird der maximale Wert für jeden 2 × 2-Block so verwendet, dass insgesamt eine Blockgröße von 16 × 16 erhalten wird.
  • Die Verknüpfung der räumlichen und temporalen IMs entspricht einer linearen Gewichtung: Itotal = kcombIspat + (1 – kcomb)Itemp
  • Ein Vergleich der Fixierungen des Betrachters für die räumlichen und temporalen IMs zeigt, dass die Korrelationen für die rein räumlichen IMs im Vergleich zu denen ausschließlich temporaler IMs geringfügig höher sind. Somit wird ein Wert von kcomb vorgeschlagen, der etwas höher ist als 0,5, wie zum Beispiel 0,6.
  • Mehr als das Vorstehende muss für die grundlegende Integration der räumlichen und temporalen IMs nicht vorgenommen werden. Die Augenverfolgungsstudien zeigen jedoch, dass in Szenen mit Zoomen, Rotation oder Video mit sehr viel Bewegung, der Betrachter dazu neigt, die Aufmerksamkeit zu sehr auf die Mitte des Bildschirms zu richten. Um den zentralen Bereichen in diesen Szenen mehr Bedeutung zuzuweisen, kann die folgende Berechnung vorgenommen werden: motzoomrot = kz1*motionm + kz2*zoom + kz3*rotate + kz4*errorcamera wobei:
    motionm dem m-ten Perzentil der um die Kamerabewegung kompensierten Abbildung des Bewegungsvektors entspricht, und wobei "rotate" die Zoom- und Rotationsparameter des Frames bezeichnen, und wobei errorcamera von dem Schätzalgorithmus der Kamerabewegung ausgegeben wird, und wobei kzi Skalierungskonstanten darstellen. Eine zentrale Skalierungskonstante kcentral wird zwischen zwei Werten gemäß dem Ausmaß von motzoomrot zwischen einem Schwellenwertpaar angepasst. Die neue IM lautet dabei: I = total = kcentralIcenter + (1 – kcentral)Itotal
  • Wenn die Variable errorcamera zu groß ist, kann sich die Genauigkeit der IM verringern, so dass es nützlich sein kann, den Einfluss der temporalen IMs in diesen Fällen zu verringern. Dies kann durch eine Erhöhung des Wertes kcomb erfolgen, da der Fehler zunimmt.
  • Schließlich zeigen die Augenverfolgungsstudien, dass Menschen und Gesichter die Aufmerksamkeit besonders stark anziehen. Da Personen allgemein nicht völlig unbeweglich sind, zumindest nicht über einen längeren Zeitraum, kann eine spezielle Situation geschaffen werden, um die Bedeutung der Hautbereiche zu erhöhen, die ebenfalls Bewegung unterliegen. Dies ist mit zwei Vorzügen verbunden: (i) Objekte, die durch das Hautmerkmal fälschlicher Weise als Haut klassifiziert werden, sind häufig Hintergrundobjekte, die sich nicht bewegen (Sand, trockenes Gras, Steinwände), so dass diese falschen Positive zurückgewiesen werden, wenn Bewegungsinformationen vorhanden sind; und (ii) Gesichter weisen häufig Bereiche mit geringerer Textur auf, und da Bereiche mit geringer Textur eine geringere Bedeutung aufweisen, gehen Gesichtsbereiche mit geringer Textur teilweise verloren, so dass durch eine Lockerung der Einschränkung in Bezug auf eine niedrige Textur für Hautbereiche diese Bereiche nicht mehr verloren gehen und ihnen eine hohe Bedeutung zuteil wird. Für jedes Pixel gilt somit:
    Wenn: ((Iskin > thskinmot1) & (MVcomp > thskinmot2))Dann: Itotal = 1,0Ende
  • Vorgesehen ist gemäß der vorliegenden Erfindung somit ein verbessertes Aufmerksamkeitsmodell, das räumliche Merkmale zur Erzeugung einer Abbildung der räumlichen Bedeutung aufwiest sowie mit einer Verknüpfung der Abbildung der zeitlichen Bedeutung mit der Abbildung der räumlichen Bedeutung, so dass eine Gesamtabbildung der Bedeutung für einen Frame erzeugt wird, wobei die Verbesserung einen adaptiven Segmentierungsalgorithmus darstellt, adaptive Algorithmen für die räumlichen Merkmale sowie zusätzliche räumliche Merkmale, und mit einem verbesserten Verknüpfungsalgorithmus auf der Basis von Augenbewegungsstudien, so dass eine verbesserte Gesamtabbildung der Bedeutung erzeugt ist, die zuverlässiger ist.

Claims (11)

  1. Modellierungsverfahren für eine visuelle Aufmerksamkeit, wobei ein Frame eine Videosequenz in Bereiche zur Verarbeitung durch eine Mehrzahl räumlicher Merkmale segmentiert, um eine entsprechende Mehrzahl von Abbildungen der räumlichen Bedeutung zu erzeugen, welches den Frame mit einem vorherigen Frame zur Verarbeitung vergleicht, um eine Abbildung der zeitlichen Bedeutung zu erzeugen, und welches die Abbildungen der räumlichen und der zeitlichen Bedeutung verknüpft, so dass für den Frame eine Abbildung der Bedeutung insgesamt erzeugt wird, gekennzeichnet durch die folgenden Schritte: adaptives Segmentieren des Frames in Bereiche unter Verwendung von Farbe gemeinsam mit Luminanz; Verarbeiten der Bereiche mit einer Mehrzahl von räumlichen Merkmalen, so dass die Mehrzahl von Abbildungen der räumlichen Bedeutung erzeugt wird; Verarbeiten des Frames mit dem vorherigen Frame, so dass die Abbildung der zeitlichen Bedeutung erzeugt wird, die eine Kamerabewegung kompensiert; und Verknüpfen der Abbildungen der räumlichen und der zeitlichen Bedeutung auf der Basis einer Gewichtungsfunktion, die aus Augenbewegungsstudien abgeleitet wird, so dass die Abbildung der Bedeutung insgesamt erzeugt wird.
  2. Verfahren nach Anspruch 1, wobei der Schritt des adaptiven Segmentierens die folgenden Schritte umfasst: hierarchisches Unterteilen des Frames in Bereiche auf der Basis der Luminanzabweichung, der Farbabweichung und der Größe von Zwischenbereichen; und Zusammenführen der Zwischenbereiche zur Gestaltung der Breiche, wenn die mittleren Luminanz- und Farbabweichungen in den Zwischenbereichen kleiner sind als entsprechende adaptive Grenzwerte, und wenn die Abweichung der Luminanz und die Farbabweichung in den Zwischenbereichen kleiner sind als entsprechende Grenzwerte, oder wenn die Luminanz- und Farbabweichungen in den Zwischenbereichen kleiner sind als entsprechende Grenzwerte.
  3. Verfahren nach Anspruch 2, wobei der Schritt der adaptiven Segmentierung ferner den Schritt des Zuschneidens der Ränder des Frames vor dem Schritt des Aufteilens umfasst.
  4. Verfahren nach Anspruch 1, wobei die räumlichen Merkmale mindestens zwei Merkmale umfassen, die aus der Gruppe ausgewählt werden, die Größe, Hintergrund, Position, Kontrast, Form, Farbe und Haut umfasst.
  5. Verfahren nach Anspruch 4, wobei der Verarbeitungsschritt für das räumliche Kontrastmerkmal auf Absolutwerten für die mittleren Graupegel eines zu verarbeitenden Bereichs basiert, und dessen benachbarten Bereiche, die sich eine 4-Verbundenheits-Begrenzung teilen, auf eine Konstante multipliziert mit der Anzahl der benachbarten Pixel mit 4-Verbundenheit begrenzt ist und Weber- und deVries-Rose-Effekte berücksichtigt.
  6. Verfahren nach Anspruch 4, wobei der Verarbeitungsschritt für das räumliche Farbmerkmal den Farbkontrast eines verarbeiteten Bereichs in Bezug auf dessen Hintergrund berechnet.
  7. Verfahren nach Anspruch 4, wobei der Verarbeitungsschritt für das räumliche Hautmerkmal einen schmalen Bereich von Farbwerten und entsprechende Grenzwerte für Minimum- und Maximumwerte für jedes Element der Farbwerte aufweist.
  8. Verfahren nach Anspruch 1, wobei der Verknüpfungsschritt die folgenden Schritte umfasst: Gewichten jeder Abbildung der räumlichen Bedeutung auf Gewichtungen, die aus Augenbewegungsstudien empirisch bestimmt worden sind, um eine resultierende Abbildung der räumlichen Bedeutung zu erzeugen; Glätten der resultierenden Abbildung der räumlichen Bedeutung von Frame zu Frame unter Verwendung eines zeitlichen Glättungsalgorithmus zur Reduzierung von Störungen sowie zur Verbesserung der zeitlichen Konsistenz zur Erzeugung einer Abbildung der räumlichen Bedeutung; und Verknüpfen der Abbildung der räumlichen Bedeutung mit der Abbildung der zeitlichen Bedeutung, so dass die Abbildung der Bedeutung insgesamt erzeugt wird.
  9. Verfahren nach Anspruch 8, wobei der Schritt der Verknüpfung der Abbildung der räumlichen Bedeutung mit der Abbildung der zeitlichen Bedeutung den Schritt der linearen Gewichtung der Abbildungen der räumlichen Bedeutung und der zeitlichen Bedeutung umfasst, wobei der Schritt der linearen Gewichtung eine aus den Augenbewegungsstudien ermittelte Konstante verwendet.
  10. Verfahren nach Anspruch 1, wobei der Schritt der Verarbeitung der Abbildung der zeitlichen Bedeutung die folgenden Schritte umfasst: Berechnen von Bewegungsvektoren für jeden Block des aktuellen Frames unter Verwendung eines hierarchischen Blockanpassungsalgorithmus; Schätzen von Parametern der Kamerabewegung aus den Bewegungsvektoren; Kompensieren der Bewegungsvektoren auf der Basis der Parameter der Kamerabewegung; und Umwandeln der kompensierten Bewegungsvektoren in die Abbildung der zeitlichen Bedeutung.
  11. Verfahren nach Anspruch 10, wobei der Schritt der Verarbeitung der Abbildung der zeitlichen Bedeutung ferner den Schritt der Bestimmung einer Flachheit für jeden Block umfasst, so dass Bewegungsvektoren in strukturell flachen Fehlern in den kompensierten Bewegungsvektoren vor dem Umwandlungsschritt auf Null gesetzt werden.
DE60203056T 2001-01-17 2002-01-10 Räumlich -temporales Modell der visuellen Aufmerksamkeit für eine Video Vollbild -Sequence Expired - Lifetime DE60203056T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US764726 2001-01-17
US09/764,726 US6670963B2 (en) 2001-01-17 2001-01-17 Visual attention model

Publications (2)

Publication Number Publication Date
DE60203056D1 DE60203056D1 (de) 2005-04-07
DE60203056T2 true DE60203056T2 (de) 2005-07-21

Family

ID=25071588

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60203056T Expired - Lifetime DE60203056T2 (de) 2001-01-17 2002-01-10 Räumlich -temporales Modell der visuellen Aufmerksamkeit für eine Video Vollbild -Sequence

Country Status (5)

Country Link
US (1) US6670963B2 (de)
EP (1) EP1225769B1 (de)
JP (1) JP3851171B2 (de)
CN (1) CN1203677C (de)
DE (1) DE60203056T2 (de)

Families Citing this family (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020154833A1 (en) * 2001-03-08 2002-10-24 Christof Koch Computation of intrinsic perceptual saliency in visual environments, and applications
US6870956B2 (en) * 2001-06-14 2005-03-22 Microsoft Corporation Method and apparatus for shot detection
KR100474760B1 (ko) * 2001-10-08 2005-03-08 엘지전자 주식회사 영상내의 오브젝트 영역 추출방법
US7054483B2 (en) * 2002-03-15 2006-05-30 Ncr Corporation Methods for selecting high visual contrast colors in user-interface design
TWI281126B (en) * 2002-03-19 2007-05-11 Intervideo Digital Technology Image detection method based on region
CA2478243C (en) * 2002-03-22 2012-07-24 British Telecommunications Public Limited Company Anomaly recognition
CA2479223C (en) * 2002-03-22 2012-09-04 British Telecommunications Public Limited Company Comparing patterns
US7499594B2 (en) * 2002-04-15 2009-03-03 At&T Intellectual Property 1, L.P. Multi-resolution predictive foveation for bandwidth reduction of moving images
US7010169B2 (en) * 2002-04-15 2006-03-07 Sbc Technology Resources, Inc. Multi-point predictive foveation for bandwidth reduction of moving images
US7136073B2 (en) * 2002-10-17 2006-11-14 Canon Kabushiki Kaisha Automatic tone mapping for images
US7274741B2 (en) * 2002-11-01 2007-09-25 Microsoft Corporation Systems and methods for generating a comprehensive user attention model
US7116716B2 (en) * 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
WO2004043054A2 (en) * 2002-11-06 2004-05-21 Agency For Science, Technology And Research A method for generating a quality oriented significance map for assessing the quality of an image or video
GB0229625D0 (en) * 2002-12-19 2003-01-22 British Telecomm Searching images
US7164798B2 (en) * 2003-02-18 2007-01-16 Microsoft Corporation Learning-based automatic commercial content detection
US7260261B2 (en) * 2003-02-20 2007-08-21 Microsoft Corporation Systems and methods for enhanced image adaptation
US20040207643A1 (en) * 2003-04-18 2004-10-21 Bozidar Janko Attention model enhanced video waveform monitor
US7872635B2 (en) 2003-05-15 2011-01-18 Optimetrics, Inc. Foveated display eye-tracking system and method
US7274740B2 (en) * 2003-06-25 2007-09-25 Sharp Laboratories Of America, Inc. Wireless video transmission system
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US7680342B2 (en) 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
FR2857481A1 (fr) * 2003-07-08 2005-01-14 Thomson Licensing Sa Procede et dispositif de detection de visages dans une image couleur
US7646437B1 (en) * 2003-09-03 2010-01-12 Apple Inc. Look-ahead system and method for pan and zoom detection in video sequences
US9325998B2 (en) * 2003-09-30 2016-04-26 Sharp Laboratories Of America, Inc. Wireless video transmission system
US7400761B2 (en) * 2003-09-30 2008-07-15 Microsoft Corporation Contrast-based image attention analysis framework
US7471827B2 (en) * 2003-10-16 2008-12-30 Microsoft Corporation Automatic browsing path generation to present image areas with high attention value as a function of space and time
US20050123886A1 (en) * 2003-11-26 2005-06-09 Xian-Sheng Hua Systems and methods for personalized karaoke
GB0328326D0 (en) 2003-12-05 2004-01-07 British Telecomm Image processing
US8018850B2 (en) 2004-02-23 2011-09-13 Sharp Laboratories Of America, Inc. Wireless video transmission system
US7826664B2 (en) * 2004-05-24 2010-11-02 Xerox Corporation Systems and methods for efficient manual windowing operation
US7916173B2 (en) * 2004-06-22 2011-03-29 Canon Kabushiki Kaisha Method for detecting and selecting good quality image frames from video
US9053754B2 (en) * 2004-07-28 2015-06-09 Microsoft Technology Licensing, Llc Thumbnail generation and presentation for recorded TV programs
US7986372B2 (en) 2004-08-02 2011-07-26 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
CN1998227A (zh) * 2004-08-10 2007-07-11 汤姆逊许可公司 用于指示视频中运动的检测度的设备和方法
EP1789910B1 (de) 2004-09-17 2008-08-13 British Telecommunications Public Limited Company Analyse von mustern
US7562056B2 (en) * 2004-10-12 2009-07-14 Microsoft Corporation Method and system for learning an attention model for an image
US8356327B2 (en) * 2004-10-30 2013-01-15 Sharp Laboratories Of America, Inc. Wireless video transmission system
US7784076B2 (en) * 2004-10-30 2010-08-24 Sharp Laboratories Of America, Inc. Sender-side bandwidth estimation for video transmission with receiver packet buffer
US7797723B2 (en) * 2004-10-30 2010-09-14 Sharp Laboratories Of America, Inc. Packet scheduling for video transmission with sender queue control
JP4234089B2 (ja) * 2004-11-16 2009-03-04 株式会社ソニー・コンピュータエンタテインメント エンタテインメント装置、オブジェクト表示装置、オブジェクト表示方法、プログラム、およびキャラクタ表示方法
US7922670B2 (en) * 2005-02-24 2011-04-12 Warren Jones System and method for quantifying and mapping visual salience
EP1732030A1 (de) * 2005-06-10 2006-12-13 BRITISH TELECOMMUNICATIONS public limited company Mustervergleich
US7676081B2 (en) * 2005-06-17 2010-03-09 Microsoft Corporation Image segmentation of foreground from background layers
CN101248457B (zh) * 2005-07-28 2011-07-27 英国电讯有限公司 图像分析方法
US7574069B2 (en) * 2005-08-01 2009-08-11 Mitsubishi Electric Research Laboratories, Inc. Retargeting images for small displays
US20070067480A1 (en) * 2005-09-19 2007-03-22 Sharp Laboratories Of America, Inc. Adaptive media playout by server media processing for robust streaming
US7773813B2 (en) * 2005-10-31 2010-08-10 Microsoft Corporation Capture-intention detection for video content analysis
US8180826B2 (en) * 2005-10-31 2012-05-15 Microsoft Corporation Media sharing and authoring on the web
US8196032B2 (en) 2005-11-01 2012-06-05 Microsoft Corporation Template-based multimedia authoring and sharing
GB2432068B (en) * 2005-11-02 2010-10-06 Imagination Tech Ltd Motion estimation
EP1793344A1 (de) 2005-11-30 2007-06-06 THOMSON Licensing Korrekturverfahren für Aufmerksamkeitsverlauf bei der Analyse von Videoinhalten
EP1798961A1 (de) * 2005-12-19 2007-06-20 BRITISH TELECOMMUNICATIONS public limited company Fokussierungsverfahren
US7692696B2 (en) * 2005-12-27 2010-04-06 Fotonation Vision Limited Digital image acquisition system with portrait mode
US7599918B2 (en) 2005-12-29 2009-10-06 Microsoft Corporation Dynamic search with implicit user intention mining
US9544602B2 (en) * 2005-12-30 2017-01-10 Sharp Laboratories Of America, Inc. Wireless video transmission system
US7869043B2 (en) * 2006-01-06 2011-01-11 Sparta, Inc. Automated passive skin detection system through spectral measurement
US8265349B2 (en) 2006-02-07 2012-09-11 Qualcomm Incorporated Intra-mode region-of-interest video object segmentation
US8265392B2 (en) 2006-02-07 2012-09-11 Qualcomm Incorporated Inter-mode region-of-interest video object segmentation
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
IES20060559A2 (en) * 2006-02-14 2006-11-01 Fotonation Vision Ltd Automatic detection and correction of non-red flash eye defects
JP4970468B2 (ja) 2006-02-14 2012-07-04 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 画像ぼかし処理
US7634108B2 (en) * 2006-02-14 2009-12-15 Microsoft Corp. Automated face enhancement
GB2435360B (en) 2006-02-16 2009-09-23 Imagination Tech Ltd Method and apparatus for determining motion between video images
US7683931B2 (en) * 2006-03-06 2010-03-23 Dell Products L.P. Image artifact detection in video quality benchmarks
KR101225062B1 (ko) * 2006-03-10 2013-01-23 삼성전자주식회사 이미지 프레임의 선택적 출력 장치 및 방법
US7652994B2 (en) * 2006-03-31 2010-01-26 Sharp Laboratories Of America, Inc. Accelerated media coding for robust low-delay video streaming over time-varying and bandwidth limited channels
IES20060564A2 (en) * 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
EP2027727A4 (de) * 2006-06-09 2012-12-05 Thomson Licensing Verfahren und vorrichtung zur adaptiven bestimmung eines bitbudgets zur codierung von videobildern
US8861597B2 (en) * 2006-09-18 2014-10-14 Sharp Laboratories Of America, Inc. Distributed channel time allocation for video streaming over wireless networks
DE102006044114A1 (de) * 2006-09-20 2008-03-27 Forschungszentrum Karlsruhe Gmbh Verfahren zur Charakterisierung der Abgasausbrandqualität in Verbrennungsanlagen
GB0619817D0 (en) * 2006-10-06 2006-11-15 Imp Innovations Ltd A method of identifying a measure of feature saliency in a sequence of images
US8285052B1 (en) 2009-12-15 2012-10-09 Hrl Laboratories, Llc Image ordering system optimized via user feedback
US8214309B1 (en) 2008-12-16 2012-07-03 Hrl Laboratories, Llc Cognitive-neural method for image analysis
US8363939B1 (en) 2006-10-06 2013-01-29 Hrl Laboratories, Llc Visual attention and segmentation system
US8165407B1 (en) 2006-10-06 2012-04-24 Hrl Laboratories, Llc Visual attention and object recognition system
US8699767B1 (en) 2006-10-06 2014-04-15 Hrl Laboratories, Llc System for optimal rapid serial visual presentation (RSVP) from user-specific neural brain signals
US7652993B2 (en) * 2006-11-03 2010-01-26 Sharp Laboratories Of America, Inc. Multi-stream pro-active rate adaptation for robust video transmission
US8300890B1 (en) * 2007-01-29 2012-10-30 Intellivision Technologies Corporation Person/object image and screening
DE102007012458A1 (de) * 2007-03-15 2008-09-18 Robert Bosch Gmbh Verfahren zur Objektbildung
US8229229B2 (en) * 2007-04-09 2012-07-24 Tektronix, Inc. Systems and methods for predicting video location of attention focus probability trajectories due to distractions
USRE47534E1 (en) 2007-04-23 2019-07-23 Ramot At Tel Aviv University Ltd. System, method and a computer readable medium for providing an output image
US9740949B1 (en) 2007-06-14 2017-08-22 Hrl Laboratories, Llc System and method for detection of objects of interest in imagery
US8774517B1 (en) 2007-06-14 2014-07-08 Hrl Laboratories, Llc System for identifying regions of interest in visual imagery
US9196053B1 (en) 2007-10-04 2015-11-24 Hrl Laboratories, Llc Motion-seeded object based attention for dynamic visual imagery
US9177228B1 (en) 2007-10-04 2015-11-03 Hrl Laboratories, Llc Method and system for fusion of fast surprise and motion-based saliency for finding objects of interest in dynamic scenes
US9778351B1 (en) 2007-10-04 2017-10-03 Hrl Laboratories, Llc System for surveillance by integrating radar with a panoramic staring sensor
US8369652B1 (en) 2008-06-16 2013-02-05 Hrl Laboratories, Llc Visual attention system for salient regions in imagery
WO2010016992A2 (en) * 2008-07-09 2010-02-11 Florida Atlantic University System and method for analysis of spatio-temporal data
US8134578B2 (en) * 2008-07-17 2012-03-13 Xerox Corporation Hybrid importance maps for content aware digital image resizing
EP2356631B1 (de) * 2008-10-03 2019-05-01 3M Innovative Properties Company Systeme und verfahren zur evaluierung von robustheit
US8274533B2 (en) * 2009-02-12 2012-09-25 Xerox Corporation Resizing a digital document image via background content removal
JP5178925B2 (ja) * 2009-02-26 2013-04-10 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． ボイドパンタグラフ及びボイドパンタグラフを生成する方法
JP5229575B2 (ja) * 2009-05-08 2013-07-03 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN102088597B (zh) * 2009-12-04 2013-10-30 成都信息工程学院 动静结合估计视频视觉显著度的方法
WO2011152893A1 (en) * 2010-02-10 2011-12-08 California Institute Of Technology Methods and systems for generating saliency models through linear and/or nonlinear integration
GB2480422B (en) 2010-02-25 2014-07-09 Imagination Tech Ltd Object tracking using graphics engine derived vectors in a motion estimation system
JP5589527B2 (ja) 2010-04-23 2014-09-17 株式会社リコー 撮像装置および追尾被写体検出方法
EP2591458A2 (de) 2010-07-07 2013-05-15 3M Innovative Properties Company Systeme und verfahren zur verbesserung von visuellen aufmerksamkeitsmodellen
CN101950362B (zh) * 2010-09-14 2013-01-09 武汉大学 一种视频信号的关注度分析系统
JP5627439B2 (ja) * 2010-12-15 2014-11-19 キヤノン株式会社 特徴検出装置、特徴検出方法、およびそのプログラム
US9489596B1 (en) 2010-12-21 2016-11-08 Hrl Laboratories, Llc Optimal rapid serial visual presentation (RSVP) spacing and fusion for electroencephalography (EEG)-based brain computer interface (BCI)
US9489732B1 (en) 2010-12-21 2016-11-08 Hrl Laboratories, Llc Visual attention distractor insertion for improved EEG RSVP target stimuli detection
US8463037B2 (en) * 2011-03-31 2013-06-11 Sony Corporation Detection of low contrast for image processing
AU2011254040B2 (en) * 2011-12-14 2015-03-12 Canon Kabushiki Kaisha Method, apparatus and system for determining a saliency map for an input image
WO2013165565A1 (en) * 2012-04-30 2013-11-07 Nikon Corporation Method of detecting a main subject in an image
US9483109B2 (en) * 2012-07-12 2016-11-01 Spritz Technology, Inc. Methods and systems for displaying text using RSVP
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
NZ709258A (en) 2012-12-11 2020-05-29 Ami Klin Systems and methods for detecting blink inhibition as a marker of engagement and perceived stimulus salience
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9661328B2 (en) 2013-03-15 2017-05-23 Arris Enterprises, Inc. Method of bit allocation for image and video compression using perceptual guidance
US9311338B2 (en) * 2013-08-26 2016-04-12 Adobe Systems Incorporated Method and apparatus for analyzing and associating behaviors to image content
EP3057508B1 (de) 2013-10-17 2020-11-04 Children's Healthcare Of Atlanta, Inc. Methoden zur untersuchung der entwicklung von kindern und kleinkindern mittles eye-tracking
JP2015106271A (ja) * 2013-11-29 2015-06-08 株式会社東芝 方法、画像処理装置およびプログラム
US9195903B2 (en) 2014-04-29 2015-11-24 International Business Machines Corporation Extracting salient features from video using a neurosynaptic system
US9373058B2 (en) 2014-05-29 2016-06-21 International Business Machines Corporation Scene understanding using a neurosynaptic system
US10115054B2 (en) 2014-07-02 2018-10-30 International Business Machines Corporation Classifying features using a neurosynaptic system
US9798972B2 (en) 2014-07-02 2017-10-24 International Business Machines Corporation Feature extraction using a neurosynaptic system for object classification
KR101673879B1 (ko) * 2015-06-30 2016-11-08 주식회사 아이디스 영상 분석 기반의 인코딩 장치 및 방법
US9659371B2 (en) * 2015-10-08 2017-05-23 Christie Digital Systems Usa, Inc. System and method for online projector-camera calibration from one or more images
US10200572B1 (en) * 2016-03-03 2019-02-05 Amazon Technologies, Inc Motion detection
US10799219B2 (en) 2017-04-28 2020-10-13 General Electric Company Ultrasound imaging system and method for displaying an acquisition quality level
CN107330362B (zh) * 2017-05-25 2020-10-09 北京大学 一种基于时空注意力的视频分类方法
US11067448B2 (en) 2018-10-05 2021-07-20 Parsons Corporation Spectral object detection
CN109523562A (zh) * 2018-12-14 2019-03-26 哈尔滨理工大学 一种基于人眼视觉特性的红外图像分割方法
CN111784694A (zh) * 2020-08-20 2020-10-16 中国传媒大学 一种基于视觉注意力机制的无参考视频质量评价方法
US11903711B2 (en) 2022-06-09 2024-02-20 EarliTec Diagnostics, Inc. Assessing developmental disorders via eye tracking

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5974159A (en) * 1996-03-29 1999-10-26 Sarnoff Corporation Method and apparatus for assessing the visibility of differences between two image sequences
WO1998033315A2 (en) * 1997-01-06 1998-07-30 Geisler Wilson S Foveated image coding system and method for image bandwidth reduction
US6535644B1 (en) * 1999-07-01 2003-03-18 Koninklijke Philips Electronics N.V. Hierarchical foveation based on wavelets
US6442203B1 (en) * 1999-11-05 2002-08-27 Demografx System and method for motion compensation and frame rate conversion

Also Published As

Publication number Publication date
JP3851171B2 (ja) 2006-11-29
CN1203677C (zh) 2005-05-25
EP1225769B1 (de) 2005-03-02
EP1225769A3 (de) 2003-10-15
EP1225769A2 (de) 2002-07-24
US6670963B2 (en) 2003-12-30
DE60203056D1 (de) 2005-04-07
JP2002247574A (ja) 2002-08-30
CN1366422A (zh) 2002-08-28
US20020126891A1 (en) 2002-09-12

Similar Documents

Publication Publication Date Title
DE60203056T2 (de) Räumlich -temporales Modell der visuellen Aufmerksamkeit für eine Video Vollbild -Sequence
DE60203871T2 (de) Verfahren und system zum selektiven anwenden eines bildverbesserungsprozesses auf ein bild
DE69837233T2 (de) Verfahren und Gerät zur Bestimmung der Augenposition in einem Bild
DE60020795T2 (de) Echtzeitmodellierung des Verhaltens menschlicher Sehvermögenssysteme
DE69333846T2 (de) Verfahren zur mischung von bildern und vorrichtung hierzu.
DE60017600T2 (de) Digitales bilderzeugungsverfahren
Zheng et al. A new metric based on extended spatial frequency and its application to DWT based fusion algorithms
DE69828909T2 (de) Neue perzeptive lokale gradientenbasierte gratbestimmung
DE69627982T2 (de) Signaladaptives Nachverarbeitungssystem um Blockierungseffekte und Ringstörungen zu verringern
DE69333094T2 (de) Vorrichtung zum Extrahieren von Merkmalen eines Gesichtsbildes
DE60132278T2 (de) Rauschverminderungsverfahren unter Verwendung von Farbinformationen, einer Vorrichtung und eines Programms zur Digital-Bildverarbeitung
DE60210199T2 (de) Verfahren zur erkennung von motivbereichen in bildern
DE69812800T2 (de) Verfahren und Gerät zur Bildverbesserung
DE69938173T2 (de) Automatische voreingestellte teilnehmerpositionsbestimmung für videokonferenzsysteme
DE60012649T2 (de) Beseitigung von chromarauschen aus digitalbildern durch verwendung veränderlich geformter pixelnachbarschaftsbereiche
DE60307583T2 (de) Auswertung der Schärfe eines Bildes der Iris eines Auges
DE112016001040T5 (de) Verfahren und System zur Echtzeit-Rauschbeseitung und -Bildverbesserung von Bildern mit hohem Dynamikumfang
DE602005004489T2 (de) Verfahren und Gerät für die Bildverarbeitung, Aufzeichnungsmedium und Computerprogramm
WO2004077360A1 (de) Verfahren und anordnung zur videocodierung, wobei die videocodierung texturanalyse und textursynthese umfasst, sowie ein entsprechendes computerprogramm und ein entsprechendes computerlesbares speichermedium
DE19744898A1 (de) Signaladaptives Filterverfahren und signaladaptives Filter
DE102005025629A1 (de) Bildverarbeitungsverfahren zur Reduzierung von Blocking-Artefakten
DE102016122649B3 (de) Biometrisches Verfahren
DE19618984B4 (de) Verfahren zur Bewegungsbewertung in Bilddaten sowie Vorrichtung zur Durchführung dieses Verfahrens
Liu et al. Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives
DE102016121755A1 (de) Verfahren zum Bestimmen eines zusammengesetzten Bilds eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung von Helligkeit und/oder Farbe, Kamerasystem sowie Krafzfahrzeug

Legal Events

Date Code Title Description
8364 No opposition during term of opposition