DE69803830T2 - Verfahren, Vorrichtung, ASIC und deren Benutzung zur objektiven Videoqualitätbewertung - Google Patents
Verfahren, Vorrichtung, ASIC und deren Benutzung zur objektiven VideoqualitätbewertungInfo
- Publication number
- DE69803830T2 DE69803830T2 DE69803830T DE69803830T DE69803830T2 DE 69803830 T2 DE69803830 T2 DE 69803830T2 DE 69803830 T DE69803830 T DE 69803830T DE 69803830 T DE69803830 T DE 69803830T DE 69803830 T2 DE69803830 T2 DE 69803830T2
- Authority
- DE
- Germany
- Prior art keywords
- input
- signal
- edge
- edges
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000001303 quality assessment method Methods 0.000 title description 8
- 238000010606 normalization Methods 0.000 claims abstract description 38
- 230000007704 transition Effects 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000012935 Averaging Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000003708 edge detection Methods 0.000 claims description 7
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 4
- 238000012417 linear regression Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims 1
- 238000011156 evaluation Methods 0.000 claims 1
- 238000001914 filtration Methods 0.000 abstract description 14
- 238000012545 processing Methods 0.000 abstract description 13
- 238000012360 testing method Methods 0.000 abstract description 4
- 238000005259 measurement Methods 0.000 description 20
- 230000015556 catabolic process Effects 0.000 description 7
- 238000006731 degradation reaction Methods 0.000 description 7
- 230000008447 perception Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Closed-Circuit Television Systems (AREA)
Description
- Die vorliegende Erfindung betrifft die Videoqualität und insbesondere die objektive Feststellung der Qualität von kodierten und übertragenen Videosignalen.
- Mit der Entwicklung der digitalen Kodierungstechnologie sind Einsparungen in der Übertragung und/oder der Speicherkapazität von Videosignalen möglich und eine grosse Anzahl von neuen Multimedia Videodienstleistungen ist verfügbar geworden.
- Einsparungen in der Übertragung und/oder der Speicherkapazität von digitalen Kompressionstechnologien hängen im allgemeinen von der Menge von Informationen ab, die sich im originalen Videosignal befinden, als auch in welcher Weise der Benutzer gewillt ist, Qualität zu opfern. Einschränkungen können sich ergeben aufgrund der eingesetzten Kodierungstechnologie und der begrenzten Übertragungskanalkapazität (Bandbreite).
- Videoqualitätsfeststellungen können in die subjektive Feststellung durch menschliche Betrachter, die ihre subjektive Meinung für die Videoqualität abgeben, und objektive Betrachtungen aufgeteilt werden, welche durch elektrische Messungen festgelegt werden.
- Es ist die allgemeine Meinung, dass die Feststellung der Videoqualität am besten von menschlichen Betrachtern wahrgenommen werden kann, was jedoch ein komplexer, kostenintensiver und zeitverbrauchender Ansatz ist. Demgemäss besteht die Notwendigkeit, objektive visuelle Qualitätsmessungen zu entwickeln, die auf der menschlichen Betrachtung basieren und die eingesetzt werden können, um die subjektive Qualität von modernen Videodienstleistungen und Anwendungen zu bewerten.
- Studien im Rahmen des American National Standards Institute (ANSI) und der International Telecommunication Union (ITU) haben zu einer Vielzahl von Algorithmen für die objektive Videoqualitätsbewertung geführt.
- Wie es von Fachleuten festgestellt werden kann, erfordert die Berechnung von Qualitätsindikatoren von Videosignalen z. B. auf Pixelbasis einen grossen Aufwand an Prozessorleistung. Wie in der Konferenzveröffentlichung von S. D. Voran "The development of objective video quality measures that emulate human perception", Globocom' 1991, Konferenzveröffentlichungen Band 3, Seiten 1776-1781, beschrieben, ist eine wichtige Klasse von störenden Verzerrungen in Videosignalen, diejenige, die ein Videobild zerstören, weichzeichnen, verschwimmen lassen, verschieben oder Kanten in dem Videobild erzeugen kann.
- In einer anderen Konferenzpublikation von S. D. Voran und 5. Wolf "An objective technique for assessing video impairments", in der IEEE Pacific RIM Conference on Communications, Computers and Signal Processing, Proceedings Volume 1 von 2, Seiten 161-165, aus dem Jahre 1993, wird eine objektive Technik beschrieben, die auf digitalen Bildverarbeitungsvorgehensweisen beruht, die auf digitalisierten originalen und überarbeiteten Videosequenzen angewendet werden. Die Technik umfasst Merkmale eines Extraktionsprozesses, in denen sogenannte Verschlechterungsmessungen von erfassbaren Videoattributen in sowohl räumlichen als auch zeitlichen Bereichen festgestellt werden. Die räumlichen Verschlechterungsmessungen basieren auf dem Sobel-Filtern oder alternativ auf einer "Pseudo-Sobel"-Verarbeitung, um den Kantengehalt im Videobild zu verbessern und demgemäss in der Messung der räumlichen Verschlechterung. Die räumliche Verschlechterungsmessung basiert auf den normalisierten Energieunterschieden der Sobelgefilterten Videorahmen unter Einsatz der Standardabweichungsberechnungen über sichtbare Bereiche der Pixel-Matrizen des originalen und verschlechterten Videosignals. Die Verschlechterungsmessungen extrahieren daher von originalen und verschlechterten Videosequenzen werden dann eingesetzt, um einen Qualitätshinweis zu errechnen, der den Erfassungsgehalt der Verschlechterungen in der verschlechterten Videosequenz quantifiziert. Die Patentveröffentlichung US -A-5, 446,492 beschreibt eine ähnliche Technik, in der Merkmalsextraktionsprozesse auf den originalen und verschlechterten Videosequenzen bei räumlich unterschiedlichen Quell- und Zielorten ausgeführt werden. Die extrahierten Merkmale aus der originalen Videosequenz sind dergestalt, dass sie in einfacher und schneller Weise zwischen dem Ursprungsort und dem Zielort über eine getrennte Wegstrecke geringer Bandbreite übertragen werden können, d. h. die Bandbreite der Quellmerkmale ist sehr viel geringer als die Bandbreite der originalen Videosequenz. Zu diesem Zweck umfasst der Merkmalsextraktionsprozess zusätzlich einen statistischen Unterprozess, der den Ausgang der Sobelfilterung einer statistischen Verarbeitung unterzieht, d. h. die Berechnung der Standardabweichung der Pixel, die in einem sogenannten interessanten Bereich angeordnet sind, für den die Videoqualität festzustellen ist.
- Ein Nachteil dieser bekannten Techniken liegt in der Tatsache, dass der Merkmalsextraktionsprozess auf Standardabweichungsberechnungen basiert. Eine Sache und andere Mittel, dass Bildverzerrungen entgegengesetzte Effekte in den Sobel-Rahmen haben, z. B. Weichzeichnen gegenüber zusätzlichem Rauschen oder falschen Kanten, können nicht immer festgestellt werden. Ein weiterer Nachteil bei den bekannten Techniken liegt in der relativen Distanzmessung für die Qualität des Erfassens, was in konsequenter Weise empfindlich ist für relative Effekte von sehr geringer Grösse und somit von geringer Visibilität.
- Die vorliegende Erfindung zielt darauf ab, objektive Qualitätsmessungen zu liefern, die eingesetzt werden können, um die subjektive Qualität von Videosignalen zu bewerten, wobei höhere Grade der erkennenden Verarbeitung vorgesehen sind, die die Erfassung der Videoqualität dominieren.
- Es ist ein weiteres Ziel der Erfindung, solche Messungen für die Standardisierung vorzusehen.
- Es ist immer noch ein weiteres Ziel der vorliegenden Erfindung, ein Verfahren anzugeben, eine Anordnung und Ausrüstung zur objektiven Qualitätsbewertung von verschlechterten Videosignalen zum Messen der Qualität von Videocodierausrüstung und Algorithmen, Videoübertragungen und anderen Multimedia-Videodienstleistungen und die u. a. nicht die oben genannte Nachteile aufweisen.
- Diese und andere Ziele und Merkmale werden von der vorliegenden Erfindung in einem Verfahren zum Erhalt von Qualitätshinweisen für eine objektive Beurteilung eines verschlechterten oder Ausgangsvideosignals in bezug auf ein Referenz- oder Eingangsvideosignal angegeben durch Quantifizierung der Stärke der Kanten oder Signalübergänge in sowohl dem Eingangs- als auch Ausgangs- Videosignal unter Kanten- oder Signalübergangserfassung, wobei das Verfahren einen ersten Hauptschritt des Erzeugens von Bildmerkmalen der Eingangs- und Ausgangsvideosignale umfasst und einen zweiten Hauptschritt der Bestimmung von Qualitätsindikatoren aus den erzeugten Bildmerkmalen, und für diesen Zweck der Definition ist das Dokument des Standes der Technik US-A-5, 446,492 eingesetzt worden. Der Prozess des Feststellens der Stärke der Kanten wird im Nachhinein durch den Begriff Kantenwert bezeichnet.
- Das Verfahren gemäss der Erfindung umfasst im ersten Hauptschritt die Schritte:
- a) Erfassen von Kanten in den Eingangs- und den Ausgangsvideosignalen, und
- b) Berechnen des Kantenwertes, d. h. die Stärke der Kanten, der Eingangs- und Ausgangsvideosignale, um so Eingangs- und Ausgangskantensignale zu liefern und im zweiten Hauptschritt die Schritte
- c) Etablieren der eingeführten Kanten in dem Ausgangskantensignal durch Vergleich der Eingangs- und Ausgangskantensignale von entsprechenden Teilen der Eingangs- und Ausgangsvideosignale, wobei die eingeführten Kanten die Kanten sind, die im Ausgangskantensignal vorhanden sind und in den entsprechenden Positionen im Eingangskantensignal fehlen,
- d) Etablieren der ausgelassenen Kanten in dem Ausgangskanten signal durch Vergleich der Eingangs- und Ausgangskantensignale von entsprechenden Teilen der Eingangs- und Ausgangsvideosignale, wobei die ausgelassenen Kanten die Kanten sind, die in dem Eingangskantensignal vorhanden sind und in den entsprechenden Positionen im Ausgangskantensignal nicht vorhanden sind,
- e) Erhalten der normalisierten Werte der eingeführten Kanten relativ zum Ausgangskantensignal, welches durch einen ersten Normalisierungsfaktor eingestellt wird,
- f) Erhalten der normalisierten Werte der ausgelassenen Kanten relativ zum Eingangskantensignal, welches durch einen zweiten Normalisierungsfaktor eingestellt wird, und
- g) Berechnen eines ersten Qualitätsindikators durch Mitteln der in dem Schritt e) erhaltenen Werte,
- h) Berechnen eines zweiten Qualitätsindikators durch Mitteln der in dem Schritt f) erhaltenen Werte.
- Das Verfahren gemäss der Erfindung basiert auf der menschlichen visuellen Erfassung und ist dadurch gekennzeichnet, dass räumliche Verzerrungen wie das Einführen oder das Weglassen von Kanten oder Signalübergängen einen grossen Einfluss auf das subjektive Qualitätsempfinden des Videosignals haben. Weiterhin ist festgestellt worden, dass das Einführen einer Kante mehr stört als das Weglassen einer Kante.
- Dem ist in dem Verfahren gemäss der Erfindung dadurch Rechnung getragen worden, indem normalisierte Werte der eingeführten und der weggelassenen Kanten erhalten werden. Die eingeführten Kanten werden in bezug auf das Ausgangskantensignal normalisiert und eingestellt durch einen ersten Gewichts- oder Normalisierungsfaktor und die ausgelassenen Kanten werden in bezug auf das Eingangskantensignal durch Einstellung eines zweiten Gewichts- oder Normalisierungsfaktors normalisiert. Die erhaltenen normalisierten Werte gemäss der vorliegenden Erfindung sind mehr in Übereinstimmung mit der menschlichen Aufnahme, die immer relativ ist.
- Die Qualitätsindikatoren für sowohl die eingeführten als auch die weggelassenen Kanten werden nacheinander festgestellt durch das Berechnen der Mittelwerte der so normalisierten eingeführten und weggelassenen Kanten oder Signalübergängen in dem Ausgangsvideosignal.
- Für eine grosse Anzahl von verschiedenen Videosignalen, die durch den Anteil von Bewegung in den Bildern klassifiziert werden, werden Qualitätsindikatoren mit der Erfindung erhalten, die nahe bei den Qualitätsindikatoren sind, die von subjektiven Messungen durch menschliche Betrachter festgestellt werden.
- Bei einem bevorzugten Ausführungsbeispiel des Verfahrens gemäss der Erfindung sind die Ausmasse der eingeführten und weggelassenen Kanten von jeweiligen Polaritäten eines bipolaren Verzerrungssignals etabliert, welches aus den Unterschieden der ausgerichteten entsprechenden unipolaren Eingangs- und Ausgangskantensignale der entsprechenden Teile der Eingangs- und Ausgangsvideosignale ausgebildet wird.
- Die ersten und zweiten Normalisierungsfaktoren können fixiert sein oder vorzugsweise in Übereinstimmung mit den Charakteristika der Videosignale wie Luminanz- und Chrominanzwerte eingestellt werden.
- Für hohe Luminanzwerte sind Kantenverschlechterungen weniger sichtbar, die in einem weiteren Ausführungsbeispiel der Erfindung entsprechend berücksichtigt werden, indem der erste Normalisierungsfaktor einen variablen Anteil umfasst, der aus den maximalen charakteristischen Werten der Videosignale abgeleitet wird, wie dem Luminanzsignal.
- Die Berechnung des Kantenwertes kann in verschiedener Weise durchgeführt werden. Die am meisten geradeaus gerichtete mathematische Berechnung liegt in dem Berechnen der Norm des Gradienten der Videosignale. Ein Beispiel hiervon ist das Sobel- Filtern, welches verlässliche Ergebnisse liefert. In Abhängigkeit wie Derivate der Videosignale angenähert werden, können verschiedene Variationen in der Berechnung der Kantenwerte gemacht werden. Alle diese Typen werden im Nachhinein als Sobel- Filtern bezeichnet.
- Bei einem bevorzugten Ausführungsbeispiel der Erfindung, insbesondere, bei dem die eingeführten und weggelassenen Kanten aus einem Verzerrungssignal erhalten werden, welches von ausgerichteten Eingangs- und Ausgangskantensignalen ausgebildet werden, kann ein verbessertes oder verschmiertes Sobel-Filtern exzellente Resultate liefern. Mit einem verschmierten Sobel-Filtern wird ein Verschmieroperator mit einer Breite von z. B. drei Pixeln eingesetzt. Durch diese Verschmierarbeit wird der Effekt der fehlerhaften Ausrichtung in der Ausbildung des Verzerrungssignals kompensiert.
- Die Ausrichtung der Eingangs- und Ausgangskantensignale ist erforderlich, weil Videosequenzen, die von einem Codec verarbeitet werden oder über einen Übertragungskanal übertragen werden, Verzögerungen in bezug auf die Originalsequenz aufweisen und somit von Bild zu Bild unterschiedlich sind. Falls die Videosequenz relativ geringe Bewegungen aufweist, besteht nur ein geringer Einfluss auf die objektiven Video-Qualitätsmessungen. Mit grossen Bewegungen kann das Weglassen einer Verzögerungskompensation zu einem grossen Unterschied im Gehalt der Szene zwischen den originalen und den verzerrten Sequenzen führen. Dies führt in unbeabsichtigter Weise zu den berechneten Verzerrungen. Um die Zeitverzögerung und die hiermit in Zusammenhang stehenden Probleme zu lösen, werden bekannte Ausrichtungsalgorithmen eingesetzt, wie sie in der ITU-T Contribution COM-12-29 beschrieben worden sind, "Draft new recommendation on multi-media communication delay, synchronisation, and frame rate measurement", Dezember 1997.
- In der Praxis werden die Qualitätsindikatoren gemäss der Erfindung aus den Luminanz- und Chrominanzrepräsentationen eines Farbvideosignals erhalten.
- Heuristische Optimierung führt zu Qualitätsindikatoren, welche aus verschmierten Sobelkantenerfassungen erhalten worden sind, worin für die Luminanzsignale der konstante Teil des ersten Normalisierungsfaktors im Bereich zwischen 15 und 30 liegt, vorzugsweise bei 20; der konstante Teil des zweiten Normalisierungsfaktors liegt im Bereich zwischen 5 und 15, vorzugsweise bei 10; und der variable Anteil des ersten Normalisierungsfaktors liegt im Bereich zwischen 0,3 und 1, vorzugsweise beim 0,6- fachen der maximalen Kantenwerte des Luminanzsignals der Eingangs- und Ausgangsvideosignale. Für die Chrominanzsignale liegt der konstante Teil der ersten und zweiten Gewichtsfaktoren im Bereich zwischen 5 und 15, vorzugsweise bei 10.
- Von den so erhaltenen ersten und zweiten Qualitätsindikatoren für sowohl die Luminanz- als auch Chrominanzsignale werden gewichtete Qualitätsindikatoren erhalten. Zum Beispiel unter Einsatz von multiplen linearen Regressionstechniken. Für einen mittleren Bewertungswert (MOS= Mean Opinion Score), welcher von den gewichteten Qualitätsindikatoren berechnet wird, welche aus den oben erwähnten verschmierten Sobel-Filtern und bevorzugten Gewichtsfaktoren erhalten werden, kann eine Korrelation zwischen dem berechneten MOS und dem betrachteten MOS aus subjektiven Messungen einen Wert von über 0,9 erreichen, was erforderlich ist, um verlässliche Vorhersagen zu treffen.
- Die besten Ergebnisse werden erhalten vom Trainieren des Verfahrens auf subjektive Referenzqualitätsdaten, so dass Normalisierungsfaktoren und/oder die Gewichtung der Qualitätsindikatoren optimiert werden.
- Die Erfindung liefert weiterhin eine Anordnung zum Erhalt von Qualitätsindikatoren für eine objektive Bestimmung eines verschlechterten oder Ausgangsvideosignals in Bezug auf ein Referenz- oder Eingangsvideosignal durch Quantifizieren der Stärke der Kanten oder Signalübergänge in sowohl der Eingangs- als auch Ausgangsvideosignale unter Einsatz der Kanten oder der Signalübergangserfassung, wobei die Anordnung Mittel zum Erzeugen von Bildmerkmalen der Eingangs- und Ausgangsvideosignale umfasst und Mittel zur Bestimmung der Qualitätsindikatoren aus den erzeugten Bildmerkmalen, zur entsprechenden Definition der Anordnung durch Einsatz des Dokumentes US-A-5, 446,492. Die Anordnung gemäss der Erfindung umfasst Mittel zum Erzeugen der Bildmerkmale:
- a) Mittel zum Erfassen der Kanten in den Eingangs- und Ausgangsvideosignalen, und
- b) Mittel zum Berechnen des Kantenwertes, d. h. der Stärke an den Kanten, der Eingangs- und der Ausgangsvideosignale, um so Eingangs- und Ausgangskantensignale zu liefern,
- und in den Mitteln zur Bestimmung der Qualitätsindikatoren:
- c) Mittel zum Etablieren der eingeführten Kanten in dem Ausgangskantensignal durch Vergleich der Eingangs- und Ausgangskantensignale der entsprechenden Teile der Eingangs- und Ausgangsvideosignale, wobei die eingeführten Kanten Kanten sind, die in dem Ausgangskantensignal vorhanden sind und die in den entsprechenden Positionen im Eingangskantensignal nicht vorhanden sind,
- d) Mittel zum Etablieren der ausgelassenen Kanten in dem Ausgangskantensignal durch Vergleich der Eingangs- und Ausgangskantensignale von entsprechenden Teilen der Eingangs- und Ausgangsvideosignale, wobei die weggelassenen Kanten Kanten sind, die in dem Eingangskantensignal vorhanden sind und die in den entsprechenden Posititonen im Ausgangskantensignal nicht vorhanden sind,
- e) Mittel zum Erhalt von normalisierten Werten der eingeführten Kanten relativ zum Ausgangskantensignal, eingestellt durch einen ersten Normalisierungsfaktor,
- f) Mittel zum Erhalt von normalisierten Werten der weggelassenen Kanten relativ zum Eingangskantensignal, eingestellt durch einen zweiten Normalisierungsfaktor,
- g) Mittel zum Berechnen eines ersten Qualitätsindikators durch Mitteln der in dem Schritt e) erhaltenen Werte, und
- h) Mittel zur Berechnen eines zweiten Qualitätsindikators durch Mitteln der in dem Schritt f) erhaltenen Werte.
- Bei einem bevorzugten Ausführungsbeispiel sind die Kantenerfassung und die Berechnungsmittel mit einem verbesserten oder verschmierten Sobel-Filtermittel umfasst.
- Fachleute in diesem Technikgebiet werden schätzen, dass die unter den Schritten a) und b) genannten Mittel in körperlicher Weise kombiniert werden können oder durch ein einziges Mittel für sowohl das Eingangs- als auch das Ausgangsvideosignal unter Einsatz entsprechender multiplexer Mittel realisiert werden können. In gleicher Weise können die Mittel c) und d) und/oder die Mittel e) und f) als auch die Mittel g) und h) kombiniert oder getrennt werden.
- Die Anordnung als Ganzes kann in einem geeigneten digitalen Prozessormittel implementiert werden und in einem anwendungsspezifischen Schaltkreis (ASIC = application specific integrated circuit) eingesetzt werden, zum Beispiel zum Einsatz der Messung der Qualität von Videocodecs und der Qualität von Videoübertragungen.
- Die oben genannten und anderen Merkmale und Vorteile der vorliegenden Erfindung werden für den Fachmann aus der folgenden Beschreibung klar ersichtlich sein, wenn diese im Zusammenhang mit den Zeichnungen gelesen wird, in denen gleiche Bezugszeichen gleiche Elemente bezeichnen.
- Fig. 1 ein Weg zur objektiven Messung der Qualität eines Videosystems, in dem ein aufnahmefähiges kognitives Modell ein menschliches Subjekt simuliert;
- Fig. 2 eine schematische Darstellung einer grundsätzlichen optischen Messung entsprechend dem Vorgehen nach Fig. 1;
- Fig. 3a ein Videobild und
- Fig. 3b Kanten- oder Signalübergänge in dem Bild nach Fig. 3a;
- Fig. 4 eine schematische und allgemeine beschreibende Darstellung der Art und Weise eines beispielhaften Ausführungsbeispiels zum Etablieren von eingeführten und weggelassenen Kanten in einem Ausgangsvideosignal;
- Fig. 5 ein Flussdiagramm des Hauptausführungsbeispiels des Verfahrens gemäss der Erfindung, und
- Fig. 6 ein Blockschaltbild einer Anordnung gemäss der vorliegenden Erfindung.
- Zwei Hauptkategorien von Videoqualitätsbewertungen können unterschieden werden. Dies sind die subjektive Bewertung und die objektive Bewertung. Die objektive Bewertung der Videoqualität, wie für eine Fernsehübertragung, ist in der Vergangenheit durch komplexe Auflösungstabellen, Farbleisten, oder Frequenzantwortmessungen durchgeführt worden und durch Messen des Signalrauschverhältnisses des Videosignals. Mit der Einführung von fortgeschrittenen digitalen Video-Kodier- und Dekodiertechniken haben sich klassische objektive Qualitätsmessungen wie Signalrauschverhältnisse und totale harmonische Verzerrungen als weniger zweckmässig erwiesen. Diese klassischen objektiven visuellen Qualitätsmessungen berücksichtigen nicht genug den Benutzer, der aufgrund seiner eigenen subjektiven Betrachtung entscheidet, ob ein Videosignal das für ihn angemessene Qualitätsniveau erreicht. Die Verfügbarkeit von objektiven Testverfahren, die eine rohe Korrelation mit der subjektiven Qualität aufweisen, ist daher wesentlich.
- Die Fig. 1 zeigt ein sogenanntes Black-Box System in bezug auf die objektive Messung der Qualität eines Videosystems 1, wie eines Videocodecs (Kodierer/Dekodierer), eine Übertragungseinrichtung oder ein Übertragungsweg, etc..
- Ein Video-Eingangs- oder Referenzsignal Yin, welches an einem Eingangsanschluss 2 anliegt, wird durch das Videosystem 1 an einem Ausgangsanschluss 3 in ein Ausgangsvideosignal Yout verarbeitet.
- Ein menschliches Subjekt 4, welches das Ausgangsvideosignal Yout über seine Augen wahrnimmt, wird keinen Unterschied zwischen den Eingangs- und Ausgangsvideosignalen feststellen, wenn ein ideales Videosystem 1 vorliegt. In der Praxis wird jedoch das Videosystem 1 den Ausgang in bezug auf den Eingang verschlechtern, was zu einem Qualitätseindruck bei dem menschlichen Testsubjekt führt. Das Niveau, mit dem die Qualität aufgenommen wird, wird durch die Erfassung der Eingangs- und Ausgangssignale durch das menschliche Versuchssubjekt bewertet, d. h. seine visuellen Organe, als auch seine Erfassung, d. h. die Art und Weise, in der die aufgenommenen Signale durch das Gehirn verarbeitet werden.
- Demgemäss hat eine objektive Qualitätsbewertung von Videosignalen unter Korrelation mit subjektiven Qualitätserfassungen sowohl auf erfassenden als auch kognitiven Modellen 5 zu basieren.
- Die Fig. 2 zeigt die Basisprinzipien der objektiven Messung, worin ein Erfassungsmodell 6 die Eingangs- und Ausgangsvideosignale in eine innere Repräsentierung der Eingangs- und Ausgangsvideosignale transformiert. Der Unterschied 7 in der inneren Darstellung wird in einem Qualitätsniveau unter Einsatz eines Denkmodells 8 intern dargestellt. Erfassungsmodelle 6 basieren allgemein auf Kanten oder Signalübergängen und nutzen räumliche Filter, die von dem menschlichen visuellen System abstammen.
- Es ist das Ziel der vorliegenden Erfindung, die Qualitätserfassung eines menschlichen Subjektes insoweit wie möglich in akkurater Weise aus objektiven Messungen abzuleiten.
- Die Fig. 3a zeigt ein Videotypbild, wohingegen Fig. 3b Kanten- oder Signalübergänge zeigt, die in dem Bild erfasst werden. Zu Illustrationszwecken wird ein arbiträrer entsprechender Teil in beiden Figuren durch eine Ellipse 9 dargestellt.
- Die Erfindung basiert in erster Linie auf der Erfassung von Kanten oder Signalübergängen eines Videosignals wie es in der Fig. 4 dargestellt ist.
- Signalteile 10 und 11 eines Eingangsvideosignals Yin und eines Ausgangsvideosignals Yout sind in der Zeit und im Raum angeordnet, um inhärente Zeitverzögerungen oder räumliche Verschiebungen in dem Videosystem 1 (Fig. 1) herauszunehmen. Der Signalteil 10 umfasst einen Kanten- oder Signalübergang 12 in der dargestellten Weise, wohingegen der Signalteil 11 einen Kanten- oder Signalübergang 13 umfasst, welcher in Position in bezug auf die Kante 12 und eine geringere Amplitude verschoben ist. Im vorliegenden Beispiel wird angenommen, dass die Kante 13 eine neue oder eingeführte Kante im Ausgangssignal Yout ist.
- Im idealen unverzerrten Fall weisen sowohl die Signalelemente 11 und 12 Kanten an derselben Position und derselben Grösse auf, so dass sie einander in einem Verzerrungssignal, welches durch eine Differenzbildung erzeugt wird, auslöschen.
- Die Signalteile 10 und 11 werden einem Kantenoperator unterworfen, der durch einen Pfeil 14 dargestellt ist, zum Quantifizieren der Stärke der Kanten 12 und 13 unter Erzeugung der Kantensignale Xin und Xout, die mit den Bezugszeichen 15 und 16 versehen sind.
- Wie dargestellt, sind die Kantensignale von unipolarer Natur, d. h. für die führenden und nachfolgenden Abschnitte der Kanten 12 und 13 werden entsprechend angeordnete positive Pulse 17 und 18 geliefert.
- In einem nächsten Schritt, der durch den Pfeil 19 dargestellt wird, wird ein Verzerrungssignal 20 durch Subtraktion des Kantensignals 15 von dem Kantensignal 16 erzeugt, d. h. (Xout - Xin). Das Verzerrungssignal 20 ist von bipolarer Natur wie dargestellt. Von der Verzerrung oder dem Differenzsignal 20 werden eingeführte oder ausgelassene Kanten festgestellt, entsprechend den Pfeilen 21 und 22.
- Der positive Teil des bipolaren Verzerrungssignals 20, d. h. bezeichnet (Xout - Xin)&spplus;, liefert eingeführte Kanten im Ausgangssignal 11. Dies bedeutet die Kante 13, die in dem Eingangssignal nicht vorhanden ist. Der negative Anteil des Verzerrungssignals 20, d. h. bezeichnet (Xout - Xin)&supmin;, liefert die weggelassenen Kanten in dem Ausgangssignal 11, d. h. die Kante 12 des Eingangssignals 10, die nicht in dem Ausgangssignal 11 vorhanden ist.
- Fachleute dieser Technik werden es schätzen, dass die Kantenerfassung für den Zweck der vorliegenden Erfindung durch eine Differenzierung oder eine ableitende Arbeit etabliert werden kann, unter Erzeugung einer Vielzahl von Kantengrössen auf Bildwerten, d. h. was mit Kantenwert bezeichnet wird.
- Bei einem bevorzugten Ausführungsbeispiel der Erfindung kann der Kantendetektor ein Sobel-Operator sein, der Grvssenwerte aus der Ableitung der Bildwerte erzeugt, d. h. den Wert des Wechsels an Intensität über eine Vielzahl von Bildpunkten.
- Das Sobelfiltern ist eine Operation, die bei der Bildverarbeitung wohl bekannt ist und in vielen Textbüchern zu diesem Thema gefunden werden kann, so z. B. "Digital Image Processing" von R. C. Gonzalez und P. Winz, 2. Edition; Addison-Wesley Publishing Co., Reading, Massachusetts, 1987.
- Beim klassischen Sobel-Filtern ist die Rate der Veränderung der Pixel eines Videobildes entlang der X-Achse, d. h. der horizontalen Kanten, bestimmt durch das Falten des Videobildes mit der Matrix:
- Die Rate des Wechsels der Pixel des Videobildes entlang der Y- Achse, d. h. der vertikalen Kanten, wird bestimmt durch das Falten des Bildes mit der Matrix:
- Die Quadratwurzel der Summe von beiden Kantendetektoren liefert die Kantengrösse in einem Pixel oder Punkt des Videobildes.
- Die Erfindung nutzt die Einsicht aus, dass die menschliche Erfassung relativer Art ist, so dass eine Gewichtung oder Normalisierung der eingeführten oder ausgelassenen Kanten etabliert wird.
- Demgemäss werden die eingeführten Kanten in bezug auf das Ausgangskantensignal normalisiert unter Einsatz eines ersten Normalisierungsfaktors und die weggelassenen Kanten werden normalisiert in bezug auf das Eingangskantensignal, welches durch einen zweiten Normalisierungsfaktor eingestellt wird. Dies führt zu den folgenden Gleichungen:
- wobei:
- Q1 = erster Qualitätsindikator für eingeführte Kanten,
- Q2 = zweiter Qualitätsindikator für weggelassene Kanten,
- W1 = erster Normalisierungsfaktor, und
- W2 = zweiter Normalisierungsfaktor
- Die Qualitätsfaktoren werden getrennt für die Luminanz und die Chrominanzteile der Farbvideosignale berechnet. Die Normalisierungsfaktoren W1 und W2 werden in Übereinstimmung mit den Charakteristika der Videosignale eingestellt und können einen konstanten Teil umfassen, der den Luminanz- und Chrominanzwerten der Videosignale entspricht.
- Bei einem bevorzugten Ausführungsbeispiel der Erfindung umfasst der erste Normalisierungsfaktor einen variablen Teil, der von den maximalen Kantenwerten des Eingangs- und Ausgangsvideosignals erhalten wird. Vorzugsweise sind dies die maximalen Kantenwerte des Luminanzsignals der Eingangs- und der Ausgangsvideosignale. Dies, weil die Kantenverschlechterungen für grosse Luminanzwerte weniger sichtbar sind. Bei Einsatz der Sobelfilterung als Kantenoperator in Übereinstimmung mit der Erfindung können die Gleichungen (1) und (2) geschrieben werden als:
- wobei:
- Sobel (Y) das Sobel- Filtern des Videosignals Y ist.
- Wie oben beschrieben, werden zum Zwecke der vorliegenden Erfindung die Eingangs- und Ausgangsvideosignale in Zeit und Raum ausgerechnet.
- Um Missausrichtungen zu korrigieren und die Verarbeitung in bezug auf die räumliche Auflösung des Videosignals einzustellen, kann das Sobel-Filtern verbessert werden durch einen sogenannten schmierenden Operator, der die Breite von wenigen Pixeln aufweist. Unter Einsatz dieses Verschmieroperators erstreckt sich die Wirkung des Sobel-Filters über verschiedene Bildpunkte.
- Eine dritte pixelbreite Verschmierung des gefilterten Signals wird definiert als:
- Verschmierter Sobel (Y) = MAX {i = -1,0,1 j = -1,0,1 Sobeli,j (Y)} (5)
- wobei:
- i,j Pixels in x und y Richtungen sind, über die das Sobel- Filtern ausgebreitet ist.
- Wiederum werden für verlässliche Ergebnisse die ersten und zweiten Qualitätsindikatoren für die eingeführten und weggelassenen Kanten in getrennter Weise für die Luminanz- und Chrominanzteile eines Farbvideosignals berechnet.
- Von einer heuristischen Optimierung aus gesehen, z. B. für die Luminanzsignale, werden verlässliche Ergebnisse durch einen ersten Normalisierungsfaktor W1 im Bereich zwischen 15 und 30, vorzugsweise 20, geschaffen und umfassen einen variablen Teil im Bereich zwischen 0,3 und 1, vorzugsweise 0,6 Mal der maximalen Kantenwerte des Luminanzsignals, und ein zweiter Normalisierungsfaktor im Bereich zwischen 5 und 15, vorzugsweise 10. Für die Chrominanzsignale werden die ersten und zweiten Normalisierungsfaktoren in einem Bereich zwischen 5 und 15 gewählt, vorzugsweise 10.
- Demgemäss werden für die Luminanzsignale bei einem bevorzugten Ausführungsbeispiel der Erfindung exzellente Qualitätsindikatoren erhalten aus:
- wobei:
- VSobel für verschmiertes Sobel-Filtern steht
- Q(L) = der Qualitätsindikator für Luminanzsignale ist
- YL = Luminanzsignal
- XL Kantenluminanzsignal
- Die Grundlage für den Faktor 0.6 MAX (XLin, XLout) liegt in dem Gesetz von Weber, welches festlegt, dass Benutzer weniger sensitiv auf absolute Kontraste bei grossen Luminanzwerten sind.
- Für beide Chrominanzsignale CR und CB der Videosignale werden Qualitätsindikatoren wie folgt erhalten:
- wobei:
- VSobel für verschmiertes Sobel-Filtern steht
- Q(CR) = Qualitätsindikator für das Chrominanzsignal CR
- Q(CB) = Qualitätsindikator für das Chrominanzsignal CB
- YCR = Chrominanz CR Signal
- YCB = Chrominanz CB Signal
- Unter Einsatz von multiplen linearen Regressionstechniken kann ein mittlerer Bewertungswert (MOS für Mean Optimum Score) aus den sechs erhaltenen Qualitätsindikatoren berechnet werden und den drei Qualitätsindikatoren, die von dem LP-Abstand zwischen dem Referenz- oder dem Eingangsvideosignal und dem verschlechterten oder Ausgangsvideosignal abgeleitet werden. Bei der vorliegenden Erfindung ist die Korrelation zwischen dem berechneten MOS und dem gesehenen MOS aus subjektiven Messungen von menschlichen Testpersonen ein Wert von 0.9, welcher für Standardisierungszwecke innerhalb der ANSI-ITU erforderlich ist.
- Die Normalisierungsfaktoren und die Gewichtung der Qualitätsindikatoren kann weiter optimiert werden durch das Durchführen des Verfahrens gemäss der Erfindung für subjektive Qualitätsdaten für eine Anzahl von z. B. Trainings-Videosequenzen.
- Die Fig. 5 zeigt in einem Flussdiagramm die Hauptschritte des Verfahrens gemäss der vorliegenden Erfindung.
- Die Erfassung von Kanten und die Berechnung des Kantenwertes von dem Eingangsvideosignal wird in schematischer Weise durch die Blöcke 25 und 26 dargestellt, wohingegen die Blöcke 27 und 28 dasselbe für das Ausgangsvideosignal beschreiben.
- Aus den in den Blöcken 26 und 28 erhaltenen Kantensignalen werden eingeführte und weggelassene Kanten in dem Ausgangssignal etabliert, welche durch die Blöcken 29 und 33 referenziert werden.
- In Übereinstimmung mit der menschlichen Erfassung werden normalisierte Werte erhalten durch Einführung von ersten und zweiten Normalisierungsfaktoren durch die Blöcken 30 und 34. Die eingeführten Kanten werden in bezug auf das Ausgangskantensignal normalisiert, wohingegen die weggelassenen Kanten im Ausgangssignal in bezug auf das Eingangskantensignal normalisiert werden.
- Das Mitteln der erhaltenen Werte, Blöcken 31 und 35, führt zu den ersten und zweiten Qualitätsindikatoren gemäss der vorliegenden Erfindung, bezeichnet mit den Blöcken 32 und 36.
- Die Fig. 6 zeigt ein schematisches Blockschaltbild einer Anordnung zum Erhalt von Qualitätsindikatoren für eine objektive Bewertung der Videosignalqualität in Übereinstimmung mit dem Verfahren nach der Erfindung.
- Ein Eingangsendgerät 40 eines Ausgangsvideosignals Yout wird geliefert, in Zeit und Raum mit einem Eingangsvideosignal Yin ausgerichtet, welches beim Eingangsendgerät 41 anliegt. Kantenerfassung und Berechnungsmittel 42 und 43 bewirken, die Kanten zu erfassen und die Stärke der Kanten zu quantifizieren, d. h. den Kantenwert der jeweiligen Videosignale mit dem Liefern der Ausgangs- und Eingangskantensignale. Bei einem bevorzugten Ausführungsbeispiel der Erfindung sind die Mittel 42 und 43 für ein Sobelfiltern der Videosignale, insbesondere ein verschmiertes Sobelfiltern angeordnet.
- Die Kantensignale, die so geliefert werden, werden den Mitteln 44 zum Etablieren eines Verzerrungssignals oder eines Differenzsignals geliefert, wie das Verzerrungssignal 20 aus der Fig. 4.
- Die Erfassungsmittel 45 arbeiten auf dem Verzerrungssignal zum Erfassen der eingeführten Kanten in dem Ausgangskantensignal und die Erfassungsmittel 46 wirken auf das Verzerrungssignal, um weggelassene Kanten in dem Ausgangskantensignal zu erfassen.
- Von den eingeführten Kanten ausgehend, in Kombination mit einem ersten Normalisierungsfaktor, der in dem Eingangsendgerät 47 der mittelnden Mittel 49 angewandt wird, wird ein erster Qualitätsindikator 51 berechnet. Ein zweiter Qualitätsindikator 52 wird berechnet durch die mittelnden Mittel 50 aus dem weggelassenen Kantensignal in Übereinstimmung mit einem zweiten Normalisierungsfaktor, der an einem Eingangsendgerät 48 der mittelnden Mittel 50 angewandt wird.
- Fachleute dieses Gebietes werden schätzen, dass die Kantenerfassungs- und Berechnungsmittel 42, 43 in einem einzelnen Kantenarbeitsmittel kombiniert werden können, während geeignete multiplexende Techniken eingesetzt werden. Dies ist auch gültig sowohl für die Erfassungsmittel 45 und 46 als auch für die mittelbildenden Mittel 49 und 50. Vorzugsweise kann der vorliegende Schaltkreis in einem anwendungsspezifischen Schaltkreis (ASIC) oder geeigneten programmierten Prozessormitteln implementiert werden.
- Die Anordnung kann eingesetzt werden zur Messung der Qualität sowohl von Videoübertragungen als auch zur Messung der Qualität von Videocodecs oder anderen Videoverarbeitungssystemen.
Claims (20)
1. Verfahren zum Erhalt von Qualitätshinweisen für eine
objektive Beurteilung eines verschlechterten oder
Ausgangsvideosignals in bezug auf ein Referenz- oder Eingangsvideosignal
angegeben durch Quantifizierung der Stärke der Kanten oder
Signalübergänge in sowohl Eingangs- als auch Ausgangs-
Videosignalen unter Kanten- oder Signalübergangserfassung, wobei
das Verfahren umfasst:
- einen ersten Hauptschritt des Erzeugens von Bildmerkmalen
der Eingangs- und Ausgangsvideosignale, wobei die Bildmerkmale
Kanteninformationen umfassen, und
- einen zweiten Hauptschritt der Bestimmung von
Qualitätsindikatoren aus den erzeugten Bildmerkmalen,
dadurch gekennzeichnet,
dass das Verfahren im ersten Hauptschritt die Schritte umfasst:
a) Erfassen von Kanten jeweils in den Eingangs- und den
Ausgangsvideosignalen (25, 27), und
b) Berechnen des Kantenwertes, d. h. die Stärke der Kanten, der
Eingangs- und Ausgangsvideosignale, um so Eingangs- und
Ausgangskantensignale (26, 28) zu liefern, und
und im zweiten Hauptschritt die Schritte umfasst:
c) Etablieren der eingeführten Kanten in dem
Ausgangskantensignal durch Vergleich der Eingangs- und Ausgangskantensignale von
entsprechenden Teilen der Eingangs- und Ausgangsvideosignale
(29), wobei die eingeführten Kanten die Kanten sind, die im
Ausgangskantensignal vorhanden sind und in den entsprechenden
Positionen im Eingangskantensignal fehlen,
d) Etablieren der ausgelassenen Kanten in dem Ausgangskanten
signal durch Vergleich der Eingangs- und Ausgangskantensignale
von entsprechenden Teilen der Eingangs- und Ausgangsvideosignale
(33), wobei die ausgelassenen Kanten die Kanten sind, die in dem
Eingangskantensignal vorhanden sind und in den entsprechenden
Positionen im Ausgangskantensignal nicht vorhanden sind,
e) Erhalten der normalisierten Werte der eingeführten Kanten
relativ zum Ausgangskantensignal, welches durch einen ersten
Normalisierungsfaktor (30) eingestellt wird,
f) Erhalten der normalisierten Werte der ausgelassenen Kanten
relativ zum Eingangskantensignal, welches durch einen zweiten
Normalisierungsfaktor (34) eingestellt wird, und
g) Berechnen eines ersten Qualitätsindikators durch Mitteln der
in dem Schritt e) erhaltenen Werte (31, 32),
h) Berechnen eines zweiten Qualitätsindikators durch Mitteln
der in dem Schritt f) erhaltenen Werte (35, 36).
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet,
i) dass die Eingangs- und Ausgangskantensignale als
entsprechende unipolare Signale geliefert werden,
j) dass die Eingangs- und Ausgangskantensignale von
entsprechenden Teilen der Eingangs- und Ausgangsvideosignale
ausgerichtet sind,
k) dass ein bipolares Verzerrungssignals durch Differenzbildung
zwischen den ausgerichteten Eingangs- und Ausgangskantensignale
etabliert wird,
l) dass die eingeführten und die weggelassenen Kanten von den
jeweiligen Polaritäten des Verzerrungssignals etabliert werden.
3. Verfahren nach Anspruch 1 oder Anspruch 2, dadurch
gekennzeichnet, dass die ersten und zweiten Normalisierungsfaktoren in
Übereinstimmung mit den Charakteristika der Videosignale
eingestellt werden.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die
ersten und zweiten Normalisierungsfaktoren einen konstanten
Anteil
aufweisen, der in Übereinstimmung mit den Luminanz- und
Chrominanzwerten der Videosignale eingestellt wird.
5. Verfahren nach Anspruch 3 oder Anspruch 4, dadurch
gekennzeichnet, dass der erste Normalisierungsfaktor einen
veränderlichen Anteil aufweist, der aus den maximalen charakteristischen
Kantenwerten der Videosignale abgeleitet wird.
6. Verfahren nach einem der vorstehenden Ansprüche, dadurch
gekennzeichnet, dass die Eingangs- und Ausgangskantensignale aus
einem Sobel-Filtern geliefert werden.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die
Eingangs- und Ausgangskantensignale aus einem verbesserten oder
verschmierten Sobel-Filtern geliefert werden.
8. Verfahren nach einem der vorstehenden Ansprüche, dadurch
gekennzeichnet, dass die ersten und zweiten Qualitätsindikatoren
für entweder die Luminanz- und/oder Chrominanzsignale der
Eingangs- und Ausgangsvideosignale eingestellt werden.
9. Verfahren nach Anspruch 8, wenn in Abhängigkeit von
Ansprüchen 5 und 7, dadurch gekennzeichnet, dass für die
Luminanzsignale der konstante Teil des ersten Normalisierungsfaktors im
Bereich zwischen 15 und 30 liegt, vorzugsweise bei 20; dass der
konstante Teil des zweiten Normalisierungsfaktors im Bereich
zwischen 5 und 15 liegt, vorzugsweise bei 10; und dass der
veränderliche Anteil des ersten Normalisierungsfaktors im Bereich
zwischen 0,3 und 1, vorzugsweise beim 0,6-fachen der maximalen
Werte des Luminanzsignals der Eingangs- und Ausgangsvideosignale
liegt.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass für
die Chrominanzsignale der konstante Teil der ersten und zweiten
Gewichtsfaktoren im Bereich zwischen 5 und 15, vorzugsweise bei
10, liegt.
11. Verfahren nach Anspruch 8, 9 oder 10, dadurch
gekennzeichnet, dass von den so erhaltenen ersten und zweiten
Qualitätsindikatoren für sowohl die Luminanz- als auch die
Chrominanzsignale gewichtete Qualitätsindikatoren erhalten werden, und dass ein
mittlerer Bewertungswert (MOS) von den gewichteten
Qualitätsindikatoren ausgehend berechnet wird.
12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass
multiple lineare Regressionstechniken eingesetzt werden zum
Gewichten der jeweiligen ersten und zweiten Qualitätsindikatoren.
13. Verfahren nach einem der vorstehenden Ansprüche, dadurch
gekennzeichnet, dass die Normalisierungsfaktoren und/oder die
Gewichtung der Qualitätsindikatoren von Qualitätsindikatoren
ausgehend gesetzt werden, die aus subjektiven Qualitätsdaten und
berechneten Qualitätsdaten erhalten worden sind.
14. Anordnung zum Erhalt von Qualitätsindikatoren für eine
objektive Bestimmung eines verschlechterten oder
Ausgangsvideosignals in Bezug auf ein Referenz- oder Eingangsvideosignal durch
Quantifizieren der Stärke der Kanten oder Signalübergänge in
sowohl den Eingangs- als auch Ausgangsvideosignalen unter Einsatz
der Kanten oder der Signalübergangserfassung, wobei die
Anordnung umfasst:
- Mittel zum Erzeugen von Bildmerkmalen der Eingangs- und
Ausgangsvideosignale, wobei die Bildmerkmale Kanteninformationen
umfassen, und
- Mittel zur Bestimmung der Qualitätsindikatoren aus den
erzeugten Bildmerkmalen,
dadurch gekennzeichnet,
dass die Mittel zum Erzeugen der Bildmerkmale umfassen:
a) Mittel (42, 43) zum Erfassen der Kanten in jeweils den
Eingangs- und Ausgangsvideosignalen, und
b) Mittel (42, 43) zum Berechnen des Kantenwertes, d. h. der
Stärke an den Kanten, der Eingangs- und der
Ausgangsvideosignale, um so Eingangs- und Ausgangskantensignale zu liefern,
und dass die Mittel zur Bestimmung der Qualitätsindikatoren
umfassen:
c) Mittel (45) zum Etablieren der eingeführten Kanten in dem
Ausgangskantensignal durch Vergleich der Eingangs- und
Ausgangskantensignale der entsprechenden Teile der Eingangs- und
Ausgangsvideosignale, wobei die eingeführten Kanten Kanten sind,
die in dem Ausgangskantensignal vorhanden sind und die in den
entsprechenden Positionen im Eingangskantensignal nicht
vorhanden sind,
d) Mittel (46) zum Etablieren der ausgelassenen Kanten in dem
Ausgangskantensignal durch Vergleich der Eingangs- und
Ausgangskantensignale von entsprechenden Teilen der Eingangs- und
Ausgangsvideosignale, wobei die weggelassenen Kanten Kanten sind,
die in dem Eingangskantensignal vorhanden sind und die in den
entsprechenden Positionen im Ausgangskantensignal nicht
vorhanden sind,
e) Mittel (47) zum Erhalt von normalisierten Werten der
eingeführten Kanten relativ zum Ausgangskantensignal, eingestellt
durch einen ersten Normalisierungsfaktor,
f) Mittel (48) zum Erhalt von normalisierten Werten der
weggelassenen Kanten relativ zum Eingangskantensignal, eingestellt
durch einen zweiten Normalisierungsfaktor,
g) Mittel (49) zum Berechnen eines ersten Qualitätsindikators
(51) durch Mitteln der in dem Schritt e) erhaltenen Werte, und
k) Mittel (50) zum Berechnen eines zweiten Qualitätsindikators
(52) durch Mitteln der in dem Schritt f) erhaltenen Werte.
15. Anordnung nach Anspruch 14, dadurch gekennzeichnet, dass die
Kantenerfassung und die Berechnungsmittel ein Sobel-Filtermittel
umfassen.
16. Anordnung nach Anspruch 14, dadurch gekennzeichnet, dass die
Kantenerfassung und die Berechnungsmittel ein verbessertes oder
verschmiertes Sobel-Filtermittel umfassen.
17. Anordnung nach Anspruch 14, 15 oder 16, implementiert in
einem digitalen Prozessormittel.
18. Anwendungsspezifischer integrierter Schaltkreis (ASIC),
geeignet, um Mittel zu umfassen, die alle genannten
Verfahrensschritte in einem der Ansprüche 1 bis 13 ausführen, oder
umfassend die Anordnung nach einem der Ansprüche 14 bis 17.
19. Einsatz des Verfahrens, der Anordnung oder des
anwendungsspezifischen integrierten Schaltkreises nach einem der
vorstehenden Ansprüche zur Messung der Qualität von Videocodecs.
20. Einsatz des Verfahrens, der Anordnung oder des
anwendungsspezifischen integrierten Schaltkreises nach einem der
vorstehenden Ansprüche 1 bis 18, zur Messung der Qualität von
Videoübertragungen.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP98200643A EP0940996B1 (de) | 1998-03-02 | 1998-03-02 | Verfahren, Vorrichtung, ASIC und deren Benutzung zur objektiven Videoqualitätbewertung |
Publications (2)
Publication Number | Publication Date |
---|---|
DE69803830D1 DE69803830D1 (de) | 2002-03-21 |
DE69803830T2 true DE69803830T2 (de) | 2002-09-12 |
Family
ID=8233430
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE69803830T Expired - Fee Related DE69803830T2 (de) | 1998-03-02 | 1998-03-02 | Verfahren, Vorrichtung, ASIC und deren Benutzung zur objektiven Videoqualitätbewertung |
DE69910358T Expired - Lifetime DE69910358T2 (de) | 1998-03-02 | 1999-03-02 | Verfahren und vorrichtung zur objektiven bewertung der videoqualität |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE69910358T Expired - Lifetime DE69910358T2 (de) | 1998-03-02 | 1999-03-02 | Verfahren und vorrichtung zur objektiven bewertung der videoqualität |
Country Status (9)
Country | Link |
---|---|
US (1) | US6704451B1 (de) |
EP (2) | EP0940996B1 (de) |
AT (2) | ATE213378T1 (de) |
AU (1) | AU3328299A (de) |
CA (1) | CA2322219C (de) |
DE (2) | DE69803830T2 (de) |
DK (1) | DK1059004T3 (de) |
ES (1) | ES2205799T3 (de) |
WO (1) | WO1999045715A1 (de) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7664263B2 (en) | 1998-03-24 | 2010-02-16 | Moskowitz Scott A | Method for combining transfer functions with predetermined key creation |
US7177429B2 (en) | 2000-12-07 | 2007-02-13 | Blue Spike, Inc. | System and methods for permitting open access to data objects and for securing data within the data objects |
US7159116B2 (en) | 1999-12-07 | 2007-01-02 | Blue Spike, Inc. | Systems, methods and devices for trusted transactions |
US7346472B1 (en) * | 2000-09-07 | 2008-03-18 | Blue Spike, Inc. | Method and device for monitoring and analyzing signals |
US7715592B1 (en) | 1999-02-11 | 2010-05-11 | British Telecommunications Public Limited Company | Analysis of video signal quality |
US7664264B2 (en) | 1999-03-24 | 2010-02-16 | Blue Spike, Inc. | Utilizing data reduction in steganographic and cryptographic systems |
US7475246B1 (en) | 1999-08-04 | 2009-01-06 | Blue Spike, Inc. | Secure personal content server |
NL1014075C2 (nl) * | 2000-01-13 | 2001-07-16 | Koninkl Kpn Nv | Methode en inrichting voor het bepalen van de kwaliteit van een signaal. |
US6987737B2 (en) * | 2000-04-21 | 2006-01-17 | Broadcom Corporation | Performance indicator for a high-speed communication system |
US20030035581A1 (en) * | 2001-08-13 | 2003-02-20 | Nokia Mobile Phones, Ltd. | Method and system for measuring perceptual distortion in images |
US7287275B2 (en) | 2002-04-17 | 2007-10-23 | Moskowitz Scott A | Methods, systems and devices for packet watermarking and efficient provisioning of bandwidth |
US6992697B2 (en) * | 2002-06-19 | 2006-01-31 | Koninklijke Philips Electronics N.V. | Method and apparatus to measure video quality on any display device with any image size starting from a know display type and size |
US7099518B2 (en) * | 2002-07-18 | 2006-08-29 | Tektronix, Inc. | Measurement of blurring in video sequences |
US7057664B2 (en) * | 2002-10-18 | 2006-06-06 | Broadcom Corporation | Method and system for converting interlaced formatted video to progressive scan video using a color edge detection scheme |
GB0314161D0 (en) | 2003-06-18 | 2003-07-23 | British Telecomm | Edge analysis in video quality assessment |
GB0314162D0 (en) | 2003-06-18 | 2003-07-23 | British Telecomm | Edge analysis in video quality assessment |
CA2525812C (en) * | 2003-08-22 | 2011-11-22 | Nippon Telegraph And Telephone Corporation | Video quality assessing apparatus, video quality assessing method, video quality assessing program, video aligning apparatus, video aligning method, and video aligning program |
KR100612691B1 (ko) * | 2004-04-30 | 2006-08-16 | 에스케이 텔레콤주식회사 | 동영상 화질 평가시스템 및 방법 |
CA2582531C (en) * | 2004-10-18 | 2013-03-12 | Nippon Telegraph And Telephone Corporation | Video quality objective evaluation device, evaluation method, and program |
JP4482031B2 (ja) * | 2005-07-11 | 2010-06-16 | 日本電信電話株式会社 | 映像整合装置、方法、およびプログラム |
KR100669251B1 (ko) * | 2005-11-25 | 2007-01-16 | 한국전자통신연구원 | 디지털 영상 품질 자동 분석 장치 및 방법 |
US7683931B2 (en) * | 2006-03-06 | 2010-03-23 | Dell Products L.P. | Image artifact detection in video quality benchmarks |
CN101055560B (zh) * | 2006-04-12 | 2010-05-12 | 株式会社理光 | 一种打印质量评估方法和评估系统 |
EP1926325A3 (de) * | 2006-11-23 | 2011-11-02 | Innowireless Co., Ltd. | Vorrichtung und Verfahren zum Messen der Qualität eines über ein Kommunikationsnetz erhaltenen Bildes |
US20090010341A1 (en) * | 2007-07-02 | 2009-01-08 | Feng Pan | Peak signal to noise ratio weighting module, video encoding system and method for use therewith |
US8855211B2 (en) * | 2008-01-22 | 2014-10-07 | At&T Intellectual Property I, Lp | Method and apparatus for managing video transport |
US20090309977A1 (en) * | 2008-06-12 | 2009-12-17 | Microsoft Corporation | Benchmarking and calibrating video quality assessment tools |
CN102317974B (zh) | 2009-02-12 | 2014-08-06 | 杜比实验室特许公司 | 图像序列的质量评估 |
US8525883B2 (en) | 2011-09-02 | 2013-09-03 | Sharp Laboratories Of America, Inc. | Methods, systems and apparatus for automatic video quality assessment |
TWI497981B (zh) * | 2012-12-03 | 2015-08-21 | Arcadyan Technology Corp | 影像訊號測試方法與裝置 |
US8749641B1 (en) * | 2013-05-01 | 2014-06-10 | Google Inc. | Detecting media source quality to determine introduced phenomenon |
US9794554B1 (en) * | 2016-03-31 | 2017-10-17 | Centre National de la Recherche Scientifique—CNRS | Method for determining a visual quality index of a high dynamic range video sequence |
US9917952B2 (en) | 2016-03-31 | 2018-03-13 | Dolby Laboratories Licensing Corporation | Evaluation of perceptual delay impact on conversation in teleconferencing system |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5329379A (en) * | 1992-10-22 | 1994-07-12 | International Business Machines Corporation | System and method of measuring fidelity of decompressed video signals and images |
US5446492A (en) * | 1993-01-19 | 1995-08-29 | Wolf; Stephen | Perception-based video quality measurement system |
-
1998
- 1998-03-02 DE DE69803830T patent/DE69803830T2/de not_active Expired - Fee Related
- 1998-03-02 AT AT98200643T patent/ATE213378T1/de active
- 1998-03-02 EP EP98200643A patent/EP0940996B1/de not_active Expired - Lifetime
-
1999
- 1999-03-02 DK DK99914472T patent/DK1059004T3/da active
- 1999-03-02 DE DE69910358T patent/DE69910358T2/de not_active Expired - Lifetime
- 1999-03-02 WO PCT/EP1999/001403 patent/WO1999045715A1/en active IP Right Grant
- 1999-03-02 CA CA002322219A patent/CA2322219C/en not_active Expired - Lifetime
- 1999-03-02 AU AU33282/99A patent/AU3328299A/en not_active Abandoned
- 1999-03-02 ES ES99914472T patent/ES2205799T3/es not_active Expired - Lifetime
- 1999-03-02 EP EP99914472A patent/EP1059004B1/de not_active Expired - Lifetime
- 1999-03-02 AT AT99914472T patent/ATE247364T1/de active
- 1999-03-02 US US09/601,901 patent/US6704451B1/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
EP1059004B1 (de) | 2003-08-13 |
DE69910358T2 (de) | 2004-06-24 |
EP1059004A1 (de) | 2000-12-13 |
CA2322219A1 (en) | 1999-09-10 |
EP0940996B1 (de) | 2002-02-13 |
AU3328299A (en) | 1999-09-20 |
ES2205799T3 (es) | 2004-05-01 |
DE69910358D1 (de) | 2003-09-18 |
DE69803830D1 (de) | 2002-03-21 |
US6704451B1 (en) | 2004-03-09 |
EP0940996A1 (de) | 1999-09-08 |
WO1999045715A1 (en) | 1999-09-10 |
DK1059004T3 (da) | 2003-12-08 |
CA2322219C (en) | 2003-12-09 |
ATE213378T1 (de) | 2002-02-15 |
ATE247364T1 (de) | 2003-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69803830T2 (de) | Verfahren, Vorrichtung, ASIC und deren Benutzung zur objektiven Videoqualitätbewertung | |
DE60020795T2 (de) | Echtzeitmodellierung des Verhaltens menschlicher Sehvermögenssysteme | |
DE69837728T2 (de) | Adaptives Filter | |
Zhang et al. | A spatial extension of CIELAB for digital color image reproduction | |
DE69937276T2 (de) | In-Betrieb-Echtzeitanalyse der Bildqualität | |
DE69804644T2 (de) | System zur umwandlung von zeilensprungvideo in progressives video mit kantenkorrelation | |
DE19712295B4 (de) | Luminanz/Chrominanzsignaltrennvorrichtung | |
DE69736938T2 (de) | Detektion und Wiedergabe von Text in gerasterten Bildbereichen | |
DE69733882T2 (de) | Kamera mit einem einzigen bildaufnehmer | |
DE10314071B3 (de) | Verfahren zur qualitativen Beurteilung eines Materials mit mindestens einem Erkennungsmerkmal | |
DE602004009702T2 (de) | Verfahren und System zur automatischen Reduzierung von Aliasing-Artefakten | |
DE69929127T2 (de) | Bildqualitätsmessung durch die Gegenwart von Blöcken | |
DE4108288C2 (de) | ||
DE60033330T2 (de) | Verfahren und Vorrichtung zur Blockrauschdetektion | |
DE69226112T2 (de) | Bildkantendetektionssystem | |
DE60005798T2 (de) | Analyse der qualität von videosignalen | |
DE69125869T2 (de) | Gradationskorrekturvorrichtung | |
DE69522376T2 (de) | Verfahren und Vorrichtung zur graphischen Verarbeitung | |
DE69918609T2 (de) | Automatisches Verfahren zur Erfassung von Änderungen zwischen zwei Bildern | |
DE60029728T2 (de) | Detektion von Gauss-Geräusch in Videosignalen | |
DE69908550T2 (de) | Wasserzeichenerkennung | |
DE19521408C1 (de) | Verfahren zum objektiven Bewerten der Bildqualität zwei- oder dreidimensionaler Bilder | |
DE69515633T2 (de) | System und verfahren zur verbesserung der schärfe eines farbbildes | |
DE69831130T2 (de) | Vorrichtung, Verfahren und Aufzeichnungsmedium zur Video-Inspektion | |
DE10024374B4 (de) | Verfahren und Vorrichtung zum Messen des in einem Bild enthaltenen Rauschens |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |