DE10036882A1 - Verfahren zum Auffinden und Erkennen von zeitstabilen Mustern in Videosignalen einer beliebigen Videoquelle, insbesondere zur Detektion von Werbebeiträgen in Fernsehsendungen, und Vorrichtung zum Durchführen eines solchen Verfahrens - Google Patents

Verfahren zum Auffinden und Erkennen von zeitstabilen Mustern in Videosignalen einer beliebigen Videoquelle, insbesondere zur Detektion von Werbebeiträgen in Fernsehsendungen, und Vorrichtung zum Durchführen eines solchen Verfahrens

Info

Publication number
DE10036882A1
DE10036882A1 DE10036882A DE10036882A DE10036882A1 DE 10036882 A1 DE10036882 A1 DE 10036882A1 DE 10036882 A DE10036882 A DE 10036882A DE 10036882 A DE10036882 A DE 10036882A DE 10036882 A1 DE10036882 A1 DE 10036882A1
Authority
DE
Germany
Prior art keywords
video
advertising
matrix
image
directional field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE10036882A
Other languages
English (en)
Inventor
Mike Maas
Christoph Sowa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to DE10036882A priority Critical patent/DE10036882A1/de
Priority to EP01901171A priority patent/EP1252759B1/de
Priority to AT01901171T priority patent/ATE278293T1/de
Priority to PCT/EP2001/000558 priority patent/WO2001060054A1/en
Priority to AU2001226791A priority patent/AU2001226791A1/en
Priority to DE60105975T priority patent/DE60105975T2/de
Priority to US09/772,045 priority patent/US6845213B2/en
Publication of DE10036882A1 publication Critical patent/DE10036882A1/de
Ceased legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635Overlay text, e.g. embedded captions in a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Es ist Aufgabe der Erfindung, sowohl ein Verfahren anzugeben, das es gestattet, Werbebeiträge in Fernsehsendungen oder dergleichen Übertragungen zuverlässig zu erkennen, um in Abhängigkeit dieser Werbeerkennung ein beliebiges Gerät, insbesondere einen Videorecorder, zu schalten, als auch eine Vorrichtung zum Durchführen des Verfahrens zu schaffen und eine spezielle Verwendung des Verfahrens anzugeben. DOLLAR A Verfahrensseitig wird mindestens ein vorgegebener Bildausschnitt einlaufender Videosignale als Helligkeitsmatrix in einen Bildspeicher geschrieben; werden aus der Helligkeitsmatrix die Kantenverläufe des aktuellen Bildausschnitts in Form eines Richtungsfelds ermittelt und als Richtungsfeldmatrix zwischengespeichert und durch Vergleich von Richtungsfeldmatrizen nachfolgender Bilder desselben Bildausschnitts mit der zwischengespeicherten Matrix zeitstabile Anteile erkannt, wobei mit den zeitstabilen Anteilen des Richtungsfelds eine bereinigte Richtungsfeldmatrix als Referenzmatrix für weitere Vergleichsmessungen erstellt wird; wird bei Nichterkennen eines ausreichend zeitstabilen Musters auf weitere Bildausschnitte für weitere Referenzmessungen umgeschaltet; wird nach erfolgreicher Ermittlung der Referenzmatrix durch Vergleich der Richtungsfelfdmatrizen nachfolgender Bilder desselben Bildausschnitts mit der Referenzmatrix durch Anwendung statistischer Methoden auf die weitere An- oder Abwesenheit des zeitstabilen Musters geschlossen. DOLLAR A Detektion von Werbebeiträgen in ...

Description

Die Erfindung betrifft ein Verfahren zum Auffinden und Erkennen von zeitstabilen Mus­ tern in Videosignalen einer beliebigen Videoquelle, insbesondere zur automatischen Er­ kennung von Werbebeiträgen in Fernsehsendungen oder dergleichen Übertragungen durch Videosignalanalyse gemäß Oberbegriff des Patentanspruchs 1, eine spezielle Verwendung eines solchen Verfahrens nach dem Patentanspruch 9 sowie eine Vorrichtung zum Durch­ führen eines solchen Verfahrens nach dem Oberbegriff des Patentanspruchs 10.
Private und nun vermehrt auch öffentlich rechtliche Fernsehsendeanstalten nutzen beinahe jede Möglichkeit, um bei Unterbrechung des Programms durch Werbeeinblendungen Geld zu verdienen. Ärgerlich sind dabei für viele Zuschauer nicht nur die Dauer und die Häufig­ keit der Werbeeinblendungen, sondern auch die Zeitpunkte, an denen das laufende Pro­ gramm unterbrochen wird.
Die hier vorgestellte Erfindung ist in der Lage Werbebeiträge in Fernsehsendungen selb­ ständig zu erkennen und nahezu jedes Gerät in Abhängigkeit von der Werbeerkennung über ein beliebiges Bussystem oder durch Infrarotbefehlsfolgen zu steuern. Damit lassen sich unter anderem werbefreie Videoaufzeichnungen realisieren, indem ein Videorecorder zu Beginn und Ende einer erkannten Werbesequenz durch entsprechende Steuerbefehle ge­ schaltet wird.
Es sind bereits Verfahren und Vorrichtungen bekannt, die eine Erkennung von Werbebei­ trägen in Fernseh(TV)-Sendungen ermöglichen sollen und auf deren Grundlage sich ein System zur Unterdrückung von Werbesequenzen bei einer Videoaufzeichnung realisieren lassen soll. Ein Teil dieser Verfahren beruht darauf, dass innerhalb einer zentralen Über­ wachungseinrichtung Fernsehkanäle von Menschen überwacht und Steuersignale zu einer Decoderbox beim Kunden ausgesendet werden sollen. Der andere Teil der Verfahren be­ ruht auf Schaltungsanordnungen, die entweder direkt in den Videorecorder integriert oder als Zusatzgerät konzipiert sind und die eine vollautomatische Erkennung von TV- Werbesequenzen anhand eines bestimmten, im Fernsehsignal vorhandenen Merkmals zu­ lassen sollen.
Nachfolgend wird zunächst ein kurzer Überblick über den bisherigen Entwicklungsstand von Werbeerkennungsverfahren und darauf beruhenden Videoschaltsystemen gegeben:
Aus der DE 195 15 604 A1 ist ein Verfahren zur Steuerung eines Videorecorders in Ab­ hängigkeit einer in Fernsehsignalen enthaltenen Kennzeichnung des Übertragungsformats bekannt. Gemäß der dort vorgeschlagenen Lösung wird davon ausgegangen, dass Werbe­ sendungen nicht im sogenannten PALplus-Format erstellt werden. Wird nun im Rahmen einer PALplus-Sendung ein gewöhnliches PAL-Signal erkannt, wird dieses als uner­ wünschte Werbung definiert und ein angeschlossener Videorecorder auf Pause geschaltet. Das Problem bei diesem Verfahren stellt dabei die Tatsache dar, dass bislang so gut wie keine Sendungen im PALplus-Format ausgestrahlt werden, so dass dieses Verfahren mo­ mentan als unrelevant bezeichnet werden kann.
Ebenso stellen Verfahren, wie z. B. in der DE 295 11 499 U1 beschrieben, die anhand der schwarzen Begrenzungsbalken Spielfilme im Breitwandformat von Werbung unterschei­ den sollen, keinen allgemein befriedigenden Lösungsansatz dar. Nur ein geringer Prozent­ satz an ausgestrahlten Fernsehbeiträgen sind zur Zeit Spielfilme im Breitwandformat (ca. 8% in Deutschland).
Auch in der DE 42 04 689 A1 wird eine Schaltungsanordnung zur Unterdrückung von Re­ klamebildern während der Videoaufzeichnung einer Fernsehsendung beschrieben. Zur Un­ terscheidung der aufzuzeichnenden Sendung von Werbebeiträgen wird dabei die Anwesen­ heit eines sogenannten Senderemblems überprüft, das normalerweise während einer Wer­ beunterbrechung ganz oder teilweise verschwindet. Zur Detektion dieses Senderemblems werden über einen gewissen Zeitraum (ca. 5 Sekunden) die Helligkeitswerte eines be­ stimmten Abschnitts einer Bildzeile integriert und anschließend ausgewertet. Übersteigt das Ergebnis einen gewissen Schwellwert, so wird auf die Anwesenheit eines Senderem­ blems in diesem Bildbereich geschlossen. In Abhängigkeit dieser Merkmalserkennung soll dann ein Befehlsfolgegeber in Form einer lernbaren Fernbedienung zur Steuerung eines Videorecorders aktiviert werden. Offensichtlich wird hierbei von der Annahme ausge­ gangen, das sich ein Senderemblem durch besonders hohe Helligkeitswerte gegenüber sei­ nem Bildkontext auszeichnet. Farbige oder gar dunkle Senderembleme scheiden somit von vorneherein für diese Art Werbeerkennung aus. Die Hauptkritik an diesem Verfahren liegt aber jedoch in der Tatsache begründet, dass die meisten Senderembleme transparent sind und somit schwankende Helligkeitswerte besitzen. Eine zuverlässige Werbeerkennung anhand von Helligkeitsschwellwerten ist damit nicht möglich. Des weiteren bleibt, wie noch näher zu erläutern sein wird, das Problem der Videorecordersteuerung ungelöst, selbst wenn es den Anschein hat, dass mit Hilfe einer lernbaren Fernbedienung eine ein­ fach zu realisierende Lösung gefunden werden konnte.
Auch in der DE 44 17 481 A1 wird zur Erkennung von Werbebeiträgen in Fernsehsen­ dungen auf die Detektion von Senderlogos verwiesen. Konkret wird hier zunächst das Vi­ deosignal analog-digital gewandelt, wobei das digitale Signal einer speziellen Merkmals­ analyse unterzogen wird. Die Merkmalerkennungseinrichtungen überprüfen unter anderem Bildschirmzeilen daraufhin, ob diese ganz oder zumindest teilweise nur aus Bildpunkten bestehen, die sich über einen längeren Zeitraum in ihrer Luminanz- und/oder Farbin­ formation nicht ändern. Existieren solche Punkte, so kann laut diesem Verfahren entweder auf die Anwesenheit eines Senderlogos oder aber auf die Existenz eines Schwarzbalkens, das heißt eines Spielfilms im Breitwandformat, geschlossen werden. In beiden Fällen wer­ den die gefunden Bildpunkte für nachfolgende Überprüfungen gespeichert. Bei Änderung der Luminanz- und/oder Farbinformation der zuvor gefundenen Bildpunkte wird auf eine Werbesequenz geschlossen, und eine angeschlossene Kontrollogik soll einen Videorecor­ der auf Pause schalten. Genau wie bei der DE 42 04 689 A1 sind auch in diesem Verfahren die gleichen Kritikpunkte zu bemängeln. Senderlogos sind in vielen Fällen transparent und können somit anhand dieses Verfahrens zumindest nicht zuverlässig erkannt werden. Auch wird die Kontrollogik zur externen Steuerung eines Videorecorders nicht näher erläutert, so dass das Verfahren für den praktischen Einsatz kaum tauglich sein dürfte.
In den DE 43 03 942 A1, DE 195 28 344 C2, DE 197 54 252 A1 und DE 198 07 765 A1 wird auf die Idee verwiesen, dass in einer zentralen Überwachungseinrichtung sämtliche Fernsehkanäle von Menschen rund um die Uhr überwacht und dass im Falle einer erkann­ ten Werbesequenz bestimmte Befehle in einer vom Fernsehsignal unabhängigen Übertra­ gungsform ausgesandt werden sollen. Eine spezielle Decoderbox beim Kunden soll schließlich in der Lage sein, diese Signale zu empfangen und den Videorecorder dement­ sprechend zu steuern. Das zentrale Problem stellt dabei die Steuerung des Videorecorders durch die Decoderbox dar.
In allen Lösungsvorschlägen, die als Zusatzgerät zur externen Steuerung eines Videorecor­ ders vorgesehen sind, bleibt die Frage unbeantwortet, wie dieser zwecks werbefreier Vi­ deoaufzeichnungen geschaltet werden kann. Eine externe Steuerung eines Videorecorders scheint nur über Infrarot-Fernbedienungsbefehle möglich zu sein. In einigen Verfahren ist zu diesem Zweck eine lernbare Fernbedienung vorgesehen, die mit den Befehlen für Auf­ nahmestart und Aufnahmestop programmiert werden kann. Diese Lösung scheint auf den ersten Blick praktikabel zu sein, doch sind viele Probleme dabei außer acht gelassen wor­ den.
Beispielsweise schalten viele Videorecorder heutzutage nach wenigen Minuten einer Auf­ nahmeunterbrechung vom Pausen- in den Stop-Modus, und viele Geräte nach einer weite­ ren kurzen Zeitspanne schließlich in den Standby-Modus. Es ist üblich, dass ein Aufnah­ mestart, von allen drei verschiedenen Betriebsmodi ausgehend, mit unterschiedlichen Be­ fehlsfolgen zu bewerkstelligen ist. Somit wird eine abgespeicherte Befehlsfolge für den Aufnahmestart nicht immer zu dem gewünschten Ergebnis führen.
Ein weiteres Problem stellen Zeit- bzw. timerprogrammierte Videoaufnahmen dar. Um eine versehentliche Aufzeichnungsunterbrechung zu verhindern, lassen sich die meisten Video­ recorder in diesem Aufnahmemodus nicht durch Infrarotbefehle steuern. Des weiteren müsste im Falle einer timerprogrammierten Videoaufnahme das Beistellgerät in der Lage sein, den Startzeitpunkt einer Videoaufzeichnung selbsttätig zu ermitteln, um dann gleich­ falls mit der Werbeerkennung zu starten. Dieses Problem findet ebenso wenig Erwähnung wie die Abschaltung des Videorecorders und des Werbeerkennungssystems zum Auf­ zeichnungsende.
All die genannten Probleme bei der Videorecordersteuerung und die vielen Unzulänglich­ keiten der Systeme bei der Werbeerkennung zeigen, dass bisher noch keine zufriedenstel­ lende Lösung gefunden worden ist, die ein zuverlässig funktionierendes Werbeerkennungs- und Videoschalt- bzw. -steuersystem garantieren können.
Ferner ist eine Diplomarbeit von der Fachhochschule Münster, Fachbereich Elektrotech­ nik, mit dem Titel "Optimierung und Implementierung eines Systems zur Unterdrückung von Werbeblöcken bei Aufzeichnungen mit dem Videorecorder" vom Herbst 1999 be­ kannt. Diese Diplomarbeit befasst sich mit den Möglichkeiten Fernsehsendungen ohne Werbung mit dem Videorecorder aufzuzeichnen. Zur Erkennung von Werbeblöcken wer­ den verschiedene Algorithmen, die auf einer optischen Detektion des Logos basieren, vor­ gestellt, in einer Softwarelösung implementiert, getestet und bewertet. Mit der K-Develop- Entwicklungsumgebung unter Linux entstand so ein Open-Soure C++ Programm, das Spielfilme anhand der Logoerkennung werbefrei aufnehmen soll, das aber in seiner Erken­ nungssicherheit noch erhebliche Mängel aufzuweisen hat und das hinsichtlich der Recor­ dersteuerung ebenso wie die anderen vorgestellten Verfahren und Vorrichtungen keine wirklich praktikable Lösung darstellt.
Es ist daher Aufgabe der Erfindung, sowohl ein Verfahren anzugeben, das es gestattet, Werbebeiträge in Fernsehsendungen oder dergleichen Übertragungen zuverlässig zu er­ kennen, um in Abhängigkeit dieser Werbeerkennung ein beliebiges Gerät, insbesondere einen Videorecorder, zu schalten, eine spezielle Verwendung des Verfahrens anzugeben als auch eine Vorrichtung zum Durchführen des Verfahrens zu schaffen.
Die Erfindung soll sich dabei durch folgende Ziele gegenüber anderen Verfahren aus­ zeichnen:
Das Verfahren soll Fernsehwerbung anhand eines, im Videosignal vorhandenen Merkmals sicher erkennen und sich nicht auf Spezialfälle, wie beispielsweise die Erkennung eines be­ sonderen Spielfilmformats, beschränken.
Das Verfahren soll sich hinsichtlich seiner Zuverlässigkeit deutlich von den bisher bekann­ ten vollautomatischen Werbeerkennungsverfahren unterscheiden. Selbst bei gestörtem Senderempfang sollen keine Fehlerkennungen auftreten.
Die Anordnung soll in der Lage sein, nahezu jedes Gerät, sogar einen Videorecorder im ti­ merprogrammierten Aufnahmemodus, durch Steuerbefehle über ein Bussystem oder per Infrarot schalten zu können.
Die Anordnung soll in der Lage sein, den Beginn einer timerprogrammierten Videoauf­ nahme selbständig zu ermitteln, um sich dann aus einem stromsparenden Betriebsmodus heraus selbst zu aktivieren und mit der Werbeerkennung zu starten.
Die Anordnung soll in der Lage sein, das Ende einer Videoaufzeichnung selbständig zu ermitteln, um sowohl den Videorecorder als auch sich selbst zu stoppen und in einen stromsparenden Standby-Modus, nachfolgend auch Sleep-Modus genannt, zu versetzen.
Die Vorrichtung soll mit möglichst geringem Hardware-Aufwand realisierbar seit.
Die vorgenannte Aufgabe wird erfindungsgemäß verfahrensseitig durch ein Verfahren mit den Merkmalen des Patentanspruchs 1, verwendungsseitig durch eine Verwendung mit den Merkmalen des Patentanspruchs 9 sowie vorrichtungsseitig durch eine Vorrichtung mit den Merkmalen des Patentanspruchs 10 gelöst. In den Unteransprüchen sind zweckmäßige Ausgestaltungen und Weiterbildungen der Erfindung angegeben.
Bevor die Erfindung detailliert beschrieben wird, erfolgt zuerst ein kurzer Überblick:
Die Erfindung arbeitet auf der Basis einer Detektion senderspezifischer Logos. Das erfin­ dungsgemäße Verfahren geht dabei von der Beobachtung aus, dass TV-Sendeanstalten ihre jeweilige Übertragung durch die Einblendung eines sendertypischen Logos in einer der vier Bildschirmecken kennzeichnen und dass diese Kennzeichnung während einer Werbe­ unterbrechung ganz oder teilweise fehlt. Ausgehend davon, dass Form, Größe und Position eines Senderlogos zeitinvariant, d. h. konstant, sind, werden innerhalb einer sogenannten Referenzmesszeit die Daten eines digitalisierten Videosignals fortlaufend eingelesen und durch Mustererkennungsalgorithmen analysiert. Aus der Vielzahl hintereinander eingelese­ ner Bilder können mit Hilfe statistischer Methoden die Kantenverlaufsrichtungen des Lo­ gos gefiltert und für Vergleichszwecke gespeichert werden. In der anschließenden Prüf­ messung wird durch Ähnlichkeitsvergleich nachfolgender Bilder mit der gespeicherten Referenzvorlage die weitere Anwesenheit des Senderlogos überprüft, um Werbeunterbre­ chungen anhand dieses Erkennungsmerkmals zu ermitteln. Da erfindungsgemäß weder Farbe noch Luminanz sondern Kantenverlaufsrichtungen analysiert werden, können mit Hilfe dieses Verfahrens auch transparente Senderlogos zur Werbeerkennung herangezogen werden.
Des weiteren wird eine auf Grundlage dieses Verfahrens arbeitende Schaltungsanordnung, nachfolgend Vorrichtung genannt, zur werbeabhängigen Gerätesteuerung beschrieben. Speziell wird hierbei insbesondere eine Vorrichtung zur Steuerung eines Videoaufzeich­ nungsgerätes betrachtet. Diese Vorrichtung verfolgt den Zweck, schon während der Auf­ nahme einer Fernsehsendung Werbesequenzen zu erkennen und gegebenenfalls die Video­ aufzeichnung zu unterbrechen. Die Vorrichtung kann einerseits als im Videorecorder in­ tegrierte Baugruppe, andererseits auch als Beistellgerät konzipiert sein. Das Beistellgerät wird einfach an den Videoausgang des Recorders angeschlossen und übernimmt dann au­ tomatisch die Aufnahmesteuerung mit Beginn der Aufzeichnung. Hierzu verfügt das Gerät sowohl über eine Infrarotsende-, als auch über eine Infrarotempfangseinheit, mit deren Hilfe sich beliebige Fernbedienungsbefehle speichern und zu gegebenem Zeitpunkt in Ab­ hängigkeit der Werbeerkennung wieder ausgeben lassen. Alternativ dazu ist die Steuerung eines Videorecorders auch über ein beliebiges Bussystem möglich. Ein weiterer erfin­ dungsgemäßer Ansatz ergibt sich aus der Möglichkeit des Datenaustausches via SCART- Bus. Nach dem weitverbreiteten P50-Standard lassen sich zum Beispiel Timerdaten eines Videorecorders auslesen und auch verändern. Durch Manipulation der Aufnahmestart- oder -stoppzeit können Videoaufzeichnungen damit in vorteilhafter Weise gesteuert wer­ den.
Erfindungsgemäß kann das Verfahren zur Werbeerkennung auch als Grundlage für ein Programm zur Nachbearbeitung digital aufgezeichneter TV-Sendungen verwendet werden, die auf einer wiederbeschreibbaren DVD oder einem ähnlichen Medium gespeichert wur­ den. Das Programm liest dazu die Bilddaten von einem entsprechenden Laufwerk ein, ana­ lysiert diese und löscht erkannte Werbesequenzen in der Videoaufzeichnung oder kopiert diese um.
Außerdem kann mit Hilfe des erfindungsgemäßen Verfahrens ein Programm zur automa­ tischen Protokollierung von Werbebeiträgen realisiert werden. Dieses Programm kann so­ wohl den Sendeplatz, den Sendetermin, aber auch den Kontext, in dem ein bestimmter Werbebeitrag gesendet worden ist, abspeichern.
Nach dem primären Grundansatz der Erfindung wird hierzu nach Aktivitätsprüfung der Videoquelle ein vorgegebener Bildausschnitt eines einlaufenden Videosignals durch einen Bildprozessor bzw. durch einen AD-Wandler digitalisiert und die daraus resultierenden Luminanzwerte als sogenannte Helligkeitsmatrix in einen Speicher geschrieben. Durch Mittelung über mehrere hintereinander eingelesene Helligkeitsmatrizen des gleichen Bild­ ausschnitts werden Störungen in Form von Bildrauschen zunächst reduziert. In dem Fall, daß eine digitale Videoquelle vorgegeben ist, kann sowohl der Digitalisierungsprozess als auch die Mittelungsoperation entfallen.
Aus der resultierenden Helligkeitsmatrix werden mittels eines, in einem digitalen Signal­ prozessor ablaufenden Bildverarbeitungsprogramms, die Kantenverläufe im aktuellen Bildausschnitt bestimmt und in Form eines Richtungsfeldes als Matrix abgespeichert. Durch einen Vergleich der Richtungsfeldmatrizen nachfolgender Bilder des gleichen Bild­ ausschnitts mit der bereits gespeicherten Richtungsfeldmatrix werden zeitstabile Anteile in der gespeicherten Richtungsfeldmatrix ermittelt bzw. Zug um Zug bestimmt. Nach Ablauf einer bestimmten Anzahl an Messungen werden die zeitstabilen Anteile des Richtungsfel­ des als bereinigte Richtungsfeldmatrix zu Referenzzwecken abgelegt und für weitere Ver­ gleichsmessungen herangezogen.
Die im Verfahren implementierte Referenzmessung ist dynamisch, das heißt, dass diese trotz festgelegter Anzahl an Messzyklen unterschiedliche Zeit in Anspruch nehmen kann. Dies liegt daran, dass Bildfolgen, in denen sich der Bildinhalt im Wesentlichen nicht än­ dert, mit jeweils nur einem einzigen Bild in die Referenzmessung eingehen. Dadurch kön­ nen selbst solche Fremdkanten eliminiert werden, die sonst als ungewolltes zeitstabiles Muster aus der Referenzmessung hervorgegangen wären.
Sobald innerhalb der Referenzmessung die zeitstabilen Anteile der gespeicherten Rich­ tungsfeldmatrix unter ein gewisses Maß gesunken sind, wird eine weitere Referenzmes­ sung in einem neuen Bildschirmausschnitt gestartet, und es beginnt die oben geschilderte Ablauffolge von vorn. Im Unterschied zum bekannten Stand der Technik werden also nicht sämtliche Bildschirmecken gleichzeitig untersucht, sondern es erfolgt ein sequentielles Absuchen der Bildschirmecken nach dem Senderlogo.
Die nach einer Referenzmessung erhaltene und von allen Fremdkanten bereinigte Rich­ tungsfeldmatrix findet dann bei der anschließenden Prüfmessung ihre eigentliche Verwen­ dung. Ziel der Prüfmessungen ist es, die weitere Anwesenheit des Senderlogos in dem als relevant erkannten Bildausschnitt festzustellen, um beispielsweise eine werbeabhängige Gerätesteuerung vornehmen zu können.
Dazu werden die Richtungsfeldmatrizen des auszuwertenden Bildausschnitts mit der als Referenz gespeicherten Richtungsfeldmatrix fortlaufend verglichen. In Analogie zur Bil­ dung eines Wegintegrals wird dazu die Summe der Winkelabweichungen der einzelnen Elemente der aktuellen Richtungsfeldmatrix gegenüber der Referenz-Richtungsfeldmatrix gebildet. Die aus dieser Summe gebildete mittlere Winkelabweichung ist ein Maß für die Wahrscheinlichkeit des Vorhandenseins des Senderlogos.
Wie bereits erwähnt, kann das Verfahren zur Werbeerkennung auch zur Nachbearbeitung digital aufgezeichneter Videos herangezogen werden, beispielsweise um Werbesequenzen nachträglich zu eliminieren oder um die gesendeten Werbebeiträge zu erfassen und zu sta­ tistischen Zwecken auszuwerten.
Vorrichtungsseitig ist die Videoquelle über einen Bildprozessor mit einem Signalprozessor verbunden. Der Bildprozessor digitalisiert nach Aufruf durch den Signalprozessor Bildaus­ schnitte des Videosignals der Videoquelle und formatiert diese Signale. Nach Aufforde­ rung durch den Signalprozessor werden die entsprechend aufbereiteten Signale an letzteren weitergeleitet, wobei der Signalprozessor anhand eines in einem Permanentspeicher abge­ legten digitalen Bildverarbeitungsprogramms eine Signalbewertung durchführt. Der Sig­ nalprozessor liefert am Ausgang das Schaltsignal, z. B. zum Betreiben eines Videorecor­ ders, damit dieser in Werbepausen den Aufnahmevorgang automatisch unterbricht.
Zusätzlich besteht in einer Ausgestaltung der Erfindung die Möglichkeit, den Audiosignal­ ausgang der Videoquelle ebenfalls auf den Signalprozessor zu führen, um anhand einer Pegelbewertung ein Zusatzsignal für das Erkennen einer Werbeunterbrechung zu erhalten.
Die erfindungsgemäße Vorrichtung kann als separate sogenannte (externe) Beistellbau­ gruppe eingesetzt werden aber auch bereits hardwareseitig in einen Videorecorder oder ein anderes Speichergerät integriert sein. Im ersteren Fall ist die Vorrichtung durch eine Steckverbindung nach Art eines Scart-, Cinch oder ähnlichen Prinzips mit dem Ausgang einer beliebigen Videoquelle verbunden. Die betreffende Vorrichtung führt das Videosig­ nal über eine weitere, zweite Schnittstelle wieder nach außen.
Über eine integrierte Infrarotsende- und -empfangseinheit ist die Vorrichtung in der Lage, Befehlsfolgen zur Gerätesteuerung zu erlernen und in Abhängigkeit von der Werbeerkennung auszusenden. Zusätzlich oder alternativ zur Steuerung über Infrarotbefehle besteht auch die Möglichkeit, über vorhandene Bussysteme Befehle und/oder Daten an die zu steuernden Geräten zu übertragen. Eine völlig neue Idee hierzu ergibt sich aus der Mög­ lichkeit des Datenaustausches via SCART-Bus. Nach dem weitverbreiteten P50-Standard zum Beispiel lassen sich Timerdaten eines Videorecorders auslesen und auch verändern. Durch Manipulation der Aufnahmestart- oder -stopzeit können damit Videoaufzeichnun­ gen gezielt gesteuert werden. Dabei sorgt die Steuerlogik des Recorders selbst für das rich­ tige Verhalten bei Erreichen der Timerstopzeit.
Konkret enthält die Anordnung zum Erkennen von zeitstabilen Mustern in Videosignalen einer beliebigen Videoquelle einen Speicherbaustein, z. B. einen Flashspeicher, zum per­ manenten Abspeichern von Programmcode und Fernbedienungsbefehlsdaten, einen Bild­ prozessor zur Digitalisierung analoger Videosignale wenn erforderlich, und einen digitalen Signalprozessor zur Datenanalyse, Datenspeicherung, sowie zur Ein- und Ausgabe von Signalen über entsprechende Ports. Im Falle eines externen Geräts ist eine Infrarotsende- und -empfangseinheit zur Gerätesteuerung vorgesehen.
Die erfindungsgemäße Vorrichtung verbleibt nach einem Systemstart und einem automati­ schen Funktionstest aller Komponenten in einem stromsparenden Standby-Zustand, auch Sleep-Modus genannt, bis zur Aktivierung durch gültige Videosignale. Nach dem Erken­ nen derartiger Signale erfolgt dann ein automatischer Übergang in den aktiven Modus mit der Folge der Ausführung des vorgestellten Verfahrens zur Erkennung von Werbesequen­ zen in TV-Programmen oder dergleichen Videoübertragungen.
Die Vorrichtung sendet dabei zu Beginn und zum Ende des Werbeerkennungsprozesses einen Befehl zur Initialisierung bzw. Abschaltung des zu steuernden Prozesses oder Gerä­ tes über die Infrarotsendeeinheit und/oder eine aktivierte bzw. angeschlossene Busschnitt­ stelle. Außerdem werden jeweils zu Beginn und zum Ende einer erkannten Werbesequenz entsprechende Steuerbefehle ausgesendet.
Die Anordnung der Infrarotsende- und -empfangseinheit zum Zwecke der werbeerken­ nungsabhängigen Gerätesteuerung weist mindestens fünf Speicherplätze zur Aufnahme von Infrarotbefehlssequenzen auf bzw. stellt diese bereit, von denen jeder mindestens ei­ nen, vorzugsweise drei verschiedene Infrarotbefehle über die Infrarotempfangseinheit speichern und über die Infrarotsendeeinheit nacheinander senden kann. Die Infrarotbe­ fehlssequenzen können über eine übliche Fernbedienung lernbar eingegeben werden.
Ausführungsbeispiele des Erfindungsgegenstandes werden nachfolgend anhand der Zeich­ nung näher erläutert. Es zeigen:
Fig. 1A, 1B eine schematische Darstellung einer Korrektur der vertikalen Position eines Messausschnitts aufgrund von Austastzeilen vor Beginn der Referenzmes­ sung;
Fig. 2 eine beispielhafte Darstellung der zyklischen Eckenabsuche nach dem Sen­ derlogo während der Referenzmessung anhand eines Monitorbildes;
Fig. 3 eine schematische Darstellung des Messbereichs zur Detektion von Bildin­ haltswechseln während der Referenzmessung;
Fig. 4 eine graphische Darstellung zur Bestimmung der lokalen Kantenrichtung Ar[i][j] aus den acht verschiedenen Richtungsgradienten;
Fig. 5A, 5B eine graphische Darstellung zur Bestimmung des statistischen Gewichtungs­ faktors Ag[i][j] anhand der Differenz der beiden größten Richtungsgradien­ ten;
Fig. 6 ein Blockschaltbild einer in Form eines internen bzw. externen Werbeblo­ ckers ausgebildeten Vorrichtung;
Fig. 7 ein Flussdiagramm zum Startvorgang der als interner Werbeblocker ausge­ bildeten Vorrichtung;
Fig. 8 ein Flussdiagramm zum Startvorgang der als externer Werbeblocker ausge­ bildeten Vorrichtung;
Fig. 9 ein Flussdiagramm zur Benutzerschnittstelle der als externer Werbeblocker ausgebildeten Vorrichtung;
Fig. 10 ein Flussdiagramm zum Erlernen von Infrarot-Fernbedienungsbefehlen;
Fig. 11 ein Flussdiagramm zum Testen erlernter Infrarot-Fernbedienungsbefehls­ sequenzen;
Fig. 12 ein Flussdiagramm zum Ablauf des Werbeerkennungsprogramms;
Fig. 13 ein Flussdiagramm zum Ablauf der Referenzmessung; und
Fig. 14 ein Flussdiagramm zum Ablauf der Prüfmessung.
Das Verfahren zum Auffinden und Wiedererkennen von zeitstabilen Mustern in Videosig­ nalen einer beliebigen Videoquelle kann in zwei unterschiedliche Messphasen unterteilt werden. In der ersten Phase geht es darum, ein zeitstabiles Muster aufzufinden, welches als Senderlogo interpretiert werden kann. Diese Phase wird im Folgenden Referenzmessung genannt und ist in Form eines Flussdiagramms in Fig. 13 angegeben. In der zweiten Phase wird die weitere Anwesenheit des aus der Referenzmessung hervorgegangenen zeitstabilen Musters überprüft. Diese als Prüfmessung benannte und in Form eines Flussdiagramms in Fig. 14 dargestellte Phase stellt die eigentliche Werbeerkennung dar. Um das Verfahren auch im Zusammenhang mit der werbeabhängigen Gerätesteuerung zu erläutern, wird im Folgenden von einer Vorrichtung zur Steuerung eines Videorecorders ausgegangen.
Die Aufgabe der Referenzmessung gemäß Fig. 13 ist das Auffinden sendereigener Logos in digitalisierten Videosignalen. Dazu werden über einen gewissen Zeitraum die Kanten­ verläufe eines Bildausschnitts untersucht, um zeitstabile Anteile mit Hilfe statistischer Me­ thoden aufzufinden. Unter "Kantenverläufe" ist hierbei ein Richtungsfeld zu verstehen, dessen einzelne Richtungsvektoren die lokale Kantenrichtung in jedem Bildpunkt wieder­ geben.
Unmittelbar vor Beginn einer neuen Referenzmessung wird zur Initialisierung eines zu steuernden Gerätes, eine Befehlssequenz per Infrarotsignal oder über die Steuerleitungen eines Bussystems gesendet. Beispielsweise können viele Videorecorder während einer ti­ merprogrammierten Aufnahme nicht durch Fernbedienungsbefehle gesteuert werden. Um diesen Sicherheitsmodus zu umgehen, gibt es für jedes Gerät einen speziellen Fernbedie­ nungsbefehl, der diese Kontrollfunktion abschaltet. Der Recorder verlässt dabei den timer­ programmierten Aufnahmemodus und muss nun im manuellen Aufnahmemodus weiterbe­ trieben werden. Zu diesem Zweck werden unmittelbar vor Beginn einer neuen Referenz­ messung die dazu notwendigen Steuerbefehle ausgesandt.
Zur Detektion eines Senderlogos 1 (siehe Fig. 1) ist es nicht erforderlich, den gesamten Bildbereich 2 (siehe Fig. 2) zu untersuchen. Die Senderlogos 1 befinden sich grundsätzlich in den Ecken 3 bis 6 des sichtbaren Bildes. Es wird zunächst die Ecke 3, beispielsweise links oben, als zu untersuchender Bildausschnitt 7 festgelegt. Konnte während einer Refe­ renzmessung kein zeitstabiles Muster gefunden werden, so wird die nächste Ecke 4 zum aktiven Bildausschnitt 7 und eine neue Referenzmessung beginnt. Dieser Vorgang wieder­ holt sich gemäß Fig. 2 zyklisch, bis ein zeitstabiles Muster innerhalb einer Referenzmes­ sung ermittelt werden konnte.
Im Unterschied zum bekannten Stand der Technik werden also nicht sämtliche Bild­ schirmecken 3 bis 6 gleichzeitig untersucht, sondern es erfolgt erfindungsgemäß ein se­ quentielles Absuchen der Bildschirmecken 3 bis 6 nach dem Senderlogo 1, womit eine erhebliche Speicherplatzersparnis verbunden ist.
Da ein Senderlogo 1, um als Detektor für die Werbeerkennung zu dienen, in seinen Kan­ tenverlaufsrichtungen nicht vollständig erfasst werden muss, kann durch die Wahl der rich­ tigen Größe des Bildausschnitts 7 eine weitere Speicherreduzierung vorgenommen werden. In der Praxis haben sich Dimensionen von 90 Zeilen × 90 Spalten als sinnvolle Größe für den Bildausschnitt 7 erwiesen.
Je kleiner aber die gewählten Dimensionen sind, desto wichtiger ist die richtige Positionie­ rung des Bildausschnitts 7 (vgl. Fig. 1A, 1B). Da die vertikale Position mancher Senderlo­ gos 1 an das jeweilige Bildformat einer TV-Sendung (4 : 3, 16 : 9, etc.) angepasst wird, ist auch die vertikale Position des zu untersuchenden Bildausschnitts 7 zu korrigieren. Dazu ist vor jeder neuen Referenzmessung eine Untersuchung der schwarzen Austastzeilen 10 am oberen bzw. unteren Bildrand erforderlich. Existieren solche Austastzeilen 10, so kön­ nen diese gemäß Fig. 1A anhand einer, durch den gesamten aktuellen Bildausschnitt 7 ver­ laufenden, horizontalen Kante 11 detektiert werden, wobei je nach gerade untersuchter Ecke ober- bzw. unterhalb dieser detektierten Kante 11 keine weiteren Kantenverläufe mehr vorkommen dürfen und der mittlere Helligkeitswert kleiner als derjenige im übrigen Bildausschnitt sein muss. Der aktuelle Bildausschnitt 7 wird dann entsprechend in seiner vertikalen Position korrigiert (siehe Fig. 1B).
Es ist zur Weiterverarbeitung innerhalb eines Rechenprozessors erforderlich, dass das ein­ gehende Videosignal in digitaler Form vorliegt. Im Falle einer analogen Videoquelle, wird hierzu ein Videodecoder, auch Bild-Prozessor genannt, eingesetzt, der auf Befehl eines Rechenprozessors, vorzugsweise eines digitalen Signalprozessors, einen Bildbereich des analogen Videosignals digitalisiert und dem Rechenprozessor zur Verfügung stellt. Zur weiteren Verarbeitung werden die Helligkeitswerte vom Rechenprozessor in Form einer Matrix in einen Speicher geschrieben. Durch Addition einiger hintereinander gelesener Helligkeitsmatrizen des gleichen Bildausschnitts und anschließender Mittelung werden Störungen in Form von Rauschen deutlich minimiert. Die daraus resultierende Hellig­ keitsmatrix dient als Grundlage für den weiteren Analyseprozess.
Beispiel
Ah[i][j]: = Element i, j der aktuellen Helligkeitsmatrix
i: = Zeilenindex
j: = Spaltenindex
Der ersten Helligkeitsmatrix, die durch Mittelung mehrerer, hintereinander eingelesener Helligkeitsmatrizen gebildet wurde, kommt dabei eine besondere Bedeutung zu. Sie wird als sogenannte Referenzmatrix in einen anderen Speicherbereich kopiert und dient den nachfolgenden Messungen als Vergleichsobjekt. Diese Referenzmatrix sollte durch eine genügend hohe Anzahl von Mittelungen gebildet werden, da sie eine wichtige Ausgangs­ basis für den weiteren Verlauf der Referenzmessung darstellt.
Beispiel
Rh[i][j]: = Element i, j der Referenz-Helligkeitsmatrix
i: = Zeilenindex
j: = Spaltenindex
Nach Abspeichern der Referenzmatrix wird eine neue Helligkeitsmatrix eingelesen und die Suche nach dem Senderlogo beginnt.
Zur Filterung des Kantenverlaufs eines Senderlogos sucht die Referenzmessung nach zeit­ stabilen Anteilen im Richtungsfeld des aktuellen Bildausschnittes. Sendungen, die ihren Bildinhalt über eine längere Zeit gesehen nicht ändern, können dadurch aber zu falschen Ergebnissen in der Referenzmessung führen. Beispielsweise liefert der starre Studio- Hintergrund einer Nachrichtensendung unerwünschte Kantenverläufe, die als zeitstabile Anteile nach der Referenzmessung übrigbleiben würden.
Deswegen wird ein Bild in der Referenzmessung nur berücksichtigt, wenn dessen Bildin­ halt sich gegenüber dem des Vorgängerbildes erkennbar verändert hat. Der Einlesevorgang wird dementsprechend solange wiederholt, bis eine Veränderung des Bildinhaltes festge­ stellt werden konnte.
Eine einfache Möglichkeit der Überprüfung auf Veränderungen des Bildinhaltes von aktu­ ellem Bild zum Vorgängerbild besteht in der Berechnung der mittleren Helligkeitsände­ rung E(D). Sinkt die mittlere Helligkeitsänderung E(D) unter eine gewisse Schwelle S, so kann auf einen statischen Bildinhalt geschlossen werden.
E(D) < S ⇒ Keine Veränderung des Bildinhaltes
[Ah[i][j]]n: = Element i, j der Helligkeitsmatrix des aktuellen Bildes
[Ah[i][j]]n-1: = Element i, j der Helligkeitsmatrix des letzten gültigen Bildes
Der Bereich der Austastzeilen 10 bleibt dabei unberücksichtigt, da diese keine Bildinhalts­ veränderungen anzeigen können. Auch die Bildpunkte, in denen das Senderlogo 1 aller Wahrscheinlichkeit nach zu erwarten sein dürfte, sollten von der Berechnung ausgeschlos­ sen werden. Eine weitere Beschränkung ergibt sich aus der Beobachtung, dass im Falle des schon angesprochenen Beispiels einer Nachrichtensendung der Kopf des Nachrichtenspre­ chers zeitweise in den Bereich des aktuellen Bildausschnittes 7 hineinragen kann und somit trotz eines starren Studiohintergrundes Bildwechsel detektiert würden. Aus diesem Grund bleibt nur ein kleiner Bereich 12 zur Untersuchung auf Veränderungen des Bildinhaltes übrig (siehe Fig. 3).
Mit Hilfe sogenannter Kompassoperatoren wird die jeweilige Kantenrichtung in einem be­ stimmten Bildpunkt ermittelt. Ein Kompassoperator ist ein Gradientenoperator, der eine Aussage über das Helligkeitsgefälle in der Umgebung eines Bildpunktes bezüglich einer bestimmten Richtung macht. Senkrecht zur Richtung eines Kantenverlaufs ergeben sich generell die stärksten Gradientenbeträge. Es ist also die Aufgabe, mit Hilfe der Kompassoperatoren die Richtung mit dem stärksten Helligkeitsgefälle für jeden Bildpunkt zu fin­ den.
Beispiel für 3 × 3 Kompassoperatoren
Die Definition für die Berechnung eines Gradientenbetrags Grad[n] in Richtung n mit Hil­ fe eines 3 × 3 Kompassoperators lautet:
wobei i den Zeilenindex, j den Spaltenindex, p den Zeilenindex des Kompassoperators und q den Spaltenindex des Kompassoperators bezeichnen.
Die ermittelten acht Richtungsgradienten Grad[n] jedes Bildpunktes werden nach ihrem Betrag sortiert und ausgewertet.
Die Richtung senkrecht zu einer Kante liefert grundsätzlich den größten Gradientenbetrag. Diese Richtung wird in Form eines Richtungscodes in der Richtungsmatrix Ar[i][j] abge­ speichert (siehe Fig. 4).
Ar[i][j] = n mit Grad[n] <= Grad[m] und n, m ∈ {1, . . ., 8}
Ar[i][j]: = Element i, j der aktuellen Richtungsmatrix
i: = Zeilenindex
j: = Spaltenindex
Nicht immer sind es die Kanten eines Senderlogos, die durch die Ermittlung des stärksten Richtungsgradienten bestimmt werden. Besonders transparente Logos heben sich teilweise nicht genügend vom Bildhintergrund ab oder sind in einem texturreichen Hintergrund schwer erkennbar. Deshalb werden die zu speichernden Richtungscodes noch nach der Vertrauenswürdigkeit ihrer Richtungsaussage bewertet. Es wird also ein Gewichtungsfak­ tor für die einzelnen Elemente des Richtungsfeldes bestimmt und in einer eigenen (aktuel­ len) Gewichtungsmatrix Ag abgespeichert. Die Gewichtungsfaktoren können beispielswei­ se durch die Differenz der beiden stärksten Richtungsgradienten ermittelt werden.
Beispielsweise kann sich im linken Bild der Fig. 5 (Fig. 5A) der Gradient in der "Richtung 3" wesentlich deutlicher behaupten als im rechten Bild, (Fig. 5B). Das heißt letztendlich, dass bei statistischen Auswertungen in diesem Fall dem Richtungscode eine höhere Aussa­ gekraft, mit anderen Worten eine höhere Gewichtung, eingeräumt werden sollte.
Ag[i][j] = g1 - g2
Ag[i][j]: = Element i, j der aktuellen Gewichtungsmatrix
i: = Zeilenindex
j: = Spaltenindex
g1: = größter Richtungsgradient
g2: = zweitgrößter Richtungsgradient
Somit ergeben sich nun drei Matrizen, die den aktuell eingelesenen Bildausschnitt charak­ terisieren. Die Helligkeitsmatrix beschreibt die Luminanz der einzelnen Bildpunkte, die Richtungsmatrix das zugehörige Richtungsfeld und die Gewichtungsmatrix die Qualität der Richtungsfeldelemente bei statistischen Auswertungen.
Ebenso wie für die aktuell eingelesene Helligkeitsmatrix lässt sich aber auch für die Refe­ renzmatrix eine Richtungs- und Gewichtungsmatrix bestimmen. Es ergibt sich somit fol­ gendes Matrizensystem:
Ah: = Aktuelle Helligkeitsmatrix
Ar: = Aktuelle Richtungsmatrix
Ag: = Aktuelle Gewichtungsmatrix
Rh: = Referenz Helligkeitsmatrix
Rr: = Referenz Richtungsmatrix
Rg: = Referenz Gewichtungsmatrix
Um die Kantenverläufe des Senderlogos in der gespeicherten Referenzmatrix von Kanten des Bildhintergrundes zu unterscheiden, ist es erforderlich, über eine längere Zeit die Rich­ tungsfelder der aktuell eingehenden Bilder mit denen des Referenzbildes zu vergleichen. Nur zeitstabile Muster wie das Senderlogo bleiben über die Gesamtdauer der Referenzmes­ sung gesehen in ihren Kantenverläufen nahezu konstant.
Die Richtungsabweichung eines Elementes der aktuellen Richtungsmatrix bezüglich des gleichen Elementes der Referenz-Richtungsmatrix wird durch die Differenz der gespei­ cherten Richtungscodes bestimmt. Die Richtungsabweichung wij wird hier in Form eines Winkels in Einheiten von 45 Grad angegeben:
wij = |Rr[i][j] - Ar[i][j]| für wij ≦ 4
wij = 8 - |Rr[i][j] - Ar[i][j]| für wij ≧ 5
mit Rr[i][j] und Ar[i][j] wie auf der vorgehenden Seite definiert.
Die Summe aller Richtungsabweichungen, die sich über eine bestimmte Anzahl von Mes­ sungen für einen Bildpunkt ergibt, ist ein Maß für die zeitliche Konstanz des Richtungsfel­ des in diesem Punkt. Über die Anzahl von n Messungen gesehen, ergibt sich eine mittlere Richtungsabweichung E(wij), auch Erwartungswert der Richtungsabweichung genannt, von:
Eine Verbesserung dieser statistischen Aussage wird erfindungsgemäß dadurch erzielt, daß die unterschiedliche Qualität der einzelnen Beiträge wij bei der Berechnung der mittleren Richtungsabweichung E(wij) wie folgt berücksichtigt wird:
wobei Rg[i][j] das Element in der Zeile i, Spalte j der Referenz-Gewichtungsmatrix und Ag[i][j] das Element in der Zeile i, Spalte j der aktuellen Gewichtungsmatrix bedeuten.
Um diese mittlere Richtungsabweichung nach n Messungen berechnen zu können, müssen dafür die gewichtete Winkelsumme
sowie die Summe der Gewichtungsfaktoren
in eigenen Matrizen festgehalten werden.
Die mittlere Abweichung E(wij) der Richtungsfeldvektoren in einem Bildpunkt nach n Messungen berechnet sich also aus:
Durch die Angabe eines geeigneten Schwellwertes S können somit die zeitstabilen Anteile des Richtungsfeldes zu jedem Zeitpunkt der Referenzmessung ermittelt werden. Es gilt:
E(wij) <= S ⇒ Zeitstabiles Richtungsfeldelement
E(wij) < S ⇒ Zeitvariantes Richtungsfeldelement
Um auf die Existenz eines Senderlogos in dem betrachteten Bildausschnitt schließen zu können, dürfen die geometrischen Ausdehnungen des zeitstabilen Richtungsfeldanteils nicht unter ein gewisses Maß gesunken sein. Sobald aufgrund der Abmessungen des zeit­ stabilen Richtungsfeldanteils die Existenz eines Senderlogos ausgeschlossen werden kann, wird eine neue Referenzmessung in einem neuen Bildausschnitt gestartet.
Bevor nun eine neue Helligkeitsmatrix zur weiteren Analyse eingelesen wird, wird die Re­ ferenzmatrix Rh durch Addition mit der aktuellen Helligkeitsmatrix Ah und anschließender Mittelung weiter verbessert. Dadurch werden Rauschanteile minimiert und Kanten, die nicht zum eventuell vorhandenen Senderlogo gehören, schon in der Referenz-Helligkeits­ matrix abgeschwächt.
Die Referenzmessung endet, wenn nach einer vorbestimmten Anzahl von gültigen Mes­ sungen ein zeitstabiles Muster erkannt werden konnte. Ist dies nicht der Fall, wird die Re­ ferenzmessung, wie erwähnt, in einem neuen Bildausschnitt wiederholt (siehe Fig. 2). Nach einer erfolgreichen Referenzmessung werden die zeitstabilen Anteile im Richtungs­ feld der Referenzmatrix so gekennzeichnet, dass nur noch diese in der nachfolgenden Prüfmessung zur Wiedererkennung des zeitstabilen Musters berücksichtigt werden.
Die Prüfmessung dient der Detektion des in der Referenzmessung gefundenen sendereige­ nen Logos zum Zwecke der Werbeerkennung. Dazu werden gemäß Fig. 14, genau wie in der Referenzmessung auch, die digitalisierten Videosignale des gleichen Bildausschnittes fortlaufend eingelesen und analysiert. Durch Vergleich mit den aus der Referenzmessung hervorgegangenen zeitstabilen Anteilen des Richtungsfeldes kann auf die weitere An- bzw. Abwesenheit des Senderlogos geschlossen werden. Damit verbunden werden zur Steue­ rung einer Videoaufzeichnung bei Beginn und Ende einer erkannten Werbesequenz ent­ sprechende Steuersignale über ein Bussystem oder via Infrarotsendeeinheit dem Aufzeich­ nungsgerät übermittelt.
In einer der nicht sichtbaren Videozeilen eines Fernsehbildes werden Informationen über den Sender sowie den ursprünglich geplanten Sendetermin der aktuell ausgestrahlten Fern­ sehsendung übertragen (PDC-Zeile). Zu Beginn der Prüfmessung werden die Informatio­ nen dieser Videozeile eingelesen und gespeichert, um durch permanenten Vergleich mit den aktuellen Daten dieser Videozeile das Ende einer aufzuzeichnenden Fernsehsendung zu detektieren und einen entsprechenden Steuerbefehl an den Videorecorder zu senden.
Im Falle der Videorecordersteuerung über das P50-Protokoll für den SCART-Bus werden zu Anfang der Prüfmessung auch die im Recorder gespeicherten Timerdaten ausgelesen und abgespeichert. Befand sich der Videorecorder nicht in einer timerprogrammierten Aufnahme, können diese zum Zwecke der Recordersteuerung generiert und via SCART- Bus übermittelt werden. Durch Manipulation der Timerstopzeit lässt sich nun die Video­ aufnahme gezielt steuern. Dabei sorgt die Steuerlogik des Recorders selbst für das richtige Verhalten bei Erreichen der Timerstopzeit.
Anfang und Ende einer Werbesequenz sind im Allgemeinen durch eine Bildinhaltsverän­ derung charakterisiert. Einerseits erscheint oder verschwindet das Senderlogo, andererseits kommt es durch den Übergang zwischen Werbung und Film letztendlich zu einem Aus­ tausch des gesamten Bildinhaltes. Deswegen werden nur Bilder zur Auswertung gebracht, mit denen ein Bildinhaltswechsel einhergeht.
Genau wie in der Referenzmessung eignet sich dazu auch hier die mittlere Änderung der Helligkeitswerte von zuletzt eingelesenem Bild und aktuellem Bild. Anders als in der Re­ ferenzmessung werden diesmal allerdings nur die Bildpunkte entlang der Logokanten be­ rücksichtigt, die aus der Referenzmessung hervorgegangen sind. Das ist sinnvoll, denn durch das Erscheinen oder Verschwinden des Senderlogos wird sich an diesen Stellen ein Bildinhaltswechsel besonders deutlich ermitteln lassen.
In diesem Zusammenhang gilt die zuvor bereits angegebene Beziehung:
E(D) < S ⇒ Keine Veränderung des Bildinhaltes
[Ah[i][j]]n: = Element i, j der Helligkeitsmatrix des aktuellen Bildes
[Ah[i][j]]n-1: = Element i, j der Helligkeitsmatrix des Letzten gültigen Bildes
Zur Anwesenheitsprüfung des Senderlogos werden die Kantenverläufe des aktuellen Bil­ des mit denen des abgespeicherten Referenzbildes verglichen. Ein Maß für die Abweichungen der Kantenverläufe des aktuellen Bildes bezüglich denen des gespeicherten Refe­ renzbildes ergibt sich aus der Berechnung der mittleren Richtungsabweichung, die die ein­ zelnen Elemente der aktuellen Richtungsmatrix mit denjenigen der Referenz- Richtungsmatrix bilden. Genau wie in der Referenzmessung auch wird dazu aus einer Hel­ ligkeitsmatrix zuerst eine Richtungs- und Gewichtungsmatrix berechnet.
Die Richtungsabweichung eines Elementes der aktuellen Richtungsmatrix bezüglich des gleichen Elementes der Referenz-Richtungsmatrix ist durch die Differenz der gespeicher­ ten Richtungscodes bestimmt. Die Richtungsabweichung wij wird wiederum in Form eines Winkels in Einheiten von 45 Grad angegeben:
wij = |Rr[i][j] - Ar[i][j]| für wij ≦ 4
wij = 8 - |Rr[i][j] - Ar[i][j]| für wij ≧ 5
In der Referenzmessung zuvor wurden zeitliche Veränderungen des Richtungsfeldes in ei­ nem Bildpunkt betrachtet. Nach n Messungen ergab sich ein Mittelwert von:
In der Prüfmessung werden nun die aktuellen Richtungsabweichungen aller derjenigen Bildpunkte des aktuellen Bildes betrachtet, die aus der Referenzmessung als zeitstabil her­ vorgingen. Der Mittelwert der Richtungsabweichungen E(W) aller zu betrachtenden Bild­ punkte errechnet sich aus:
Der mittlere Gewichtungsfaktor E(G), mit dem die zu betrachtenden Bildpunkte eingegan­ gen sind, berechnet sich aus:
E(W) bestimmt die Abweichungen des aktuellen Richtungsfeldes bezüglich dem Referenz- Richtungsfeld und kann als Wahrscheinlichkeitsaussage über das Vorhandensein des Sen­ derlogos interpretiert werden. Die Frage, ob aktuell eine Werbesequenz ausgestrahlt wird, kann durch einen geeigneten Schwellwert beantwortet werden. Der Zustand der Wer­ beerkennung wird nach jeder neuen Auswertung mit dem vorigen Zustand verglichen und abgespeichert. Wechselt der Zustand, so wird, je nachdem, ob es sich dabei um den Anfang oder das Ende einer erkannten Werbesequenz handelt, ein entsprechender Steuerbefehl ausgesendet.
In der Praxis hat sich gezeigt, dass es günstig ist, mit zwei verschiedenen Schwellwerten zu arbeiten, und zwar einem Schwellwert für die Erkennung eines Werbungsanfangs und ei­ nem Schwellwert für die Erkennung eines Werbungsendes.
Alter Zustand = Film: E(W) < S1 ⇒ Werbungsanfang
Alter Zustand = Werbung: E(W) < S2 ⇒ Werbungsende
E(G) ist ein Maß für die Qualität der mit E(W) getroffenen Aussage über das Vorhanden­ sein des Senderlogos. Wenn E(G) sehr klein ist, heißt das, dass für die meisten der unter­ suchten Bildpunkte die Frage nach der Kantenrichtung nicht eindeutig geklärt werden konnte. In solchen Fällen wird der alte Zustand der Werbeerkennung beibehalten und da­ mit auch kein Steuerbefehl gesendet.
Trotz der enormen Zuverlässigkeit des oben beschriebenen Verfahrens kann es doch hin und wieder zu Fehlentscheidungen bei der Logoerkennung kommen, besonders dann, wenn das Senderlogo ganz oder teilweise in einem gleichfarbigen oder stark texturreichen Bild­ hintergrund zu verschwinden droht. Aus diesem Grund gilt die Erkennung eines Wer­ bungsanfangs nur dann als gesichert, wenn das plötzliche Ausbleiben des Senderlogos in der unmittelbar nachfolgenden Messung bestätigt werden konnte. Diese Vorgehensweise hat zur Folge, dass in Verbindung mit der oben beschriebenen Prüfung auf Bildinhaltsver­ änderungen selbst schwer auszuwertende Bildsequenzen fehlerfrei gemeistert werden kön­ nen.
Beispielsweise könnte das Senderlogo über eine gewisse Zeit in einem gleichfarbigen Bild­ hintergrund verschwinden, ohne dass die Werbeerkennung eine Fehlinterpretation vor­ nimmt, da erst mit einer erkennbaren Bildinhaltsveränderung ein weiteres Bild zur Auswertung gelangt und zur Bestätigung herangezogen wird. Das nächste auswertbare Bild zeigt dann aber das Senderlogo in einem neuen Kontext, in dem es sich auf jeden Fall zeigt dann aber das Senderlogo in einem neuen Kontext, in dem es sich auf jeden Fall wie­ der deutlicher vom Bildhintergrund abheben muss. Die zuvor ermittelte Abwesenheit des Senderlogos würde damit also nicht bestätigt werden.
Die Auswertungssicherheit des erfindungsgemäßen Werbeerkennungsverfahrens erhöht sich durch diese Vorgehensweise auf nahezu 100%, ohne dass dabei die Reaktionsge­ schwindigkeit wesentlich beeinträchtigt ist.
Das Ende der Prüfmessung kann entweder manuell oder automatisch durch Vergleich mit der zuvor gespeicherten PDC-Zeileninformation ausgelöst werden. Mit dem Ende der Prüfmessung wird bei Bedarf ein Steuerbefehl ausgesandt und das gesamte Werbeerken­ nungsverfahren abgeschlossen.
Im Folgenden wird nun die auf Grundlage dieses Verfahrens arbeitende Schaltungsanord­ nung in Form der erfindungsgemäßen Vorrichtung 13 zur werbeabhängigen Geräte­ steuerung mit Bezug auf die Fig. 6 bis 14 beschrieben.
Die Vorrichtung 13 dient vorzugsweise zur Steuerung eines Videoaufzeichnungsgerätes und verfolgt den Zweck, schon während der Aufnahme einer Fernsehsendung Werbese­ quenzen zu erkennen und gegebenenfalls die Videoaufzeichnung zu unterbrechen. Die Vorrichtung 13 kann einerseits als im Videorecorder integrierte Baugruppe (interner Wer­ beblocker 14), andererseits auch als Beistellgerät (externer Werbeblocker 15) ausgebildet sein. Das Beistellgerät wird einfach an den Videoausgang des Recorders angeschlossen und übernimmt automatisch die Aufnahmesteuerung mit Beginn der Aufzeichnung. Hierzu verfügt der externe Werbeblocker 15 sowohl über eine Infrarotsendeeinheit 16 als auch über eine Infrarotempfangseinheit 17, mit deren Hilfe sich beliebige Fernbedienungsbefeh­ le speichern und zu gegebenem Zeitpunkt in Abhängigkeit der Werbeerkennung wieder ausspielen lassen.
Alternativ dazu ist die Steuerung eines Videorecorders auch über ein beliebiges Standard- Bussystem denkbar. Eine völlig neue Idee hierzu ergibt sich aus der Möglichkeit des Da­ tenaustausches via SCART-Bus. Nach dem weitverbreiteten P50-Standard lassen sich zum Beispiel Timerdaten eines Videorecorders auslesen und auch verändern. Durch Manipu­ lation der Aufnahmestart- oder -stopzeit können damit Videoaufzeichnungen gezielt ge­ steuert werden.
Nachfolgend werden die Komponenten einer solchen Vorrichtung 13 zur Steuerung eines Videorecorders zum Zwecke werbefreier Videoaufzeichnungen von TV-Sendungen be­ schrieben. Hierbei wird zwischen den Konzeptionsarten des internen und externen Werbe­ blockers 14, 15 gemäß Fig. 6 unterschieden.
Ein digitaler Signalprozessor 20 ist die zentrale Recheneinheit. Er dient zur Datenanalyse, zur Datenspeicherung sowie zur Generierung von Steuersignalen. Ein Permanentspeicher 21, z. B. ein sogenannter Flash-Speicher, hält die Daten, bestehend aus Programmcode und gespeicherten Infrarot-Befehlssequenzen, ohne dass dazu eine Spannungsquelle nötig wä­ re.
Ein Bildprozessor 22, auch Videodecoder genannt, befindet sich zwischen einer Video­ quelle 23 und dem Signalprozessor 20 und erfüllt folgende Aufgaben: Detektion einer Vi­ deoquelle, Digitalisierung und Decodierung analoger Videosignale sowie Bilddatenerfas­ sung eines gewünschten Bildausschnittes und synchronisierte Ausgabe an den digitalen Signalprozessor. Es ist klar, dass der Bildprozessor 22 im Falle des Vorliegens digitaler Signale der Videoquelle 23 entfallen kann.
Ein Video-Trigger 24 ist zwischen der Videoquelle 23 und dem Signalprozessor 20 ange­ ordnet und, sofern der Bildprozessor 22 vorgesehen ist, parallel zu diesem an die genann­ ten Komponenten angeschlossen. Der Video-Trigger 24 überwacht im Sleep-Modus stän­ dig den Zustand der Videoquelle 23 und signalisiert dem digitalen Signalprozessor 20 den momentanen Zustand (aktiv/inaktiv), wobei ein an den Signalprozessor 20 angeschlossener Watchdog-Schaltkreis 25 den Reset des digitalen Signalprozessors 20 überwacht.
Die Infrarotempfangseinheit 17 dient dazu Infrarotsignale eines beliebigen Fernbedie­ nungsbefehls zu erfassen und diese in digitaler Form an den Signalprozessor 20 weiterzu­ leiten. Dieser analysiert die empfangenen digitalen Daten und legt diese in komprimierter Form im Permanentspeicher 21 ab.
Die Infrarotsendeeinheit 16 ist in der Lage aus Steuersignalen des Signalprozessors 20 mo­ dulierte Infrarotsequenzen zu erzeugen. Digital gespeicherte Infrarot-Befehlssequenzen werden dazu aus dem Permanentspeicher 21 in den Signalprozessor 20 geladen, dort deco­ diert und in Steuersignale für die Infrarotsendeeinheit 16 umgewandelt. Sowohl der Video- Trigger 24 als auch die Infrarotsende- und Infrarotempfangseinheit 16, 17 sind ebenso wie ein nachfolgend erwähntes Bedienfeld 26 nur bei dem externen Werbeblocker 15 vorgese­ hen.
Das Bedienfeld 26 ist die Benutzerschnittstelle und enthält Schalter zur Wahl des Pro­ gramm-Modus (Infrarot(IR)-Lernprogramm, IR-Testprogramm, Werbeerkennungspro­ gramm) sowie Taster zur Wahl der IR-Speicherplätze. Diese Komponente ist, wie erwähnt, nur bei dem externen Werbeblocker 15 sinnvoll.
Der interne Werbeblocker 14 (siehe Fig. 6) ist eine, in ein nicht näher gezeigtes Videoauf­ zeichnungsgerät integrierte Baugruppe, welche aus den zuvor beim externen Werbeblocker 15 beschriebenen Elementen jedoch ausgenommen die IR-Einheiten 16, 17 und das Be­ dienfeld 26 besteht. Der Zweck des internen Werbeblockers 14 ist es, während der Auf­ nahme einer Fernsehsendung Werbesequenzen zu erkennen und dies dem Videoaufzeich­ nungsgerät über einen Signalausgang mitzuteilen. Dieses kann dann gegebenenfalls die Videoaufnahme unterbrechen und mit Ende der Werbung wieder fortsetzen. Zum Zwecke der Kommunikation von Werbeblocker, nachfolgend auch kurz Modul genannt, und Vi­ deorecorder wird im Folgenden nicht von einem Standardbussystem, sondern von jeweils zwei speziellen Signaleingängen und Signalausgängen gesprochen.
Am Moduleingang START wird gemäß Fig. 7 durch einen Impuls des Videorecorders das in einem stromsparenden Sleep-Modus befindliche Modul (interner Werbeblocker 14) re­ aktiviert und das Werbeerkennungsprogramm gestartet.
Am Moduleingang END wird durch einen Impuls des Videorecorders das Werbeerken­ nungsprogramm beendet und das Modul in einen stromsparenden Sleep-Modus zurückver­ setzt.
Am Modulausgang STATUS wird die Funktionsbereitschaft des Moduls signalisiert.
Am Modulausgang DETECT wird der Erkennungszustand des Werbeblockerprogramms nach außen signalisiert. Damit wird eine werbeabhängige Videorecordersteuerung ermög­ licht.
Nach dem erstmaligen Anlegen der Spannungsversorgung an den Werbeblocker wird durch die implementierte Watchdog-Schaltung ein Reset ausgeführt. Der digitale Signal­ prozessor führt danach einen Selbsttest der vorhandenen Komponenten aus. Falls einer dieser Tests fehlschlägt, signalisiert der Signalprozessor nach außen die Funktionsuntüch­ tigkeit des Werbeblockers über den Modulausgang STATUS. Nach erfolgreicher Prüfling befindet sich der interne Werbeblocker in einem stromsparenden Sleep-Modus, aus dem er jederzeit vom Videorecorder über einen Impuls am Moduleingang START geweckt wer­ den kann. Nach dem START-Impuls wird das Werbeerkennungsprogramm ausgeführt, bis der Videorecorder über einen Impuls am Moduleingang END den Werbeblocker zum Be­ enden des Werbeerkennungsprozesses auffordert und damit das Modul wieder in den stromsparenden Sleep-Modus versetzt. Während des laufenden Werbeerkennungspro­ gramms wird der Zustand der Werbeerkennung dem Videorecorder über den Modulaus­ gang DETECT mitgeteilt.
Der externe Werbeblocker 15 ist eine Vorrichtung in Form eines Beistellgerätes, das an den Videoausgang einer beliebigen Videoquelle 23 angeschlossen ist und das über eine oder mehrere Möglichkeiten zur Gerätesteuerung verfügt. Es dient vorzugsweise dem Zweck, während der Aufnahme einer Fernsehsendung Werbesequenzen zu erkennen und dies dem Videoaufzeichnungsgerät oder einem beliebigen anderen Gerät über einen Steu­ erbus oder via Infrarotbefehlssequenzen mitzuteilen. Dieses kann dann gegebenenfalls die Videoaufnahme unterbrechen und mit Ende der Werbung fortsetzen.
Nach dem erstmaligen Anlegen der Spannungsversorgung an den Werbeblocker wird ge­ mäß dem Flussdiagramm nach Fig. 8 durch die implementierte Watchdog-Schaltung ein Reset ausgeführt. Der digitale Signalprozessor führt darnach einen Selbsttest der vorhande­ nen Komponenten aus. Nach dem Selbsttest signalisiert der Signalprozessor nach außen den Funktionszustand des Werbeblockers. Bei Funktionsbereitschaft des externen Werbe­ blockers 15 sind über das Bedienfeld 26 drei verschiedene Programme wählbar, das IR- Lernprogramm, das IR-Testprogramm sowie das Werbeerkennungsprogramm (siehe Fig. 9).
Das IR-Lernprogramm gemäß Fig. 10 hat die Aufgabe, videorecorderspezifische Fernbe­ dienungsbefehle zur Steuerung einer Videoaufnahme zu analysieren und zu speichern. Nach dem Start wartet das IR-Lernprogramm auf eine Benutzerauswahl von einem der fünf Speicherplätze für Infrarotbefehlssequenzen. Jeder dieser fünf Speicherplätze ist in der Lage, mindestens einen, vorzugsweise drei, im Fall des ersten Speicherplatzes vier ver­ schiedene Fernbedienungsbefehle zu speichern, da manche Aktionen das Ausspielen meh­ rerer Infrarotbefehle verlangen. Beispielsweise kann ein Aufnahmestart oftmals nur durch die Befehlsfolge RECORD und PAUSE ausgeführt werden. Trotz der Tatsache, dass der Videorecorder eigentlich nur die Videoaufzeichnung starten bzw. unterbrechen soll, rei­ chen zwei Speicherplätze zur Aufnahme der zugehörigen Fernbedienungsbefehlsfolgen im Allgemeinen nicht aus. In aller Regel kann ein Videorecorder nur durch die Bereitstellung der unten beschriebenen, fünf Speicherplätze zur Aufnahme von Fernbedienungsbefehlen auch tatsächlich gesteuert werden.
Der erste Speicherplatz ist zur Aufnahme von IR-Befehlen zur Initialisierung des Videore­ corders vorgesehen. Diese Initialisierung führt den Videorecorder mit Hilfe eines speziel­ len, gerätespezifischen Fernbedienungsbefehls aus einer eventuell eingestellten timerpro­ grammierten Aufnahme in den manuell gestarteten Aufnahmemodus. Erst in diesem Zu­ stand lassen sich sämtliche zur Verfügung stehenden Fernbedienungsbefehle des Videore­ corders wieder ausführen. Diese Initialisierungsbefehle werden zu Beginn der Referenz­ messung ausgesendet.
Der zweite Speicherplatz zur Aufnahme des Aufzeichnungspausenbefehls ist für die IR- Befehle vorgesehen, die zu Anfang jeder erkannten Werbesequenz ausgespielt werden. Diese Befehle dienen zur Unterbrechung einer laufenden Videoaufnahme.
Der dritte Speicherplatz ist zur Aufnahme von IR-Befehlen zur Repetition der Aufnahme­ unterbrechung vorgesehen. Dies ist notwendig, da die meisten Videorecorder eine Auf­ nahmeunterbrechung nur für eine bestimmte Zeitdauer (ca. 3 min) halten und danach in einen anderen Betriebszustand umschalten.
Der vierte Speicherplatz ist zur Aufnahme von IR-Befehlen zur Fortführung einer unter­ brochenen Videoaufnahme vorgesehen.
Der fünfte Speicherplatz ist zur Aufnahme von IR-Befehlen zur Endabschaltung einer Vi­ deoaufnahme vorgesehen.
Sobald die Benutzerauswahl eines Speicherplatzes zur Aufnahme von Fernbedienungsbe­ fehlen getroffen wurde, signalisiert das Programm seine Bereitschaft. Die zu erlernenden Infrarotsignale der Fernbedienungsbefehle können nun durch die Infrarotempfangseinheit 17 digitalisiert und an den digitalen Signalprozessor 20 weitergeleitet werden. Das IR- Lernprogramm analysiert die empfangenen digitalen Daten, strukturiert diese und legt sie in komprimierter Form im Permanentspeicher 21 ab. Konnte einer der empfangenen IR- Befehle nicht richtig empfangen und verarbeitet werden, so erzwingt die Bedienführung eine erneute Eingabe.
Das IR-Testprogramm hat die Aufgabe, die zuvor gespeicherten, videorecorderspezifi­ schen Fernbedienungsbefehle zur Steuerung einer Videoaufnahme, zu Testzwecken auszusenden. Nach dem Start wartet das IR-Testprogramm gemäß Fig. 11 auf eine Benutzer­ auswahl für einen der Speicherplätze für Infrarotbefehlssequenzen. Die in dem selektierten Speicherplatz digital gespeicherten Infrarotbefehlssequenzen werden aus dem Permanent­ speicher 21 in den digitalen Signalprozessor 20 geladen, dort decodiert und in Steuersigna­ le für die Infrarotsendeeinheit 16 umgewandelt. Die Infrarotsendeeinheit erzeugt aus den Steuersignalen des Signalprozessors modulierte Infrarotsequenzen.
Das Werbeerkennungsprogramm dient zur Erkennung von Werbebeiträgen in TV-Sendun­ gen durch Detektion sendereigener Logos, wie schon weiter oben beschrieben wurde. Nach dem Start des Werbeerkennungsprogramms prüft dieses gemäß Fig. 12, ob ein gültiges Videosignal vom Bildprozessor 22 geliefert wird. Ist kein gültiges Videosignal vorhanden, versetzt das Werbeerkennungsprogramm zuerst den Bildprozessor 22 und danach den digi­ talen Signalprozessor 20 in einen stromsparenden Sleep-Modus. Der Video-Trigger 24 übernimmt im Sleep-Modus die ständige Überwachung der Videoquelle 23 und weckt den digitalen Signalprozessor 20 aus dem Sleep-Modus, wenn gültige Videodaten vorhanden sind. Nun wird das Werbeerkennungsprogramm weiter ausgeführt, bis dieses schließlich endet und das System wieder in den Sleep-Modus versetzt wird.
Um mögliche Verbesserungen des Werbeerkennungsprogramms auf einfache Weise zu­ gänglich zu machen, werden im Folgenden mehrere Methoden zur Aktualisierung von Pro­ grammversionen beschrieben.
In den vier Bildschirmecken einer speziellen Fernsehwerbung erscheint gleichzeitig ein be­ stimmtes Logo, welches den Start einer beginnenden Datenübertragung signalisiert. Der Werbeblocker schaltet sich durch das Erkennen dieses Startlogos in den Update-Modus und erwartet den Empfang der zu aktualisierenden Programmversion in Form bestimmter Schwarz-Weiß-Muster. Ähnlich der Informationsübertragung in der PDC-Zeile werden diese Daten ausgewertet und in den Permanentspeicher geladen. Das Ende einer solchen Übertragung wird entsprechend signalisiert und der Update-Modus verlassen. Alternativ dazu könnte die zu aktualisierende Programmversion auch auf einem handelsüblichen Vi­ deospeichermedium aufgebracht worden sein.
Ein Updating via Internet bietet sich mit zunehmender Ausbreitung dieser Technologie zur Aktualisierung der Programmversionen mehr und mehr an. Dazu müsste der Werbeblocker auch über eine entsprechende PC-Schnittstelle, wie zum Beispiel RS232, CENTRONICS, USB, etc. verfügen.
Ergänzend besteht die Möglichkeit, die Werbeerkennung durch zusätzliche Parameter da­ hingehend zu verbessern, das in den Fällen, in denen eine Auswertung des Senderlogos nicht möglich sein sollte, ein anderer Erkennungsparameter zu Rate gezogen wird. Ein möglicher Erkennungsparameter könnte beispielsweise der Tonpegel sein. Offensichtlich sind Werbebeiträge im Fernsehen durch eine höhere Lautstärke gekennzeichnet als das eigentliche Programm selbst. Zur Tonpegelanalyse wird hierzu fortlaufend in gleichblei­ benden Zeitabschnitten der mittlere Tonpegel berechnet und mit einem vorgegebenen Schwellwert verglichen.

Claims (18)

1. Verfahren zum Auffinden und Erkennen von zeitstabilen Mustern in Videosignalen einer beliebigen Videoquelle, insbesondere zur Detektion von Werbebeiträgen in Fernsehsendungen oder dergleichen Übertragungen durch Videosignalanalyse und Ermittlung von senderspezifizierenden Videosignalen wie Logos, dadurch gekenn­ zeichnet, dass
  • a) nach Aktivitätsprüfung der Videoquelle mindestens ein vorgegebener Bildaus­ schnitt in digitalisierter Form als Helligkeitsmatrix in einen Speicher eingelesen wird;
  • b) aus der zuvor eingelesenen Helligkeitsmatrix die Kantenverläufe des aktuellen Bildausschnitts in Form eines Richtungsfeldes bestimmt und als Richtungsfeldmatrix abgespeichert werden;
  • c) durch Vergleich der Richtungsfeldmatrizen nachfolgend eingelesener Bilder des gleichen Bildausschnitts mit der gespeicherten Richtungsfeldmatrix die zeitstabilen Anteile des Richtungsfeldes ermittelt werden;
  • d) bei Nichterkennen eines ausreichend zeitstabillen Musters die Verfahrensschritte (a) bis (c), nachfolgend Referenzmessung genannt, in einem neuen Bildausschnitt wiederholt werden;
  • e) die nach Ablauf einer bestimmten Anzahl von Vergleichsmessungen ermittelten, zeitstabilen Anteile des Richtungsfeldes als bereinigte Richtungsfeldmatrix zur Refe­ renz gespeichert und für weitere Vergleichsmessungen herangezogen werden;
  • f) durch Vergleich der Richtungsfeldmatrizen nachfolgender Bilder des gleichen Bildausschnitts mit der zur Referenz gespeicherten Richtungsfeldmatrix unter An­ wendung statistischer Methoden auf die weitere An- oder Abwesenheit des zeitstabi­ len Musters geschlossen wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die statistische Aussage über die weitere Anwesenheit des zeitstabilen Musters aus der Summe der Abwei­ chungen der einzelnen Elemente der aktuellen Richtungsfeldmatrix gegenüber der Referenz-Richtungsfeldmatrix gewonnen wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass den einzelnen Elementen der Richtungsfeldmatrizen jeweils ein Gewichtungsfaktor zugeordnet wird, mit der Folge, dass diese mit ihren jeweiligen Gewichtungen in die statisti­ schen Berechnungen eingehen.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass eine Überprüfung des aktuellen Bildausschnitts auf Bildinhaltsveränderungen derart statt­ findet, dass Bildsequenzen mit annähernd unveränderlichem Bildinhalt nicht zur Auswertung gelangen.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das Verschwinden oder Wiedererscheinen des aus der Referenzmessung hervorgegangenen zeitstabilen Mus­ ters erst dann als nachgewiesen gilt, wenn die Bilddaten der unmittelbar nachfolgen­ den Messung diesen Zustandswechsel bestätigen.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im Ergebnis eines Lernzyklus oder durch externes Updating aktualisierte Be­ wertungsalgorithmen zur Durchführung des Verfahrens implementierbar sind.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich zum Videosignal ein Audiosignal empfangen wird, welches zur Auswertung vorzugsweise auf einen digitalen Signalprozessor gelangt, um anhand von signifikanten Pegel und/oder Frequenzunterschieden auf Änderungen im Video­ signal zu schließen.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf der Grundlage eines erkannten Werbebeitrags ein Schalt- oder Steuersignal zum Beeinflussen eines angeschlossenen Gerätes, vorzugsweise eines Videorecor­ ders, bereitgestellt wird.
9. Verwendung eines Verfahrens nach einem der vorhergehenden Ansprüche zur Nach­ bearbeitung digital oder analog gespeicherter Videodaten mittels eines Personal- Computers oder dergleichen Recheneinrichtung und/oder zur automatischen Proto­ kollierung von Werbebeiträgen.
10. Vorrichtung zum Durchführen des Verfahrens nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass ein mit einer Videoquelle (23) verbundener digitaler Signalprozessor (20) zur Datenanalyse, Datenspeicherung sowie zur Steuerung der Ein- und Ausgabe von Signalen vorgesehen ist, welcher mit einem Permanentspei­ cher (21) zur Speicherung von Programmcode und Fernbedienungsbefehlsdaten ver­ bunden und derart ausgebildet ist, dass er anhand eines in dem Permanentspeicher (21) abgelegten Programms eine Signalbewertung von Bildausschnitten (7) durch­ führt und an seinem Ausgang ein Schaltsignal bereitstellt.
11. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass bei Vorliegen ana­ loger Signale am Ausgang der Videoquelle (23) zwischen die Videoquelle (23) und den Signalprozessor (20) ein Bildprozessor (22) geschaltet ist, welcher derart ausge­ bildet ist, dass er nach Aufruf durch den Signalprozessor (20) Bildausschnitte (7) des Videosignals der Videoquelle (23) digitalisiert, formatiert und zum Signalprozessor (20) nach Aufforderung weiterleitet.
12. Vorrichtung nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass zusätzlich der Audiosignalausgang der Videoquelle (23) mit dem Signalprozessor (20) verbun­ den ist.
13. Vorrichtung nach einem der Ansprüche 10 bis 12, ferner gekennzeichnet durch eine Verbindungsschnittstelle zu dem Ausgang der Videoquelle (23); eine Ausgangsvi­ deoschnittstelle; integrierte Infrarotsende- und -empfangseinheiten (16, 17) zum Er­ lernen von Befehlsfolgen zur Gerätesteuerung in Abhängigkeit erkannter Werbesen­ dungen; einen Watchdog-Schaltkreis (25) zum Überwachen des Resets; einen Video- Trigger (24) zwischen der Videoquelle (23) und dem Signalprozessor (20) und, so­ fern ein Bildprozessor (22) vorgesehen ist, parallel zu diesem zum Überführen der Vorrichtung aus einem stromsparenden Standby- oder Sleep-Modus in einen aktiven Zustand dann, wenn relevante Videosignale erkannt werden.
14. Vorrichtung nach Anspruch 13, dadurch gekennzeichnet, dass die Infrarotsende- und -empfangseinheit (16, 17) mehrere Speicherplätze zur Aufnahme von Infrarotbe­ fehlssequenzen hat, von denen jeder mehrere Infrarotbefehle über die Infrarotemp­ fangseinheit (17) speichern und über die Infrarotsendeeinheit (16) nacheinander ab­ setzen kann.
15. Vorrichtung nach Anspruch 14, dadurch gekennzeichnet, dass fünf Speicherplätze für je mindestens eine, vorzugsweise drei Befehlssequenzen vorgesehen sind, wobei der erste Speicherplatz für Befehle zur Initialisierung vorzugsweise eines anschließ­ baren Videorecorders über dessen IR-Schnittstelle, der zweite Speicherplatz für Werbeanfangserkennungsbefehle, der dritte Speicherplatz für Befehle zur Repetition der Aufnahmeunterbrechung des Recorders, der vierte Speicherplatz für Befehle zur Fortführung der unterbrochenen Videoaufzeichnung und der fünfte Speicherplatz für Befehle zur Endabschaltung der Aufnahme vorgesehen ist.
16. Vorrichtung nach einem der Ansprüche 13 bis 15, dadurch gekennzeichnet, dass die Infrarotempfangseinheit (17) derart ausgebildet ist, dass über sie Fernbedie­ nungsbefehle vorzugsweise zur Steuerung des Videorecorders oder eines ent­ sprechenden Aufzeichnungsgeräts übernommen werden, welche mit Hilfe des Sig­ nalprozessors (20) analysiert, strukturiert und komprimiert abspeicherbar sind, wobei nach erfolgreichem Lernschritt ein Testmodus zum Absetzen zuvor gespeicherter Be­ fehle aktivierbar ist.
17. Vorrichtung nach einem der Ansprüche 10 bis 16, dadurch gekennzeichnet, dass alternativ zur Gerätesteuerung über Infrarotschnittstellen und -befehle ein Standard- Bussystem vorgesehen ist.
18. Vorrichtung nach Anspruch 17, dadurch gekennzeichnet, dass über das Bussystem ein Datenaustausch mit einem angeschlossenen Videorecorder ermöglicht ist, so dass beispielsweise dessen Timerdaten ausgelesen und zum Zwecke der Aufnahmesteue­ rung gezielt manipulierbar sind.
DE10036882A 2000-01-31 2000-07-28 Verfahren zum Auffinden und Erkennen von zeitstabilen Mustern in Videosignalen einer beliebigen Videoquelle, insbesondere zur Detektion von Werbebeiträgen in Fernsehsendungen, und Vorrichtung zum Durchführen eines solchen Verfahrens Ceased DE10036882A1 (de)

Priority Applications (7)

Application Number Priority Date Filing Date Title
DE10036882A DE10036882A1 (de) 2000-01-31 2000-07-28 Verfahren zum Auffinden und Erkennen von zeitstabilen Mustern in Videosignalen einer beliebigen Videoquelle, insbesondere zur Detektion von Werbebeiträgen in Fernsehsendungen, und Vorrichtung zum Durchführen eines solchen Verfahrens
EP01901171A EP1252759B1 (de) 2000-01-31 2001-01-18 Verfahren zur detektion und identifikation von zeitlich konstanten mustern in videosignalen, insbesondere zur detektion von werbespots in fernsehübertragungen, und vorrichtung zur ausführung dieses verfahrens
AT01901171T ATE278293T1 (de) 2000-01-31 2001-01-18 Verfahren zur detektion und identifikation von zeitlich konstanten mustern in videosignalen, insbesondere zur detektion von werbespots in fernsehübertragungen, und vorrichtung zur ausführung dieses verfahrens
PCT/EP2001/000558 WO2001060054A1 (en) 2000-01-31 2001-01-18 Method for detecting and identifying time-constant patterns in video signals, particularly for the detection of advertising spots in television broadcastings, and device for performing such a method
AU2001226791A AU2001226791A1 (en) 2000-01-31 2001-01-18 Method for detecting and identifying time-constant patterns in video signals, particularly for the detection of advertising spots in television broadcastings, and device for performing such a method
DE60105975T DE60105975T2 (de) 2000-01-31 2001-01-18 Verfahren zur detektion und identifikation von zeitlich konstanten mustern in videosignalen, insbesondere zur detektion von werbespots in fernsehübertragungen, und vorrichtung zur ausführung dieses verfahrens
US09/772,045 US6845213B2 (en) 2000-01-31 2001-01-29 Method for detecting and identifying time-constant patterns in video signals of any video source, particularly for the detection of advertising spots in television broad-castings, and device for performing such a method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10004131 2000-01-31
DE10006692 2000-02-15
DE10036882A DE10036882A1 (de) 2000-01-31 2000-07-28 Verfahren zum Auffinden und Erkennen von zeitstabilen Mustern in Videosignalen einer beliebigen Videoquelle, insbesondere zur Detektion von Werbebeiträgen in Fernsehsendungen, und Vorrichtung zum Durchführen eines solchen Verfahrens

Publications (1)

Publication Number Publication Date
DE10036882A1 true DE10036882A1 (de) 2001-08-16

Family

ID=26004125

Family Applications (2)

Application Number Title Priority Date Filing Date
DE10036882A Ceased DE10036882A1 (de) 2000-01-31 2000-07-28 Verfahren zum Auffinden und Erkennen von zeitstabilen Mustern in Videosignalen einer beliebigen Videoquelle, insbesondere zur Detektion von Werbebeiträgen in Fernsehsendungen, und Vorrichtung zum Durchführen eines solchen Verfahrens
DE60105975T Expired - Fee Related DE60105975T2 (de) 2000-01-31 2001-01-18 Verfahren zur detektion und identifikation von zeitlich konstanten mustern in videosignalen, insbesondere zur detektion von werbespots in fernsehübertragungen, und vorrichtung zur ausführung dieses verfahrens

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE60105975T Expired - Fee Related DE60105975T2 (de) 2000-01-31 2001-01-18 Verfahren zur detektion und identifikation von zeitlich konstanten mustern in videosignalen, insbesondere zur detektion von werbespots in fernsehübertragungen, und vorrichtung zur ausführung dieses verfahrens

Country Status (1)

Country Link
DE (2) DE10036882A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6845213B2 (en) 2000-01-31 2005-01-18 Mike Maas Method for detecting and identifying time-constant patterns in video signals of any video source, particularly for the detection of advertising spots in television broad-castings, and device for performing such a method
DE102005011428A1 (de) * 2005-03-11 2006-09-14 Fujitsu Siemens Computers Gmbh Verfahren zur Aufzeichnung, Wiedergabe und zum Schneiden eines digitalen Datenstroms, sowie elektronisches Gerät und Computerprogramm-Produkt zur Durchführung des Verfahrens
US11908126B2 (en) 2020-08-26 2024-02-20 Heidelberger Druckmaschinen Ag Method of controlling the quality of printed products by image inspection filtering

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009044118B3 (de) 2009-09-28 2011-03-17 Loewe Opta Gmbh Verfahren zur Speicherung von empfangbaren Audio-und /oder Videodaten sowie ein Gerät oder eine Gerätekombination hierzu

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4204689A1 (de) * 1992-02-17 1993-08-19 Peter Biet Schaltungsanordnung zur unterdrueckung von reklamebildern waehrend der bildaufzeichnung in einm videorecorder
DE4417481A1 (de) * 1994-05-19 1994-10-20 Thomas Werner Busse Einrichtung zur Erkennung von Werbebeiträgen in einem Video-Signal
DE4328915C1 (de) * 1993-08-27 1994-12-01 Siemens Ag Verfahren zur Extraktion von Merkmalen linienhafter Strukturen in digitalen Bildern

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4204689A1 (de) * 1992-02-17 1993-08-19 Peter Biet Schaltungsanordnung zur unterdrueckung von reklamebildern waehrend der bildaufzeichnung in einm videorecorder
DE4328915C1 (de) * 1993-08-27 1994-12-01 Siemens Ag Verfahren zur Extraktion von Merkmalen linienhafter Strukturen in digitalen Bildern
DE4417481A1 (de) * 1994-05-19 1994-10-20 Thomas Werner Busse Einrichtung zur Erkennung von Werbebeiträgen in einem Video-Signal

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JANKE, T. u. KOPPERS, M.: Optimierung und Implementierung eines Systems zur Unter- drückung von Werbeblücken, 1999, Diplom- arbeit, Fachhochschule Münster, Fachbereich Elektronik *
RICHERT, P.: u.a.: Weg mit "Ruf ...mich ...an", In: c't, 1999, H. 13, S. 198-206 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6845213B2 (en) 2000-01-31 2005-01-18 Mike Maas Method for detecting and identifying time-constant patterns in video signals of any video source, particularly for the detection of advertising spots in television broad-castings, and device for performing such a method
DE102005011428A1 (de) * 2005-03-11 2006-09-14 Fujitsu Siemens Computers Gmbh Verfahren zur Aufzeichnung, Wiedergabe und zum Schneiden eines digitalen Datenstroms, sowie elektronisches Gerät und Computerprogramm-Produkt zur Durchführung des Verfahrens
US11908126B2 (en) 2020-08-26 2024-02-20 Heidelberger Druckmaschinen Ag Method of controlling the quality of printed products by image inspection filtering

Also Published As

Publication number Publication date
DE60105975D1 (de) 2004-11-04
DE60105975T2 (de) 2005-11-17

Similar Documents

Publication Publication Date Title
DE3789183T2 (de) Änderungsdetektierung in Videodaten.
DE102004002237B4 (de) Bewegungserfassungskamerasystem
DE69430299T2 (de) Steuerungssystem für eine videoeinrichtung
DE3318919C2 (de) Verfahren und Vorrichtung zum Erfassen von Daten über das Fernseheinschaltverhalten von Fernsehzuschauern
DE3623719C2 (de)
DE69422808T2 (de) Verfahren zur automatischen autorisierung einer signalwiedergabevorrichtung zur installation von überwachungsgeräten
DE3220223C2 (de)
DE4012518A1 (de) Schnell ansprechendes bild-im-bild-system fuer fernsehempfaenger
DE19882912B4 (de) Bildselektion auf der Basis des Bildinhalts
DE19737889B4 (de) Methode zur automatischen Auswahl und Aufnahme hervorgehobener Szenen
DE2250387A1 (de) Ueberwachungsverfahren und -vorrichtung
DE69528009T2 (de) Elektronisches Gerät mit funktionellem Informationspeicher
EP2235948B1 (de) Überwachungsmodul für ein videoüberwachungssystem, verfahren zur zustandsüberwachung eines überwachungsbereichs sowie computerprogramm
JPH06105336A (ja) デジタル画像前解析方法
DE10036882A1 (de) Verfahren zum Auffinden und Erkennen von zeitstabilen Mustern in Videosignalen einer beliebigen Videoquelle, insbesondere zur Detektion von Werbebeiträgen in Fernsehsendungen, und Vorrichtung zum Durchführen eines solchen Verfahrens
DE4204689A1 (de) Schaltungsanordnung zur unterdrueckung von reklamebildern waehrend der bildaufzeichnung in einm videorecorder
DE20318489U1 (de) Überwachungseinrichtung für Geldautomaten sowie Geldautomat
DE102007038804A1 (de) Anzeige- und Bediengerät der Gebäudesystemtechnik
DE69500308T2 (de) Verfahren zum Erkennung einer Videonorm und Schaltung zur Durchführung dieses Verfahrens
DE69128870T2 (de) Verfahren zum Auswählen von perfekten Fernsehersignalen
DE19752630A1 (de) Verfahren für die automatische Bildgrößensteuerung halbbreiter Fernsehempfänger
DE69925980T2 (de) Vorrichtung zur umwandlung von videosignalkennzeichen und verfahren dafür
DE4337548C2 (de) Verfahren und Vorrichtung zum Erfassen von Daten über das Fernseheinschaltverhalten von Fernsehzuschauern
DE68912301T2 (de) Methode und System zur Erfassung der Verbrauchsgewohnheiten einer Testbevölkerung.
DE2606827A1 (de) Ueberwachungseinrichtung

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8181 Inventor (new situation)

Free format text: MAAS, MIKE, 13353 BERLIN, DE SOWA, CHRISTOPH, DIPL.-ING., 52511 GEILENKIRCHEN, DE STANGE, WERNER, DIPL.-ING., 13439 BERLIN, DE

8181 Inventor (new situation)

Free format text: MAAS, MIKE, 13409 BERLIN, DE SOWA, CHRISTOPH, DIPL.-ING., 52511 GEILENKIRCHEN, DE STANGE, WERNER, DIPL.-ING., 13439 BERLIN, DE

8131 Rejection